![Page 1: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/1.jpg)
INTERNAL
Partner logo
Сергей Абдуракипов, SAP
Month 00, 2019
SAP Predictive Analyticsдля прогноза оттока клиентов
![Page 2: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/2.jpg)
2INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
▪ SAP Predictive Analytics
▪ Задача прогнозирования оттока клиентов
▪ Как построить модель в SAP Predictive Analytics
▪ Результаты моделирования оттока клиентов телеком компании
▪ Экономический эффект от модели
Содержание
![Page 3: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/3.jpg)
SAP Predictive Analytics
![Page 4: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/4.jpg)
4INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Решение SAP Predictive Analytics
SAP Predictive Analytics – Специализированное решение для построения
математических аналитических моделей
➢ Выполнение многих действий аналитика автоматизировано
➢ Итерационный процесс улучшения качества модели
➢ Интерпретируемость результата
➢ Более 500 успешных проектов в мире
➢ Быстрое решение задачи, быстрая адаптация модели
➢ Промышленное решение
Результат:
![Page 5: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/5.jpg)
5INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Инструменты Data Mining
o Отбор атрибутов
o Выбор алгоритма
o Ручная подготовка данныхo Выбросы
o Пропуски
o Нелинейности
o Мультиколлинеарность
o Проверка распределений
Автоматизированное
моделирование SAP
o Использует все атрибуты
o Ориентирован на результат
o Полностью автоматизированный процесс:o Автоматизированное создание наборов данных
o Автоматическое кодирование данных
o Внедрение
Построение модели – недели труда
статистика
Построение модели – часы и минуты
работы бизнес-аналитика
Выбор переменных
Подготовка данных
Построение модели
Тестирование
Понимание
Применение
Построение модели
Понимание
Применение
SAP Predictive Analytics меняет правила
![Page 6: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/6.jpg)
Задача оттока клиентов
![Page 7: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/7.jpg)
7INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Зачем прогнозировать отток клиентов?
• Отток является одной из самых больших проблем,
стоящих перед большинство компаний
• Согласно Harvard Business Review, найти нового
клиента стоит от 5 до 25 раз дороже, чем сохранить
существующего. Другими словами, существующие
клиенты на вес золота!
• Предотвращение оттока клиентов является важной
бизнес-функцией
Создав модель для прогнозирования оттока клиентов с помощью алгоритмов
машинного обучения, в идеале, мы можем устранить проблему неудовлетворенных
клиентов в зародыше и поддерживать текущие доходы компании
![Page 8: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/8.jpg)
8INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Постановка задачи
• Набор данных включал 7 тысяч уникальных записей о клиентах телекоммуникационной / интернет-
компании. Каждая запись содержала информацию о клиенте, которая включала такие признаки как:
o Услуги - на какие услуги подписан клиент (интернет, телефон, кабельное ТВ и т. д.)
o Ежемесячный счет
o Срок пребывания - как долго он был клиентом
o Основная демографическая информация - пенсионеры, имеют ли они иждивенцев и т.д.
• ~75% данных обучение и ~25 % данных тестирование
• Для целей нашего исследования целевой переменной было: ушел ли клиент или нет в течение
последнего месяца (клиент разорвал договор) – задача классификации
• Результат: вероятность оттока клиента, наиболее значимые предикторы оттока и их диапазоны
влияния согласно модели
![Page 9: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/9.jpg)
SAP Predictive AnalyticsКак построить качественную модель за минуту
![Page 10: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/10.jpg)
10INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Создание модели
классификации
![Page 11: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/11.jpg)
11INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Выбираем датасет
![Page 12: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/12.jpg)
12INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Выбор типа переменных
![Page 13: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/13.jpg)
13INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Выбор целевой переменной
Исключение переменных
![Page 14: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/14.jpg)
14INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Процесс обучения
![Page 15: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/15.jpg)
15INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Формирование отчета по модели
![Page 16: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/16.jpg)
Результаты моделирования
оттока клиентов
![Page 17: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/17.jpg)
17INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Метрики качества модели SAP Predictive Analytics
Модель, построенная в SAP Predictive Analytics Automated обеспечивает хорошие
показатели качества AUC ROC = 0.78, при этом полнота определения оттока 80%,
что важно с точки зрения бизнеса
ROC – кривая
Площадь под кривой – мера качества классификатора
AUC ROC = 0.78
Чувств
ите
льно
сть
1-специфичность
Полнота = 80%, точность = 54 %
Полнота гораздо важнее точности!
Потеря клиента несет значительно
большие убытки, чем программа
лояльности / скидка для клиента
![Page 18: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/18.jpg)
18INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Мы сравнили эффективность нашей модели с
популярными open source реализациями
моделей машинного обучения «из коробки»:
▪ Метод опорных векторов
▪ Логистическая регрессия
▪ Случайные лес
▪ Градиентный бустинг
Сравнение с популярными open source реализациями
Модель, построенная в SAP Predictive Analytics,
опережает все четыре бейзлайн-модели
![Page 19: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/19.jpg)
19INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Результаты. Значимость признаков
Наиболее значимыми факторами, влияющими на отток, являются величина месячных и
общих расходов на обслуживание, длительность пребывания в статусе клиента
Месячный счетОбщие расходы
Срок пребыванияИнтернет услуги
Тип договораБезопасность
![Page 20: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/20.jpg)
20INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Результаты. Веса признаков
Модель является интерпретируемой в том смысле, что весовые коэффициенты
модели характеризуют вклад предиктора в вероятность оттока
![Page 21: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/21.jpg)
21INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Результаты. Оценка значимости интервалов
Из анализа интервалов значимости можно сделать вывод, чем дольше человек
является клиентом компании, тем менее он склонен к оттоку. Граница
составляет 21 месяц
![Page 22: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/22.jpg)
22INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Результаты. Оценка значимости интервалов
Обнаружены диапазоны месячной оплаты, при которых наблюдается повышение
или снижение вероятности оттока клиента, что позволяет выработать рекомендации
по акциям и программам лояльности
![Page 23: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/23.jpg)
23INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Результаты. Оценка значимости интервалов
Обнаружены диапазоны общих затрат, при которых наблюдается повышение / снижение
вероятности оттока клиента, что позволяет выработать рекомендации по акциям и
программам лояльности
![Page 24: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/24.jpg)
Расчет экономического эффекта
![Page 25: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/25.jpg)
25INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Экономический эффект от модели. Предположения
Для целей нашего анализа мы сделали 3 предположения:
• Для каждого клиента, покинувшего компанию, компания заменит этого клиента другим за 10-
30 тыс. рублей. Маркетинг, реклама, прочие акции - стоимость складывается.
• Мы могли бы удержать каждого покупателя, который с большой вероятности склонен к оттоку,
вложив в повышение его лояльности 6 тыс. рублей. Это может быть за счет скидок,
улучшения обслуживания (например, увеличения скорости интернета) или предоставления
скидок
• Согласно базовой модели мы будем тратить по 6 тыс. рублей на всех клиентов для
повышения их лояльности и предотвращения оттока
![Page 26: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/26.jpg)
26INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Цены ошибок!Максимизация выгоды
![Page 27: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/27.jpg)
27INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Экономический эффект от модели
Модель позволяет экономить в общей сложности 18 млн руб., обойдя наивную модель,
когда мы повышаем лояльность всех клиентов - 10,5 млн. руб.
Кривая выгоды
![Page 28: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/28.jpg)
28INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Заключение
• Инструмент SAP Predictive Analytics успешно применен для решения задачи
прогнозирования оттока клиентов. Модель построена в автоматическом
режиме с минимальным участием аналитика
• Модель SAP Predictive Analytics «из коробки» победила среди набора
популярных моделей из open source библиотек (логистическая регрессия,
градиентный бустинг и др.)
• Модель показывает отличное значение полноты = 81%
• В целом, наша модель позволяет сэкономить в общей сложности около 18
млн. руб., обойдя «наивную» модель, когда мы повышаем лояльность всех
клиентов, что экономит 10 млн. руб.
![Page 29: SAP Predictive Analytics для прогнозирования …...2019/04/23 · Для целей нашего анализа мы сделали 3 предположения:](https://reader035.vdocuments.site/reader035/viewer/2022063004/5f7ae970f7743e6ae054a531/html5/thumbnails/29.jpg)
Partner logo
Contact information:
Sergey Abdurakipov
Title
Address
Phone number
Thank you.