sap predictive analytics для прогнозирования …...2019/04/23 · Для...
TRANSCRIPT
INTERNAL
Partner logo
Сергей Абдуракипов, SAP
Month 00, 2019
SAP Predictive Analyticsдля прогноза оттока клиентов
2INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
▪ SAP Predictive Analytics
▪ Задача прогнозирования оттока клиентов
▪ Как построить модель в SAP Predictive Analytics
▪ Результаты моделирования оттока клиентов телеком компании
▪ Экономический эффект от модели
Содержание
SAP Predictive Analytics
4INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Решение SAP Predictive Analytics
SAP Predictive Analytics – Специализированное решение для построения
математических аналитических моделей
➢ Выполнение многих действий аналитика автоматизировано
➢ Итерационный процесс улучшения качества модели
➢ Интерпретируемость результата
➢ Более 500 успешных проектов в мире
➢ Быстрое решение задачи, быстрая адаптация модели
➢ Промышленное решение
Результат:
5INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Инструменты Data Mining
o Отбор атрибутов
o Выбор алгоритма
o Ручная подготовка данныхo Выбросы
o Пропуски
o Нелинейности
o Мультиколлинеарность
o Проверка распределений
Автоматизированное
моделирование SAP
o Использует все атрибуты
o Ориентирован на результат
o Полностью автоматизированный процесс:o Автоматизированное создание наборов данных
o Автоматическое кодирование данных
o Внедрение
Построение модели – недели труда
статистика
Построение модели – часы и минуты
работы бизнес-аналитика
Выбор переменных
Подготовка данных
Построение модели
Тестирование
Понимание
Применение
Построение модели
Понимание
Применение
SAP Predictive Analytics меняет правила
Задача оттока клиентов
7INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Зачем прогнозировать отток клиентов?
• Отток является одной из самых больших проблем,
стоящих перед большинство компаний
• Согласно Harvard Business Review, найти нового
клиента стоит от 5 до 25 раз дороже, чем сохранить
существующего. Другими словами, существующие
клиенты на вес золота!
• Предотвращение оттока клиентов является важной
бизнес-функцией
Создав модель для прогнозирования оттока клиентов с помощью алгоритмов
машинного обучения, в идеале, мы можем устранить проблему неудовлетворенных
клиентов в зародыше и поддерживать текущие доходы компании
8INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Постановка задачи
• Набор данных включал 7 тысяч уникальных записей о клиентах телекоммуникационной / интернет-
компании. Каждая запись содержала информацию о клиенте, которая включала такие признаки как:
o Услуги - на какие услуги подписан клиент (интернет, телефон, кабельное ТВ и т. д.)
o Ежемесячный счет
o Срок пребывания - как долго он был клиентом
o Основная демографическая информация - пенсионеры, имеют ли они иждивенцев и т.д.
• ~75% данных обучение и ~25 % данных тестирование
• Для целей нашего исследования целевой переменной было: ушел ли клиент или нет в течение
последнего месяца (клиент разорвал договор) – задача классификации
• Результат: вероятность оттока клиента, наиболее значимые предикторы оттока и их диапазоны
влияния согласно модели
SAP Predictive AnalyticsКак построить качественную модель за минуту
10INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Создание модели
классификации
11INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Выбираем датасет
12INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Выбор типа переменных
13INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Выбор целевой переменной
Исключение переменных
14INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Процесс обучения
15INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Формирование отчета по модели
Результаты моделирования
оттока клиентов
17INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Метрики качества модели SAP Predictive Analytics
Модель, построенная в SAP Predictive Analytics Automated обеспечивает хорошие
показатели качества AUC ROC = 0.78, при этом полнота определения оттока 80%,
что важно с точки зрения бизнеса
ROC – кривая
Площадь под кривой – мера качества классификатора
AUC ROC = 0.78
Чувств
ите
льно
сть
1-специфичность
Полнота = 80%, точность = 54 %
Полнота гораздо важнее точности!
Потеря клиента несет значительно
большие убытки, чем программа
лояльности / скидка для клиента
18INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Мы сравнили эффективность нашей модели с
популярными open source реализациями
моделей машинного обучения «из коробки»:
▪ Метод опорных векторов
▪ Логистическая регрессия
▪ Случайные лес
▪ Градиентный бустинг
Сравнение с популярными open source реализациями
Модель, построенная в SAP Predictive Analytics,
опережает все четыре бейзлайн-модели
19INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Результаты. Значимость признаков
Наиболее значимыми факторами, влияющими на отток, являются величина месячных и
общих расходов на обслуживание, длительность пребывания в статусе клиента
Месячный счетОбщие расходы
Срок пребыванияИнтернет услуги
Тип договораБезопасность
20INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Результаты. Веса признаков
Модель является интерпретируемой в том смысле, что весовые коэффициенты
модели характеризуют вклад предиктора в вероятность оттока
21INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Результаты. Оценка значимости интервалов
Из анализа интервалов значимости можно сделать вывод, чем дольше человек
является клиентом компании, тем менее он склонен к оттоку. Граница
составляет 21 месяц
22INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Результаты. Оценка значимости интервалов
Обнаружены диапазоны месячной оплаты, при которых наблюдается повышение
или снижение вероятности оттока клиента, что позволяет выработать рекомендации
по акциям и программам лояльности
23INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Результаты. Оценка значимости интервалов
Обнаружены диапазоны общих затрат, при которых наблюдается повышение / снижение
вероятности оттока клиента, что позволяет выработать рекомендации по акциям и
программам лояльности
Расчет экономического эффекта
25INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Экономический эффект от модели. Предположения
Для целей нашего анализа мы сделали 3 предположения:
• Для каждого клиента, покинувшего компанию, компания заменит этого клиента другим за 10-
30 тыс. рублей. Маркетинг, реклама, прочие акции - стоимость складывается.
• Мы могли бы удержать каждого покупателя, который с большой вероятности склонен к оттоку,
вложив в повышение его лояльности 6 тыс. рублей. Это может быть за счет скидок,
улучшения обслуживания (например, увеличения скорости интернета) или предоставления
скидок
• Согласно базовой модели мы будем тратить по 6 тыс. рублей на всех клиентов для
повышения их лояльности и предотвращения оттока
26INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Цены ошибок!Максимизация выгоды
27INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Экономический эффект от модели
Модель позволяет экономить в общей сложности 18 млн руб., обойдя наивную модель,
когда мы повышаем лояльность всех клиентов - 10,5 млн. руб.
Кривая выгоды
28INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ
Заключение
• Инструмент SAP Predictive Analytics успешно применен для решения задачи
прогнозирования оттока клиентов. Модель построена в автоматическом
режиме с минимальным участием аналитика
• Модель SAP Predictive Analytics «из коробки» победила среди набора
популярных моделей из open source библиотек (логистическая регрессия,
градиентный бустинг и др.)
• Модель показывает отличное значение полноты = 81%
• В целом, наша модель позволяет сэкономить в общей сложности около 18
млн. руб., обойдя «наивную» модель, когда мы повышаем лояльность всех
клиентов, что экономит 10 млн. руб.
Partner logo
Contact information:
Sergey Abdurakipov
Title
Address
Phone number
Thank you.