sap predictive analytics для прогнозирования …...2019/04/23  · Для...

29
INTERNAL Partner logo Сергей Абдуракипов, SAP Month 00, 2019 SAP Predictive Analytics для прогноза оттока клиентов

Upload: others

Post on 28-Jul-2020

10 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

INTERNAL

Partner logo

Сергей Абдуракипов, SAP

Month 00, 2019

SAP Predictive Analyticsдля прогноза оттока клиентов

Page 2: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

2INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

▪ SAP Predictive Analytics

▪ Задача прогнозирования оттока клиентов

▪ Как построить модель в SAP Predictive Analytics

▪ Результаты моделирования оттока клиентов телеком компании

▪ Экономический эффект от модели

Содержание

Page 3: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

SAP Predictive Analytics

Page 4: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

4INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Решение SAP Predictive Analytics

SAP Predictive Analytics – Специализированное решение для построения

математических аналитических моделей

➢ Выполнение многих действий аналитика автоматизировано

➢ Итерационный процесс улучшения качества модели

➢ Интерпретируемость результата

➢ Более 500 успешных проектов в мире

➢ Быстрое решение задачи, быстрая адаптация модели

➢ Промышленное решение

Результат:

Page 5: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

5INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Инструменты Data Mining

o Отбор атрибутов

o Выбор алгоритма

o Ручная подготовка данныхo Выбросы

o Пропуски

o Нелинейности

o Мультиколлинеарность

o Проверка распределений

Автоматизированное

моделирование SAP

o Использует все атрибуты

o Ориентирован на результат

o Полностью автоматизированный процесс:o Автоматизированное создание наборов данных

o Автоматическое кодирование данных

o Внедрение

Построение модели – недели труда

статистика

Построение модели – часы и минуты

работы бизнес-аналитика

Выбор переменных

Подготовка данных

Построение модели

Тестирование

Понимание

Применение

Построение модели

Понимание

Применение

SAP Predictive Analytics меняет правила

Page 6: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

Задача оттока клиентов

Page 7: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

7INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Зачем прогнозировать отток клиентов?

• Отток является одной из самых больших проблем,

стоящих перед большинство компаний

• Согласно Harvard Business Review, найти нового

клиента стоит от 5 до 25 раз дороже, чем сохранить

существующего. Другими словами, существующие

клиенты на вес золота!

• Предотвращение оттока клиентов является важной

бизнес-функцией

Создав модель для прогнозирования оттока клиентов с помощью алгоритмов

машинного обучения, в идеале, мы можем устранить проблему неудовлетворенных

клиентов в зародыше и поддерживать текущие доходы компании

Page 8: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

8INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Постановка задачи

• Набор данных включал 7 тысяч уникальных записей о клиентах телекоммуникационной / интернет-

компании. Каждая запись содержала информацию о клиенте, которая включала такие признаки как:

o Услуги - на какие услуги подписан клиент (интернет, телефон, кабельное ТВ и т. д.)

o Ежемесячный счет

o Срок пребывания - как долго он был клиентом

o Основная демографическая информация - пенсионеры, имеют ли они иждивенцев и т.д.

• ~75% данных обучение и ~25 % данных тестирование

• Для целей нашего исследования целевой переменной было: ушел ли клиент или нет в течение

последнего месяца (клиент разорвал договор) – задача классификации

• Результат: вероятность оттока клиента, наиболее значимые предикторы оттока и их диапазоны

влияния согласно модели

Page 9: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

SAP Predictive AnalyticsКак построить качественную модель за минуту

Page 10: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

10INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Создание модели

классификации

Page 11: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

11INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Выбираем датасет

Page 12: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

12INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Выбор типа переменных

Page 13: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

13INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Выбор целевой переменной

Исключение переменных

Page 14: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

14INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Процесс обучения

Page 15: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

15INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Формирование отчета по модели

Page 16: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

Результаты моделирования

оттока клиентов

Page 17: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

17INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Метрики качества модели SAP Predictive Analytics

Модель, построенная в SAP Predictive Analytics Automated обеспечивает хорошие

показатели качества AUC ROC = 0.78, при этом полнота определения оттока 80%,

что важно с точки зрения бизнеса

ROC – кривая

Площадь под кривой – мера качества классификатора

AUC ROC = 0.78

Чувств

ите

льно

сть

1-специфичность

Полнота = 80%, точность = 54 %

Полнота гораздо важнее точности!

Потеря клиента несет значительно

большие убытки, чем программа

лояльности / скидка для клиента

Page 18: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

18INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Мы сравнили эффективность нашей модели с

популярными open source реализациями

моделей машинного обучения «из коробки»:

▪ Метод опорных векторов

▪ Логистическая регрессия

▪ Случайные лес

▪ Градиентный бустинг

Сравнение с популярными open source реализациями

Модель, построенная в SAP Predictive Analytics,

опережает все четыре бейзлайн-модели

Page 19: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

19INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Результаты. Значимость признаков

Наиболее значимыми факторами, влияющими на отток, являются величина месячных и

общих расходов на обслуживание, длительность пребывания в статусе клиента

Месячный счетОбщие расходы

Срок пребыванияИнтернет услуги

Тип договораБезопасность

Page 20: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

20INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Результаты. Веса признаков

Модель является интерпретируемой в том смысле, что весовые коэффициенты

модели характеризуют вклад предиктора в вероятность оттока

Page 21: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

21INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Результаты. Оценка значимости интервалов

Из анализа интервалов значимости можно сделать вывод, чем дольше человек

является клиентом компании, тем менее он склонен к оттоку. Граница

составляет 21 месяц

Page 22: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

22INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Результаты. Оценка значимости интервалов

Обнаружены диапазоны месячной оплаты, при которых наблюдается повышение

или снижение вероятности оттока клиента, что позволяет выработать рекомендации

по акциям и программам лояльности

Page 23: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

23INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Результаты. Оценка значимости интервалов

Обнаружены диапазоны общих затрат, при которых наблюдается повышение / снижение

вероятности оттока клиента, что позволяет выработать рекомендации по акциям и

программам лояльности

Page 24: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

Расчет экономического эффекта

Page 25: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

25INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Экономический эффект от модели. Предположения

Для целей нашего анализа мы сделали 3 предположения:

• Для каждого клиента, покинувшего компанию, компания заменит этого клиента другим за 10-

30 тыс. рублей. Маркетинг, реклама, прочие акции - стоимость складывается.

• Мы могли бы удержать каждого покупателя, который с большой вероятности склонен к оттоку,

вложив в повышение его лояльности 6 тыс. рублей. Это может быть за счет скидок,

улучшения обслуживания (например, увеличения скорости интернета) или предоставления

скидок

• Согласно базовой модели мы будем тратить по 6 тыс. рублей на всех клиентов для

повышения их лояльности и предотвращения оттока

Page 26: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

26INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Цены ошибок!Максимизация выгоды

Page 27: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

27INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Экономический эффект от модели

Модель позволяет экономить в общей сложности 18 млн руб., обойдя наивную модель,

когда мы повышаем лояльность всех клиентов - 10,5 млн. руб.

Кривая выгоды

Page 28: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

28INTERNAL© 2019 SAP SE or an SAP affiliate company. All rights reserved. ǀ

Заключение

• Инструмент SAP Predictive Analytics успешно применен для решения задачи

прогнозирования оттока клиентов. Модель построена в автоматическом

режиме с минимальным участием аналитика

• Модель SAP Predictive Analytics «из коробки» победила среди набора

популярных моделей из open source библиотек (логистическая регрессия,

градиентный бустинг и др.)

• Модель показывает отличное значение полноты = 81%

• В целом, наша модель позволяет сэкономить в общей сложности около 18

млн. руб., обойдя «наивную» модель, когда мы повышаем лояльность всех

клиентов, что экономит 10 млн. руб.

Page 29: SAP Predictive Analytics для прогнозирования …...2019/04/23  · Для целей нашего анализа мы сделали 3 предположения:

Partner logo

Contact information:

Sergey Abdurakipov

Title

Address

Phone number

Thank you.