predictive models for operational analytics

ПРЕДИКТИВНЫЕ МОДЕЛИ в задачах операционной аналитики

Предиктивные модели в задачах операционной аналитики

Konstan<n Obukhov, Data Scien+st at CleverDATA 25.02.2015

cleverdata.ru | [email protected]

Agenda

1.   Чем занимается Data Science? 2.   Предиктивная аналитика и моделирование 3.   Проблематика IT Opera<ons 4.   Прогнозная модель сбоев в работе систем


Предиктивная аналитика и Data Science

Объем

Скорость Вариативность

Скрытые знания

Конкурентное преимущество

Анализ и обработка Предиктивные модели

Data Science превращает объем, скорость и вариативность Big Data в знания, которые позволяют вывести бизнес на новый уровень

BIG DATA


Отличие Data Science от традиционной аналитики

Методы традиционной аналитики опираются на гипотезу

Гипотеза:

Фактор Х влияет на эффективность работы системы

Аналитика:

0 2 4 6 8 10

1 2 3 4 5 6 7 Эф

фективн

ость

X

Результат:

Для увеличения эффективности необходимо уменьшить Х


Отличие Data Science от традиционной аналитики

Данные:

Структурированные и Неструктурированные данные из различных источников

Результат:

Построена прогнозная модель эффективности работы системы

В Data Science данные сами порождают анализ

Исследование:

Установлена значимая отрицательная корреляция фактора Х и эффективности


Agenda


Технологии Data Science

Обработка больших данных

Предиктивная аналитика

Машинное обучение


Аналитика: от дескриптивной к предиктивной

Ценность для бизнеса

Технологическое развитие

Описательные отчеты

Аналитика в реальном времени

Предиктивная аналитика

•  Информация о произошедших событиях

•  Ретроспективный анализ на исторических данных

•  Мгновенное оповещение о событиях

•  Применение необходимых действий по реагированию

•  Выявление скрытых знаний в больших объемах данных

•  Построение прогнозных моделей и мониторинг

Дескриптивны

й анализ

Пр

едиктивное мод

елирование


Актуальные задачи IT Opera<ons

•  Управление ресурсами •  Мониторинг инфраструктуры •  Дизайн архитектуры •  Внедрение новых элементов и оборудования •  Выполнение операций •  Поддержка систем

Актуальной проблемой является выявление сбоев в работе различных систем


Неэффективность традиционных методов прогнозирования

Простейшие модели выявления сбоев имеют:

•  Низкую точность детектирования – настоящие сбои не идентифицируются системой •  Высокую ошибку ложной тревоги – нормальная работа системы может считаться сбоем •  Высокие вычислительные затраты – большая нагрузка на систему, невозможность

реагирования на ситуацию в реальном времени

Основными трудностями задачи прогнозирования являются множество различных неструктурированных данных из разных источников, а также редкие случаи сбоев. Для решения необходим комплексный подход к прогнозированию с помощью

алгоритмов машинного обучения.


4 этапа построения модели

1. Необходимо правильно обработать данные

•  Модель структурирования потоковых данных позволяет извлечь из машинных данных важные признаки

•  Без обработки данных увеличивается

погрешность прогнозирования До обработки После обработки

Паттерн сбоя

2. Необходимо найти сбои в исторических данных

•  Для того, чтобы прогнозировать сбои в будущем, необходимо «обучиться» на прошлых ошибках.

•  Вероятностная модель определяет сбои как значимые

отклонения от нормального состояния работы систем

Детектирование значимых отклонений от нормы


4 этапа построения модели

3. Выявление значимых признаков сбоев

•  Выявив сбои, необходимо автоматически найти причины их возникновения

•  Методы корреляционного анализа позволяют найти причины прошедших сбоев

•  Используя предвестники сбоев в системах можно заранее прогнозировать ошибки и предотвратить их Корреляционная матрица признаков сбоев

4. Построение предиктивной модели

•  Модель обучается на исторических данных, сопоставляя прошлым наблюдениям будущую вероятность сбоя в различных временных интервалах

•  В реальном времени модель отслеживает показатели систем и триггеры ошибок, рассчитывая будущую вероятность сбоя


Результаты и применение

Повышение операционной эффективности Предиктивные модели позволят извлекать ценность из машинных данных и соблюдать SLA

Уменьшение MTTR/MTTI на 70% Снижение среднего времени между отказами (MTBF), среднего времени на поиск(MTTI) и устранение(MTTR) сбоя за счет проактивного мониторинга в реальном времени

Прогнозный мониторинг Уделяйте больше времени на развитие вашего бизнеса, чем на мониторинг сложной ИТ инфраструктуры

Планирование ресурсов IT Детальное представление о распределении и потреблении вычислительных мощностей

predictive models for operational analytics

Data & Analytics