big data technology - solit 2015 conference
TRANSCRIPT
Роль Big Data в ИТDmitry Tolpeko, EPAM Systems – Solit 2015 – March 14-15, 2015
О себе
•Ведущий разработчик в EPAM, BI Solution Practice
•Занимаюсь развитием экспертизы Big Data в EPAM
•Лидер Belarus Big Data User Group
Big Data Технологии
• Проблемы в бизнес аналитике
• Как Big Data технологии могут помочь
• Какие открываются новые возможности
Традиционная Аналитика
Анализ прошедших событий:
• Транзакции
• Покупки
• Заказы и т.д.
Отчеты: раз в день, неделю, квартал, год
Проблемы
• Невозможность повлиять на ситуацию
• Высокая стоимость ошибок
Современные требования
• Анализ предшествующих событий
• Предотвращение нежелательных событий
• Рекомендации, предсказания
Зачем Big Data технологии
• Рост объемов данных в 10-100 и более раз
• Аналитика в режиме реально времени
Internet of Things
Новые источники данных:
• Процессоры
• Cенсоры, датчики
• Web
Самолет: 10 TB за рейс
10.000.000.000.000 байт
Expedia
• Сбор информации о пользователях
• Анализ предложений конкурентов
• Рекомендация отелей, авиаперелетов
Зарождение Big Data технологий
• Yahoo
Что представляют собой Big Data технологии?
Использование множестваобычных компьютеров объединенных в сеть
Десятки, сотни и тысячи компьютеров
Идеальны для облачных технологий
• Новый этап развития Cloudтехнологий
• Низкие затраты на инфраструктуру
• Доступность
Образование и Малый Бизнес
• 100 GB - 10 TB информации
• Доступность аналитики
Признание в индустрии
Ведущие производители ПОаналитики:
• Microsoft
• Oracle
• IBM
• Teradata
Аналитические компании:
• Gartner
• Forrester
Новые концепции и подходы в аналитике
• Активный архив - Data Lake
• Машинное обучение
Возможности для разработчиков
• Анализ потоковых данных –streaming
• Распределенные вычисления
Java, Scala, Python
Возможности Data Science
• Бизнес аналитики
• Разработчики баз данных
• QA специалисты
• Специалисты различных профессий - математики, химики, биологи, физики, медики и др.
Инструменты
• SQL
• Python
• Map Reduce and Spark
• Статистика и теория вероятностей
• Искусственный интеллект и машинное обучение
Рынок Аналитики и Big Data
$125 миллиардов в 2015 - IDC отчет
Нехватка 200.000 специалистов Data Science и аналитиков к 2018
Роль Big Data
Сравнима с появлением:
• Client-Server технологий
• Internet для бизнеса
• Linux
Сообщество Big Data в Беларуси
Belarus Big Data User Group на Facebook:
• Встречи (meetups) раз в месяц
• Конференции раз в год