tadviser - bi-big data - Макаров

BI & Big Data: вымысел, правда

и практическая польза

Станислав Макаров

30 июня 2015 года | Конференция TAdviser

Big Data и BI Day

Для начала…

BI ↔ Big DataСинонимы? Или есть разница?

http://www.martinsights.com/?p=167

6V: volume, value, variety, veracity, viability, velocity

http://www.infoivy.com/2014/05/how-to-use-big-data-to-predict.html

3V – вчерашний день! Даешь 6 V!

Жизнеспособность

Объем Ценность

Разнообразие

Достоверность

Скорость

Мнения:

Business Intelligence helps find answers to questions you know.

Big Data helps you find the questions you don’t know you want to ask.

http://ericbrown.com/whats-difference-business-intelligence-big-data.htm

Eric D. Brown, D.Sc.SAS Institute

Мое мнение:

Business Intelligence и Big Data –это инструменты для аналитиков.Когда какой применять зависит от задачи.

Но цель одна: получать ответы на свои вопросы, имея на руках данные.

Поэтому с точки зрения бизнеса эти понятия можно не разделять.Это – аналитика.

Чем занимается аналитика

Вымысел, т.е. маркетинговые сказки Небывалый рост данных, легкость и простота анализа, результаты, потрясающие воображение

Сначала напугать заказчика

АААААА!!!Информация растет!Каждую минуту!!!

В интернете много подобной инфографики. И ведь не поспоришь…

Зеттабайт и йотабайт – уже мало.Встречаем Бронтобайт и Геопбайт!

http://www.fastcompany.com/3033549/internet-of-things/hps-post-electronic-solution-to-tomorrows-huge-data

(Покупайте больше дисков!)

Big Data – Quid prodest?

https://www.thatdatadude.com/interactive-chart-hard-drive-prices-1950-2010/

Стоимость гигабайта на жестком диске с 1956 до 2010 года.

Стоимость хранения упала –стало можно хранить все подряд, не задумываясь о ценности и порядке.

Нужны ли нам все эти данные?

Пример: Big Ben и Big Data

Лондон посещает в год 17 млн. туристов.Каждый делает фото Биг Бена.Одна фотография занимает примерно 1 МБ.Итого мы имеем 17 ТБ в год – только Биг Бен.

Сколько в этом полезной информации?

Big Ben photo: About 254,000,000 results

Биг Бен = ¼ Петабайта

Вредные советы

Для проведения анализа состояния дел (выработки рекомендации, решения)

собирайте подряд все данные (информацию), доступные по предмету (клиенту,

отрасли), и делайте это до тех пор, пока все факты и цифры не будут получены и

только потом оценивайте полезность собранных данных.

Благодаря тому, что количество собранных фактов превысит все разумные

пределы, на их основании невозможно будет сделать конкретные выводы,

основанные на фактах и причинно-следственных связях. Представление клиенту

слишком много "интересных" фактов и схем, не имеющих прямого отношения к

проблемам клиента, "затуманивает" внимание последнего.

Такой подход делает консалтинговые услуги обоснованно дорогими, не позволяя

клиенту оценить их качество в момент представления итогового отчета.

Александр Дублин

https://www.facebook.com/alexandr.dublin/posts/10203923997282081?fref=nf

Просто шутка:)

Мнимые закономерности

В отсутствие надежных моделей, обнаруженные при помощи Big Data закономерности, могут оказаться мнимыми.

Чудес не бывает: Из большой кучи данных теория сама собой не построится.

https://hbr.org/2014/03/google-flu-trends-failure-shows-good-data-big-data/

Мнимые закономерности

Глобальное потепление происходит из-за сокращения числа пиратов.

http://www.forbes.com/sites/erikaandersen/2012/03/23/true-fact-the-lack-of-pirates-is-causing-global-warming/

Верите ли вы?

ВЕГЕТАРИАНЦЫ РЕЖЕ ОПАЗДЫВАЮТ

НА САМОЛЕТ.

Это еще одно открытие стартапа Kaggle, который

обнаружил, что люди, сообщившие авиакомпании, что

хотят получить во время полета вегетарианскую пищу,

менее склонны опаздывать на рейс. Объяснение

двоякое: во-первых, такой заказ персонализирует услугу

и делает ее более значимой в глазах потребителя; во-

вторых, пассажиры, которые заранее заботятся

о завтраке, в целом лучше планируют свою жизнь.

http://slon.ru/specials/data-economics/articles/20-unexpected-discoveries/

Разве мы не знали это всегда?

ОЦЕНКИ В ВАШЕМ ДИПЛОМЕ НИЧЕГО

НЕ ЗНАЧАТ.

Google в последние несколько лет активно

переводит свой HR на научную основу, старается

все больше решений принимать на основании

твердых фактов и статистических исследований.

Одно из открытий, сделанных компанией, —

средний балл в аттестате или дипломе никак

не коррелирует с успехами сотрудника на работе.

Мистика!

ПРОДАВАТЬ ЛУЧШЕ В НОВОЛУНИЕ

Софтверная компания InsideSales

исследовала сделки, совершенные группой

продавцов за девять лет, и обнаружила, что средний

объем сделок в новолуние в два раза выше, чем

в полнолуние, и на 43% выше, чем в промежуточных

фазах Луны. Убедительного объяснения не найдено,

но исследователи предполагают, что ответ кроется

в динамике эмоций потребителей, которая, в свою

очередь, связана с природными циклами.

Готовы ли вы к большим данным?

Неконтролируемый доступ к различным источникам вызывает риск того, что человек не может отделить существенную информацию от несущественной.

Умберто ЭКО

Правда, т.е. реальностьВсе будет хорошо, но не быстро

Собственных данных у организаций не так уж много

2009 г.

http://www.b-eye-network.com/blogs/madsen/archives/2009/04/size_of_data_wa.php

Предположим, к 2015, то есть за 6 лет, объемы данных выросли в 100 раз.Все равно мало для Big Data.

Уровень принятия Big Data пока низок

Только 13% внедрили

и используют

http://www.gartner.com/newsroom/id/2854917?nicam=rmsm13

73% интересуются…

Если вы боялись опоздать с Big Data, так пока еще рано волноваться.

Без математики ничего не получится

«Мы говорили о нехватке программистов, но неожиданно сейчас мы столкнулись с нехваткой математиков.

То есть, управление бизнесом сейчас, из-за внедрения аналитики, потребовало высшей математики в гораздо большем объеме. И дефицит профессии, которую условно можно назвать «аналитик» (или data scientist), сейчас налицо.

А математика это вам не экраны пальчиком на планшете двигать, математику учить надо. Тут время понадобится – поэтому эффект от внедрения аналитики будет нарастать довольно долго.»

Кирилл Корнильев:

80-90% полезной для бизнеса

информации хранится в неструктурированном виде.

Взрывной рост объемов данных вызван, прежде всего, ростом неструктурированной информации.

Big Data = Big Content

При этом широко используются только традиционные инструменты Business Intelligence – для работы с числовыми данными.

Big Content – другие инструменты

ABBYY Compreno

http://www.abbyy.ru/isearch/compreno/

Полнотекстовый поиск,морфология, семантика, онтология,искусственный интеллект

Практическая пользаОт банального построения отчетов к искусственному интеллекту

Взрослые очень любят цифры. Когда рассказываешь им о том, что у тебя появился новый друг, они никогда не спросят о самом главном... Они спрашивают: «Сколько зарабатывает его отец?» И после этого воображают, что узнали человека. Когда говоришь взрослым: «Я видел красивый дом из розового кирпича, в окнах у него герань, а на крыше голуби», — они никак не могут представить себе этот дом. Им надо сказать: «Я видел дом за сто тысяч франков», — тогда они восклицают: «Какая красота!»

Не цифрой единой…

Антуан де Сент-Экзюпери(род. 29.06.1900)

IBM Watson – когнитивная система

Одним из самых больших откровений, связанных с Watson, стало то, что при поиске ответов на вопросы можно понять, что вы задаете совсем не те вопросы.

Когда Watson отвечает на ваши вопросы, даже если он дает правильный ответ, вы можете осознать, что нужно было задать другие, более важные вопросы, которые позволили бы взглянуть на вашу бизнес-проблему совершенно иначе. Вы начинаете мыслить так, что вам становятся яснее угрозы со стороны конкурентов и возможности на рынке, которые до сих пор не приходили вам в голову.

IBM Watson for Oncology

«Профессора советуются, как в сложном случае лечить пациента. Watson — тоже часть этого процесса, вдруг мелодичным женским или мужским голосом (что вы там настроите, то и будет) сообщает: Вы знаете, профессор Смит, в этом случае я бы рекомендовал немножко изменить предложенный Вами курс лечения: вместо медикамента такого-то давать вот такой-то. — Почему? — А в работе такого-то от 1983 года сказано, что у больных, имеющих такой-то генетический дефект, это лекарство вызывает побочный эффект. — О, конечно! Кто же против?!»

Кирилл Корнильев

Генеральный Директор ИБМ Восточная Европа/Азия

Интернет вещей – это Big Data

Аналитика сегодня и завтра

Сегодня

•ПРОДАЖИ!• Таргетинг

• Предпочтения

• Лояльность

• и т.д.

Завтра

• Цифровая трансформация• Медицина

• Робототехника

• Интернет вещей

• Умные города

• Искусственный интеллект

О себе: Станислав Макаров

20+ лет в работы в ИТПрограммистом, продавцом, дистрибутором, инженером,

тренером, журналистом, бизнес-аналитиком

Член экспертного совета Докфлоу

facebook.com/s.makarov15twitter.com/Stas_MakarovSkype: Stanislav.Makarovs.makarov15@gmail.com

www.facebook.com/AntiBigData