Большие Данные

Леонид Жуков Факультет Бизнес Информатики

[email protected] Высшая школа экономики, Москва, 2013

www.hse.ru

XII Международный Инвестиционный Форум Сочи-2013

Высшая школа экономики, Москва, 2013

Революция Больших Данных

фото

фото

фото Май 2011

2


Революция Больших Данных

фото

фото

фото

3


Большие Данные

фото

Явление характеризуемое быстрым увеличением объема

накапливаемых данных, скорости их поступления и разнообразии источников

•  «Три V» характеристика: •  Объем (Volume) •  Скорость ( Velocity) •  Разнообразие (Veriety)

4


Источники данных

фото

фото

фото

5


Скорость поступления данных

фото

фото

6

2012: •  Twitter: 175 млн tweet сообщений в день •  Facebook: 300 млн загруженных фото в день •  Google: 1.2 триллиона запросов за год •  AT&T передает 30 PB в день •  Walmart > 1 млн продаж в час •  Кредитные карты > 10,000 транзакций в секунду •  Boing 787 передает 0.5 TB телеметрических данных

за полет, 100 тыс. рейсов в день

Библиотека Конгресса США содержит 33 млн книг, всего 150 млн печатных изданий: 235 TB


Объемы данных

фото

фото

фото

В 2011г «Цифровая Вселенная»

1.8 ZETTABYTES 1,800,000,000,000,000,000,000

Zetta Exa Peta Tera Giga Mega Kilo Byte

К 2015 объем данных вырастет до 8 ZB, к 2020 в 44 раза до 35 ZB 7

9 млн Библиотек Конгресса США 60 млрд iPhone 32 GB


Технологии Больших Данных

фото

фото

фото

•  Основы технологии разработаны в Google

2003, MapReduce •  Открытое ПО, Hadoop (Yahoo) •  Система массивно параллельной

обработки данных на кластерах дешевых компьютеров

•  Значительное удешевление хранения •  Экосистема Биг Дата стартапов:

Cloudera, MapR, HortonWorks •  Крупные вендоры EMC, IBM, HP, Oracle •  Большой вклад в открытые проекты:

Facebook, Twitter, Amazon, LinkedIn

8


Большие Данные

фото

фото

фото

Уникальность подхода Больших Данных заключается в агрегировании огромной информации из разных источников в одном месте

•  Обобщенные вид на данные позволяет находить скрытые связи и закономерности

•  Данные обладают огромной предсказательной силой

•  Доступны вычислительные мощности достаточные для очень детальных расчетов

9


Галерея проектов

фото

фото

Примеры компаний и проектов с Большими Данными •  Сбор и обработка массивов данных •  Стартапы, небольшие проекты •  Частное и государственное финансирование •  Социальная направленность (social course)

10


Большие Данные в городе: умный и удобный город

фото

фото

фото

Сан-Франциско: датчики парковки, датчики скорости транспортных потоков, GPS в общественном транспорте

Использование: •  нахождение свободных парковок •  точное время прибытия общественного транспорта

11


Большие Данные в городе: безопасный город

фото

фото

фото

Лос-Анджелес: предсказания преступлений

LAPD (predictive policing, 2011-2013): •  Определение мест и времени с повышенной

вероятностью совершения преступлений •  Исторические данные о преступности в городе

(80 месяцев), демографические и др. данные, социологические модели

•  Преступления против собственности снизились за год на 12%

•  UCLA, UC Santa Cruz

12


Большие Данные в экономике

фото

фото

фото

13

•  MIT научный проект, Billion Prices Project •  Ежедневно собирают с е-магазинов цены на

товары: •  > 900 магазинов, 70 стран, 5 млн товаров

•  Автоматически вычисляют: •  Индекс потребительских цен •  Уровень инфляции

•  Бюро Статистики труда: 90 городов, 80,000 товаров, сотни сотрудников, $250 млн в год, задержка 2-4 недели

The key advantage of our series is the ability to anticipate major shifts in underlying inflation trends

7 Source: BPP – PriceStats – BLS (CPI-U, US city-average, all items, NSA)

Example: State Street PriceStats US Aggregate Inflation Series

online

09/15/2008 Lehman’s Bankruptcy

January 2011

May 2011

12/20/2008

Jan 2012


Большие Данные для здоровья

фото

фото

фото

14

Платформa мониторинга астмы и других респираторных заболеваний •  Помогать пациентам и врачам лучше справляется

с заболеванием •  Ингаляторы с встроенными сенсорами,

мобильные приложения •  Дневник пациента, доступен врачу онлайн •  Неотложная помощь •  Глобальная аналитика по заболеванию

Системы self-мониторинга (quantify-self ): •  Fitbit, Jawbone: физические нагрузка •  Wahoo: сердечный ритм •  Zeo: ночной сон (EEG) •  AliveCor: одноканальная кардиограмма (ECG)


Большие Данные в образовании

фото

фото

фото

Платформа онлайн обучения •  MOOC (Massive Online Open Course) •  “Ivy League” для масс •  Лучшие курсы лучших университетов •  Повсеместная доступность •  Универсальность программы обучения •  Бесплатное обучение •  Coursera, edX, Udemy

Coursera: •  Первые 2 курса из Стэнфорда в 2012 •  80 университетов, 400 курсов •  200,000 студентов на курсе •  4.5млн обучаемых

15


Государство и Большие Данные

фото

Государство является крупнейшим производителем, потребителем и хранителем данных Переход к технологиям Больших Данных может:

•  Увеличить эффективность управления •  Обеспечить прозрачность принятия решений •  Укрепить безопасность государства и граждан •  Улучшить медицину и медицинское обслуживание •  Поднять общий уровень образования •  Персонализировать взаимодействие граждан с

органами государственной власти и местного самоуправления

•  Улучшить жизнь граждан

16

101000, Россия, Москва, Мясницкая ул., д. 20 Тел.: (495) 621-7983, факс: (495) 628-7931

www.hse.ru

Большие Данные

Documents

hse

twitter