cnews big data
TRANSCRIPT
![Page 1: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/1.jpg)
BIG DATA
МОСКВА 2015
![Page 2: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/2.jpg)
![Page 3: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/3.jpg)
BIG DATA
Термин «большие данные» относится к наборам данных, размер которых превосходит возможности типичных баз данных (БД) по занесению, хранению, управлению и анализу информации.
McKinsey Institute
![Page 4: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/4.jpg)
![Page 5: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/5.jpg)
Основные типы BIG DATA
• Структурированные– Табличные данные, аналитика
• Медиа– 1 GB+ файлы с видео, изображениями
• Объектные– Миллионы случайных объектов
![Page 6: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/6.jpg)
![Page 7: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/7.jpg)
![Page 8: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/8.jpg)
Структурированные
• Структурированные данные– Набор однотипных компонентов
![Page 9: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/9.jpg)
Структурированные
• Структурированные данные– Набор однотипных компонентов
• Например– SMS– 500 млрд в месяц
![Page 10: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/10.jpg)
Аналитика
• Есть ложь, есть наглая ложь и статистика
![Page 11: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/11.jpg)
Аналитика
• Есть ложь, есть наглая ложь и статистика
• 1я Мировая Война– Обязательное ношение стальных касок– Взрывной рост количества ранений в голову
![Page 12: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/12.jpg)
Аналитика
• Есть ложь, есть наглая ложь и статистика
• 1я Мировая Война– Обязательное ношение стальных касок– Взрывной рост количества ранений в голову– Резкое падение смертности
![Page 13: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/13.jpg)
Аналитика
• Есть ложь, есть наглая ложь и статистика
• 1я Мировая Война– Обязательное ношение стальных касок– Взрывной рост количества ранений в голову– Резкое падение смертности
• Ценность аналитики– Полнота данных– Корректность модели– GIGO – мусор на входе, мусор на выходе
![Page 14: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/14.jpg)
![Page 15: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/15.jpg)
Новые сюрпризы
• 12 летняя девочка – Предложения для беременных– Родители в ярости– Анализ активности в интернет магазине
• Беременность подтвердилась
![Page 16: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/16.jpg)
Новые возможности
• Наблюдение за эпидемией гриппа– Twitter 2011-2013– 5000 публичных твитов в минуту
• В реальном времени– Совпадает с информацией CDC
![Page 17: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/17.jpg)
Медиа данные
• Много БОЛЬШИХ файлов– 1 GB+ файлы с видео, изображениями– Видеомонтаж, видеонаблюдение
![Page 18: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/18.jpg)
Медиа данные
• Много БОЛЬШИХ файлов– 1 GB+ файлы с видео, изображениями– Аэрофотосъемка
![Page 19: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/19.jpg)
Медиа данные
• Много БОЛЬШИХ файлов– 1 GB+ файлы с видео, изображениями– Цифровая медицина (рентген, КТ, МРТ)
![Page 20: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/20.jpg)
Медиа данные
• Много БОЛЬШИХ файлов– 1 GB+ файлы с видео, изображениями– Видеомонтаж– Аэрофотосъемка– Цифровая медицина (рентген, КТ, МРТ)
• Высокая пропускная способность
![Page 21: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/21.jpg)
Объектные
• Миллионы случайных объектов– Облачные хранилища
![Page 22: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/22.jpg)
Объектные
• Миллионы случайных объектов– Архивные системы
![Page 23: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/23.jpg)
Объектные
• Миллионы случайных объектов– Множество совпадающих
• Облачные хранилища– Миллионы пользователей
• Архивные системы– Годы и десятки лет гарантированного
хранения
![Page 24: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/24.jpg)
Трансформация
• Монолитные системы– Обработка за разумное время
невозможна– Максимальный размер ограничен– Производительность ограничена
• Массивно-параллельные системы– Неограниченный рост– Производительность – обратная сторона
размера
![Page 25: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/25.jpg)
Трансформация
• Монолитные системы– Design-to-last– Полное дублирование везде– Держаться до последнего
• Массивно-параллельные системы– Design-to-fail– Главное – работа сервиса, а не железа– Быстрое восстановление
![Page 26: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/26.jpg)
Что делать?
• BIG DATA – это серьезно– Как сэкономить– Где заработать– Деньги – это всегда серьезно
• BIG DATA – не только аналитика
• BIG DATA – это будущее
![Page 27: CNews Big Data](https://reader035.vdocuments.site/reader035/viewer/2022062905/586f90e31a28ab54768b7a5f/html5/thumbnails/27.jpg)
Контактная информация:
Россия, 142784, г. Москва,
Киевское ш., 22-й км., вл. 6, стр. 1, БП ComCity
Тел.: + 7(495) 775 31 20, 363 01 33
Факс: + 7 (495) 363 01 34
E-mail: [email protected]
www.step.ru