hp vertica
DESCRIPTION
HP Vertica. Гиоев Артур Технический директор HP Software по России и Странам СНГ. Введение в vertica. Big Data, Data Analytics ... Simply Fast. Мы живем в мире аналитики. Создавая новые возможности !. Все больше данных , и они постоянно прибывают - PowerPoint PPT PresentationTRANSCRIPT
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
HP VerticaГиоев АртурТехнический директор HP Software по России и Странам СНГ
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Введение в verticaBig Data, Data Analytics ... Simply Fast
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.3
Мы живем в мире аналитики
Создавая новые возможности!
•Все больше данных, и они постоянно прибывают•Больше не тратить ночи на загрузки данных•Смешивать загрузку данных и доступ разнообразных пользователей•Необходимость сохранять исторические данные для последующего анализа
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.4 4
Вы готовы к анализу данных?Объем информации растет;IDC предсказывает роствв следующем десятилетии
44 разануждается в информации, а не только аналитики
Каждый
данные и связи между нимиРАЗНЬЕ
Нужно анализировать
и адаптироватьROI
«Return on Information»- сколько денегможно получить заинформацию?Новая метрика.
Аналитические платформы активновнедряются, происходитсмещение тратна
специализи-рованные системы
*IDC report 2009
Fortune2000
100% компанийиз списка
анализируютданные
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.5
Размер и классификация хранилища данных, сегодняБольшие Данные это сколько?
<500ГБ – Маленькое
500ГБ > 20ТБ – Типовое
20ТБ > 50ТБ – Большое
>50ТБ – очень Большое
Несколько лет назад хранилище размером больше нескольких ТБ было редкостью
5
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.6
Даже очень большихПример Больших Данных
40 млн. игроковрегистрируется каждый клик3ТБ данных в день200 машин в кластере- анализ в реальном времени и мгновенное предоставление информации в виде рекомендаций- непрерывная работа 24х7х365 – никаких «окон» на загрузку данных
6
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.7
Аналитика “точно вовремя”
в 50–1000 раз быстрее среднее время обработки запросов чем в традиционных построчных системах
До 10x прирост скорости загрузки данных
Простота установки/использования
Высокая масштабируемость и полный параллелизм
Индустриально стандартная платформа x86
Гибридная in-memory/on-disk архитектура
Хранение данных близко к процессору
Большие масштабы, широкие возможности
The Vertica Аналитическая платформа Реального времениИнтегрированное решение разработанное для ответа
аналитическим задачам сегодня и завтра
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Обзор технологии Vertica
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.9
Vertica позволяет• Повышение
производительности в 10 – 100 раз
• Высокая масштабируемость от TB к PB
• Простая интеграция с существующими решениями ETL и BI
• Высочайшая производительность на доступной аппаратной платформе
• Высокая гибкость развертывания
Основной функционал Vertica
Технический обзор Vertica
• Колоночное хранение• Продвинутое сжатие• Обработка данных с
массовым параллелизмом(MPP)
• Автоматизированный Дизайнер БД
• Встроенная поддержка высокой доступности
Стандартный SQL интерфейс
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.10
Колоночное хранениеVertica интелектуально организует данные на диске для каждой
колонки• Читаются только колонки участвующие в запросе, а не каждая как в случае с
построчным хранением• Чтение и Запись блоков очень большого размера• Идеально для интенсивной работы в режиме ЗАГРУЗКА/ЧТЕНИЕ с серьезным
сокращением операций ввода/вывода
AAPL NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/05/09
5/05/095/06/095/05/095/06/09
143.74143.75 37.03 37.13
AAPL NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 143.74 NYSE NYSE NYSE 5/06/09
BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.03 NYSE NYSE NYSE 5/05/09
BBY NYASE NYAASE NYSE NYASE NGGYSE NYGGGSE NYSE NYSE NYSE 37.13 NYSE NYSE NYSE 5/06/09
SELECT avg(price)FROMtickstore WHERE symbol = ‘AAPL’ ANDdate = ‘5/06/09’;
Колоночное хранение – читаются 3 колонки
Строчное хранение - читаются все колонки
NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS
NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS
NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS
NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS
NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS
NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS
NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS
NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS
NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS NYSE NYSE NYSE NQDS
AAPLAAPLBBYBBY
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.11
Механизм раскодирования Раскодирование на лету
Engine:Раскодиро
вание блоков
Буфер: Только
распаковка
Сеть:Раскодированн
ые блоки+ возможно
использование LZO
Transaction Date Customer ID Trade
5/05/2009
5/05/20095/05/20095/05/20095/05/20095/05/20095/05/20095/05/20095/05/2009
000000100000010000003000000300000050000011000001100000200000026000005000000510000052
100.25100.50100.75100.25100.75101.00101.25100.75101.25100.75100.00100.50
Несколько значений
Отсортировано
5/05/2009, 16
RLE
00000010224
1010192549
DeltaVal
100.251231345353
GCD
Много значений
ЦелоеМожет быть
отсортировано
Много значений
Отсортировано
Сырые данные
Сжатые данные
Диск:Кодирование
+ Сжатие
Множество других…
Раскодированный результат
Просто во время
Продвинутое сжатиеVertica заменяет медленные операции ввода/вывода быстрыми циклами
процессора через агрессивное сжатие Используют свойства данных такие как сортировка Работает на больших объемах
чисел и строк Может работать без первичного раскодирования Интеллектуальное
раскодирование как можно позднее
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.12
100% пиринговая сеть – нет блокировок
Нет специализированных узловЗагрузка данных и запросы на
любом узлеЛинейная масштабируемостьБольше кластер = больше места
для данных + выше производительность
Автоматическая репликация и восстановление после сбоев
Клас
терн
ая с
еть
Внеш
няя
сеть
Кластеризация (MPP)Горизонтальное масштабирование, массовая параллельная обработка
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.13
Автоматизированный дизайн и Администрирование
A B A
(A B C | A) (B A C | B A)
B C C
> Физическую схему для:Выполнения запросов в тестовом наборе
быстроПодходит для плавной загрузки
требованийУверенность в том, что все SQL запросы
могут быть отвечены
БД дизайнер создаетАдминистраторы БД
> Логическую схему
Создание таблиц
> “Тестовый набор”
Типичные запросы
Примеры данных
> Уровень защиты от сбоев
k-safety
Vertica Database Designer рекомендован для наилучшей оптимизации дизайна БД
Оптимизация для потребностей пользовательских запросов Минимизация усилий администраторов БД затрачиваемых на физический дизайн
БД Запуск и работа дизайнера БД в режиме ONLINE без влияния на текущую
обработку
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.14
Native High Availability
A3 B3 C3 A2 B2 C2
B1 A1 C1B2 A2 C2 B1 A1 C1
A3 B3 C3 A1 B1 C1
B3 A3 C3
Функциональность как у RAID внутри БД Проекции распределены по по ячейкам для отказоустойчивости Нет нужны в ручном восстановлении на основе логов
Vertica продолжает загрузку данных и исполнение запросов даже когда один из узлов не доступенПропавшие данные восстанавливаются с оставшихся узлов кластера
Узел 1 Узел 2 Узел 3
Vertica Кластер из трех узлов
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.15
15
HP Confidential
Стандартный интерфейс на основе SQL
SQL, ODBC, JDBC
Массовая и поточная загрузка
ETL, Replication, Data Quality Analytics, Reporting
Vertica поддерживает ANSI SQL-99 plus Analytics для минимизации интеграционных затрат существующими инструментами BI и ETL
ANSI SQL-99 +AnalyticsПростая интеграцияVertica’s Hadoop
ConnectorКоннекторы БД для
JDBCODBCADO.NET
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.16
16
HP Confidential
•Процессоры x86-64 (Intel/AMD)•Хранилище: SAS, SATA, SAN и SSD•Gigabit Ethernet Backbone•Linux– Red Hat Enterprise Linux– SUSE – Debian– CentOS•Не требуется дополнительных затрат на лицензии при увеличении аппаратной платформы
Платформа Vertica Пример HP/Vertica> HP c7000 > Загрузка и запросы в
реальном времени> 100-250x (ср.) быстрее
запросы> Масштабируемо (просто
добавьте лезвие)> Строенная высокая
доступность> Прямо из коробки
интеграция с ETL и сервисами отчетности
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Заказчики
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.18
18
HP Confidential
360+ Заказчиков и продолжает расти
© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Спасибо