Инфраструктура хранения для kadme whereoil
DESCRIPTION
Описание подходов "СетьПроекта" к построению инфраструктуры архива геолого-геофизических данных на платформе KADME WhereoilTRANSCRIPT
![Page 1: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/1.jpg)
Инфраструктура хранения для универсальной платформы KADME WhereOil
Всеволод Шабад, «СетьПроект»
![Page 2: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/2.jpg)
Ключевые функции KADME Whereoil
Функции работы с данными •загрузка •(до)атрибутирование •хранение •поиск •выдача
Режимы работы •ручной •автоматический
Хранение •локально •распределённо
2
![Page 3: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/3.jpg)
Комплекс универсальных требований
Функциональность
Производительность
Надёжность
Масштабируемость
Безопасность
Экономичность
3
![Page 4: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/4.jpg)
Особенности требований KADME
Огромные объемы данных
Территориальная распределённость
Множество смежных систем •в том числе, очень странных и древних
4
![Page 5: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/5.jpg)
KADME: функциональные требования
Хранение: •баз данных •файлов
Доступ: •блочный •файловый (CIFS) •файловый (NFS)
Авторизация доступа: •Active Directory •LDAP
Целостное резервное копирование •мгновенные снимки, группы консистентности
5
![Page 6: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/6.jpg)
KADME: требования производительности
Быстрый произвольный доступ •БД, мелкие файлы
Быстрый последовательный доступ •крупные файлы (сейсмика) •баз данных •файлов
Снимки без потерь производительности
Конкретные цифры зависят от конкретного заказчика!
6
![Page 7: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/7.jpg)
KADME: требования надёжности
Устойчивость к отказам «железа»
Устойчивость к отказам ЦОДа в целом
Устойчивость к отказам носителей информации
Устойчивость к ошибкам персонала
Допустимые потери данных и допустимые простои сервиса зависят от конкретного заказчика!
7
![Page 8: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/8.jpg)
KADME: требования масштабируемости
Готовность к росту: •объемов данных •размеров отдельных файлов •количества файлов •количества сайтов •скоростей работы •количества смежных систем •количества пользователей
Нелинейный рост стоимости и сложности по мере роста требований!
8
![Page 9: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/9.jpg)
KADME: требования безопасности
Возможность разграничения доступа •authentication •authorization •accounting
Возможность криптозащиты данных
Возможность криптозащиты каналов связи
У разных заказчиков и в разных странах и требования разные!
9
![Page 10: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/10.jpg)
KADME: требования экономичности
Низкая стоимость создания системы
Низкая стоимость расширения системы
Низкая стоимость хранения данных
10
![Page 11: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/11.jpg)
Возможности СХД NetApp FAS
Функциональность: •унифицированный доступ
•SAN FC, iSCSI --- СУБД •NAS (NFS 4.1, SMB 3.0) --- файлы
•авторизация доступа: •Active Directory •LDAP •Kerberos
•целостное резервное копирование •мгновенные снимки
•без потери производительности •целостные на уровне приложений (SQL,
Oracle, Exchange, …) •группы консистентности (через NetApp ZAPI)
11
![Page 12: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/12.jpg)
Возможности СХД NetApp FAS
Производительность: •быстрый произвольный доступ
•оптимизация записи (WAFL, RAID-DP)
•оптимизация чтения (FlashCache)
•быстрый последовательный доступ
•снимки без потерь производительности
12
![Page 13: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/13.jpg)
Возможности СХД NetApp FAS
Надёжность: •дублированы все компоненты •кластеризация (до 24 контроллеров) •репликация SnapMirror (sync, async, semi-sync) •RAID-DP (допустимы двойные отказы дисков) •disk scrubbing •NFS 4.1, SMB 3.0 (NAS), ALUA (FC) •развитые средства резервного копирования
•SnapMirror (снимки) •SnapVault (+хранилище снимков) •SnapProtect (+ленты, + агенты для
приложений)
IDC --- надёжность 99,999%
13
![Page 14: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/14.jpg)
Возможности СХД NetApp FAS
Расширяемость: •2200→3200→6200,
общая ОС, общие полки •до 24 узлов
в кластере •до 1440 дисков на
пару контроллеров •до 15 тыс. дисков
на кластер •ёмкость до 69 ПБ
на кластер •файлы размером
до 20 ПБ
14
0
200000
400000
600000
800000
1000000
1200000
1400000
1600000
4 8 12 16 20 24
NFS IOPS
![Page 15: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/15.jpg)
Возможности СХД NetApp FAS
Безопасность: •возможности разграничения доступа
•authentication •Active Directory, LDAP, Kerberos
•authorization •accounting
•делегирование администрирования (MultiStore) •криптозащита данных на дисках •криптозащита каналов связи (SSH, SSL) •«песочница» (FlexClone)
15
![Page 16: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/16.jpg)
Возможности СХД NetApp FAS
Экономичность: •RAID-DP (надёжность RAID-6,
производительность RAID-10) •дедупликация •компрессия •мгновенные снимки
16
![Page 17: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/17.jpg)
Преимущества перед EMC Isilon
Эффективность хранения: •RAID-DP, компрессия, дедупликация
Производительность NFS IOPS (максимальные конфигурации):
•1’112’705 (EMC Isilon) •1’512’784 (NetApp FAS) +36%
Масштабируемость и экономичность •см. следующий слайд
Полноценная поддержка клиентов MS Windows •в т. ч. Active Directory и SMB 3.0
Непрерывность работы во всех ситуациях
17
![Page 18: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/18.jpg)
Масштабируемость и экономичность
250 000
NFS IOPS
500 000
NFS IOPS
1 000 000
NFS IOPS
дисков ТБ дисков ТБ дисков ТБ
NetApp
FAS
288 48 576 96 1152 192
EMC
Isilon
672 172.3 1344 344.5 3360 864
18
Из http://www.spec.org/sfs2008/results/sfs2008nfs.html
![Page 19: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/19.jpg)
Что лучше — лента или диск?
Надёжность хранения
Стоимость носителя
Возможность дедупликации и компрессии
Количество и размер объектов восстановления
Скорость чтения и записи (max/min)
Риск потери и компрометации носителя
Наличие каналов связи между площадками
Нагрузка на перекрытия
19
![Page 20: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/20.jpg)
Вместе мы — сила!
20
![Page 21: Инфраструктура хранения для KADME Whereoil](https://reader030.vdocuments.site/reader030/viewer/2022012305/5589e963d8b42ad1378b4665/html5/thumbnails/21.jpg)
21
Действуем?
http://www.netproject.ru