Технология infiniband скорость, легкость, надежность
TRANSCRIPT
Технология Infiniband: скорость, легкость, надежность
Андрей Фролов
Директор по работе с корпоративными клиентами
Москва, 12.09.2013
2
Согласно прогнозам IDC, к 2020 г. цифровая Вселенная достигнет объема в 40 зеттабайт (на 5 зеттабайт больше прежнего прогноза). Всего с начала 2010 года объем данных вырос в 50 раз. По данным исследования, по всему миру будет создано и использовано 2,8 зеттабайт данных
ПРОГНОЗЫ
3
ПРОГНОЗЫ
4
Infiniband — это высокоскоростная коммутируемая последовательная шина, применяющаяся как для внутренних (внутрисистемных), так и для межсистемных соединений
INFINIBAND – ЧТО ЭТО?
5
INFINIBAND – САМАЯ ПРИМЕНЯЕМАЯ
ТЕХНОЛОГИЯ ДЛЯ СУПЕРКОМПЬЮТЕРОВ
6
ПРЕИМУЩЕСТВО IB №1 – СКОРОСТЬ
SDR DDR QDR FDR EDR
1X 2,5 / 2 Гбит/с
5 / 4 Гбит/с 10 / 8 Гбит/с
14,0625 / 14 Гбит/с
25,78125 / 25 Гбит/с
4X 10 / 8 Гбит/с
20 / 16 Гбит/с
40 / 32 Гбит/с
56,25 / 56 Гбит/с
103,125 / 100 Гбит/с
12X 30 / 24 Гбит/с
60 / 48 Гбит/с
120 / 96 Гбит/с
168,75 / 168 Гбит/с
309,375 / 300 Гбит/с
Пропускная способность интерфейса Infiniband, raw / data
7
ПРЕИМУЩЕСТВО IB №2 –
ПРОСТОТА И НАДЕЖНОСТЬ
• InfiniBand позволяет заменить три кабеля — Ethernet, кабели к подсистеме хранения и кабели межпроцессного взаимодействия – одним соединением
• Автоконфигурирование портов/системы
• Сокращение потребления пропускной способности памяти и контекстных переключений
• Шесть режимов передачи данных
• Forward Error Correction, которая позволяет устройствам InfiniBand исправлять битовые ошибки в сети и сокращает издержки на данные транзакции
8
ПРЕИМУЩЕСТВО IB №3 –
МИНИМАЛЬНЫЕ ЗАДЕРЖКИ
9
ПРИМЕР
• Повышение производительности системы в 10 раз!
• Снижение совокупной стоимости владения на 50%
10
ОНИ ТОЖЕ ПРИМЕНЯЮТ INFINIBAND
11
СУПЕРКОМПЬЮТЕР «ЛОМОНОСОВ»
• По состоянию на июнь 2013 года — 31 место в рейтинге ТОР500 самых мощных суперкомпьютеров в мире
• Узлы: более 7 000: T-Platforms T-Blade2/1.1, Xeon X5570/X5670/E5630 2.93/2.53 GHz, Nvidia 2070 GPU, PowerXCell 8i
• Сеть: Infiniband QDR (производства Mellanox) • Число ядер: 78660 • Пиковая производительность: 1700.2 Тфлопс
12
ОПЫТ КОМПАНИИ КРОК
13
ЦОД «КОМПРЕССОР»
• Дата-центр «Компрессор» – крупнейший коммерческий центр обработки данных компании КРОК. На базе данной площадки заказчикам предлагается широкий ассортимент аутсорсинговых услуг
• ЦОД уже получил сертификат в Uptime Institute по уровню TIER III, что соответствует коэффициенту отказоустойчивости 99,982%
• ЦОД «Компрессор» общей площадью 5000 квадратных метров позволяет разметить 800 стоек. Средняя электрическая мощность одной стойки — 6 кВт. Общая мощность электроснабжения ЦОД — 8 МВт
14
АРХИТЕКТУРА СЕТИ
15
ПОЛНЫЙ СПЕКТР КОМПОНЕНТОВ MELLANOX
16
ИТОГИ ЭКСПЛУАТАЦИИ
• Суммарный период эксплуатации – с мая 2012
• Промышленной эксплуатации – с апреля 2013
• 504 IB порта
• Около 140 серверов
• Без единого сбоя!
17
ОБЩИЕ ПРЕДПОСЫЛКИ
ИСПОЛЬЗОВАНИЯ INFINIBAND
• Если есть/будут бизнес-критичные приложения, требующие минимизации задержки в работе
• Если планируется строительство нового ЦОДа
• Если планируется радикальный апгрейд серверного парка
• Если планируется внедрение новых СХД
18
• Про технологию Infiniband
Статья: «InfiniBand: архитектура коммутации для серверов, запоминающих устройств и коммуникационных систем»
Автор: Кевин Дайерлинг (Kevin Deierling), Mellanox Technologies
• Про опыт КРОК в применении Infiniband для снижения задержек в работе приложений
Пост: Про InfiniBand: как мы уменьшали пинг с 7 мкс до 2,4 мкс (и результаты тестов)
Ссылка: http://habrahabr.ru/company/croc/blog/191306/
СПИСОК РЕКОМЕНДУЕМОЙ ЛИТЕРАТУРЫ
19
СПАСИБО ЗА ВНИМАНИЕ!
Андрей Фролов
Директор по работе с корпоративными клиентами
111033, Москва, ул. Волочаевская, д.5, корп.1 +7 495 974 2274 доб. 2752, +7 495 974 2277 (факс)
[email protected] www.croc.ru