Решения для ЦОД | aboutdc.ru - Сети ЦОД...
TRANSCRIPT
Сети ЦОД завтрашнего дня:
быстрее, проще, умнее!
Скороходов Александр
Системный инженер-консультант
2
Как просто было жить раньше...
Layer 2
Layer 3
Доступ
Ядро
Распределение Layer 2
Layer 3
Доступ
Ядро
Сервисы
Агрегация
Кампус ЦОД
3
...и как всё изменилось сейчас
Layer 2
Layer 3
Доступ
Ядро
Распределение Layer 2
Layer 3
Доступ
Ядро
Сервисы
Агрегация
Кампус ЦОД
Виртуализация
Сетевые фабрики
Оверлейные сети
40G/100G
Конвергентный транспорт
Облачные вычисления
SDN
Сверхнизкая задержка
4
ТРЕБОВАНИЯ К
АРХИТЕКТУРЕ
РАЗЛИЧНЫЕ
ПОТРЕБНОСТИ
СФЕРЫ
ВНЕДРЕНИЯ
Потребности ЦОД нового поколения
• Масштабирование
• Управляемость
• Поддержка
виртуализации
• L2 и L3 фабрики
• Сегментация
транспорта
• Программные API
• Предсказуемое
поведение
• Мониторинг
НУЖНЫ: ПРОСТОТА, ЭФФЕКТИВНОСТЬ,
РАСШИРЯЕМОСТЬ
ОБЩЕГО НАЗНАЧЕНИЯ
ОБЛАКА И SP
WEB 2.0
HPC И HFT
Workload Mobility
Orchestration Visibility
Environmentals
Programmability
Open APIs
Higher Scale
Single Point oM
Time Sync
Non-blocking Low Latency
Сетевые подключения
6
Повышение производительности
• Причины
– Рост производительности процессоров
• Десятки ядер на сервер, многие десятки «ГГц»
– Виртуализация:
• Десятки VM на один хост – суммирование требований
– Конвергентный транспорт:
• Передача FCoE - производительность не менее 10Гбит/с
• Решения
– 10 Гбит/с до серверов (с сохранением эффективной поддержки 1Гбит/с!)
• Варианты подключения 10G: DAC, AOC, 10GBASE-T
– 40/100 Гбит/с на магистрали
• Требования к СКС
– Горизонтальное масштабирование производительности
• Cisco FabricPath, IETF TRILL
7
Кабель Задержка Потребление Расстояние Технология
Twinax ~0 ~0.1W 10m SFP+ CU Copper
MM 62.5mm MM 50mm
~0 1W 82m 300m
SFP+ SR short reach
MM OM2 MM OM3
~0 1W 10m 100m
SFP+ USR ultra short reach
Cat6 Cat6a/7 Cat6a/7
2.5ms 2.5ms 1.5ms
~6W ~6W ~4W
55m 100m 30m
10GBASE-T
100Mb 1Gb 10Gb
UTP Cat 5 UTP Cat 5
SFP Fiber
10Mb
UTP Cat 3
Mid 1980’s Mid 1990’s Early 2000’s Late 2000’s
X2
SFP+ Cu (BER better than 10 )
SFP+ Fiber Cat 6/7
1 8
10 Gigabit Ethernet варианты подключения серверов
8
Медные кабели SFP+ Direct Attach
● Спецификация: SFF-8431
● Называют DAC, 10G SFP+ Cu, CX1, 10G-CR...
● 2 пары твинаксиального кабеля
● Коннекторы установлены и протестированы на заводе
● Взаимозаменяемость с оптическими трансиверами SFP+
● Низкая стоимость, энергопотребление, минимальная
задержка
● Небольшая длина (до ~10м)
● Оптимально подходит для соединений внутри стойки или
группы стоек
● Поддерживаются на всех моделях Nexus: Nexus
2000/3000/4000/5000/7000
● Вариант: активные оптические кабели (AOC) (меньше
диаметр)
Коннекторы
SFP+
Сечение
Активный
оптический
кабель
9
10GBase-T 10 Gigabit по «витой паре»
• Стандарт: IEEE 802.3an
• Предпочтительный вариант для интегрированных адаптеров
в серверах: возможна совместимость с 10/100/1000
• До 100 метров (по СКС категории 6A или 7)
• Высокая сложность обработки -> высокое
энергопотребление (до 4-8 Вт на порт)
• Уровень ошибок (BER) до 10-12 - проблема для FCoE
• Решаются в новых поколениях микросхем/оборудования
• Поддержка FCoE уже сертифицирована на 5596T/2232TM-E
(до 30м)
• Поддерживается Nexus 2000/3000/5500/7000
10
Выскоскоростной Ethernet High Speed Ethernet: 40G/100G
• Стандарт IEEE 802.3ba - одобрен в июне 2010 г
• Утвержденные варианты интерфейсов 40G:
– 40GBASE-KR4: Соединения внутри устройств
– 40GBASE-CR4: 10 м по твинаксиальному кабелю – 4 x 10G
– 40GBASE-SR4 : 100 м по кабелю OM3 по 4 парам волокон
– 40GBASE-LR4(СWDM): 10 км по одномодовому волокну – 4λ x 10G
– Большие расстояния не стандартизованы
• Утвержденные варианты интерфейсов 100G
– 100GBASE-CR10 : 10 м по твинаксиальному кабелю – 10 x 10G
– 100GBASE-SR10: 100/125 м по кабелю OM3/OM4 по 10 парам
волокон
– 100GBASE-LR4(DWDM):10 км по одномодовому волокну – 4λ x 25G
– 100GBASE-ER4(DWDM):40 км по одномодовому волокну – 4λ x 25G
11
40G: 12F MTP коннектор
Высокоскоростной Ethernet внутри ЦОД Параллельные оптические жилы
100G: 24F MTP коннектор
12
QSFP+ трансиверы и передача 10/40G Гибкость и экономия
1 x QSFP+ обеспечивает замену 4 x 10G SFP+
(расстояние – до 100м на OM3) с меньшей ценой и
энергопотреблением
4 x QSFP+
- 160Gbps
12-fiber MPO
connector with
key on top
#1
#1
2
#1
#1
2
4 LC duplex connectors with latch on top
(unused channels 5 to 8 are cut)
#2
#1
1
#3
#1
0
#4
#9
~1.5W
QSFP+ SR
~1.5W
~1.5W
~1.5W
~1.5W
~1.5W
~1.5W
~1.5W
~1.5W
10G-SR 10G-SR
~1.5W
QSFP+ SR
Переходной кабель MTP12 – 4*LC
Cisco Nexus 6000
Cisco Nexus 2248PQ FEX
13
«Быстрее» ли сеть на 100G, чем на 40G или 10G? Не всегда...
48+16: 640G – 3:1 48+4:640G – 3:1 48+2: 680G – 2.4:1 384x10G = 3,840 96x40G = 3,840 32x100G = 3,200
16
10G 40G 100G
Spine 384x16 384x32 96x4 96x8 32x100 32x100
Leaf 48+16 (3:1) 32+32 (1:1) 48+4 (3:1) 32+8 (1:1) 48+2 (2.4:1) 32+4 (0.8:1)
Число
портов
384x16x3=
18,432
96x4x4x3=
12,288
4x96/4x48=
4,608
8x96/8x32=
3,072
2x32/2x48=
1,536
4x32/4x32=
1,024
Проблемы использования 40G/100G
Сокращение «ширины» уровня spine
Переход к Store-and-Forward – рост
задержки коммутации сравнительно с
Cut-Through (10G->10G)
Более высокая стоимость 100G портов
($/Gbps)
Преимущества 40G/100G?
Сокращение числа интерфейсов,
Уход от 10G port channels
Упрощение топологии
Сокращение задержки коммутации
для коммутаторов Store-and-Forward
14
• 40G (и 100G) – внутри ЦОД, 100G для связи ЦОД
• Подготовка СКС ЦОД к требованиям 40G:
• Многомодовое внедрение: 4 параллельных пары
• Коннектор MTP12: 1x 40G = 6 x 10G с точки зрения СКС
• Обратная совместимость с 10G – универсальные QSFP порты
• Расстояние ограничено 100 м для кабеля OM3 – не 300 м (как для 10G-SR)
• Внедрение 100G:
• Многомодовое внедрение: 10 параллельных пар (коннектор MTP24)
• Одномодовая оптика 100G: большие и энергоёмкие решения (могут уменьшиться в размерах и мощности в следующих поколениях)
• Обратная совместимость СКС:
• Патч-корды и патч-панели MTP <-> LC
• Патч-корды MTP24 – MTP12
• Поддержка на Nexus 3000, 6000, 7000
Применение 40G и 100G
Консолидация ввода-вывода
16
Консолидация ввода-вывода • Потребности
– Рост числа подключений к SAN
• Виртуализация с поддержкой мобильности и HA
• Кластерные системы
• Защита информации средствами СХД
– Большое числе интерфейсов LAN
• Требования виртуализированных внедрений
– Распространение блейд-систем
• Трудно обеспечить много интерфейсов
• Решения
– FCoE для SAN трафика
• Консолидация и сохранение полной совместимости с моделью FC
– DCB для обеспечения гарантий для FCoE трафика
• PFC, ETS, DCBX
– Adapter-FEX/IEEE802.1BR
• Доведение множества логических интерфейсов на уровень
ОС/гипервизора
17
• Метод передачи фреймов FC по Ethernet
• Выглядит как FC для серверов и сети
• Сохраняет текущую инфраструктуру
и управление FC
• Фрейм FC остается неизменным
• Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)
• Семейство стандартов IEEE DCB для «улучшенного» Ethernet
• Priority Flow Control: отсутствие потерь (аналог BB_Credits в FC)
• Enhanced Transmission Selection: выделение полосы
• DCB Exchange: согласование настроек и логическое состояние
Fibre
Channel
Ethernet
Fibre Channel over Ethernet (FCoE)
Cisco первой представила основанный на стандартах
коммутатор FCoE Cisco Nexus 5000
18
Nexus 4000
Nexus 2232
NX-OS & DCNM
Nexus 5548
Nexus 5596
MDS 9500
Nexus 7000
Директорный класс
Фиксированная
конфигурация
Коммутаторы Cisco с поддержкой FCoE
Nexus 6001
Nexus 6004
Nexus 2248-PQ
MDS 9700* MDS 9250i
*Будущее
19
FCoE: консолидация на уровне доступа
• Первый шаг – «консолидация доступа» («Unified Wire»)
• Существенная экономия при сохранении существующего
ядра сетей Ethernet и Fibre Channel
• Лежит в основе Cisco UCS
SAN A SAN B
10GE
Backbone
VF порты
VN порты (CNA)
20
Ethernet core
FCoE
Storage
DCB и FCoE
FCoE: консолидация в масштабах сети
Расширение консолидации ввода-вывода на магистраль
Сохранение изоляции SAN фабрик для отказоустойчивости
Поддержка систем хранения с подключением по DCB/FCoE
Теперь и для Cisco UCS (с релиза 2.1) !
VF
VN
VE порты
VE порты
Развитие архитектуры и
«сетевые фабрики»
22
Развитие архитектуры сети ЦОД Причины
Рост масштабов ЦОД
Масштабирование производительности
Управляемость
Растягивание подсетей
Виртуальные и физические нагрузки
Решения
Распределённый коммутатор доступа: архитектура FEX-Link
1G или 10G, SFP+ или «витая пара»
Продолжение внутрь сервера: Adapter-FEX, VM-FEX
Virtual Portchannel
Уход от Spanning Tree с сохранением общей топологии
Cisco FabricPath/IETF TRILL
«Маршрутизация на 2 уровне»
Горизонтальное масштабирование
Полное исключение Spanning Tree на магистрали
23
Распределённый
виртуальный модульный
коммутатор
(2000+ портов Ethernet)
+
Cisco Nexus® 2000 FEX
Cisco Nexus® 5500/6000
Cisco Nexus® 2000 FEX
Cisco Nexus® 7000
+
Виртуальное модульное шасси с FEX Nexus 5500/6000/7000 + Nexus 2000
• Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5500/7000
• Единый конфигурационный файл
• Между FEX и Nexus 5500/7000 не используется STP
24
Fabric Extender(FEX) унификация уровня доступа
Access
Layer
Серверы
Agg
Layer
Core
Layer
L3
L2
VSS/vPC
Nexus 2000 Fabric Extender
Nexus
5500
• Поддержка Nexus 5000/5500, 7000 и UCS 6100 как
«материнских устройств»
• Сочетание моделей внедрения EoR, MoR, ToR
• Миграция к 10GE и FCoE подключениям серверов
• Сочетание типов кабелей (оптика и медь)
• Гибкость выбора головных устройств, типов FEX,
способа размещения и соединения
• Поддержка модулей для блейд-систем HP, Dell, Fujitsu
Медь/
Twinax
FET/Twinax
25
Почему модель «spine-leaf» (сеть Клоза)?
• Почему набирает популярность?
• Уход от STP!
• Дальнейшее развитие…
• Развитие масштабируемости и ускорение сходимости управляющих протоколов
• Повышение эффективности балансировки трафика
• Ограничение доменов отказов
• Популярный подход для болших операторов ЦОД
• Преимущества
• Высокая устойчивость к отказам (N:1)
• Высокая производительность
• Масштабируемость числа портов
• Сокращение числа
26
Технологии L2MP: FabricPath/TRILL Маршрутизация на L2 и уход от Spanning Tree
• «Ethernet матрица»:
• Полный уход от Spanning Tree
• Задействование всех путей
• Рост производительности и
надёжности путем увеличения
числа узлов и связей
• Принципиальное исключение
возможности бесконечных
«петель»
• Быстрая и надежная сходимость
• Стандартизация: IETF TRILL
• Решение Cisco: FabricPath
• Поддерживается на Nexus 5500/7000
• Простота настройки:
N7K(config)# interface ethernet 1/1
N7K(config-if)# switchport mode fabricpath
27
Cisco FabricPath ключевые возможности
• Маршрутизация на втором уровне – лучшее из двух миров
• Использование до 16 альтернативных путей (ECMP) – до 256
соединений!
• Поддержка архитектуры «Spine-Leaf» - горизональное
масштабирование производительности и снижение чувствительности
к отказам
• Независимость от Spanning-Tree Protocol (и его полное устранение
внутри сети): хорошая стабильность и сходимость
• Прямые/оптимальные пути трафика
• Выучивание MAC «по диалогам»: эффективное использование
таблиц
• Совместимость с «классическим» Ethernet
– VPC+ обеспечивает VPC в L2MP сеть
• Поддержка FEX для ещё большей
масштабируемости
• Простота настройки
• Продолжение возможностей IETF TRILL
Балансировка до 16 путей
28
Эволюция L2/L3 коммутации в фабрике
• FabricPath как замена STP
• Масштабирование FabricPath
• Локализация маршрутизации
• Внедрение Anycast FHRP
• Распределённая маршрутизация и коммутация
Та же модель подключения FEX : VPC, EVPC, VPC+ and EVPC+
VPC &
Single Homed FEXs EVPC EVPC+ EVPC+ EVPC+ EVPC+
Normalize FEX connectivity
Model
Scaled up FEX connectivity
Сетевая поддержка
виртуализации вычислений
30
Сетевая поддержка виртуализации вычислений
Проблемы:
Сетевая поддержка виртуализации: • Расширяет сеть до VM
• Общие с физическими
коммутаторами функции
сетевых сервисов
• Скоординированное с VM
управление
VMotion • Возможна «миграция» VM на
другой сервер. Политика должна
следовать вслед за VM
• Сеть «не видит» локально
коммутируемый трафик и не
может применить к нему политику
• Сеть не может выделить на порту
трафик конкретной VM
VLAN 101
• Изменение модели эксплуатации
31
Cisco Nexus 1000V Виртуальный распределенный программный коммутатор
• Nexus 1000V обеспечивает
полнофункциональную
коммутацию для VMWare
ESX (скоро и для MS Hyper-
V, далее – KVM, Xen)
• Ключевые возможности:
–Управление VM по политикам
– Функции безопасности,
поддержка Netflow, ERSPAN,
мультикаста, etherchannel
–Мобильность настроек сети,
безопасности и мониторинга
–Сохраняет эксплуатационную
модель
• Сохранение политик и связи
с сетью при миграции
виртуальных машин
VMW ESX
Server 1
VMware vSwitch Nexus 1000V
VMW ESX
VMware vSwitch Nexus 1000V
Server 2
Nexus 1000V
VM
#4
VM
#3
VM
#2
VM
#1
VM
#8
VM
#7
VM
#5
VM
#5
VM
#2
VM
#3
VM
#4
VM
#5
VM
#6
VM
#7
VM
#8
VM
#1
VM
#1
Virtual Center
Nexus 1000V
VSM
32
vCenter
Cisco
Nexus
1000V
VEM
Cisco
Nexus
1000V
VEM
Cisco
Nexus
1000V
VEM
V
M
V
M
V
M
V
M
V
M
V
M
V
M
V
M
V
M
V
M
V
M
V
M
Cisco Nexus 1000V VSM
vSphere ESXi vShpere ESXi vSphere ESXi
Server Server Server
Cisco Nexus 1000V для VMware vSphere
33
Cisco
Nexus
1000V
VEM
Cisco
Nexus
1000V
VEM
Cisco
Nexus
1000V
VEM
V
M
V
M
V
M
V
M
V
M
V
M
V
M
V
M
V
M
V
M
V
M
V
M
Cisco Nexus 1000V VSM
System Center 2012 Virtual Machine Manager
Windows Server Hyper-V Windows Server Hyper-V Windows Server Hyper-V
Server Server Server
Cisco Nexus 1000V для Microsoft Windows 2012 Hyper-V
*В настоящее время продукт доступен в бета-версии
34
Virtual Appliance Nexus 1100
VSM NAM VSG VSM
VEM-1 VEM-2
vPath vPath
vSphere Hyper-V
VSM: Virtual Supervisor Module
VEM: Virtual Ethernet Module
vPath: Virtual Service Data-path
VSG: Virtual Security Gateway
vWAAS: Virtual WAAS
ASA1000V: Adaptive Security Appliance
CSR1000V: Cloud Services Router
Virtual Blades
Virtual Supervisor Module(VSM)
Network Analysis Module (NAM)
Virtual Security Gateway (VSG)
Datacenter Network Manager (DCNM)
vWAAS VSG ASA1000V
vPath • Перенаправление трафика
• Кэширование политик
Экосистема Cisco Nexus 1000V
Citrix
NetScaler VPX
Imperva
SecureSpher
e WAF
CSR1000V
Новые тенденции развития Программируемые сети
36
Разное значение для разных заказчиков
– Программный доступ для приложений: аналитика и оптимальный транспорт
– Разделение коммутации и управления (пример: OpenFlow): экспериментальные протоколы и функции, «нарезка сетей»
– Виртуальные оверлейные сети: гибкость транспорта и сегментация для динамичных облачных сред
3
6
Программно-определяемые сети
Модели программируемых сетей
Control Plane
Data Plane
Controller
Data Plane
Applications
Vendor-
specific
APIs
OpenFlow
Control Plane
2b Гибридный “SDN”
CLI, SNMP, …
Controller
Data Plane
Applications
Vendor-
specific
APIs
OpenFlow
2a «Классический» SDN
Vendor
Specific
(e.g.
onePK)
Applications
Virtual Control Plane
Virtual Data Plane
Оверлейные
протоколы
(например,
VXLAN)
Vendor-
specific
APIs
3 Network Virtualization/
Virtual Overlays
Control Plane
Data Plane
Vendor-
specific
APIs
Applications
1 API для
программирования
Control Plane
Data Plane
Vendor
Specific
(e.g.
onePK)
Vendor
Specific
(e.g.
onePK)
Программируемые сети – на всех
уровнях
z Уровень коммутации
Уровень управления
Сетевые сервисы
Управление и оркестрирование
Транспорт
Network Elements and Abstraction
Analysis and Monitoring, Performance and Security
OpenFlow/ SDN
Application Developer Environment
Сбор
информации
из сети
Оптимальное программирование
38
a
Самый широкий портфель сетевых решений для ЦОД
Hardware + Software Physical + Virtual Network + Compute
Applications
www.cisco.com/go/one
Controllers
and
Agents
SDN: - Контроллер (OpenFlow, onePK)
- OpenFlow агенты
2
Virtual
Overlays
Open Clouds with
Nexus 1000V - Multi-hypervisor
- Multi-service
- Multi-cloud
- Поддержка Openstack
3
Network
Platform
APIs
One Platform Kit
(onePK) - Программные APIs к
сетевому
оборудованию (IOS,
IOS-XR, NX-OS)
1
Программно-определяемые сети: стратегия Cisco
… Presentation
Interface
and APIs
Marshall & Transport
Cisco Network Operating System (IOS, IOS-XE, IOS-XR, NX-OS)
Marshall & Transport
Управляющий канал
Программируемые сети – доступ через API Cisco OnePK
Уровень сетевой
абстракции
Уровень
представления с
различными
вариантами
интеграции с
языками
программирования
C Presentation
Interface
and APIs
Java Presentation
Interface
and APIs
Python* Presentation
Interface
and APIs
Приложения
Marshall & Transport
Marshall & Transport
Marshall & Transport
Element Utilities Developer Discovery Routing Policy Datapath
onePK Abstraction Interface
…
Первоначальные планы включают C и Java версии Presentation API
Будущие план включают Python и др
Реализация
сервисов
Операционня
система Cisco
Примеры сетевых абстракций Наборы сервисов OnePK
• API “Service Sets” delivered through Cisco’s onePK (one Platform Kit)
41
Base Service Sets
Element
• Element Capabilities
• Configuration Management
• Interface/Ports Events
• Location Information
Utilities
• Syslog Events and Queries
• AAA Interface
• Path Trace
Discovery
• Network Element Discovery
• Service Discovery
• Topology Discovery
Developer
• Debug Capabilities
• Tracing Interfaces
• Management Extensions
Data Path
• Packet/Flow Classifiers
• Copy/Punt/Inject
• Statistics
Policy
• Interface Policy
• Interface Feature Policy
• Forwarding Policy
• Flow Action Policy
Routing
• Read RIB Routes
• Add/Delete Application Routes
• RIB Events (Route up/down)
Контроллеры и агенты Контроллер Cisco ONE Controller
• Платформа для управления поведением сети – консолидация состояния для многих точек
• Существующие примеры применения:
Гибкая «нарезка» (“Slicing”) сетей
Диагностика проблем
Маршрутизация по правилам
OF oneP
K
oneP
K
OF
OpenFlow 1.x
Protocol
onePK API
Flow Management Forwarding Logic Device Management
Network Slicing
Applications (Cisco) Applications (Customer) Applications (3rd party)
Northbound API (REST, WebSockets, OSGi)
Controller built-in Applications B
uilt
-in G
UI
for
Ma
na
ge
ment
Apps/Applications
Network Troubleshooting
Controller Core Infrastructure
Southbound APIs (onePK, OneFlow,)
Custom Routing
Виртуальные оверлейные сети с Nexus 1000V
Nexus 1000V VEM (уровень коммутации)
OpenStack Quantum API
REST API
VXLAN
(16M
Segments)
vPath
(VXLAN
Aware)
Любой гипервизор (VMware, Microsoft, Opensource)
Tenant 1 Виртуальные
сервисы
(с vPath)
vWAAS
VSG ASA 1KV
vACE
Tenant 3
ASA 55xx
Физические
нагрузки
Физическая
сеть
(VLAN/L3)
Шлюз VXLAN
Универсальная функциональность для физических и виртуальных нагрузок
Nexus 1000V VEM (контроллер)
Виртуальные
нагрузки
Tenant 2
43
Спасибо!