Архитектура Метафабрика. Универсальный шлюз sdn
TRANSCRIPT
MX И EX ОТ JUNIPER
БАЗОВЫЙ ЭЛЕМЕНТ БЕСШОВНОЙ ИНФРАСТРУКТУРЫ
С каждым годом все больше и больше наших пользователей начинают внедрять свои собственные
облачные решения, где виртуализация сетевой инфраструктуры на базе концепции SDN играет ключевую
роль. По мере приближения к заветной цели появляется все больше новых задач, требующих решения.
Одна из таких задач это необходимость обеспечить совместное использование как новых, так и
существующих инфраструктур, например:
- Обеспечить L2-связность между SDN и существующей инфраструктурой
- Обеспечить L3-связность между SDN и существующей инфраструктурой
- Обеспечить L2 и L3 связность между двумя регионами SDN
- Обеспечить программно-конфигурируемый доступ к инфраструктуре извне
Универсальный шлюз от Juniper является ключевым элементом бесшовной инфраструктуры. Он является
связующим звеном как между
USG(Universal SDN Gateway)
USG(Universal SDN Gateway)
Аппаратные серверы
• Databases
• HPC
• Legacy Apps
• Non x86
• IP Storage
• Firewalls
• Load Balancers
• NAT
• Intrusion Detection
• VPN Concentrator
L4–7 платформы
• NSX ESXi
• NSX KVM
• SC HyperV
• Contrail KVM
• Contrail ZEN
Серверы SDN
Виртуализированные
серверы
• ESX
• ESXi
• HyperV
• KVM
• ZEN
ОСНОВНЫЕ УСТРОЙСТВА ОБЛАЧНОГО ЦОД
USG (УНИВЕРСАЛЬНЫЙ ШЛЮЗ SDN)Доступны четыре новые опции
L2-Связность между SDN и классической инфраструктурой
SDN to IP (Layer 2)
Layer2 USG
Remote
Data
Center
Branch
OfficesInternet
Layer3 USG
L3-Связность между SDN и классической инфраструктурой
SDN to IP (Layer 3)
L2 и L3-Связность внутри SDN
SDN USG
SDN to SDN
WAN USG
Удаленный доступ к программно-определяемой инфраструктуре ЦОД
SDN to WAN
USG(Universal SDN Gateway)
УНИВЕРСАЛЬНЫЙ ШЛЮЗ ВНУТРИ ЦОД
ЦОД 1
Legacy Pods
NSX SDN
Pod 1
Layer2 USG
Layer3 USG
SDN USG
WAN USG
L4 – 7
Services
USG(Universal SDN Gateway)
L2-мост между двумя устройствами,
находящимися в разных доменах, но в
одной подсети:
1. Аппаратные серверы, как например мощные базы
данных, не x86 решения, системы хранения и т.п.
2. L4–7 сервисные платформы, такие как
баллансировщики, межсетевые экраны, системы
обнаружения вторжений и пр. внешние сетевые
устройства.
VxLAN VxLAN VxLAN VxLAN VxLAN
VxLAN VxLAN VxLAN VxLAN VxLAN
Native IP L2 Native IP L2 Native IP L2 Native IP L2 Native IP L2 Native IP L2
Native IP L2 Native IP L2 Native IP L2 Native IP L2
Nativ
e IP
L2
Nativ
e IP
L2
Na
tive
IP
L2 Native IP L2 Native
УНИВЕРСАЛЬНЫЙ ШЛЮЗ ВНУТРИ ЦОД
ЦОД1
Legacy Pods
NSX SDN
Pod 1
Layer2 USG
Layer3 USG
SDN USG
WAN USG
L4 – 7
Services
USG(Universal SDN Gateway)
VxLAN VxLAN VxLAN VxLAN VxLAN
VxLAN VxLAN VxLAN VxLAN VxLAN
Native IP L3 Native IP L3 Native IP L3 Native IP L3 Native IP L3 Native IP L3
Native IP L3 Native IP L3 Native IP L3 Native IP L3 Nativ
e IP
L3
Na
tive
IP L
3 N
ativ
e IP
L3 Native IP L3 Native
L3-шлюз между двумя устройствами,
расположенными в разных доменах и в
разных IP-подсетях:
1. Аппаратные серверы, как например мощные базы
данных, не x86 решения, системы хранения и т.п.
2. L4–7 сервисные платформы, такие как
баллансировщики, межсетевые экраны, системы
обнаружения вторжений и пр. внешние сетевые
устройства.
GRE MPLSoverGRE MPLSoverGRE MPLSoverGRE MP
NSX
SDN Pod 2
УНИВЕРСАЛЬНЫЙ ШЛЮЗ ВНУТРИ ЦОД
ЦОД 1
NSX SDN
Pod 1
Layer2 USG
Layer3 USG
SDN USG
WAN USG
Шлюз между двумя регионами SDN:
1. VM NSX <> NSX
2. VM NSX <> Juniper Contrail
USG(Universal SDN Gateway)
Contrail
SDN Pod 1
VxLAN VxLAN VxLAN VxLAN VxLAN
VxLAN VxLAN VxLAN VxLAN VxLAN
VxLAN VxLAN VxLAN VxLANVx
LA
NV
xL
AN
Vx
LA
NV
xL
AN
Vx
LA
NV
xL
AN
LS
ove
rGR
EM
PL
So
ve
rGR
EM
PL
S
ФИЛИАЛ
NSX SDN Pod 2
Internet
УНИВЕРСАЛЬНЫЙ ШЛЮЗ ВНУТРИ ЦОД
ЦОД 1
SDN
Pod 1
Layer2 USG
Layer3 USG
SDN USG
WAN USG
USG(Universal SDN Gateway)
ЦОД 2
VxLAN VxLAN VxLAN VxLAN VxLAN Native IP L3 Native IP L3 Native IP L3 Native IP L3 Native IP L3 Native IP L3
GRE GRE GRE GRE GRE GRE GRE GRE GRE GRE GRE GRE GRE
EVPN EVPN EVPN EVPN
EV
PN
EV
PN
EV
PN
EV
PN
EVPN EVPN VxLAN VxLAN VxLAN VxLAN VxLAN
Шлюз с внешними сетями:
1. Соседний ЦОД(DCI) – SDN -> VPLS, EVPN, L3VPN
2. Удаленный офис – SDN -> GRE, IPSec
3. Интернет – SDN -> IP (Layer 3)
Internet
Contrail
SDN Pod 1L4–7
Services
Native IP L3 Native IP L3 Native IP L3 Native IP L3 Nativ
e IP
L3
Na
tive
IP L
3 N
ativ
e IP
L3 Native IP L3 Native
Native IP L2 Native IP L2 Native IP L2 Native IP L2
Nativ
e IP
L2
Nativ
e IP
L2
Na
tive
IP
L2 Native IP L2 Native
MPLSoverGRE MPLSoverGRE MPLSoverGRE LS
ove
rGR
EM
PL
So
ve
rGR
EM
PL
S
VxLAN VxLAN VxLAN VxLAN
Native IP L3 Native IP L3 Native IP L3 Native IP L3 Native IP L3 Native IP L3
NSX
SDN Pod 2
УНИВЕРСАЛЬНЫЙ ШЛЮЗ ВНУТРИ ЦОД
ЦОД 1
NSX SDN
Pod 1
Layer2 USG
Layer3 USG
WAN USG
USG(Universal SDN Gateway)
Legacy Pods
ЦОД 2
NSX SDN Pod 2
Филиал
VxLAN VxLAN VxLAN VxLAN VxLAN
VxLAN VxLAN VxLAN VxLAN VxLAN
Native IP L2 Native IP L2 Native IP L2 Native IP L2 Native IP L2 Native IP L2
Vx
LA
NV
xL
AN
Vx
LA
NV
xL
AN
Vx
LA
N
Na
tive
IP L
3 N
ativ
e IP
EV
PN
SDN USG GRE GRE GRE GRE GRE GRE GRE
GR
E G
RE
GR
E
VxLAN VxLAN VxLAN
Vx
LA
N
СРАВНЕНИЙ ФУНКЦИЙ USG
Description
QFX5100
MX Series/EX9200
Layer 2
USG
L2-Связность между
SDN и классической
инфраструктурой
✔
✔
NSX or Contrail talk Layer
2 to non-SDN VMs, bare
metal and L4-7 servicesСценарии
Layer 3
USG
L3-Связность между
SDN и классической
инфраструктурой
✔
NSX or Contrail talk Layer
3 to non-SDN VMs, bare
metal and L4-7 services
and Internet
SDN
USG
L2 и L3-Связность
как внутри, так и между
регионами SDN
✔
NSX or Contrail talk to
other PODs of NSX or
Contrail
WAN
USG
L2 и L3-Связность между
SDN и внешней
инфраструктурой
✔
NSX or Contrail talk to
other remote locations –
branch, DCI
X86 Appliance ✔ ✔
Конкуренты (ToR) ✔
Конкуренты (Шасси) ✔
Description
USG(Universal SDN Gateway)
EVPNETHERNET VPN
Используя плоскость управления для получения и обмена маршрутной информацией заголовков 2-го
уровня, EVPN устраняет два главных недостатка при попытке организовать VLAN-Mobility между двумя и
более ЦОД:
1) Предотвращает распространение unknown-unicast трафика через каналы WAN
2) Позволяет одновременное использование всех каналов WAN
Использование плоскости управления для передачи маршрутной информации заголовков 2-го уровня
позволяет так же использовать и другие технологии и механизмы от компании Juniper, которые призваны
помочь пользователям реализовать взаимодействие между двумя ЦОД максимально эффективно.
EVPN(Ethernet VPN)
PRIVATE MPLS WAN without EVPN
VLAN 10
ДО EVPN: L2-СВЯЗНОСТЬ МЕЖДУ ЦОД
EVPN(Ethernet VPN)
ЦОД 1
VLAN 10
ЦОД 2
✕
Без EVPN
Плоскость
передачи• Только один активный пусть
• Оставшиеся пути в режиме Standby
Плоскость
управления
• Таблица MAC пополняется силами Плоскости
передачи (как обычный коммутатор)
• Флудинг пакетов через WAN-сегмент по
причине рассинхронизации
MAC VLAN Interfaces
AA 10 xe-1/0/0.10
Router 1’s MAC Table
MAC: AA
Server 1xe-1/0/0.10
xe-1/0/0.10 xe-1/0/0.10
xe-1/0/0.10
MAC: BB
Server 2
ge-1/0/0.10
ge-1/0/0.10
MAC VLAN Interfaces
BB 10 xe-1/0/0.10
Router 2’s MAC Table
ge-1/0/0.10
ge-1/0/0.10
PRIVATE MPLS WAN without EVPN
VLAN 10
EVPN: L2-СВЯЗНОСТЬ МЕЖДУ ЦОД
EVPN(Ethernet VPN)
ЦОД 1
VLAN 10
ЦОД 2
EVPN
Плоскость
передачи
• Все пути активны
• Трафик распределяется равномерно между
всеми путями
Плоскость
управления
• Таблица МАС пополняется на уровне
плоскости управления (как в Q-Fabric)
• Синхронизация таблиц МАС между
пограничными узлами EVPN
MAC VLAN Interfaces
AA 10 xe-1/0/0.10
BB 10 ge-1/0/0.10
Router 1’s MAC Table
MAC: AA
Server 1xe-1/0/0.10
xe-1/0/0.10 xe-1/0/0.10
xe-1/0/0.10
MAC: BB
Server 2
ge-1/0/0.10
ge-1/0/0.10
MAC VLAN Interfaces
BB 10 xe-1/0/0.10
AA 10 ge-1/0/0.10
Router 2’s MAC Table
ge-1/0/0.10
ge-1/0/0.10
VMTOVM MOBILITY TRAFFIC OPTIMIZER
EVPN использует плоскость управления для пополнения таблиц МАС. Используя эту особенность, компания
Juniper разработала решение для пользователей, использующих WAN-Инфраструктуры второго уровня и
столкнувшиеся с проблемой, именуемой «Trombone routing».
Эффект «Trombone routing» появляется тогда, когда инфраструктура второго уровня (виртуальная сеть)
простирается на несколько ЦОД, но присутствует только один оптимальный вход(IGP Preference) и
выход(VRRP Master) из сети.
VMTO решает обе данных проблемы за счет:
- Оптимизации анонсируемой маршрутной информации в WAN-сегмент
- Назначения каждого маршрутизатора широковещательного сегмента активным шлюзом
VMTO(VM Mobility
Traffic Optimizer)
VMTO(VM Mobility
Traffic Optimizer)
Сценарий с VMTO
PRIVATE MPLS WAN PRIVATE MPLS WAN
VLAN 10 VLAN 10 VLAN 10VLAN 10
Сценарий без VMTO
НЕОБХОДИМО ЗНАТЬ, ГДЕ РАСПОЛОЖЕНО КОНЕЧНОЕ УСТРОЙСТВО
DC 2VLAN 10
10.10.10.100/24
DC 3
10.10.10.200/24
VLAN 10
VLAN 20
Server 2 Server 3
Server 1
PRIVATE MPLS WAN
DC 1
20.20.20.100/24
Active VRRP
DG: 10.10.10.1
Standby VRRP
DG: 10.10.10.1
Standby VRRP
DG: 10.10.10.1
Standby VRRP
DG: 10.10.10.1
БЕЗ VMTO: ВХ. ТРАФИК - ЭФФЕКТ ТРОМБОНА
Задача:
Server 3 в DC 3 хочет отправить пакет к Server 1 в DC 1.
Проблема:
Активный шлюз для VLAN 10, где расположен Server 3
находится в DC2.
Эффект:
1. Трафик должен быть направлен от DC3 в DC2 для
того, что бы достигнуть активного шлюза для VLAN 10.
2. Трафик должен пройти через L3 интерфейс VLAN10
для того, что бы потом быть смаршрутизированным
через WAN-сегмерт в VLAN20 DC3. Результат –
неоптимальная маршрутизация.
VMTO(VM Mobility
Traffic Optimizer)
DC 2VLAN 10
10.10.10.100/24
DC 3
10.10.10.200/24
VLAN 10
VLAN 20
Server 2 Server 3
Server 1
PRIVATE MPLS WAN
DC 1
20.20.20.100/24
Active RVI
DG: 10.10.10.1
Active RVI
DG: 10.10.10.1Active RVI
DG: 10.10.10.1
Active RVI
DG: 10.10.10.1
VMTO: ВХ. ТРАФИК - БЕЗ ЭФФЕКТА ТРОМБОНА
Задача:
Server 3 в DC 3 хочет отправить пакет к Server 1 в DC 1.
Решение:
Виртуализировать и распределить шлюз по-умолчанию.
Таким образом выход из VLAN10 будет возможен через
любой маршрутизатор.
Эффект:
1. Исходящий трафик идет к ближайшему L3-интерфейсу.
Этим достигается оптимальная маршрутизация и
упразднение эффекта Тромбона.
VMTO(VM Mobility
Traffic Optimizer)
DC 2VLAN 10
10.10.10.100/24
DC 3
10.10.10.200/24
VLAN 10
VLAN 20
Server 2 Server 3
Server 1
PRIVATE MPLS WAN
DC 1
20.20.20.100/24
БЕЗ VMTO: ИСХ. ТРАФИК – ЭФФЕКТ ТРОМБОНА
Задача:
Server 1 в DC1 хочет отправить пакет к Server 3 в DC3.
Проблема:
Маршрутизатор в DC1 предпочитает маршрут до сети
10.10.10.0/24 через DC2.
Эффект:
1. Трафик от Server 1 изначально достигнет
маршрутизатора в DC2.
2. Затем пограничный маршрутизатор DC2 отправит
трафик в DC3. Это – неоптимальная маршрутизация.
10.10.10.0/24 Cost 510.10.10.0/24 Cost 10
Route Mask Cost Next Hop
10.10.10.0 24 5 Datacenter 2
10.10.10.0 24 10 Datacenter 3
DC 1’s Edge Router Table Without VMTO
VMTO(VM Mobility
Traffic Optimizer)
DC 2VLAN 10
10.10.10.100/24
DC 3
10.10.10.200/24
VLAN 10
VLAN 20
Server 2 Server 3
Server 1
PRIVATE MPLS WAN
DC 1
20.20.20.100/24
VMTO: ИСХ. ТРАФИК – БЕЗ ЭФФЕКТА ТРОМБОНА
Эффект:
1. Трафик от Server 1 к Server 3 пойдет оптимальным
путем.
Задача:
Server 1 в DC1 хочет отправить пакет к Server 3 в DC3.
Решение:
В дополнение к суммарному маршруту 10.10.10.0/24,
анонсируемому каждым пограничным маршрутизатором
будет анонсирован и специфический маршрут(host route),
описывающий место расположения сервера.
10.10.10.0/24 Cost 510.10.10.0/24 Cost 10
Route Mask Cost Next Hop
10.10.10.0 24 5 Datacenter 2
10.10.10.0 24 10 Datacenter 3
10.10.10.100 32 5 Datacenter 2
10.10.10.200 32 5 Datacenter 3
DC 1’s Edge Router Table WITH VMTO
10.10.10.100/32 Cost 510.10.10.200/32 Cost 5
VMTO(VM Mobility
Traffic Optimizer)
OREМЕХАНИЗМ РЕПЛИКАЦИИ
Концепция программно-определяемых сетей дала нам много дополнительных возможностей. Однако, очень
важно соблюдать баланс между тем, что должно быть перенесено на уровень виртуальных машин, а что
должно остаться на аппаратном уровне.
Репликация широковещательных и многоадресных сообщений это достаточно интенсивный процесс.
Поэтому это именно та задача, выполнение которой лучше реализовать на аппаратном уровне.
С того момента, как промежуточное сетевое оборудование в модели Overlay SDN выступает исключительно
в роли ip-фабрики у нас пропала возможность осуществлять репликацию широковещательных и
многоадресных рассылок привычным нам образом. Поэтому, нам необходимо теперь определить, кто
подхватит выполнение данной функцию.
Без использования механизма ORE, данный функционал может быть делегирован выделенным
виртуальным машинам. В этом случае уже сервисная машина-репликатор должна знать, кто является
конечным получателем широковещательного или многоадресного сообщения.
Механизм Juniper’s ORE позволяет использовать интегральные микросхемы своего активного сетевого
оборудования в качестве репликаторов, что гарантируем предсказуемую производительность для данного
процесса.
ORE(Overlay Replication Engine)
ТРАФФИК BUM
Broadcast
Multicast
Unknown Unicast
L2 кадры, которые должны быть доставлены всем устройствам в пределах
широковещательного домена
L2 фреймы, для которых не существует записей в таблице МАС и которые должны
быть доставлены всем устройствам широковещательного домена
L2 кадры, которые должны быть доставлены одному и более получателям в
широковещательном домене
ORE(Overlay Replication Engine)
РЕПЛИКАЦИЯ BUM БЕЗ ORE
VLAN 10
1. Сервер хочет отправить BUM-фрейм (напр., ARP или DHCP)
2. Одноадресное сообщение
отправляется к сервисной
виртуальной машине-репликатору
3. Виртуальная машина-репликатор конвертирует
полученные данные в стандартный многоадресный
или широковещательный фрейм и отправляет его
конечным получателям
Неоптимальный метод:
Ожидается экспоненциальный
рост нагрузки. В конечном итоге
это приведет к деградации
сервиса.
ORE(Overlay Replication Engine)
РЕПЛИКАЦИЯ BUM С ORE
VLAN 10
1. Сервер хочет отправить BUM-фрейм (напр., ARP или DHCP)
2. Одноадресный фрейм отправляется
к репликатору ORE,
расположенному на
маршрутизаторе серии МХ.
3. Маршрутизатор серии МХ конвертирует
полученные данные в стандартный многоадресный
или широковещательный кадр и отправляет его
всем адресатам.
Оптимальный метод:
Оптимальный метод для
реализации репликации это
специализированный
аппаратный элемент.
Программируемые микросхемы
от Juniper позволяют
реализовать данный сервис с
гораздо большим потенциалом.
ORE(Overlay Replication Engine)