Семейство коммутаторов cisco nexus: возможности и развитие....

Семейство коммутаторов Cisco Nexus: возможности и развитие. Часть 2. Cisco Nexus 5000/2000

Игорь Гиркинсистемный инженер-консультантiggirkin@cisco.com

• Зачем уровню доступа современного ЦОД нужны Nexus 5000 и 2000?• Обзор Nexus 5000

– Модели– Модули– Выносные линейные карты Nexus 2000

• Обзор основной функциональности– Конвергентный транспорт– Механизмы построения L2-сетей в масштабах ЦОД– Виртуализация сетевого адаптера сервера

• Новинки аппаратуры• Новая функциональность Nexus 5000 NX-OS

Содержание

• Один сервер – одна ОС, одно приложение• Статичность• Предсказуемость• Низкая загрузка оборудования

Уровень доступа традиционного ЦОД

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

VLAN A VLAN B

• Один сервер – несколько ОС, несколько приложений• Динамичность• Усложнение

– Сеть– Интерфейсы сервера

Виртуализированный ЦОД

VLAN A VLAN B

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

• «Важные» приложения – доступ к сети передачи данных и сети хранения• Прочие – как правило локальное хранение данных

– Или встроенная защита от потери данных – Directory Services

Ресурсы хранения традиционного ЦОД

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

• «Важные» приложения могут оказаться на любом хосте• При переходе к виртуализации рекомендуется хранить образы виртуальных

машин на внешних разделяемых ресурсах• Потребность в унификации доступа к ресурсам хранения на всех хостах

Ресурсы хранения в виртуализированном ЦОД

AppOS

AppOS

AppOS

AppOS

AppOS

AppOS

Инновации Cisco Nexus 5000 для уровня доступа ЦОД нового поколения

Высокая плотность портов 10GE

Масштабирование

Обслуживание без остановки сети

Виртуализация устройства и сети

Прозрачное соединение площадок ЦОД

Виртуализация ввода-вывода сервера

Поддержка Fibre Channel

Унифицированные порты

Разнообразие топологий подключения серверов

Распределенное модульное шасси

Миграция к 10GE

Консолидация ввода-вывода

Неблокируемая коммутация

Отказоустойчивые топологии на втором уровне

Миграция к 40/100GE

Управление и безопасность

Удобство Надежность Масштабирование

Non-disruptive operationsInvestment protection

Cis

co

Solu

tion

Key

B

enef

its

FasterDeployments

Simplified configurations

Ease of Management

TroubleshootingLowered OPEX

Reduced TCOSimplified

DeploymentsIncreased utilization

Laying the foundation for the Cloud

FEX ArchitectureFabricPath

DCNMPoAP

Scripting Soln.NGA

TrustSec

ISSUFabricPath

vPCDual Layer vPC

FCoEA-FEX

VM-FEXUnified Port

Обзор коммутаторов Nexus 5500/2000

• 32 базовых универсальных порта SFP+

• Один модульный отсек

• 2 блока питания 750Вт, AC/DC, 2 вентилятора

• Два варианта охлаждения корпуса

• 32 базовых порта SFP+ Ethernet/FCoE

• Один модульный отсек

• 2 блока питания 750Вт, AC/DC, 2 вентилятора

• Два варианта охлаждения корпуса

Семейство коммутаторов Nexus 5500

Nexus 5548P Nexus 5548UP

• 48 базовых универсальных портов SFP+

• Три модульных отсека

• 2 блока питания 1100Вт, AC, 4 вентилятора

• Два варианта охлаждения корпуса

Nexus 5596UP

• 32 базовых порта 10GBASE-T и 16 универсальных портов SFP+

• Три модульных отсека

• 2 блока питания 1100Вт, AC, 4 вентилятора

• Охлаждение только обратное охлаждение

Nexus 5596T

Что такое прямое и обратное охлаждение?

Прямой поток воздуха

Обратный поток воздуха

• 8 портов SFP+ 1/10G Ethernet или FCoE• 8 портов FC 1/2/4/8G

• 16 портов SFP+ 1/10G Ethernet или FCoE

Модули расширения

N55-M16P N55-M8P8FP

• 12 портов 1/10GBASE-T

N55-M12T

• 16 универсальных портов SFP+

N55-M16UP

Unified Port

• SFP+ порты с поддержкой Ethernet (1/10GE, FCoE) или FC 8/4/2/1G (трансиверы 8/4/2G и 4/2/1G FC)• Объединение сети передачи и хранения данных• Разнообразное сочетание сервисов и вариантов подключения• Гибкое изменение числа портов под требуемые сервисы• Порты на 5548UP/5596UP и на модуле расширения с 16 универсальными портами

Fibre ChannelLossless Ethernet:1/10GE, FCoE, iSCSI, NAS

Универсальные порты

• N55-D160L3– Дополнительная карта для Nexus 5548– Установка без демонтажа в стойке– Поддержка Layer 3 на всех 48-ми портах 10GE– Поддержка SVIs на всех портаx (в том числе для FEX)– Layer 3 пропускная способность 160Gbps (240Mpps)– Не совместим с Nexus 5596

• N55-M160L3– Модуль расширения для Nexus 5596– Отсутствуют порты на передней панели– Поддержка Layer 3 на всех портax 5596 – Поддержка SVIs на всех портаx (в том числе для FEX)– Layer 3 пропускная способность 160Gbps (240Mpps)– Не совместим c Nexus 5548

Модули маршрутизации

Модульное шассиФиксированный бэкплейн

Единая точка управления

Распределенное модульное шасси

= Выносные линейные карты

Супервизоры ифабрика коммутации

Распределенное модульное шасси10GE-бэкплейн

Единая точка управления

Nexus 7000, 5500

Nexus 2000

N2224TPСерверные порты 24 x 100/1000M

Магистральные порты 2 x 10G

N2248TP/N2248TP-EСерверные порты 48 x 100/1000M

Магистральные порты 4 x 10G

N2232PPСерверные порты 32 x 1/10G FCoE

Магистральные порты 8 x 10G

N2232TM/N2232TM-EСерверные порты 32 x 1/10GBASE-T

Магистральные порты 8 x 10G (модуль)

Выносные линейные карты Nexus 2000

B22HPСерверные порты 16 x 1/10G

Магистральные порты 8 x 10G UplinksHP c3000, c7000

B22FСерверные порты 16 x 1/10G

Магистральные порты 8 x 10GFujitsu BX900, BX400

Распределенная фабрика коммутации

Стойка с сетевым оборудованиемСтойка с серверами Стойка с патч-панелью

Выносные карты Фабрика

коммутации

Горизонтальная СКС

Вертикальная СКС

• Твинаксиальный кабель– Экономичный вариант 10GE подключений– Медный кабель с SFP+ модулями– Можно использовать для подключений серверов в стойке– Низкое энергопотребление– Пассивные кабели: 1, 3, 5 м– Активные кабели: 7, 10 м

• Оптические трансиверы Fabric Extender Transceiver– Экономичный трансивер для подключения Nexus 2000 к материнской системе– SFP+– 100 м (OM3), 25 м (OM2)– Энергопотребление ~ 1 Вт– Несовместим с SR трансиверами

• Традиционные оптические трансиверы– SFP+– коротковолновая или длинноволновая оптика

Варианты подключения Nexus 5000/2000

Обзор основной функциональностиКонвергентный транспортМеханизмы построения L2-сетей в масштабах ЦОДВиртуализация сетевого адаптера сервера

Коммутатор ethernet

Конвергентный коммутатор Nexus 5500

Fibre Channel SAN

EthernetLAN

Коммутатор FCoE

Fibre Channel SAN

EthernetLAN

Коммутатор Fibre Channel

Fibre Channel SAN

EthernetLAN

В целях упрощения показан только один коммутатор из отказоустойчивой пары

• Расширение консолидации ввода-вывода на магистраль

• Поддержка разделения SAN фабрик для отказоустойчивости

• Поддержка систем хранения с подключением по DCB/FCoE

Консолидация ввода-вывода в масштабах сети

EthernetLAN

ДисковыймассивFCoE

Обеспечение отказоустойчивости с помощью Virtual Port Channel

Режим straight-through

Режим active-active

port-channel port-channel active-standby NIC teaming

active-standby NIC teaming

port-channel port-channel active-standby NIC teaming

active-standby NIC teaming

• «Любимые» серверы можно подключить к головным устройствам

Обеспечение отказоустойчивости с помощью Virtual Port Channel

port-channel active-standby NIC teaming

Традиционный иерархический дизайн ЦОД

Так должен выглядеть ЦОД с точки зрения серверного администратора

STP

L3L2

Так должен выглядеть ЦОД с точки зрения сетевого администратора

VLANVLANVLANVLANVLANVLANVLANVLANVLANVLANVLANVLAN

L3L2

Линия компромисса

PODPODPOD

L3L2

• Превращает сеть в единую коммутационную среду

• Оптимальная коммутация на 2 уровне с использованием произвольной топологии

• Простая настройка превращает сеть в «фабрику»N5K(config)# interface ethernet 1/1N5K(config-if)# switchport mode fabricpath

• Не опирается на STP – используется открытый протокол, основанный на принципах маршрутизации (IS-IS)

Технология FabricPath для построения плоских и масштабируемых сетей

FabricPath

• Создаёт сетевую «фабрику», работающую как один коммутатор → разрушает «острова», делает возможной мобильность нагрузки

• Упрощение дизайна – меньше коммутаторов, ниже вероятность блокировки, выше «горизонтальная» масштабируемость

• Опора на открытый протокол с важными усовершенствованями• Упрощения взаимодействия между сетевой и серверной «командами»

Преимущества FabricPath

FabricPath FabricPath

• Архитектура Fabric Extender (FEX)• Консолидация сетевого

управления• FEX является частью

«родительского» коммутатора• Использует черновик стандарта

IEEE 802.1BR

Технология Cisco Fabric ExtenderРаспределенный коммутатор до уровня стойки

IEEE 802.1BR

Традиционно

FEX

Сетевой администратор

Сетевой администратор

• Архитектура Adapter FEX

• Консолидация нескольких интерфейсов в одно соединение 10Гбит/с

• Проникновение сети внутрь сервера

• BIOS и операционная система «видят» несколько адаптеров

Технология Cisco Fabric ExtenderРаспределенный коммутатор до уровня стойки, интерфейсов сервера

IEEE 802.1BR

FEX

Adapter FEX

IEEE 802.1BR

Традиционно

Сетевой администратор

Сетевой администратор

Традиционно

• Архитектура VM-FEX

• Консолидация управления физической и виртуальной сетями

• Проникновение сети внутрь гипервизора

• Выделенный физический порт для каждой виртуальной машины

• Функции физического коммутатора доступны виртуальным машинам

Технология Cisco Fabric ExtenderРаспределенный коммутатор до уровня стойки, интерфейсов сервера и виртуальной машины

IEEE 802.1BR

Adapter FEX

Hypervisor

IEEE 802.1BRIEEE 802.1BR

VM-FEX

FEX

Сетевой администратор

Сетевой администратор

Серверный администраторСерверный администратор

Что появилось нового за прошедший год

5.2(1)Июль 2012

• Fabric Path Multiple Topologies• ACL Logging over Management Interface• Python Scripting APIs• POAP with Python Scripts• Storm Control on FEX intf

• Nexus 5596T• Модуль 12 x 10GBASE-T• Nexus 2232TM-E• Nexus B22 Fabric Extender for Fujitsu• Predefined SAN Admin User Role• Cisco Management Interface over SSH• IPv6• PTP Support• Configuration Synchronization Enhancements• Multicast Scaling• Dynamic System Reserved VLAN Range• IGMP Snoop Limits• Virtual Port Channel Peer Switch• Object Tracking Enhancements• Fabric Path Multiple Topologies• ACL Logging over Management Interface• Python Scripting APIs• POAP with Python Scripts• Storm Control on FEX intf

• Power On Auto-Provisioning• VLAN QoS• PVLAN On FEX Trunk Ports• Increased Buffer-to-Buffer Credit Range• SPAN and Enhanced vPC• SPAN and Adapter FEX• Cisco Management Interface over SSH

5.1(3)N2(1)Март 2012

Новинки аппаратуры

• Подключение– Экономичное– Стандартизованное– Высокоскоростное– Привычное

• Nexus 5596T– До 68 портов 1/10GBASE-T

• 12 портовый модуль– Совместим только с Nexus 5596T

• Nexus 2232TM-E– 32 порта 1/10GBASE-T

• Аппаратура поддерживает FCoE– Требуется сертификация

Подключения по витой паре 10GE

Подключения по витой паре 10GE

До 768 серверов по витой паре на скорости 10GE

Новая функциональность Nexus 5000 NX-OS

• Расширенная поддержка– для тех, кому требуется стабильность работы ОС– аналог IOS M-train

• Стандартная поддержка– для тех, кому нужны новые функции или поддержка новой аппаратуры– аналог IOS T-treain

NX-OS 5.2(1)

5.x

5.0

5.1

5.2(1)N1(1) ….

срок жизни

• Роль san-admin– доступ read/write к настройкам Fibre Channel и FCoE

• Ранее требовалось создавать подобную роль самостоятельно

• Роль не может быть удалена и изменена

Преднастроенная роль администратора SAN

vsan databasesh fcns databasesh zoneset activesh san-port-chansh fcoe

sh ip routevlaninterface ethernetrouter osfpsh spanning-tree

N5500-1# sh role name san-admin

Role: san-adminDescription: Predefined system role for san administrators. This role cannot be modified.vsan policy: permit (default)Vlan policy: permit (default)Interface policy: permit (default)Vrf policy: permit (default)-------------------------------------------------------------------Rule Perm Type Scope Entity -------------------------------------------------------------------27 permit read 26 permit read-write feature fcdomain 25 permit read-write feature rdl 24 permit read-write feature trunk 23 permit read-write feature fcmgmt 22 permit read-write feature fcfe 21 permit read-write feature port-track 20 permit read-write feature fcoe 19 permit read-write feature port-security 18 permit read-write feature copy 17 permit read-write feature rmon 16 permit read-write feature rscn

• Максимальный размер буфера для передачи фреймов FC увеличен до 240 (ранее 64, значение по умолчанию 16)

• Использование трансиверов CWDM позволяет разнести коммутаторы на расстояние до 50 км

nexus5500(config-t)#int fc1/1nexus 5500(config-if)#switchport fcrxbbcredit 240 mode E/TE

Увеличенный размер буфера для кредитов FC

Nexus 5500Nexus 5500 Nexus 5500Nexus 5500

FCoE CNA FC HBA

FCFCoE

Nexus 5500 Nexus 5500 Nexus 5500Nexus 5500

FC

FCoE CNA FC HBA

FCoE

До 50 км

• Автоматизация процессов обновления NX-OS и установки конфигурационных файлов в момент первого включения коммутатора

• Снижение затрат на настройку большого количества устройств• Требования:

– Серверы DHCP, TFTP, FTP– Файлы с NX-OS требуемой версии (kickstart, system)– Управляющий сценарий на TCL или Python (скачивается с www.cisco.com, модифицируется

или создается самостоятельно)– Чистая настройка конфигурации (новое устройство, write erase)– Установленная в коммутаторе NX-OS 5.1(3)N2(1)– Не лицензируется

Автоматизация настройки коммутатораPower On Auto-Provisioning (POAP)

Алгоритм работы POAP

DHCPserver

TFTP/FTPserver

mgmt0 (или eth 1/1)

1. Коммутатор без startup-config включается2. Проверяется наличие USB-флешки с

управляющим сценарием, NX-OS, файлом конфигурации

3. Не нашли – загрузка по DHCP

4. DHCP Discovery. Client-ID = switch serial number

5. Сервер по SN определяет какие параметры передать коммутатору (IP, имя управляющего сценария, адрес TFTP)

6. Коммутатор загружает управляющий сценарий и выполняет его

7. При необходимости загружается версия NX-OS, указанная в сценарии

8. Загружается указанный в сценарии файл конфигурации

9. Коммутатор перезагружается с новыми настройками

• vPC использует протокол STP в качестве резерва• Коммутатор с ролью vPC Operational Primary генерирует и

обрабатывает BPDU (root bridge)• Второй коммутатор в паре пересылает BPDU, изменяя

стоимость маршрута• Перезагрузка root bridge может вызвать кратковренный

перерыв передачи данных вследствие синхронизации STP• Функция vPC peer-switch позволяет обеим коммутаторам

генерировать одинаковые BPDUS1(config)# vpc domain 1S1(config-vpc-domain)# peer-switchS1(config)# spanning-tree vlan 1-2 pri 4096

• С точки зрения STP vPC-пара является одним коммутатором• Все устройства должны быть подключены к обеим

коммутаторам vPC

Снижение простоев сетиvPC peer-switch

vPC Peer-linkS1 S2

vPC Primary vPC Secondary

S5 S3 S4 S6

S2,0,S2

Root

S1 S2

vPC Primary vPC Secondary

Root

S,0,S

S3 S4S5 S6

Root

Peer-switch

• Не требует лицензии• Протоколу IPv6 доступно до 8000 записей в таблице маршрутизации

IPv6 unicast forwardingIPv6 addressing (including routed interfaces, subinterfaces, switch virtual interfaces (SVI), and port-channel interfaces)IPv6 support for Neighbor Discovery (ND) or Address Resolution Protocol (ARP)IPv6 support for Internet Control Message Protocol (ICMP)IPv6 support for router ACLsIPv6 support for Control Plane Policing (CoPP)IPv6 support for QoS packet classification and markingIPv6 support for SNMPSTATICv6 routing protocolBGPv6 routing protocolEIGRPv6 routing protocol OSPFv6 routing protocol

Поддержка IPv6

Преимущества Nexus 5000/2000• Высокая производительность и масштабирование• Объединение сетей передачи и хранения данных• Поддержка виртуализации транспорта и FabricPath• Высокая доступность• Уход от опоры на STP• Централизованное управление• Оптимизация кабельной инфраструктуры

В заключение

Время Название Зал

21.11.12 16:45 Лекция «Задачи создания и варианты связи распределённых ЦОД»

Конгресс-зал средний

22.11.12 10:05 Лекция «Построение ЦОД небольшой организации» Конгресс-зал средний

22.11.12 12:35 Демонстрация «Настраиваем ЦОД небольшой организации»,

Урал

Рекомендуем посетить