Обзор cisco dc switches n9k - n7k, 03-2015

© 2014-2015 Elcore | Elko.by. All rights reserved. 1

Обзор коммутаторов Cisco для построения ЦОД - Nexus 7K и 9K

Максим Порицкий

инженер по направлению Сisco, ССIE R&S

[email protected]

март 2015

2 © 2014-2015 Elcore | Elko.by. All rights reserved.

Продолжительность: 1 час

Аудитория: менеджеры по продажам, инженеры по продажам, IT-архитекторы, инженеры заказчиков

Уровень сложности: базовый-средний

Цель: ознакомимся с портфолио коммутаторов Cisco Nexus (7K, 9K) для построения ЦОД, их программно-аппаратными характеристиками, функционалом и позиционированием


Содержание

Коммутаторы Nexus 7K

Коммутаторы Nexus 9K


Портфолио Nexus 7K


Nexus 7K основные характеристики

Высокопроизводительные, модульные коммутаторы для ядра/агрегации ЦОД

(совмещенного ядра ЦОД и ядра LAN-кампуса)

Модульная NX-ОS

Резервирование всех основных компонент (Sup, коммутационные фабрики,

БП, вентиляторы, при необходимости линейные карты)

Высокоплотное подключение 1/10/40/100 Гбит/c

Распределенная коммутация (на каждой карте forwarding engines + локальная

фабрика)

Пассивная mid-plane архитектура – подключение фабрик и линейных карт

Межмодульная коммутация через crossbar fabric ASICs на картах и фабрике

Поддерживает FEX (N2K)


Шасси Nexus 7K


Вид спереди

5 x коммутационных

фабрик

16 слотов для линейных

карт

4 x БП

AC или DC

2 вентиляторных

модуля

с вентиляторами

(переменная скорость)

Nexus 7018 – комплектация шасси Вид сзади

2 x Sup

* optional door


Вид спереди Вид сзади

2 x Sup


карт

2+2 вентиляторных

модуля (Sup+linecard;

Fabric)



Nexus 7010 – комплектация шасси

3 x БП

AC или DC


фабрик

* optional door and air filter



Вид спереди Вид сзади

1 вентиляторный модуль



2 x БП

AC или DC


фабрик

2 x Sup


карт

* optional door



Вид спереди Вид сзади 1 вентиляторный модуль



4 x БП

AC или DC

2 x Sup

2 слота для линейных

карт


• Нет коммутационных фабрик

• Backplane дизайн



фабрик

(за вентиляторами)


2 x Sup


карт

Вид сзади


3 x вентиляторных

модуля



16 x БП (3kW)

AC или DC



3 x вентиляторных

модуля




фабрик



2 x Sup


карт

Вид сзади


8 x БП (3kW)

AC или DC * optional door and air filter


4 x БП (3kW)

AC или DC

3 x вентиляторных модуля

с вентиляторами (переменная

скорость)

Расположены сзади

6 x коммутационных фабрик


Расположены сзади


2 x Sup


карт





2 x БП (3kW)

AC или DC 1 x Sup

1 слот для линейной

карты 1 x вентиляторный модуль

с 3 вентиляторами


Расположен сзади




Nexus 7000/7700 процессорные модули – основные функции

Обеспечивает control plane и management функции

Active/Standby – SSO/NSF, ISSU

В шасси должны устанавливаться Sup одинакового типа

Управляющие резервируемые каналы к фабрикам и линейным картам

Централизованный арбитраж, регулирующий коммутацию через фабрику

Приоритезация процессорных ресурсов (времени) VDC (CPU Shares)

Поддержка FCoE на картах F2E


Supervisor 2E (Enhanced ) Supervisor 2

CPU 2 x CPU 2.13GHz (4 ядра) 1 x CPU 2.13GHz (4 ядра)

Memory (GB) 32 12

Flash memory (bootflash) 2GB, Embedded USB 2GB, Embedded USB

USB Log Flash 8GB, USB 8GB, USB

FCoE on F2E module Yes Yes

Разделение CPU между VDC Yes Yes

VDC 8+1 admin VDC 4+1 admin VDC

FEX 64 FEX / 3072 ports 32 FEX / 1536 ports

Nexus 7000 процессорные модули

Консоль

Management

Ethernet N7K-SUP2/N7K-SUP2E

USB v2

USB Log Flash, USB v2, 8G USB Expansion Flash, USB v2, 2G (N7K-USB-2GB=)


Supervisor 2E (Enhanced )

CPU 2 x CPU 2.13GHz (4 ядра)

Memory (GB) 32

Flash memory (bootflash) 4GB, Embedded USB

Flash log 16GB, Embedded USB

FCoE on F2E module Yes

Разделение CPU между VDC Yes

VDC 8+1 admin VDC

FEX 64 FEX / 3072 ports

Nexus 7700 процессорный модуль

Консоль Management Ethernet USB порты

N77-USB-2GB=

N77-SUP2E


Nexus 7000 коммутационная фабрика

N7K-C7009-FAB-2=

N7K-C7018-FAB-2= N7K-C7010-FAB-2=

Выполняет функции центрального коммутационного элемента между трафиком линейных карт

От каждой фабрики 2 канала по 55G = 110G на слот

Максимально 5 x фабрик = 550Gbps на слот

Все фабрики активны и передают трафик

Поддерживается замена в горячем режиме

В зависимости от типа I/O – получает соответствующую BW

Fabric Module Supported Chassis Supported I/O

Modules

Per-fabric module

bandwidth

Total bandwidth with

5 fabric modules

Fabric 2 7009 / 7010 / 7018 All 110Gbps per slot 550Gbps per slot


1

Элемент 1 и 3 на I/O модулях - для локальной коммутации (local Fabric 2 ASIC)

Элемент 2 – коммутационная фабрика - для коммутации между I/O

Доступ к фабрике регламентируется централизованным арбитражем на основе кредитов (на Sup) с использованием буферизации, очередей, функционала QoS

1st stage Egress

Module

2nd stage

Ingress

Module

3rd stage

Fabric ASIC 2 3 4 5

Fabric ASIC Fabric ASIC Fabric ASIC Fabric ASIC

Fabric ASIC Fabric ASIC

Fabric Modules

2 x 55Gbps канала (110G)

между слотом I/O и

фабрикой До 550Gbps

per I/O module with 5

fabric modules

Nexus 7000 многоуровневая коммутационная фабрика


Nexus 7004

Sup Module 2

Nexus 7004 не имеет выделенных модулей коммутационной фабрики

I/O модули имеют локальную фабрику с10 fabric channels

I/O modules подключаются “back-to-back” через 8 fabric channels

2 fabric channels для подключения к Sup

Доступная inter-module BW зависит от подключаемых I/O

Sup Module 1

M1 Module 4

M1

Module 3

Crossbar

ASIC

Fabric 1

Crossbar

ASIC

Fabric 1

Crossbar

ASIC

Crossbar

ASIC

2 * 23G

fabric channels

8 * 23G local fabric channels

interconnect I/O modules (184G)

Sup Module 2 Sup Module 1

F2E/M2

Module 4 F2E/M2

Module 3

Crossbar

ASIC

Fabric 2

Crossbar

ASIC

Fabric 2

Crossbar

ASIC

Crossbar

ASIC

2 * 55G

fabric channels

8 * 55G local fabric channels

interconnect I/O modules (440G)

M1 Modules F2E/M2 Modules


Функционал аналогичный Nexus 7000 Fabric 2

Архитектура фабрики аналогичная Nexus 7000 Fabric 2

От каждой фабрики 4 канала по 55G = 220Gbps на слот

Максимально 6 x фабрик = 1.32Tbps на слот

Все фабрики активны и передают трафик

Поддерживается замена в горячем режиме

В зависимости от типа I/O – получает соответствующую BW


N77-C7710-FAB-2=

N77-C7718-FAB-2=

N77-C7706-FAB-2=

Fabric Module Supported Chassis Supported

I/O Modules

Per-fabric module

bandwidth

Total bandwidth with 6

fabric modules

Fabric 2 7706 / 7710 / 7718 All 220Gbps per slot 1.32Tbps per slot


M1 XL Набор ASIC-ов

XL Table Sizes (MAC, IP route, ACL, Netflow)

L2/L3 - 1/10G

46/80G to Fabric

M2 XL Набор ASIC-ов

2x forwarding engines

XL Table Sizes (MAC, IP route, ACL, Netflow)

L2/L3 - 10/40/100G

240G to Fabric

F2e System-on-Chip (SoC)

L2/L3 - 10G

480G to Fabric

F3 System-on-Chip (SoC)

L2/L3 - 10/40/100G

480G – 1200G to Fabric

Портфолио линейных карт


Distributed architecture, with the forwarding engine integrated into each module

Forwarding engine also delivers ACL filtering, marking, rate limiting, and NetFlow

with no degradation of performance

Forwarding engine buffer data in virtual output queues (VOQs) before the data

flows to the fabric. The data flow is controlled by a central arbiter on the supervisor

module, using a credit-based buffer design. This architecture offers a lossless

fabric that delivers quality of service (QoS) and fairness across all ports, even

during congestion

Линейные карты – распределенная коммутация


Item Non-XL Mode XL Mode

MAC entries 128K 128K

IPv4 routes 128K Up to 1M

IPv6 routes 64K Up to 350K

NetFlow entries 512K 512K

ACL 64K 128K

M1 XL / M2 XL линейные карты – режимы работы

Optional Scalable Feature license, the modules can operate in enhanced XL mode

Cisco Nexus 7004 Scalable Feature License N7K-C7004-XL





Основной функционал

L2, L3, vPC, VDC

Large Tables/Buffers

MPLS, VPLS, OTV

Sampled / Full NetFlow

MacSec, SGT/SGACL

LISP & FEX (M1 32XP-12L)

FEX (M2)

M2 XL = 2 x M1 XL

performance

N7K-M202CF-22L= 100G

(200G/slot)

2-Port 100GbE

N7K-M206FQ-23L= 40G

(240G/slot)

6-Port 40GbE

N7K-M132XP-12L=

N7K-M108X2-12L=

N7K-M224XP-23L=

10G (80G/slot)

24-Port 10GbE

8-Port 10GbE

32-Port 10GbE

N7K-M148GT-11L=

N7K-M148GS-11L=

1G (46G/slot)

48-port 10/100/1000

48-port 1GE SFP

10G (240G/slot)

Линейные карты M-серии XL (M1XL, M2XL) для N7000


Линейная карта M-серии N7K-M132XP-12L= Режимы работы

10 GE

10 GE

Режим Shared

Все 4 порта в группе активны

Используют один канал 10 Gbps

Переподписка до 4:1, динамическое распределение

Применение – включение серверов на уровне доступа

Режим Dedicated

Первый порт в группе из 4 активен, доступно 10 Gbps

Остальные 3 в группе не используются

Неблокируемый полноскоростной порт 10Gbps

Режим Shared

Режим Dedicated

Режим работы

устанавливается для групп

портов, на одной карте

группы портов могут

находится в разных режимах


Layer 2

Engine

Layer 3

Engine

Forwarding

Engine

VOQs

MAC / Linksec

Replication

Engine

Arbitration

Aggregator

VOQs

Replication

Engine

Fabric ASIC

Central Arbiter

Layer 2

Engine

Layer 3

Engine

Forwarding

Engine

VOQs

MAC / Linksec

Replication

Engine

VOQs

Replication

Engine

1x100G / 3x40G / 12x10G 1x100G / 3x40G / 12x10G

EARL8 EARL8

LC

CPU

EOBC

Архитектура M1/M2 модулей, на примере M2

To Fabric Modules


F-Series Module is built with switch-on-chip (SoC) architecture, in which a

single application-specific integrated circuit (ASIC) implements all the

module functions, including ingress buffering, forwarding lookup

operations, access control lists (ACLs), quality-of-service (QoS) tables,

fabric interfaces, and virtual output queuing (VOQ)

Each SoC manages can manage several front-panel interfaces

This type of design increases performance while lowering the power and

cooling requirements of the module

Линейные карты F-серии - switch-on-chip (SoC)


4 X 10G

SoC

1

Front Panel Ports

To Fabric Modules

Fabric 2 ASIC

2

3

4

LC

CPU

EOBC

To Central Arbiters

Arbitration Aggregator

4 X 10G

SoC

5

6

7

8

4 X 10G

SoC

9

10

11

12

4 X 10G

SoC

13

14

15

16

4 X 10G

SoC

17

18

19

20

4 X 10G

SoC

21

22

23

24

4 X 10G

SoC

25

26

27

28

4 X 10G

SoC

29

30

31

32

4 X 10G

SoC

33

34

35

36

4 X 10G

SoC

37

38

39

40

4 X 10G

SoC

41

42

43

44

4 X 10G

SoC

45

46

47

48

MACSec Capable Ports*

Архитектура F2e/F3 модулей, на примере - N7K-248XP-25E=


1/10G (480G/slot)

Линейные карты F-серии (F2e) для N7000

Основной функционал

L2, L3, vPC, VDC

Sampled NetFlow

MacSec**, SGT/SGACL

FEX (SFP+ only)

+FCoE (SFP+ only)

+FabricPath

MPLS, VPLS, OTV

Full NetFlow, LISP

N7K-F248XP-25E=

48-port 1/10 GE BaseT

N7K-F248TX-25E=

48-port 1/10 GE SFP+

Архитектура - switch-on-chip (SoC) архитектура

**На N7K-F248XP-25E= MacSec на последних 8 портах

Лицензия на FCoE N7K-FCOEF248XP=

SFP+ карта поддерживается на N7K и N77K

N77-F248XP-23E=


1/10G (480G/slot)

Линейные карты F-серии (F3) для N7000 и N7700

Основной

функционал

L2, L3, vPC, VDC

Sampled NetFlow

OTV, SGT/SGACL

FabricPath, FEX

-----------------------

**MacSec (8 портов),

LISP, FCoE, MPLS,

VPLS – HW ready,

SOFT – later !!!

N7K-F348XP-25= N77-F348XP-23=**

48-port 1/10 GE SFP+ 48-port 1/10 GE SFP+

N7K-F312FQ-25= N77-F324FQ-25=

40G (480G/slot)

12-Port 40GbE

1/10G (480G/slot)

40G (960G/slot)

24-Port 40GbE

100G (600G/slot)

100G (1.2T/slot)

6-Port 100GbE 12-Port 100GbE

N7K-F306CK-25= N77-F312CK-26=


40G QSFP Bidirectional использование той же СКС что и для 10G Проблема миграции c 10G на 40G

• Для передачи 10G достаточно 1 пары (2 жил)

• Для передачи 40G необходимо 4 пары (8 жил)

• Разъем кабеля “12-fiber MPO”, вместо “Dual LC”

• Использует существующую CКС (под 10G)

• Использует Dual LC разъем кабеля

• 100 m на MMF OM3 и 150m на MMF OM4

• 2 x TX/RX на разных длинах волн по 20 Gb

каждый

Cisco® 40 Gb SR-BiDi QSFP

10G SFP 10G SFP MMF Cable

MMF Cable 40G BiDi

QSFP

40G BiDi

QSFP

NEW MMF Cable 40G QSFP

SR4

40G QSFP

SR4

Модуль, платформа Поддержка

Nexus 7000

M2 40G Module Да, c NX-OS 6.2(6)

Nexus 7000/7700

F3 40G Module Да, c NX-OS 6.2(6)

QSFP-40G-SR-BD


Режимы работы QSFP интерфейса:

40G (40-Gbps flow)

4 x 10G (QSFP-to-SFP+)

Разъем MPO со стороны QSFP+ интерфейса и 4 отдельных пар с разъемом LC c другой стороны

Типы кабелей

Direct-attach copper breakout cables

Fiber breakout cables (без оптических интерфейсных модулей)

Разветвитель (breakout cable) 40G = 4 x 10G

Модуль, платформа Тип кабеля Оптические интерфейсы Поддержка

Nexus 7000

M2 40G Module

QSFP-4X10G-ACxM

(медь 7, 10 м)

QSFP-4X10G-AOCxM

(оптика 1,2,3,5, 7, 10 м)

FET-40G (100м – OM3, 150м - OM4)

QSFP-40G-SR4 (100м – OM3, 150м - OM4)

QSFP-40G-CSR4 (300м – OM3, 400м - OM4)

Да, c NX-OS 6.2(8) Nexus 7000/7700

F3 40G Module


N7K-

C7004

N7K-

C7009

N7K-

C7010

N7K-

C7018

N77-

C7702

N77-

C7706

N77-

C7710

N77-

C7718

RU 7 14 21 25 3 9 14 26

Sup 2 2 2 2 1 2 2 2

I/O slots 2 7 8 16 1 4 8 16

BW per slot 440Gbps 550 Gbps 550 Gbps 550 Gbps 1.3Tbps 1.3 Tbps 1.3 Tbps 1.3 Tbps

Switching capacity 1.92 Tbps 7.7 Tbps 8.8 Tbps 17.6 Tbps 5 Tbps 21 Tbps 42 Tbps 83 Tbps

1 GE port 96 336 384 768 48 192 384 768

10 GE port 96 336 384 768 48 192 384 768

40 GE port 24 84 96 192 24 96 192 384

100 GE port 4 14 16 32 12 48 96 192

Fabric 0 5 5 5 0 6 6 6

БП (AC / DC) 4 2 3 4 2 4 8 18

Fan 1 1 2+2 2 1 3 3 3

Nexus 7K сравнительные характеристики


Nexus 9K


Развитие подходов к построению сети ЦОД

Традиционная

модель сети

Альтернативная

SDN модель

Новая

модель сети

Проверенное решение

Существующая модель эксплуатации сети и приложений

Широкое распространение

Много точек управления

Негибкость

Остаётся сложность

Отдельные оверлей и транспортная сеть

Зависимость от гипервизора

Несколько точек управления

Программная виртуализация сети

Application Centric Infrastructure Сумма устройств

Устраняет сложность

Управление по политикам

Аппаратные оверлеи

Автоматизация

Программируемая инфраструктура

Защита инвестиций


Storage SME Server SME Network SME

Security SME App. SME OS SME

APIC

Spine

Application Centric Infrastructure

Leaf

Application Policy

Infrastructure Controller


Nexus 9300


Nexus 9300 основные характеристики

Высокоплотное, неблокируемое, энергоэффективное устройство коммутации для:

уровня доступа ЦОД (ToR; MoR/EoR - c FEX (N2K) – 16 шт. или без)

объединенного уровня агрегации-доступа (N9K+N2K)

ACI (leaf или spine - Nexus 9336PQ)

Фиксированная платформа с 1 GEM (на некоторых N9K)

CPU – 2 core, 2.5 GHz x86 + 16GB memory + 64 GB SDD

2 режима работы: NX-OS и Application Centric Infrastructure (ACI) (leaf или spine - 9336PQ)

L2/L3; 1/10/40 - Гбит/c, низкая задержка коммутации (2 микросекунды)

NX-OS (Linux based, ISSU, patching)

Лицензирование: L3 – дополнительная лицензия


9396PX

(48x10+12x40G)

9372PX

(48x10+6x40G)

9396TX (48x10+12x40G)

93128TX (96x10+8x40G)

9372TX (48x10+6x40G)

• Incremental buffer

• VXLAN Routing*

• ACI Enabled M

erc

hant+

NX

-OS

– A

CI m

od

e

9332PQ

(32x40G)

40G Fiber 10G Fiber 10G Copper * Future

Nexus 9300 портфолио

93120TX (96x10+6x40G)

+GEM +GEM

+GEM

spine

9336PQ

(36x40G)

FEX

FEX


Nexus 9300 архитектура платформы, на примере N9K-C93128TX

Console

management, USB 96 x 1G BaseT/10G BaseT

GEM module with 12 x 40 Gbps QSFP+

(8 active uplinks)

Power supply (1+1) Power supply (1+1) (2+1) fan trays

Front-to-back and back-to-front airflow options

Fan

Power Supply - AC или DC

Generic Expansion Module

Hot-swappable


Nexus 9300 Generic Expansion Module

Nexus M6PQ 6-Port QSFP+ Uplink Card

Nexus M6PQ 12-Port QSFP+ Uplink Card

Nexus N9K-M4PC-CFP2 4-Port 100G Uplink Card

При конфигурации N9K выбор GEM

обязателен

Все модули общие между всеми N9K

12 port 40-Gbps QSFP+ - (8 active ports)

на Nexus 93128TX

4-Port 100G - (2 active ports) на Nexus

93128TX

Поддержка QSFP-to-SFP QSA adapter

для 10G










каждый



MMF Cable 40G BiDi

QSFP

40G BiDi

QSFP


SR4

40G QSFP

SR4


N9K (все интерфейсы 40G) Да

QSFP-40G-SR-BD


Cisco 40-Gigabit Ethernet Transceiver Modules Compatibility Matrix

http://www.cisco.com/c/en/us/td/docs/interfaces_modules/transceiver_modules/compatibility/matrix/40GE_Tx_Matrix.html


ACI MODE (ACI NX-OS 11.0(3i) ):

The Breakout of 40G ports to 4x10G is not yet supported in the ACI NX-OS Mode

(on the N9332PQ leaf or on the spine)

NX-OS MODE (NX-OS Release 7.0(3)I1(1)):

Breakout support on 9332PQ switch (all ports except 13-14 and 27-32 can

support breakout)

QSFP-4X10G-AOCxM (оптика 1,3,5, 7, 10 м)






Nexus 9300 сравнительные характеристики

N9K-

C9372TX

N9K-

C9396TX

N9K-

C93120TX

N9K-

C93128TX

N9K-

C9372PX

N9K-

C9396PX

N9K-

C9332PQ

N9K-

C9336PQ

Usage ACI leaf, ToR, EoR, FEX** aggregation ACI spine

Высота 1 RU 2 RU 2 RU 3 RU 1 RU 2 RU 1 RU 2 RU

Коммутац.

(Tbps) 1.44 1.92 2.4 2.56 1.44 1.92 2.56 2.88

100 M/1

GE/10 GE

copper

48 48 96 96

1/10 GE

fiber 48 48

40 GE 6 6 or 12 6 6 or 8 6 6 or 12 32 36

100 GE 4 4 4

Latency Less than 2 microseconds

Buffer ,MB 37 52 52 52 37 52 37 72

**FEX is supported only on the Cisco Nexus 9372PX and 9396PX switches. It is not supported on the other Cisco Nexus 9300 Series switches or the Cisco

Nexus 9500 Series switches.


Nexus 9500


Nexus 9500 основные характеристики

Высокоплотное, неблокируемое, энергоэффективное устройство коммутации для:

уровня доступа ЦОД (EoR) (с FEX* или без)

уровня агрегации/ядра

ACI (leaf* или spine)

Модульная платформа – 4, 8, 16 столов

Midplane-free chassis design

2 режима работы: NX-OS и Application Centric Infrastructure (ACI)

ACI Spine (на текущий момент 9508+X9736PQ)

ACI Leaf*

Поддерживает FEX* (до 32 шт)

L2/L3; 1/10/40/100 - Гбит/c, низкая задержка коммутации (5 микросекунд)

NX-OS (Linux based, ISSU, patching)

Лицензирование: L3 – дополнительная лицензия

* Future


Nexus 9500 архитектура платформы, на примере Nexus 9508

Nexus 9508 вид спереди Nexus 9508 вид сзади

8 x линейных карт

Max 3.84 Tbps per slot

duplex

2 x Sup

До 8 x БП (N+1, N+N)

2 x системных

контроллера

3 или 6 x коммутационных

фабрик (behind fan trays)

3 x fan trays (N+1)

No mid-plane for

LC-to-FM connectivity


Nexus 9500 первое модульное устройство без midplane/backplane

Улучшения:

Охлаждения – нет препятствий для воздуха

Электропитания – из-за эффективного охлаждения

Надежности – меньше элементов, подверженных

сбоям (коннекторы на mid-plane / back plane)

Будущего масштабирования – нет ограничений mid-

plane / back plane


Nexus 9508 Backplane-free Modular Design

High Density Connectors

Nexus 9500 подключение коммутационных фабрик и линейных карт


Nexus 9508 Backplane-free Modular Design Nexus 9500 вентиляторные модули и БП

Мощность – 3kW AC

2 x БП – для полностью загруженного

коммутатора

Отказоустойчивость N+1 или N+N = 4 x БП

Всего 10 слотов для БП (для будущих карт)

3 вентиляторных модуля

3 вентилятора на модуль

Динамическое управление

скоростью на основе

температурных сенсоров

1 fan на 2 фабрики

Поток воздуха на фабрику

и карты

Отказоустойчивость N+1


Nexus 9500 Platform Architecture Supervisor Module

SSD

DRAM

(Upgradable to 48 GB)

10/100/1000 mgmt port

Dual USB ports Console port External clock input

Intel CPU

Redundant paths to system controllers

Nexus 9500 процессорные модули

Supervisor A Supervisor B

CPU 4 core, 1.8 GHz 6 core, 2.2 GHz

Memory (RAM) 16 GB 24 GB

Storage (SSD) 64 GB 256 GB

2 x Sup

Active/Standby

Только control plane, никакого

management plane


Nexus 9500 системные контроллеры

2 x системных контроллера

Осуществляет управление шасси вместо Sup

2 ядерный CPU, 1.3 GHz

Управляет БП, вентиляторами



Объединяет подключения линейных карт

Все коммутационные фабрики активные и используются для

data plane

N9504 N9508 N9516

Broadcom Triden II (NFE) 1 2 4 N9K-C9504-FM=

N9K-C9508-FM=

N9K-C9516-FM=


Nexus 9500 масштабируемость data plane, на примере Nexus 9508 Каждая коммутационных фабрика обеспечивает 320 Gbps на 1 слот линейной карты

Суммарно 6 x коммутационных фабрик обеспечивают 1.92 Tbps duplex на слот линейной карты

NFE

Fabric 1

NFE

320 Gbps

(8 x 40 Gbps)

NFE

Fabric 2

NFE

320 Gbps

(8 x 40 Gbps)

NFE

Fabric 3

NFE

320 Gbps

(8 x 40 Gbps)

NFE

Fabric 4

NFE

320 Gbps

(8 x 40 Gbps)

NFE

Fabric 5

NFE

320 Gbps

(8 x 40 Gbps)

NFE

Fabric 6

NFE

320 Gbps

(8 x 40 Gbps)

Line Card Slot

320 Gbps

640 Gbps

960 Gbps

1.28 Tbps

1.60 Tbps

1.92 Tbps


Merchant vs Merchant+ Silicon

Merchant Silicon — “коммерческие” интегральные микросхемы, разработанные

специализированными компаниями, для которых это является основным бизнесом (Broadcom)

18-24 цикл для нового поколения интегральных микросхем (увеличивают емкость портов,

уменьшают величину задержек во время коммутации, уменьшают электропотребление)

Не сфокусированы на сетевых сервисах и потребностях заказчиков

“Тормозят” сетевых вендоров

Merchant+ Silicon (Custom) — гибридное решение, состоящее из Merchant + специализированные

ASIC для сетевых сервисов, собственной разработки Сisco

NFE – network forwarding engine

ALE – ACI Leaf Engine

ASE – ACE Spine Engine


Me

rch

ant

Me

rch

ant+

40G Fiber

9636 (36x40G)

9432 (32x40G)

9536 (36x40G)

10G Copper

9464 (48x10G+4x40G)

9564 (48x10G+4x40G)

10G Fiber

9464 (48x10G+4x40G)

9564 (48x10G+4x40G)

• Additional buffer

• VXLAN routing*

• ACI Enabled*

100G Fiber

9408PC-CFP2 (8x100G)

9736 (36x40G)

ACI Spine Only

NX-OS Mode

ACI Leaf Ready*

NX-OS Mode

only

Nexus 9500 - линейные карты

* Future










каждый



MMF Cable 40G BiDi

QSFP

40G BiDi

QSFP


SR4

40G QSFP

SR4


N9K (все интерфейсы 40G) Да

QSFP-40G-SR-BD


Cisco 40-Gigabit Ethernet Transceiver Modules Compatibility Matrix



ACI MODE (ACI NX-OS 11.0(3i) ):

The Breakout of 40G ports to 4x10G is not yet supported in the ACI NX-OS Mode

(on the N9332PQ leaf or on the spine)

NX-OS MODE (NX-OS Release 7.0(3)I1(1)):

Breakout support on X9636PQ, X9432PQ, X9536PQ

QSFP-4X10G-AOCxM (оптика 1,3,5, 7, 10 м)






Nexus 9504 Nexus 9508 Nexus 9516

Form factor 7 RU 13 RU 21 RU

Line card slots 4 8 16

Supervisor slots 2 2 2

Fabric module slots 6 6 6

ACI support Yes* Yes Yes*

Bandwidth per slot 3.84 Tbps 3.84 Tbps 3.84 Tbps

Bandwidth per system 15 Tbps 30 Tbps 60 Tbps

Max 1/10G BASE-T 192 384 768

Max number of 10 GE 576 1152 2304

Max number of 40 GE 144 288 576

Max number of 100GE 32 64 128

Airflow Front to back Front to back Front to back

Power supplies (3-kW AC) Up to 4 Up to 8 Up to 10

Fan trays 3 3 3

Nexus 9500 сравнительные характеристики, шасси

* Future


Заключение


Cпасибо за внимание!

Максим Порицкий

инженер по направлению Сisco, ССIE R&S

[email protected]

март 2015

Обзор cisco dc switches n9k - n7k, 03-2015

Technology

x ac dc

fabric modules nexus

sup linecard fabric

fabric modules fabric

ports nexus

cisco nexus

cisco nexus

sup module