多路径二层网的 fabricpath 简介

© 2008 Cisco Systems, Inc. All rights reserved. Cisco PublicPresentation_ID 1© 2008 Cisco Systems, Inc. All rights reserved. Cisco PublicPresentation_ID 1

多路径二层网的FabricPath 简介

陈刚[email protected]


议程

二层网络现状和面临的挑战高扩展高可用的二层解决方案 FabricPath 的技术细节 FabricPath 的部署案例 FabricPath 的监控与排错


Spanning Tree 的不足

11 条物理链路

5 条逻辑链路

路径选择的非最优两个网桥之间只能有单一的可达路径最短路径只是从根桥的角度去判断的

带宽闲置不用为了二层逻辑拓扑不存在环路，冗余链路被Blocking

链路速度越快，浪费的带宽越多控制平面缺乏安全

根桥是按照 switch-ID选举出来的 , 可能因为操作不当造成故障

链路故障的收敛缓慢并且不可靠即使使用 RSTP，也会出现数秒的服务中断


网络设计中的困扰使用 L2 还是 L3 ？

VLANVLANVLANVLAN

VLANVLANVLANVLAN

Access

Core

Layer 3Network

VLANVLANVLANVLAN

VLANVLANVLANVLAN

L3

L3

L2

L2

简单 ( 不需要进行地址规划和配置，不需要控制平面 ) 用于 unicast, broadcast, and multicast 的控制简单应用开发简单

网段分开提供了故障隔离控制平面支持多路径和多拓扑，扩展性好支持快速收敛的 HA 数据平面支持额外的环路避免机制 l (e.g. TTL, RPF check, etc.)

Cisco 具有足够的 L2和 L3 技术来满足客户的需求

Layer 2?

Layer 3?

L3 互联的数据中心在提供以下服务方面存在不足： VMWare 应用（ Fault Tolerant VM、 HA

VM、 Cluster VM ） HA与 Cluster 应用（ MS MSCS、 Oracle

RAC、 HP TruCluster、 IBM HACMP ）物理服务器平滑搬迁数据中心容量不足时的扩展


二层与三层网络的不同世界

10.0.0.10 /24

Network Address10.0.0.0/24

Host Address10.0.0.10

0011.1111.1111Non-hierarchical

Address

二层转发 ( 桥接 ) Data-plane 学习扁平的地址空间和转发表 (MAC everywhere!!!) 对未知的单播地址实行 Flooding 为了避免 flooding, 同一网络中的所有交换机必须学习目的 MAC 地址

0011.1111.11110011.1111.1111 0011.1111.11110011.1111.1111

0011.1111.1111

0011.1111.11110011.1111.11110011.1111.11110011.1111.1111

三层转发 ( 路由 ) Control-plane 学习层次化的地址空间与转发只有路由表中匹配的目的地址才被转发 Flooding 被网段隔离路由表的维护不依赖于 data-plane

10.0.0.10 20.0.0.20

10.0.0.0/2410.0.0.0/24

10.0.0.0/1610.0.0.0/16 20.0.0.0/1620.0.0.0/16

20.0.0.0/2420.0.0.0/24


如何改进二层网络？

地址的编码机制 : 扁平层次化需要额外的 Header 信息来允许 L2 的“路由”而不是 “桥接”

提供类似 TTL 的环路避免技术

地址的学习 : 数据平面控制平面不再需要每一台交换机学习所有的 MAC 地址来避免flooding

控制平面 : Distance-Vector Link-State提高扩展性 , 减少收敛时间 , 允许多路径

最终的解决方案应该同时考虑控制平面与数据平面 !!!


前人的努力之一-- VL2 ，来自 MS， SIGCOMM 2009

使用高冗余的多路径三层网络构建 Virtual Layer 2 网络

使用 TCP（ Layer 4 ！）来管理拥塞


前人的努力之二-- PMAC， Hierarchical Pseudo MAC

使用 Fabric Manager 来改写目的 MAC 地址成PMAC

不需要额外的 Header, 内置支持 Multicast


前人的努力之三-- Server-centric Source Routing

使用传统的交换机平滑的性能下降，适合集装箱式的模块化数据中心


Cisco 的解决之道-- FabricPath

““FabricPath FabricPath 为灵活的二层桥接网络带来的三层为灵活的二层桥接网络带来的三层路由的好处路由的好处””

配置简单即插即用（ Plug & Play

）管理灵活

多路径 (ECMP) 快速收敛高扩展性

交换路由

FabricPath

带宽高扩展自动发现操作简单

灵活的 Workload 迁移高可用性


STP DomainSTP DomainSTP DomainSTP DomainFabricPathFabricPathFabricPathFabricPath

STP Domain 1STP Domain 1STP Domain 1STP Domain 1 STP Domain 2STP Domain 2STP Domain 2STP Domain 2

FabricPath 在数据平面的操作-- 通过封装来建立层次化的地址机制

FabricPath 的包头部由入口交换机产生入口和出口交换机地址用于决定 “ Routing” L2 Fabric 中不需要学习 Client MAC

A C

S11 S42

CC

AA

DATADATA

CC

AA

DATADATA

FabricPath Header S11S11

S42S42

S11 S42

FabricPath Routing

L2 Bridging

A C A C

A C Egress SwitchIngress Switch


FabricPath 在控制平面的操作-- 使用 Plug-N-Play L2 IS-IS 来管理转发拓扑

自动为所有的 FabricPath enabled switches 分配地址 ( 不需要用户配置 )

计算最短路径支持任意一对 FabricPath 交换机之间的等价路径

L1

L2

S1 S2 S3 S4

S11 S12 S42L2 FabricL2 Fabric

L3

L4

FabricPathRouting Table

FabricPathRouting Table

Switch IF

S1 L1

S2 L2

S3 L3

S4 L4

S12 L1, L2, L3, L4

… …

S42 L1, L2, L3, L4


FabricPath 的环路避免-- 使用 TTL和 RPF Check 来减少 loop 的影响

STP DomainSTP Domain

Block 冗余路径来防止环路一旦 STP 失败，以太帧会

一直 Loop Flooding 可能引起全网异常

Root

L2 FabricL2 FabricL2 FabricL2 Fabric

S1

S10

S2

TTL=3TTL=3

TTL=2TTL=2 TTL=1TTL=1

TTL=0TTL=0

TTL 是 FabricPath 头部的一部分

每一跳减去 1 当 TTL=0 时，数据帧被丢弃基于“树”信息为组播进行 RPF

检查

Root

M

S2

M

S2


FabricPath 的技术细节-- FabricPath 的数据帧封装

Cisco FabricPath Frame

(Classical) Ethernet Frame

OuterDA

(48)*

OuterSA

(48)*

FPTAG(32*)

DMAC SMAC Ether Type Payload802.1Q

Header CRC

DMAC SMAC Ether Type Payload802.1Q

HeaderCRC

(New)

使用 16 字节的头部来建立层次化的地址空间，从而实现增强的特性

Switch ID: 用于识别 L2 Fabric 每一台设备的唯一号码 Port ID: 用于提供 L2 Fabric 边界的 MAC-to-Interface 关联信息 Tree ID: 帮助识别每个分布层“ Tree” 的唯一号码 TTL: 每一跳递减，以防故障造成的数据帧无限 Loop

* Lengths for all fields are shown in “bits”


FabricPath 的“路由”计算-- Layer 2 IS-IS

只需要很少的了解，缺省不需要用户只需要很少的了解，缺省不需要用户的配置的配置 maintain PnP nature of Layer 2

基于 ISO/IEC 10589 可扩展的协议设计，允许 Layer 2 信

息通过 IS-IS 交换 Single-level IS-IS with support for

P2P links 为转发流量计算转发信息支持 ECMP的 Link-state 协议，提高

故障检测，网络恢复，高可用

IS-I

S U

pd

ate

IS-IS Update

IS-IS

Up

dat

e IS-IS Update

FabricPath PortCE Port

L2 FabricL2 Fabric


FabricPath 的技术细节-- FabricPath的“路由表”包括 L2 Fabric中用于转发 L2 单播流量的信息

已知的单播地址One Ingress Switch One Egress Switch

根据 destination Switch-ID 选择转发路径

L2 Fabric 中的每一台交换机根据从 L2 IS-IS 接收到的信息计算本地交换表

交换表包括 {Switch-ID, Output Interfaces} 等基本信息

对于指定的 Switch-ID ，最多可达 16个 ‘ Next-hop Interfaces’ (i.e. L2 ECMP)

Switch IF

S2 L1, …, L101

… …

S16 L1, …, L101

S100 L1

S200 L101

A

L2 FabricL2 Fabric

CFabricPath PortCE Port

S100 S200

S1 S2 S16

L1 L2

L16

L101 L102L116

S100 S200


FabricPath 的技术细节-- 边界交换机的 MAC 学习

500 MACs500

MACs500

MACs500

MACs

500 MACs500

MACs500

MACs500

MACs

250 MACs250

MACs

250 MACs250

MACs250

MACs250

MACs

250 MACs250

MACs

每一台交换机学习所有的 MACs

大型的 L2 domain 网络和大量的虚拟化给 MAC 表的扩展性带来挑战

STP Domain

Local MAC: 只有从 CE 端口接受到数据才学习 Source-MAC

Remote MAC: 只有当 Destination-MAC 已经作为 Local 时，从 FabricPath Ports 接收数据时才学习 Source-MAC

S11

A C

B

L2 FabricL2 Fabric

MAC IF

C 3/1

A S11

MAC IF

B 2/1

MAC IF

优化资源利用 – 只学习需要的 MAC 地址


Host A与 C 通讯的过程（一）-- FabricPath对广播的转发

L1 L2 L3 L4

A B C

L8L5

L6 L7

L9

L10 L11

L12

S1 S2 S3 S4


A F

F

A F

F

1. Host A 与 Host C 第一次通讯 . 向 C 发送 ARP 请求2. S11 把 A 加入 MAC 表，因为是来自 CE 端口的源地址学习3. 由于目的 MAC是‘ All F’, S11 向所有的 CE 端口 Flood该数据包

MAC IF

Tree # IF

1 L1, L2, L3, L4

S11

F

F (

1)

S11

F

F (

1)

A

FF

A

FF

MAC IF

A 1/1

4. 同时 , S11 选择‘ Tree 1’, 在 FabricPath header 中记录并 floods this frame 到所有属于” tree 1”的 FabricPath ports (L1 ~ L4)

Tree # IF

1 L1, L5, L9

5. S1 继续基于本地的” tree 1” 信息 flood this frame (L5, L9)6. S12 与 S42 移除 FabricPath header 并且向所有 CE 端口 flood the frame

A

FF

A

FF

A

FF

A

FF

1/1 3/1

MAC IF


No Learning on Remote MAC since DMAC is unknown

DecapDecap

EncapMAC IF


Host A与 C 通讯的过程（二）-- FabricPath对未知单播的转发

L1 L2 L3 L4

A B C

L8L5

L6 L7

L9

L10 L11

L12

S1 S2 S3 S4


A C

A C

1. Host C 向 Host A 送回 ARP Reply2. S42 从 CE 端口根据源地址学习原理将 C 加入 MAC Table3. 由于 A is unknown, S42向所有 CE 端口 floods this frame

MAC IF

Tree # IF

1 L1, L2, L3, L4 MAC IF

C 3/1

4. 同时 , S42 根据选择的‘ Tree 1’, 在 FabricPath header 中记录并且向所有的FabricPath ports (L9) floods this frame

Tree # IF

1 L1, L5, L9

5. S1继续顺着” tree 1” floods this frame (L1, L5)6. S11继续顺着” tree 1” floods this frame (L2~L4). 同理，移除 FabricPath

Header, S11 发现目标地址 A 已经是本地学习的，于是将 C 作为 Remote MAC 加入表格并且与 S42相关联 .

MISS

Tree # IF

1 L9

MAC IF

A 1/1

FF S42 (1)

FF S42 (1)A CA C

Encap

Decap

A

C

A

C C

AC

A

MAC IF

A 1/1

C S42

1/1 3/1

DecapFabricPath PortCE Port

FF

S42

(1)

FF

S42

(1)

A

CA

C

MAC IF

HIT!


Host A与 C 通讯的过程（三）-- FabricPath对已知单播的转发

L1 L2 L3 L4

A B C

L8L5

L6 L7

L9

L10 L11

L12

S1 S2 S3 S4

S11 S12 S42

A C

A C

1. Host A 在解决 ARP 之后向 Host C 发送数据流2. S11 发现 C 已经作为 remote 学习了 , 并且和 S42 关联 . 对到 C 所有后续进

行封装，在 FabricPath header 中将 S42 作为目的地址

MAC IFMAC IF

C 3/1

4. S4 的“路由表”显示 L12 as next hop for S425. S42 发现自己是 FabricPath header 的目的地，并且 C 是本地已知的 . 于是 , 将 A 作为 remote 加入表格 , 并且与 S11 关联 .

MAC IF

A 1/1

C S42

Decap

Encap

A

C

A

C

HIT!

Switch IF

… …

S42 L1, L2, L3, L4

S11 S42

S11 S42

A CA C

Switch IF

… …

S42 L12

MAC IF

C 3/1

A S11

3. S11 的“路由表”显示到 S42 有多条路径 . 执行 ECMP hash 算法，选择 L4 作为 next-hop

1/1 3/1

S11

S42

S11

S42

A

CA

C

L2 FabricL2 Fabric


HIT!


FabricPath 的配置

不需要 L2 IS-IS 配置新的‘ feature-set’ 关键词会自动将 FabricPath 需要的多个

Service 同时打开 (e.g. L2 IS-IS, LLDP, etc.)

非常简单的操作 – 只需要 3条命令让 FabricPath跑起来

L2 FabricL2 Fabric


N7K(config)# feature-set fabricpathN7K(config)# vlan 10-19N7K(config-vlan)# mode fabricpathN7K(config)# interface port-channel 1N7K(config-if)# switchport mode fabricpath

N7K(config)# feature-set fabricpathN7K(config)# vlan 10-19N7K(config-vlan)# mode fabricpathN7K(config)# interface port-channel 1N7K(config-if)# switchport mode fabricpath


FabricPath与 TRILL 的关系-- FP= PreStandard TRILL ？ FP=Enhanced TRILL？TRILL 帧格式 FabricPath 帧格式


E-TRILL与 802.1AHTRILL 进入 SP 市场还有哪些障碍？E-TRILL 帧格式 802.1ah 帧格式

Eth = .1ah

I-SID C MAC DA

PCP/R, I-SID

Outer MAC DA

Outer MAC DA

Outer MAC SA

Outer MAC SA

Eth = 0x88a8 B VLAN

C MAC DA

C MAC SA

C MAC SA Eth = 802.1Q

C VLAN

Payload ….

Payload

Eth = PR-TAG

SID C MAC DA

PCP/TTL, SID

Outer MAC DA

Outer MAC DA

Outer MAC SA

Outer MAC SA

Eth = 0x88a8 Outer VLAN

C MAC DA

C MAC SA

C MAC SA Eth = 802.1Q

C VLAN

Payload ….

Payload


TransportInfrastructure

另外的 L2 扩展技术-- OTV的MAC 路由

OTVOTV OTVOTV OTVOTV OTVOTV

MAC TABLE

VLAN MAC IF

100 MAC 1 Eth 2

100 MAC 2 Eth 1

100 MAC 3 IP B

100 MAC 4 IP B

MAC 1 MAC 3MAC 1 MAC 3

IP A IP BIP A IP BMAC 1 MAC 3MAC 1 MAC 3

MAC TABLE

VLAN MAC IF

100 MAC 1 IP A

100 MAC 2 IP A

100 MAC 3 Eth 3

100 MAC 4 Eth 4

Layer 2Lookup

5

IP A IP BIP A IP BMAC 1 MAC 3MAC 1 MAC 3MAC 1 MAC 3MAC 1 MAC 3Layer 2Lookup

1 Encap 2

Decap 4

MAC 1 MAC 3MAC 1 MAC 3West Site

West Site

MAC 1MAC 3East

SiteEastSite

1. 二层查找目的 MAC. MAC 3 通过 IP B可达 .

2. 边界设备封装以太网帧 .3.骨干传输网将数据包分发到 site East.

4. site East 的边界设备接收并解开数据包 .5. 查看原始帧的 Layer 2 信息 . MAC 3 是本地 MAC.

6.该以太网帧被发送到目的地 .

3

6

IP A IP B


当 vPC 遇上 FabricPath-- FabricPath 下的增强版 vPC

对于位于 L2 Fabric Edge 的所有交换机为了给 dual-homed的 CE 设备提供

active/active L2 paths, 仍然需要 vPC

然而 , MAC Table 只允许 MAC和Switch ID的 1-to-1 mapping

对 L2 Frabric 的其余部分而言，每个 vPC domain代表了一个 unique ‘Virtual Switch’

‘Virtual Switch’的 Switch ID 在FabricPath 封装中作为源地址

L2 Fabric

S1 S2

A

B

S3

MAC Table

A ???

MAC Table

B S3B A Payload

B A PayloadS2S3B A PayloadS1S3

MAC Table

A S4

vPC

L2 Fabric

S1 S2

B

S3

B A PayloadA

S4

B A PayloadS4S3 B A PayloadS4S3

vPC+MAC Table

B S3


FabricPath 使用案例-- 高性能计算

32 Chassis

16 Chassis

16-way ECMP

8,192 10GE ports512 10GE FabricPath ports per system

256 10GE FabricPath Ports

160 Tbps System Bandwidth

Open I/O Slots for connectivity

Spine Switch

Edge Switch

16-port Etherchannel

FabricPathFabricPath

HPC 的需求 HPC Clusters 需要高密度的计

算节点尽可能小的 over-subscription

server to server 延时很低

FabricPath 给 HPC 带来的好处 FabricPath 适合建设高密度的 fat-

tree network

通过 FabricPath ECMP & port-channels 达成 Fully non-blocking

通过减少交换机的 HOP 跳数来降低server to server 的延迟


FabricPath 使用案例-- 为 2048 台万兆服务器扩展带宽

带宽性能提升 16X

需要管理的设备从 74 减少到 12 台设备网络可用性增加 2X+

简化 IT 操作

传统基于 Spanning Tree 的网络基于 FabricPath 的网络

2, 048 Servers

8 Access Switches

Network Fabric

64 Access Switches

2, 048 Servers

Blocked Links

4 Pods


FabricPath 的排错-- 提高 Layer 2 的可视化

利用为三层技术设计的相同工具 Routing table

Link-state database

Distribution trees

ECMP path selection

Pong – L2 Ping + Traceroute Provide info on all devices on a given path in L2 Fabric

Check on link health

FabricPath 的性能衡量Through IEEE 1588 timestamp and pong to help estimate average end-to-end latency


FabricPath 的排错-- 使用 DCNM 图形化管理

抽象的 Fabric视图 Identify fabric ‘hot-spots’

FabricPath state awareness

流量监控 Frames distribution visibility

Threshold crossing alerts for bandwidth management

排错 Visualize unicast, multicast and

broadcast paths

Check reachability between source and destination nodes

配置专家 Manage FabricPath topologies with

Wizard tools

Simplify fine-tuning FabricPath

Cisco FabricPathCisco FabricPathCisco FabricPathCisco FabricPath

Classical EthernetClassical Ethernet Classical EthernetClassical Ethernet


FabricPath Roadmap (November 2010, please check the Nexus 7000 and Nexus 5000 wikis for latest roadmap information)


总结： FabricPath 是如何综合二层网和三层网优点的。 FabricPath 包括了独立的控制平面来管理二层拓扑，用

于取代传统的生成树协议。 FabricPath保留了二层技术的“ Plug-n-Play”简单性最多 16条 ECMP 路径来实行二层网络的扩展性和灵活

性，以满足数据中心的要求高可用的快速收敛。

多路径二层网的 fabricpath 简介

Documents