comunidadde soportede cisco enespañol webcast envivo...fabricpath mac table fabricpath a b c s100...
TRANSCRIPT
Daniel Castillo - CCIE RS and Data Center #37957
Customer Support Engineer (TAC) Data Center
Agosto 25, 2015
Fabric Path Desmitificado
Comunidad de Soporte de Cisco en EspañolWebcast en vivo:
Comunidad de Soporte de Cisco – Webcast en vivo
• El experto del día de hoy es: Daniel Castillo
Customer Support Engineer (TAC) Data Center
Panel de Expertos
Tema: Fabric Path Desmitificado
Carlos VargasCSE TAC Data Center
Gracias por su asistencia el día de hoy
La presentación incluirá algunas preguntas a la audiencia.
Le invitamos cordialmente a participar activamente en las preguntas que le haremos durante la sesión
Descargue la presentación
Si desea obtener la presentación de este evento diríjase a:
https://supportforums.cisco.com/es/document/12589616
Webcasts de la comunidad:
https://supportforums.cisco.com/community/5591/comunidad-de-soporte-de-cisco-en-espanol
Puede encontrar mayor información de este webcast visite la Comunidad de Soporte de Cisco en Español en:
¡ Ahora puede realizar sus preguntas al panel de expertos!
Use el panel de preguntas y respuestas (Q&A) para preguntar a los expertos ahora. Ellos empezarán a responder.
1ra. preguntaa la audiencia
¿Cuál es el problema más grande que has tenido en una red STP?
1. Jamás he tenido problema
2. Alguna vez me acabé el espacio de MAC table
3. Una vez tiré la red borrando VLANs con VTP
4. Alguna vez creé un loop de capa 2 conectando equipos donde no eran o configurando donde no.
5. Algo pasó y no supe que fué
Daniel Castillo - CCIE RS and Data Center #37957Customer Support Engineer (TAC) Data Center
Agosto 25, 2015
Fabric Path Desmitificado
Comunidad de Soporte de Cisco en EspañolWebcast en vivo:
Resumen de la sesión
“Esta sesión proporciona una introducción a la tecnología de FabricPath, la cual nos permite conmutación de L2 de alto desempeño. Los temas
incluyen la revisión de la tecnología FabricPath, detalles de implementación y opciones de diseño”
Objetivo de la sesión
Proporcionar una base técnica y conceptual de la tecnología Cisco Fabri Path, incluyendo funciones
de control-plan, data-plane y diseños físicoscomunes
11
�Introducción al Fabric Path
• Conmutación en Frabric Path
• Diseños de Fabric Path
• Puntos Claves
Agenda
Introducciónal Fabric Path
• Proporciona instalaciones “plug-and-play”
• Algunos protocolos / aplicaciones lo requieren
• Permite movilidad virtual y de workload
¿Por qué L2 dentro del Datacenter?
15
Diseño típico del Data Center
Los beneficios de L2 se limitan por POD
POD B POD CPOD A
L3
L2
16
¿Y si exendemos la capa2?
Solo extendemos el dominio de Capa2(!?)
STP
L3
L2
17
Limitantes de la Capa2 Tradicional
• Problemas locales traen impactos globales
• Topologías de árbol tienen BW limitado
• Topologías de árbol inducen sub-optimal Paths
• Poca escalabilidad de MAC Address
STP
L3L2
FabricPath
� Estable y escalable� Multipathing (ECMP)� Rápida Convergencia
Switching Routing
FabricPath
Objetivo de Cisco Fabric Path
Fabric Path combina los beneficios de ruteo
L3 con la simplicidad de conmutar en L2
� Fácil de configurar� Plug and Play� Provisionamiento Flexible
19
¿Por qué Fabric Path?
• Reducción / Eliminacion de STP
• Mayor estabilidad y tiempos de convergencia
• Configuración simplificada
• Uso de enlaces paralelos
• BW y latencia predeterminada usando diseños típicos
• “VLAN donde sea” – Flexibilidad, Adyacencia L2, y Mobilidad para VM
FabricPath
Conmutaciónen Fabric Path
Elementos Clave de Control Plane en FabricPath:
• Tabla de Ruteo– FabricPath IS-IS aprende switch IDs (SIDs) y creauna tabla de ruteo en base a estos SWIDs
• Árboles Multidestino– FabricPath IS-IS selecciona un root y crea un par de árboles de multi-destino
• Tabla de ruteo Mcast – IGMP snooping escucha mensajes de group membership en los accesos del Fabric y IS-IS disemina group-membership LSPs (GM-LSPs) dentro del Fabric
Conmutación FabricPath – Control Plane
FAQ: Entonces, ¿esto es ruteobasado enMAC?
NO!
La información de ruteo consiste de SWIDs
La conmutación dentro del Fabric se basa en SWIDs no en direcciones MAC
23
S100
S10 S20 S30 S40
S200 S300FabricPath
Tabla de Ruteo de FabricPath
• Contiene los caminos mas cortos hacia cada SID en base la métrica del enlace / costo del path
• Equal-cost multipath (ECMP) que soporta hasta 16 next-hop interfaces
FabricPathRouting Table en S100
Switch IF
S10 L1
S20 L2
S30 L3
S40 L4
S200 L1, L2, L3, L4
A A
S300 L1, L2, L3, L4
Un ‘best’ pathhacia S10 (via L1)
Cuatro equal-costpaths a S300
L1L2
L3
L4
FabricPath
A CB
S100 S300S200
S10 S20 S30 S40
po10
po20
po30
po40
FabricPath Routing TableS100# sh fabricpath routeFabricPath Unicast Route Table'a/b/c' denotes ftag/switch-id/subswitch-id'[x/y]' denotes [admin distance/metric]ftag 0 is local ftagsubswitch-id 0 is default subswitch-id
FabricPath Unicast Route Table for Topology-Default
0/100/0, number of next-hops: 0via ---- , [60/0], 0 day/s 04:43:51, local
1/10/0, number of next-hops: 1via Po10, [115/20], 0 day/s 02:24:02, isis_fabricpa th-default
1/20/0, number of next-hops: 1via Po20, [115/20], 0 day/s 04:43:25, isis_fabricpa th-default
1/30/0, number of next-hops: 1via Po30, [115/20], 0 day/s 04:43:25, isis_fabricpa th-default
1/40/0, number of next-hops: 1via Po40, [115/20], 0 day/s 04:43:25, isis_fabricpa th-default
1/200/0, number of next-hops: 4via Po10, [115/40], 0 day/s 02:24:02, isis_fabricpa th-defaultvia Po20, [115/40], 0 day/s 04:43:06, isis_fabricpa th-defaultvia Po30, [115/40], 0 day/s 04:43:06, isis_fabricpa th-defaultvia Po40, [115/40], 0 day/s 04:43:06, isis_fabricpa th-default
1/300/0, number of next-hops: 4via Po10, [115/40], 0 day/s 02:24:02, isis_fabricpa th-defaultvia Po20, [115/40], 0 day/s 04:43:25, isis_fabricpa th-defaultvia Po30, [115/40], 0 day/s 04:43:25, isis_fabricpa th-defaultvia Po40, [115/40], 0 day/s 04:43:25, isis_fabricpa th-default
S100#
Topology (Ftag),Switch ID
Administrative distance, routing metric
Next-hop interface(s)
Route age
Client protocol
FAQ: ¿Cómo se decide el Load-Sharing en ECMP?
Se selecciona un ECMP path en base a una función que retorna un HASH
El Hash se compone de SIP/DIP + L4 + VLAN por default
show fabricpath load-balance unicast para determiner el ECMP path para un paquete dado
FabricPath Multidestination Trees
• El tráfico Multidestination limitado en Arbo
• A cada Árbol, se le asgina un Network-wide identifier (Ftag) para deferenciar uno de otro
• Soportando multiples árboles tenemos soporte multi-path para tráfico multidestination
• Dos árboles por topología son soportados actualmente
• Root switch elegido para cada arbol multidestinationen cada FabricPath topology
S100 S20
S10 S200
S300
S30
S40
LogicalTree 1 (Ftag 1)
Root
S40
S100
S200
S300
S10
S20
S30
LogicalTree 2 (Ftag 2)
Root
S10 S20 S30 S40Root for
Tree 1Root forTree 2
S100 S200 S300FabricPath
FAQ: Trees? Roots? Suena comoSTPS
NO! – Más como IP Multicast Routing
Los árboles NO dictaminan el path de conmutación de tráfico unicast, solo para trafico multidestination
Varios trees permiten balanceo de Cargapara los árboles multi-destino
El estado en Control plane limita el IP multicast forwarding (basado en la actividad del Mrouter y el reveiver)
28
Best Practice: Identifica los Roots
• Usa el comando root-priority para definer el root primario, secundario y terceario
• Optimiza el path de conmutación para las tramas multidestination
• Simplifica el troubleshooting
29
Conmutacion FabricPath– Data Plane
Elementos Clave de FabricPath en data plane:
• MAC table – el MAC lookup se hace en Hardware en los bordes CE/FabricPath
• Switch table – El SID lookup se hace en Hardware para conmutar unicast frames a otrosswitches
• Multidestination table – La function HASH selecciona tree*, la table multidestination table identifica en que interface propagar basado en el tree seleccionado.
* Nexus 7000 F1 modules always use Tree 1 for broadcast and unknown unicast
30
FabricPath MAC Table
• Los switches de borde realizan el lookup en la MAC Table en el ingreso de las tramas
• El resultado del Lookup result identifica la interface de salida o el Fabric Path Switch Destino
FabricPath MAC Table
FabricPath
A CB
S100 S300S200
S10 S20 S30 S40
po10
po20
po30
po40
S100# sh mac address-table dynamic vlan 100Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MACage - seconds since last seen,+ - primary entry using vPC Peer-Link,(T) - True, (F) - False
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID---------+-----------------+--------+---------+---- --+----+------------------* 100 0000.0000.000a dynamic 0 F F Eth2/13* 100 0000.0279.5af1 dynamic 0 F F Eth2/17* 100 0000.02b0.550e dynamic 0 F F Eth2/17
100 0000.09c3.dd9d dynamic 0 F F 300.0.230100 0000.0c9f.f001 dynamic 0 F F 1100.0.65535100 0026.51bf.fb41 dynamic 0 F F 20.0.1054100 0026.51cf.ae41 dynamic 660 F F 10.0.1054100 0c00.060b.5481 dynamic 0 F F 200.0.75100 0000.0000.000b dynamic 0 F F 200.0.72
* 100 1000.021a.ba87 dynamic 0 F F Eth2/17100 1400.0579.0395 dynamic 0 F F 200.0.73100 1400.0640.5dc8 dynamic 0 F F 200.0.74100 1400.092d.9cd4 dynamic 0 F F 300.0.230100 1800.0536.0ded dynamic 0 F F 200.0.73100 1800.0992.3254 dynamic 0 F F 300.0.230
* 100 1c00.0128.901e dynamic 0 F F Eth2/22100 0000.0000.000c dynamic 120 F F 300.0.231100 1c00.0ae2.7579 dynamic 120 F F 300.0.221
* 100 2000.0134.9a04 dynamic 0 F F Eth2/18* 100 2400.029b.533e dynamic 0 F F Eth2/17--More--
Local MAC entry (directamente
conectada al Puerto borde CE)
Remote MAC entries (alcanzada por Fabric
Path)
Cisco FabricPathFrame
Classical Ethernet Frame
Forwarding through the Fabric –FabricPath Encapsulation
• Switch ID – Número único que identifica a cada Fabric Path Switch
• Ftag (Forwarding tag) – Número único que identifica la topología o el árbol multidestination
DMAC SMAC 802.1Q Etype CRCPayload
DMAC SMAC 802.1Q Etype PayloadCRC(new)
FPTag(32)
OuterSA(48)
OuterDA(48)
Endnode ID(5:0)
Endnode ID(7:6)
U/L
I/G
RS
VD
OO
O/D
L
SubSwitch ID
LIDEtype0x8903
6 bits 1 1 2 bits 1 1 12 bits 8 bits 16 bits 10 bits 6 bits16 bits
Switch ID Ftag TTL
Original CE Frame16 bytes
33
FabricPath Switch ID (SID)
• Cada Switch FabricPath toma automáticamente un Switch ID• Opcional y recomendado, configurar manualmente el Switch ID
• FabricPath automáticamente detecta conflictos de SW ID y previeneincluir el Switch en conflict al Data Path
• Definido en el “Outer MAC addresses” de la trama Fabric Path
34
Best Practice: Asignar manualmente SIDs
• Usa el commando fabricpath switch-id para asignar el SID manualmente
• Simplifica administración y facilita el troubleshooting
• Configurar esquemas de numeración deterministico, ej.:
• Spine switches con SIDs de 2 digitos
• Leaf switches con SIDs de 3 digitos
• VPC+ virtual Switch con SIDs de 4 digitos
• etc.
35
FabricPath Forwarding Tag (Ftag)
• Forwarding tag – Número único de 10 bits definido dentro del FabricPath header
• Campo que identifica la FabricPath topology o el árbol multidestination
• Para paquetes unicast, identifica que Topología IS-IS FabricPath usar.
• Para paquetes multidestination (broadcast, multicast, unknown unicast), identifica que árbolmultidestination usar
FAQ: ¿Y que de las vlans dentrode FabricPath?
Las VLANs aun relevantes enFabricPath!
Cada trama en fabric trae 802.1Q
VLANs definen un dominio de broadcast en FabricPath – define scope de flooding
Los switches FabricPath miran el VLAN ID – incluyendo switches ‘core / spine’
Tramas marcas con un VLAN ID inexistente en la VLAN database, son dropeados
37
Best Practice: Configurar todas las VLANS en todos los Switches en la topología• Si un FabricPath switch pertenece a una topology, configura todas Las VLANs en esa topologíaen este switch
• De no hacerlo se pueden dar fallos en la conmutacion multidestination(black-holing)
• Esta best practice puede ser omitida pero con mucho cuidado!
• Hay diseños específicos que pueden trabajar, pero tener en cuenta los escenarios de fallas!
FAQ: ¿Qué hay de QoS en Fabric Path?
FabricPath esta diseñado para operar enhardware encapsulado tramas enFabricPath Frames
Todos los frames encapsulados enFabricPath-encapsulated traen802.1Q/802.1p (COS)
Los paquetes IP en FabricPath tambiéntraen DSCP
Para tramas encapsuladas en Fabric Path, el hardware puede:
• Encolar basado en COS/DSCP
• Clasificar basado en información de header L2/L3/L4
• Clasificar / Setear DSCP
FabricPathMAC Table on S100
MAC IF/SIDMAC IF/SID
A e1/13 (local)
e2/29
S10 S20 S30 S40
Root forTree 1
Root forTree 2
S100 S200 S300
Poniendo todo en conjunto - Host A to Host B(1) Broadcast ARP Request
MAC A MAC B
Multidestination Trees on Switch 100
Tree IF
1 po10
2 po10,po20,po30,po40
Hash Result→
FFFF.FFFF.FFFF
SMAC→A
Payload
Multidestination Trees on Switch 10
Tree IF
1 po100,po200,po300
2 po100
po10 po20
po40
po30
Ftag →
Ftag →FFFF.FFFF.FFFF
SMAC→A
Payload
po100
po300
po200
e1/13
po10
po20 po30 po40
FFFF.FFFF.FFFF
SMAC→A
Payload
Ftag→1
SA→100
FFFF.FFFF.FFFF
Aprender MACs de los dispositivosDirectamente conectadosindefinidamente
No aprende MACs de tramasFoold unknown
FabricPathMAC Table on S300
MAC IF/SID
Multidestination Trees on Switch 300
Tree IF
1 po10,po20,po30,po40
2 po40
Hash
40
MAC Address Tables After Broadcast ARP• S100:
S100# sh mac address-table dynamic
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+---- --+----+------------------
* 10 0000.0000.000a dynamic 0 F F Eth1/13
S100#
S10 (and S20, S30, S40, S200):S10# sh mac address-table dynamic
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+---- --+----+------------------
S10#
S300:S300# sh mac address-table dynamic
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+---- --+----+------------------
MAC A Aprendidalocalmente en
e1/13
MAC A no se aprende en otros
switches
41
Conmutación de Broadcast
• Ingress FabricPath switch define que árbol usar basado en un hash result
• Outer Destination MAC se mantiene como all-ones (igual que en el Inner DMAC)
• Los otros FabricPath switches respetan el Tree ID seleccionado por el swtich de entrada (Tree 1 en este caso) – flood frame en todos los puertos core que pertenecen al tree seleccionado
• Edge FabricPath switches remueven el FabricPath header y floodean dentro de la VLAN
• Flood frames encapsulados en FabricPath hacia otros core Switches de ser necesario
FAQ: ¿Cuál es el SID destino para un frame multidestination?
Broadcast – Copia la inner MAC destinoal Outer MAC destino
Multicast – Copia la inner MAC destinoal Outer MAC destino
Unknown Unicast – Usa una MAC reservada “MC1” (010F.FFC1.01C0)
S100
e2/29
S10 S20 S30 S40
Root forTree 1
Root forTree 2
S200 S300
MAC A MAC B
po10 po20
po40
po30
po100
po300
po200
e1/13
po10
po20 po30 po40
Multidestination Trees on Switch 100
Tree IF
1 po10
2 po10,po20,po30,po40
Ftag →
Multidestination Trees on Switch 10
Tree IF
1 po100,po200,po300
2 po100
Ftag →
DMAC→A
SMAC→B
Payload
Hash Result→
A →
Poniendo todo en conjunto - Host A to Host B(2) Unicast ARP Reply
FabricPathMAC Table on S300
MAC IF/SIDMAC IF/SID
B e2/29 (local)
MISS!Si el DMAC es conocidoEntonces aprende el MACRemoto
Multidestination Trees on Switch 300
Tree IF
1 po10,po20,po30,po40
2 po40
FabricPathMAC Table on S100
MAC IF/SID
A e1/13 (local)
MAC IF/SID
A e1/13 (local)
B 300 (remote)
DMAC→A
SMAC→B
Payload
*MC1 DMAC
DMAC→A
SMAC→B
Payload
Ftag→1
SA→300
010F.FFC1.01C0*
Hash
HIT! A →
44
MAC Address Tables después de Unicast ARP ReplyS100:
S100# sh mac address-table dynamic
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 10 0000.0000.000a dynamic 90 F F Eth1/13
10 0000.0000.000b dynamic 60 F F 300.0.64
S100#
S300:S300# sh mac address-table dynamic
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+------+----+------------------
* 10 0000.0000.000b dynamic 0 F F Eth2/29
S300#
S100 aprende MAC B como entrada remotaalcanzable por S300
MAC B aprendidacomo local entry en
e2/29
45
Unknown Unicast Forwarding
• Ingress FabricPath switch define que árbol usar basado en el hash result
• Outer Destination MAC definido con el well-known “flood to fabric” multicast address (MC1)*
• Otros switches FabricPath switches respetan el Tree ID seleccionado por el Switch de ingreso(Tree 1 en este caso) – flood frame en todos los puertos del core pertenecientes al tree selecionado
• Edge FabricPath switches remueven el FabricPath header y floodean en VLAN
• Flood FabricPath tramas en otros puertos core de ser necesario
*MC1 = 010F.FFC1.01C0
FAQ: ¿Qué es el Conversational MAC Learning?
Aprendizaje de Nuevas MAC realizadosolo con unicast frames destinados a un Local MAC address
Edge switches solo necesitan aprender:
• MACs localmente aprendidas
• MACs con los cuales esos local hosts tienen comunicación bidireccional
Reduce la capacidad de entradas enMAC table en los edge switches
Tener cuidado con devices que tienencomunicación con todos los hosts (e.g. default gateway, file server, firewall, etc.)
• Opciones de diseño adelante
47
FAQ: Is MAC Learning in FabricPath Software-Based?• NO!
• Binding of MAC address to destination SID at FabricPath edge switches is completely hardware based
• FabricPath-capable platforms have hardware logic to perform conversational MAC learning without punting anything to software
FAQ: ¿Qué pasa siun host se mueve?
FabricPath controla MAC learning para flood frames:
No realiza nuevos aprendizajesbasados en broadcast/ unknown unicast frames
Si realiza MAC table updates basado enbroadcast / unknown unicast frames
Si realiza nuevos aprendizajesbasados en multicast frames (Requeridopara aprender MAC de Gateways)
FAQ: Entonces¿Cómo se maneja un host que se mueve?
Igual que en Clasical Ethernet
El host en movimiento se responsabilizade actualizar su nueva posicion a la red
• Gratuitous ARP, Reverse ARP son mecanismos tipicos
FabricPath switches actualizan las entradas existentes basados en estosframes
50
MAC table Miss – flood to VLANHash collision – no new learn
FAQ: ¿Qué pasacuando se sobreexcede la capacidad de la MAC Table?
• Igual que en CE– Nuevas MAC learns, pueden fallar
• Para MAC lookups basadas en hash function – se puededar una collision de HASH
• Si hay un HASH collision en una nueva source MAC, la MAC no es aprendida
• Si un lookup de DMAC retorna MISS, el paquete esenviado como unknow unicast
Hash
w
MACTable
n pages * m lines
Line Full!SMAC X
Hash
w
MACTable
n pages * m lines
No matchDMAC XNo new learn Flood
e2/29
S10 S20 S30 S40
S200 S300
MAC A MAC B
po10 po20
po40
po30
e1/13
po10
po20 po30 po40
S100
DMAC→B
SMAC→A
Payload
FabricPathMAC Table on S100
DMAC→B
SMAC→A
Payload
MAC IF/SID
A e1/13 (local)
B 300 (remote)B → HIT!
S300 →
FabricPath Routing Table on S100
Switch IF
S10 po10
S20 po20
S30 po30
S40 po40
S200po10, po20, po30, po40
S300po10, po20, po30, po40
S300 →
FabricPath Routing Table on S30
Switch IF
A A
S300 po300
S300 →
Poniendo todo en conjunto - Host A to Host B(3) Unicast Data
Hash
DMAC→B
SMAC→A
Payload
Ftag→1
SA→100
DA→300
FabricPathMAC Table on S300
MAC IF/SID
B e2/29 (local)
MAC IF/SID
A S100 (remote)
B e2/29 (local)
FabricPath Routing Table on S300
Switch IF
A A
S300 MAC Lookup
Si el DMAC es conocido, entoncesAprende la MAC remota
po300
B → HIT!
MAC Address Tables After Unicast Data• S100:
S100# sh mac address-table dynamic
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+---- --+----+------------------
* 10 0000.0000.000a dynamic 90 F F Eth1/13
10 0000.0000.000b dynamic 60 F F 300.0.64
S100#
• S300:S300# sh mac address-table dynamic
Legend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC
age - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID
---------+-----------------+--------+---------+---- --+----+------------------
10 0000.0000.000a dynamic 30 F F 100.0.12
* 10 0000.0000.000b dynamic 90 F F Eth2/29
S300#
S100 learns MAC A as remote entry reached
through S100
Creando Multicast State – IGMP Snooping
• IGMP snooping aprende receptors de multicast en los switches de borde
• Membership registrada en CE ports basados en mensajes IGMP recibidos(IGMP Reports/Leaves)
IGMP Reports
IGMP Reports
FabricPath
S100
S300
S200
Root ofTree 1
Root ofTree 2
IGMPsnooping
IGMPsnooping
IGMPsnooping
Receiver G1
Receiver G1
Ftag 1Ftag 2
Creando Multicast State – GM-LSPs
• FabricPath IS-IS usa Group Membership LSPs (GM-LSPs) para crear multicast forwarding state para el fabric
• Enviado a otros switches para anunciar cualswitch de borde necesita tráfico multicast
• Construye un estado de multicast para el ambiente Layer 2 multicast en los puertos del core Fabric Path
IGMP Reports
IGMP Reports
FabricPath
S100
S300
S200
Root ofTree 1
Root ofTree 2
GM-LSPs
GM-LSPs
Receiver G1
Receiver G1
IS-IS
IS-IS
Ftag 1Ftag 2
IGMP Reports
Rcvr-G1
Multicast StateFabricPath Edge Switch con receptor
Rcvr-G1
FabricPathS100
S300
S200
Root 1
Root 2
GM-LSPs
GM-LSPs
po10
e1/13
Ftag 1Ftag 2
po40
S100# sh ip igmp snooping groupsType: S - Static, D - Dynamic, R - Router port, F - Fabricpath core port
Vlan Group Address Ver Type Port list10 */* - RF Po10
RF Po4010 239.0.0.1 v2 D Eth1/13S100# sh fabricpath isis ip mroute | section 239.0.0.1VLAN 10: (*, 239.0.0.1)
Outgoing interface list: (count: 1)SWID: 0xc8 (200)
S100# sh fabricpath mroute | section 239.0.0.1(vlan/10, 0.0.0.0, 239.0.0.1), uptime: 00:00:30, isis igmp
Outgoing interface list: (count: 2)Switch-id 200, uptime: 00:00:28, isisInterface Ethernet1/13, uptime: 00:00:30, igmp
IGMP snooping conocel local OIFS
IS-IS sabe del receptor remotoS
M2RIB los conoce a ambos
IGMP Reports
56
FabricPath
G1 Pruned Tree
FabricPath
Árboles Pruned para Multicast GroupsMultidestination Tree 1 Multidestination Tree 2
No puedes ir poraqui – No eresparte del Tree 1!
Ftag 1Ftag 2
S100
S300
S200
Root 1
Rcvr-G1
Rcvr-G1
Src-G1
S100
S300
S200
Root 2Rcvr-G1
Rcvr-G1
Src-G1
No puedes ir poraqui – No eresparte del Tree 2!
Multidestination Tree 1 Multidestination Tree 2
G1 Pruned Tree
FabricPath
Data TrafficRcvr-G1
Src-G1
Rcvr-G1S100
S300
S200
Root 1
Root 2po2po1
FabricPath IP Multicast Data PlaneSelección de Árbol y Group lookup se realiza en el switch de entrada
FabricPathMulticast Trees
VLAN Tree (Ftag)
10 1
10 2
Packet data →
Hash
→ → Tree 1 →
FabricPath MAC Table
Tree (Ftag)
VLAN Group SID IFs
1 10 G1 S100,S200 po2
2 10 G1 S100,S200 po3
G1 Pruned Tree
Multidestination Tree 1
S10
G1 Pruned Tree
Multidestination Tree 1
FabricPath IP Multicast Data PlaneGroup Lookup en Core Switch
FabricPath
Rcvr-G1
Src-G1
Rcvr-G1S100
S300
S200
Root 1
Root 2
po3
po4
Data Traffic
po5
FabricPath MAC Table
Tree (Ftag)
VLAN Group SID IFs
1 10 G1 S100,S200 po4,po5
2 10 G1 S100,S200 po4,po5
Tree 1 →
S10
FabricPath IP Multicast Data PlaneGroup Lookup en Switches de salida
G1 Pruned Tree
Multidestination Tree 1
FabricPath
Rcvr-G1
Src-G1
Rcvr-G1S100
S200
Root 1
Root 2
Data Traffic
po8e1/13
po7
po6
e1/29
Data Traffic
FabricPath MAC Table
Tree (Ftag)
VLAN Group SID IFs
1 10 G1 S100,S200 po6,e1/29
2 10 G1 S100,S200 po6,e1/29
Tree 1 →
FabricPath MAC Table
Tree (Ftag)
VLAN Group SID IFs
1 10 G1 S100,S200 po7,e1/13
2 10 G1 S100,S200 po7,e1/13
Tree 1 →
S300
S10
60
Best Practice: Conectar Switches Dual-Homed via VPC+• Switches Dual-homed deben conectarse usando VPC+
• Proporciona uplinks active/active desde los CE hacia el FabricPath
• ECMP hacia los host CE connectados al Fabric
• Quita complejidad de integracion STP
• BPDUs filtrados en el Edge
• TCNs no progragados por el Fabric
VPC+
S1 S2
HostSTP Device
FabricPath
FabricPath
MAC A
VPC+ –Topología Física
S10 S20 S30 S40
S100 S300
MAC B MAC C
Peer link yPKA requerido
Peer link trabaja comoFabricPath core port
VPCs configuradosnormal
No hay requerimientosEspeciales para los switchesMas que soporte PortChannel
VLANs deben serFabricPath VLANs
VPC+ – Topología Lógica
MAC A
S10 S20 S30 S40
S100 S300FabricPath
MAC B MAC C
S1000
Se introduce el conceptoDe Virtual switch
MAC A
S10 S20 S30 S40
S100 S200FabricPath
MAC B MAC C
S1000
po1po2
1/30
MAC Entries remotas en VPC+S200# sh mac address-table dynamicLegend:
* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MACage - seconds since last seen,+ - primary entry using vPC Peer-Link
VLAN MAC Address Type age Secure NTFY Ports/SWID.SSID.LID---------+-----------------+--------+---------+---- --+----+------------------* 10 0000.0000.000c dynamic 1500 F F Eth1/30
10 0000.6500.000a dynamic 1500 F F 1000.11.4513
S200#MAC A
Remote Switch ID 1000, no S10 or S20
View from S200
MAC A
S10 S20 S30 S40
S100 S200FabricPath
MAC B MAC C
S1000
po1po2
1/30
FabricPath Routing en VPC+S200# sh fabricpath route topology 0 switchid 1000FabricPath Unicast Route Table'a/b/c' denotes ftag/switch-id/subswitch-id'[x/y]' denotes [admin distance/metric]ftag 0 is local ftagsubswitch-id 0 is default subswitch-id
FabricPath Unicast Route Table for Topology-Default
1/1000/0, number of next-hops: 2via Po1, [115/10], 0 day/s 01:09:56, isis_l2mp-defa ultvia Po2, [115/10], 0 day/s 01:09:56, isis_l2mp-defa ult
S200#
Route to S1000 (from S200)
ECMP hacia S1000 desde S200
FabricPath
SVI
VPC+ con Active/Active HSRP
SVI
HSRP Active HSRP Standby
S10 S20 S30 S40
S100 S200FabricPath
S1000
S10 S20 S30 S40
S100 S200
HSRP MAC
Topologia fisica Topologia Logica
FabricPathMAC Table on S200
MAC IF/SID
HSRP S1000 (remote)
po1
po2
po1
po2
FabricPathMAC Table on S200
MAC IF/SID
HSRP S1000 (remote)
FabricPathRouting Table on S200
SID IF
S1000 po1,po2
FabricPathRouting Table on S200
SID IF
S1000 po1,po2
0100.5E00.0002
SMAC→HSRP
Payload
SSID→1000
0100.5E00.0002
SVISVI
HSRPListen
HSRPListen
Anycast HSRP (NX-OS 6.2)
FabricPath
SVISVI
HSRPActive
HSRPStandby
S10 S20 S30 S40
S100 S200FabricPath
S1000
S10 S20 S30 S40
S100 S200
HSRP MAC
Topología Física Topología Lógica
FabricPathMAC Table on S200
MAC IF/SID
HSRP S1000 (remote)
FabricPathMAC Table on S200
MAC IF/SID
HSRP S1000 (remote)
FabricPathRouting Table on S200
SID IF
S1000 po1,po2,po3,po4
FabricPathRouting Table on S200
SID IF
S1000 po1,po2,po3,po4
po1
po2po3
po4
po1
po2po3
po4
0100.5E00.0002
SMAC→HSRP
Payload
SSID→1000
0100.5E00.0002
n-Way Active HSRP in FabricPath
• Hellos enviados por el Active router
• Outer destination MAC is VMAC
• Outer source is virtual SID
• FabricPath edge switches learn VMAC as reached through virtual SID
• Traffic destined to VMAC leverages ECMP
• Any VPC+ peer / Anycast member can route traffic destined to VMAC
VPC+ with FHRP / Anycast HSRP
VPC+ versus Anycast for n-Way Active HSRP
VPC+ Anycast
Number of active routers Two Four (NX-OS 6.2)
Peer link / Peer keepalive link Required Not Required
Leaf software requirement None NX-OS 6.2-based
• Introducción a Fabric Path
• Conmutación de FabricPath
�Diseños FabricPath
• Elementos clave
Agenda
2da preguntaa la audiencia
¿Tienes experiencia en Fabric Path?
1. Lo he leido
2. Lo he practicado
3. Lo he implementado
4. Es mi día a día
5. Primera vez que lo escucho
Diseños de Fabric Path
72
Diseños FabricPath
• Explorar una variedad de diseños Fabric Path y evalua como cumplen un criterio de diseñoespecífico
• Introduce a bloques de construcción y conceptos de diseño para ayudar a crear un diseño que cumpla con tus requerimientos.
• Se asume que se implementara L2
• El objetivo no es debatir "Layer 2 vs. Layer 3" o "¿Por qué L2 dentro del DC?"
73
Diseños FabricPath
Opciones de diseño High-level considerados en esta presentación:
• Routing en Agregación
• Ruteo Centralizado
• Multi-POD
FabricPathFabricPath
Routing en Diseños de Agregación
L3
L3
L2/L3 boundary L2/L3 boundary
Routed core
Aggregation
Access
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Routing en Agregación
• Evolución de practicas de diseño actuales
• La capa de agregación funciona como Spine Fabric Path y borde L2/L3
• FabricPath switching horizontal para tráfico intra-VLAN
• SVIs para tráfico horizontal Inter-VLAN
• Uplinks ruteados para flujos de tráfico vertical
• La capa de acceso proporciona funciones de L2 puro
• FabricPath core ports viendo hacia la capa de agregación
• CE edge ports viendo hacia los hosts
• Con opción de VPC+ para conexiones de hosts active/active
Puntos claves de diseño
SVIs SVIs
• Diseno de 2 Spines• Opción de diseño mas simple
• Extensión de los diseños normales de acceso/agregación
Beneficios inmediatos
• Configuración Simplificada
• Retiro de STP
• Distribución de tráfico sobre todos los uplinks sin vPC Port-Channels
• Active/active gateways
• “VLAN dónde sea” en capa de acceso
• Flexibilidad de topología
• Opción de conmutación Direct-Path
• Fácil provisionamiento de acceso adicional
• Fácil implementación de servicios L4-L7
• Con opción para vPC+ para switches de acceso legacy
Routing en Agregación
L3
FabricPath
L2/L3 boundary
Este diseno cumple conMUCHOS requerimientos
De red
77
Routing en Agregación• Anycast HSRP L3
SVISVISVISVI
Anycast HSRP
GWY IP XGWY MAC A
GWY IP XGWY MAC A
GWY IP XGWY MAC A
GWY IP XGWY MAC A
GWY MAC A→L1,L2,L3,L4
FabricPath
L3
L2/L3 boundary
Todos los Anycast HSRP forwarders comparten la misma VIP y VMAC
Hosts resuelven la VIP compartida con la VMAC compartida
Trafico ruteado se propaga hacia losSpones en base al
ECMP
Anycast HSRP entre agg switches
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Layer 3 LinkLayer 2 CELayer 2 FabricPath
78
MAC Scale en Disenos de Ruteo en AgregacionNexus 7000/7700 F3 o F2/F2E en aggregation:
• 64K (F3) o 16K (F2/F2E) MACs de host unicast cuando se tiene SVIs habilitados
• Con SVIs, cualquier SOC de entrada debe conocer la informacion suficiente para rutear paquetes a cualquier otra VLAN, sin importer si esa VLAN existe en uno de sus puertos
• n * si los rangos de vlans de SVI se propagan sobre multiples pares de routers
Nexus 7000 M+F1/F2E en aggregation:
• 16K MAC address de host unicast debido al comportamiento de aprendizaje de modulos mezclados antes de NX-OS 6.2
• FabricPath core ports deben aprender SMACs en ingress
• Algunas topologias tipicas pueden resultar en sobrecarga de MAC Table (e.g., aggregation ISL/VPC+ peer-link)
• 128K MACs de host unicast con “proxy L2 learning” in NX-OS 6.2
• Deshabilita el aprendizaje en puertos core con modulos combinados y usan los modulos M para entradas MAC
• Se require que los switches de acceso instalen todas sus MAC locales en los core ports (behavior starts in NX-OS 6.1)
Nexus 6004 en aggregation:
• 32K MACs de host unicase con nexus6000
• Ocupan 40G uplinks, o cables breakout
• Perdida de HA/ISSU y algunos features de agregacion
79
Diseño Centralizado de ruteo
FabricPath
L3
L2/L3 boundaryLayer 3 services leaf switches
FabricPath spine
Server access leaf switches
80
Diseno Centralizado de Ruteo• Vista alternativa
FabricPath
L3
L2/L3 boundary
Layer 3 services leaf switches
Cada Leaf switch tiene supropia “personalidad” –
principalmente para acceode serversS
Spero algunos para servicios de L3 (routing) y/o Servicios L4-7 (SLB, FW, etc.)
FabricPath spine
Server access leaf switches
Diseño Cetralizado de Ruteo• La tradicional capa “aggregation” se vuelve un Spine Fabric Path puro
• Proporciona conectividad uniforme any-to-any entre leaf switches
• En términos simples, solo en el Spine ocurre la conmutación Fabrc Path
• Opcional, algunos puertos border CE existen para proporcionar conexiones externas através de routers
• FabricPath leaf switches, conectandose con SPINES tiene “personalidad” propia
• La mayoría de los leaf switches dan conectividad a servers como los switches de accesotradicionales en diseños “Routing en Agregación”
• 2 o más switches leaf proven demarcación de L2/L3 , inter-VLAN routing y rutero vertical
• algunos (o los mismos) leaf switches tienen personalidad para servicios L4-L7
• Desmantela la demarcación L2/L3 y los servicios L4-7 prestados por los spines
• Simplifica el diseño de Spines
82
SVIsSVIs
Ruteo Centralizado• Par de routers simples (Leaf conectado al FabricPath)
L3
FabricPath
VPC+
VPC+
Active Standby
HSRP
VPC+
S
FabricPath spine con modulos F o Nexus 6004 proven transito de Fabric (no routing, no MAC learning)
FabricPath core ports provistospor Modules F oNexus 6004
HSRP entre Switches de servicios de L3 para FHRP
Se puede usar VPC+ o Anycast para
active/active HSRP
SVIs para todas las vlans en el leaf de servicios de L3 (con M+F-series o
modulo F, o Nexus 6004)
Todas las VLANs disponibles entodos los leaf
switches
L2/L3 boundary
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Layer 3 LinkLayer 2 CELayer 2 FabricPath
83
SVI
Ruteo Centralizado• Par de routers simples (Leaf conectado al FabricPath)
L3
FabricPath
VPC+VPC+ SVI
VPC+
BRIDGED FLOWS
INTER-VLANROUTED FLOWS
NORTH↔SOUTHROUTED FLOWS
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Ruteo CentralizadoMultiples pares de routers (Leaf conectado al FabricPath)
FabricPath
VPC+
Este par tiene SVIs paraother VLANs (VLAN set 2)
L3
Este par de routers tienenSVI para algunas VLANs
(VLAN set 1)
SVIsSVIs
VPC+SVIsSVIs
VPC+
OSPF etc.
Adyacencias de ruteo proven u camino para ruteo inter-vlanVariantes incluyen >2 routers
de servicios L3 con AnycastHSRP, etc.
Todas las vlansconfiguradas entodos los switches
de acceso
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Layer 3 LinkLayer 2 CELayer 2 FabricPath
FabricPath
VPC+
L3
SVIsSVIs
VPC+SVIsSVIs
VPC+
Ruteo CentralizadoMúltiples pares de routers (Leaf conectado al FabricPath)
INTER-VLANROUTED FLOWS(Inter-VLAN-set)
Transit routing
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Layer 3 LinkLayer 2 CELayer 2 FabricPath
86
MAC Scale with Nexus 7000 F-Series at SpineWith F1/F2/F2E/F3 FabricPath core ports only at spine
• Core ports do not learn MAC addresses*
• MAC scale not gated by spine switches
With F1/F2E/F3 FabricPath core ports plus CE edge ports at spine
• Core ports do not learn MAC addresses
• CE edge ports perform per-SOC conversational learning
• Only MACs of VLANs on SOC front-panel ports learned
• No practical limit to MAC scale – theoretically allows for (mac_capacity * num_of_SOCs) MACs
Note: F2 requires no hardware fabricpath mac-learning option when functioning as pure spine
FabricPath
Diseños Multi-PodL3
POD 1 POD 2 POD 3
Routed core
Aggregation
Access
FabricPath core
L2/L3 boundary
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Diseño Multi-Pod
• Es una combinación de elementos usados en otras alternativas de diseño
• Combina elementos de diseño de “ruteo en agregación” y “Ruteo Centralizado”
• Tres posibles clases de vlans en el dominio Fabric Path
• POD-local – Las VLANs solo existen en un solo POD
• DC-wide – Las VLANs existen en todos los PODs
• Multi-POD – Las VLANs existen solo en un conjuto de PODs
Elementos clave de diseno
Diseño Multi-Pod
L3
POD 1VLANs 100-199
VLANs 2000-2099
POD 2VLANs 200-299
VLANs 2000-2099
POD 3VLANs 300-399
VLANs 2000-2099
COREVLANs 100-199VLANs 200-299VLANs 300-399
VLANs 2000-2099
Mixed FabricPath/CE
POD
Cualquierdispositivo
Active/Active HSRPpara VLANs 100-199
Active/Active HSRPpara VLANs 200-299
Active/Active HSRPparaVLANs 300-399
El Core de FabricPathinterconecta los PODs parabridging en DC-wide VLANs
POD local VLANs
PODs Fabric Path Nativos
Core debe incluir vlans de todos los PODs debido al comportamiento de arbol
multidestination
DC-wide VLANs
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Active/Active HSRPparaVLANs 2000-2099
Diseño Multi-PodFabricPath Multi-Topology (NX-OS 6.2)
L3
POD 1VLANs 100-199
VLANs 2000-2099
POD 2VLANs 200-299
VLANs 2000-2099
POD 3VLANs 300-399
VLANs 2000-2099
COREVLANs 2000-2099
Layer 2 FP Default TopologyPOD 1 Topology + Default TopologyPOD 2 Topology + Default TopologyPOD 3 Topology + Default Topology
Layer 2 FP Default TopologyPOD 1 Topology + Default TopologyPOD 2 Topology + Default TopologyPOD 3 Topology + Default Topology
Solo las DC-wide VLANs existen en el FabricPath
core
POD-local VLANs existen solo en los switches del POD, mapeadas a la topoligía específica del
POD
Los puertos de Core en un POD pertenecen a la topología default y también estan mapeados a la
topolgía del POD Local Los puertos del Core Solo
pertenecen a una default-topology
Layer 3 LinkLayer 2 CELayer 2 FabricPath
Layer 3 LinkLayer 2 CELayer 2 FabricPath
3ra. preguntaa la audiencia
¿Cuál crees que sería el mayor beneficio para tí al tenerimplementado Fabric Path?
1. Me evito configurar trunks y vlans encada switch de acceso
2. Evito usar STP
3. Evito inducir un loop de L2
4. Utilizo toda la potencia de loslookups en HW para un desepeñoalto
92
Agenda
• Introducción a FabricPath
• FabricPath Forwarding
• Diseños de FabricPath
�Elementos Clave
93
Elementos clave – Tecnologia Fabric Path
• Fabric Path es Simple
• Mantiene los aspectos atractivos de L2 sin necesidad de direccionamiento
• Configuración simple
• Integra estabilidad y escalabilidad de L3, ruteo de tramas, TTL, RPF check
• FabricPath es eficiente
• Uso de todo el BW disponible(ECMP)
• Uso de caminos optimos entre punt A y punto B
• FabricPath es escalable
• Puede extender el dominido de L2 sin extender los riesgos generals asociados con L2
94
Elementos clave – Tecnologia Fabric Path
• Puedes usar Fabric Path hoy con tu diseño de red tradicional
• FabricPath introduce beneficios tangibles e inmediatos a cualquier diseño:
• Configuración simple, elimitan STP, usa caminos paralelos, extiende VLANS de forma segura, mitigaloops, etc
• Proporciona multiples opciones de diseño que ayuda a creare redes que cumplan las expectativas del negocio
95
Conclusión
• Gracias por su tiempo el día de hoy
• Ahora, tu debes tener una idea general y un conceptosólido de como trabaja Fabric Path
Utilize el panel de Q & A para realizar sus preguntas
Haga sus preguntas ahora
¡Nos interesa su opinión!
Para completar la evaluación espere un momento y aparecerá automáticamente al cerrar el browser
de la sesión.
Pregunte al Experto con: Daniel Castillo
Si tiene dudas adicionales Daniel nos ayudará a responder suspreguntas a partir de hoy hasta el próximo viernes 4 de septiembre del 2015 en:
https://supportforums.cisco.com/es/discussion/12589611
Podrá ver la grabación de este evento y leer las preguntas y respuestas en 5 días hábiles.
Sesiones de WebcastEspañol
Martes 29 de Septiembre:
10:00 a.m. Ciudad de México10:30 a.m. Caracas 12:00 a.m. Bs. As. / Brasilia5:00 p.m. Madrid
Estará presentando el experto de Cisco: Gustavo Medina
Durante esta sesión se darán técnicas para la solución de problemas en el Cisco 5500-X Series Adaptive Security Appliance (ASA) y Cisco AnyConnect SecureMobility Client. Además aprenderá numerosos consejos y las mejores prácticas para solucionar problemas relacionados con SSL VPN y Secure Mobility.
REGISTRO: https://supportforums.cisco.com/es/event/12585946
Tema: Resolución de problemas SSL VPN en escenarios BYOD
Pregunte al Experto(Español )
Tema: Configuración inicial de FireSIGHT - Depuración BasicaExperto: Osvaldo GarcíaEste evento estará disponible del 24 de Agosto al 4 de Septiembre del 2015https://supportforums.cisco.com/es/discussion/12589366
Tema: Una solución de Telepresencia: Mobile and Remote Access.Experto: Viri FuentesEste evento estará disponible del 7 al 18 de Septiembre del 2015https://supportforums.cisco.com/es/event/12582276
Califique el contenido de la Comunidad de Soporte de Cisco en Español.
Ahora puede calificar discusiones, documentos, blogs y videos!!...
Esto es con el fin de que nos ayude a distinguir contenido de calidad y también para reconocer los esfuerzos de los integrantes de la
Comunidad de Soporte de Cisco en español.
Reconocimientos en la Comunidad
El reconocimiento al “PartcipanteDestacado de la Comunidad” se otorga a los miembros que demuestran liderazgo y colaboración con la Comunidad, está diseñado para reconocer y agradecer a aquellas personas que colaboran con contenido técnico de calidad y ayudan a posicionar nuestra comunidad como el destino número uno para las personas interesadas en tecnología Cisco.
© 2013 Cisco and/or its affiliates. All rights reserved. 103
https://supportforums.cisco.com/community/spanish
Lo invitamos a colaborar activamente en CSC en español y en nuestras redes sociales
Cisco TSCisco TSCisco TSCisco TS---- LatamLatamLatamLatam
Cisco MexicoCisco MexicoCisco MexicoCisco Mexico
Cisco Cisco Cisco Cisco EspañaEspañaEspañaEspaña
Cisco LatinoaméricaCisco LatinoaméricaCisco LatinoaméricaCisco Latinoamérica
Cisco Cisco Cisco Cisco ConoConoConoCono SurSurSurSur
ComunidadComunidadComunidadComunidad Cisco Cisco Cisco Cisco CansacCansacCansacCansac
CiscoSupportCommunityCiscoSupportCommunityCiscoSupportCommunityCiscoSupportCommunity
@@@@CiscoTSLatamCiscoTSLatamCiscoTSLatamCiscoTSLatam
@@@@CiscoMexicoCiscoMexicoCiscoMexicoCiscoMexico
@@@@cisco_spaincisco_spaincisco_spaincisco_spain
@@@@ciscocansacsmciscocansacsmciscocansacsmciscocansacsm
@@@@ciscoconosurciscoconosurciscoconosurciscoconosur
@@@@cisco_supportcisco_supportcisco_supportcisco_support
© 2013 Cisco and/or its affiliates. All rights reserved. 104
Más redes sociales:
CiscoLatamCiscoLatamCiscoLatamCiscoLatam
ciscosupportchannelciscosupportchannelciscosupportchannelciscosupportchannel
Cisco Technical SupportCisco Technical SupportCisco Technical SupportCisco Technical Support
CSCCSCCSCCSC----CiscoCiscoCiscoCisco----SupportSupportSupportSupport----CommunityCommunityCommunityCommunity
Por favor tome un momento para contestar la evaluación
Gracias por su tiempo