![Page 1: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/1.jpg)
UNIVERSIDADE ESTADUAL DE CAMPINAS
INSTITUTO DE COMPUTAÇÃO
Prof. Dr. Luiz Fernando Bittencourt
Campinas, aos 30 de Junho de 2015
A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE
***FAT-TREE***
Aluno: Joaquim Domingos Mussandi
TÓPICOS EM COMPUTAÇÃO DISTRIBUÍDA - MO809
![Page 2: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/2.jpg)
Agenda
2
• Introdução
• Conceitos básicos
• Artigo
• Objetivo
• Análise
• Comentários finais
• Referências Bibliográficas
![Page 3: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/3.jpg)
3
Aplicações importantes que cluster incluem classes:
• Computação científica
• Análise financeira
• Análise e armazenamento de dados
• Serviços de rede em grande escala
Muitas aplicações devem trocar informações com nós remotos
para prosseguir com sua computação local.
Introdução 1/2
![Page 4: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/4.jpg)
4
Opções de alto nível para construção de clusters em larga escala:
• InfiniBand ou Myrinet
• Muito caras
• Não compativeis com aplicações TCP/IP
• Switches Ethernet e roteadores para conexão de máquinas em
cluster.
• Não modifica os aplicativos, sistema operacional e o Hardware
• Aumento da largura de banda não é lienar aos custos com o
tamanho do cluster
Introdução 2/2
![Page 5: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/5.jpg)
5
Escalabilidade: manipular uma porção crescente de trabalho de
forma uniforme, ou estar preparado para crescer.
Cluters: conjunto de computadores, que utiliza um tipo especial
de sistema operacional.
Data center: ambiente projetado para abrigar servidores e
outros componentes.
Conceitos básicos – Clouters computers
![Page 6: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/6.jpg)
6
Arquitetura: conjunto de camadas e protocolo de rede.
Topologia: canal no qual o meio de rede está conectado aos
computadores e outros componentes.
Conceitos básicos – Clouters computers
![Page 7: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/7.jpg)
7
Projetar uma arquitetura de comunicação de data center que
atenda:
• Construir Largura de banda de interconexão Escalável:
• host arbitrário no data center comunica com host a largura de
banda total da sua interface da rede local.
• Economias de escala:
• Fazer barato Ethernet off-the-shelf
• Compatibilidade com versões anteriores:
• Ethernet
• TCP/IP
Objetivo
![Page 8: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/8.jpg)
8
• Duas Camadas (Core e Edge) 5K a 8K hosts.
• Três Camadas (Core , Aggregation e Edge ): maior que 8K hosts
•Switches Edge: (48-288) Portas 10 GigE para conexão com a
camada superior.
•Switches Aggregation e core (32-128):porta de 10 GigE
Ambos tipos de switches permitem comunicar com os outros a
velocidade máxima da sua interface de rede.
Topologias de rede dos data center atual 1/2
![Page 9: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/9.jpg)
9
Topologias de rede dos data center atual 2/2
![Page 10: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/10.jpg)
10
Oversubscription
![Page 11: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/11.jpg)
11
• Equal-Cost Multipath (ECMP)
•Realizar divisão da carga estática entre os fluxos.
Roateamento multi-caminho
![Page 12: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/12.jpg)
12
Custo
![Page 13: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/13.jpg)
13
•Extensões simples para o encaminhamento de IP para utilizar
efetivamente o alto fan-out disponível a partir de Fat-Tree.
•Empacotamento como técnica utilizada para melhorar essa
sobrecarga
Sumário
![Page 14: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/14.jpg)
14
Clos Networks/Fat- Trees 1/2
K-ary Fat-Tree: topologia de três camadas (edge, aggregation and core)
• Cada pod contem 2 camadas de k/2 switches
• k-portas na cama borda liga k/2 hosts
• Cada switch core liga k pods - (k/2)2
• Cada switch de agregação liga k pods (k/2)
![Page 15: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/15.jpg)
15
Topologia Fat- Trees 2/2
![Page 16: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/16.jpg)
16
• Difusão de tráfego entre pods tira proveito da estrutura da
topologia.
• O uso da tabela de roteamento de dois níveis que se espalha o
tráfego de saída com base nos bits de ordem inferior do IP de
destino.
Motivação
![Page 17: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/17.jpg)
17
- Formalizaram o endereçamento com as seguintes condições:
• Switch pod: 10.pod.switch.1
• Core Switch: 10.k.j.i.
• O endereço de um host: 10.pod.switch.ID
Endereçamento
![Page 18: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/18.jpg)
18
Two-Level Routing table
![Page 19: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/19.jpg)
19
Two-Level Lookup Implementation
![Page 20: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/20.jpg)
20
Routing Algorithm
![Page 21: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/21.jpg)
21
Duas técnica opcionais de roteamento dinâmico:
• Reconhecer os pacotes subsequentes do mesmo fluxo, e
encaminha-los na mesma porta de saída.
• Periodicamente volta a atribuir um número mínimo de fluxo
nas portas de saída para minimizar qualquer disparidade entre
a capacidade de fluxo agregado nas diferentes portas
Classificação do fluxo
![Page 22: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/22.jpg)
22
• Edge Switches
Detecta os fluxo de saída cujo tamanho aumenta acima do limite
predefinido, e enviar periodicamente notificações para uma
escalonador central especificando a origem e o destino para todos
os grandes fluxos ativos.
• Escalonamento central
Replicado, rastreia todos os fluxos grande ativos e tenta atribuir-
lhes caminhos não-conflitantes se possível.
Escalonamento de Fluxo
![Page 23: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/23.jpg)
23
• Lower-to upper-layer Switches:
• Tráfego inter e intra-pod
• Upper-layer to core switches
• Tráfego inter e intra-pod
Resiste as duas classes de falhas
Tolerância a falha
![Page 24: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/24.jpg)
24
Energia e Dissipação de Calor
![Page 25: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/25.jpg)
25
Implementação 1/3
Para validar a arquitetura de comunicação descrita, construíram:
• Protótipo simples dos algoritmos de encaminhamento
• Completaram o protótipo usando NetFPGAs que contém uma
implementação roteador IPv4 que aproveita TCAMs.
• Fizeram modificações em menos de 100 linhas de código adicional
• Não introduziu nenhuma latência
• Elementos clique pode realizar funcionalidade no roteador
complexo e protocolos em software.
![Page 26: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/26.jpg)
26
• Criaram e um novo elemento Click de TwoLevelTable.
• Geraram uma versão de 4 portas análoga ao roteador IP com
modificação adicional
Implementação – TwoLevelTable 2/3
![Page 27: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/27.jpg)
27
Implementação – Classificação do Fluxo 3/3
FlowClassifier é uma alternativa
para TwoLevelTable na difusão dotráfego.
![Page 28: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/28.jpg)
28
Para medir a largura de banda total bisection Fat-Tree
• Geraram um pacote de benchmark
• Mapeamentos de comunicação
• 4 portas Fat-Tree
• Switch TwoLevelTable
• FlowClassifier
• FlowScheduler.
Comparam esses métodos com uma árvore hierárquica. Padrão
com 3.6: 1 oversubscription ratio
Avaliação
![Page 29: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/29.jpg)
29
• 16 Hosts
• 20 Switches
• 10 máquinas físicas
• ProCurve 2900 Switch de 48 portas
• CPUs dual-core Intel Xeon a 2,33 GHz
• A largura de banda limitada a 96Mbit/s
Descrição do Experimento
• Cache de 4096KB
• 4 GB de RAM
• Debian GNU/Linux 2.6.17.3.
![Page 30: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/30.jpg)
30
Resultados
![Page 31: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/31.jpg)
31
Empacotamento
![Page 32: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/32.jpg)
32
• Switches Myrinet empregam topologia Fat-Tree e têm sido
popular em cluster.
• InfiniBand também atinge largura de banda escalável usando
variantes de topologias de Clos.
•OSPF2 e ECMP têm técnicas de roteamento semelhantes
• Multi-caminho aproveita propriedades particulares da topologia
Fat-Tree para conseguir um bom desempenho.
• MPP processamento massivo e paralelo.
• Thinking Machine System
Trabalhos Relacionados
![Page 33: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/33.jpg)
33
• Aproveita commodity switches Ethernet
• Fornece grande largura de banda escalável para clusters
• Apresentaram técnicas de roteamento compatíveis com versões
anteriores
• Custo significativamente baixo.
• Baixo consome de energia elétrica
• Alcança largura de banda bisection
Comentários finais 1/2
![Page 34: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/34.jpg)
34
Comentários finais 2/2
•Melhor desempenho em grande escala
•Robustez
•Uma instância da arquitetura fat-Tree emprega 48 portas
Ethernet
• Fornecer largura de banda total de até 27.648 hosts
• Topologia mais amplamente utilizado em clusters.
![Page 35: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/35.jpg)
35
Referências Bibliográficas
• M. Fares, et al. A Scalable, Commodity Data Center Network Architecture.
Agosto, 2008, Pg, 63 – 74
• A. Cleber et al. Equilibrando Energia, Redundância e Desempenho em Redes
de Centros de Dado, 2015, Pg.7 – 10.
• Mellanox Technologies. Deploying HPC Cluster with Mellanox InfiniBand
Interconnect Solutions. 2014.
![Page 36: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/36.jpg)
36
Referências Bibliográficas
• TeleCorp-https://www.telecorp.com.br/glossario/data-center/ - Acessado
28/06/2015.
• Wikipédia - https://pt.wikipedia.org/wiki/Arquitetura_de_rede - Acessado 29/06/2015
• One Shot Design - http://fabiomontoro.blogspot.com.br/2013/02/topologia-de-rede-
tia-942-1.html Acessado 10/05/2015
• Wikipedia - https://pt.wikipedia.org/wiki/Topologia_de_rede - Acessado 28/06/2015
![Page 37: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/37.jpg)
OBRIGADO !
![Page 38: A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE - Fatree](https://reader034.vdocuments.site/reader034/viewer/2022042602/55d29793bb61eb61398b4570/html5/thumbnails/38.jpg)
UNIVERSIDADE ESTADUAL DE CAMPINAS
INSTITUTO DE COMPUTAÇÃO
Prof. Dr. Luiz Fernando Bittencourt
Campinas, aos 30 de Junho de 2015
A SCALABLE, COMMODITY DATA CENTER NETWORK ARCHITECTURE
***FAT-TREE***
Aluno: Joaquim Domingos Mussandi
TÓPICOS EM COMPUTAÇÃO DISTRIBUÍDA - MO809