metodologia para estimar o atraso em um sentido e...

1

Metodologia para estimar oatraso em um sentido

e experimentos na Internet

Antonio A. de A. Rocha

Rosa M. Meri Leão Edmundo de Souza e Silva

Universidade Federal do Rio de Janeiro

COPPE/Prog. de Engenharia de Sistemas e Computaçãoe Depto de Ciência da Computação do IM

LAND - Laboratory for modeling, analysis and developmentof networks and computer systems

Antonio Rocha, SBRC ’2004

22° SBRC - Gramado, RS - Brasil

Antonio Rocha, SBRC ’2004 2

Sumário

Motivações;

Objetivos;

Técnicas de Medição;

Medições Ativas;

Cálculo do "Atraso em um sentido";

Validação das Implementações, Experimentos e Resultados;

Nova Proposta para Estimar Métricas Usando o OWD;

TANGRAM-II Traffic Generator (nova versão);

Trabalhos Futuros;

Conclusão e contribuição;

3

MotivaçõesConhecer as características da rede:

Métricas estudadas:Atraso de ida-e-volta (RTT)Jitter (Variação do atraso)VazãoCapacidade de Transmissão dos EnlacesCapacidade de Transmissão do GargaloLargura de Banda DisponívelPerda

Nota: Algumas dessas métricas não têm relação com "tempo" eoutras requerem apenas um único relógio para ser computada.

Tamanho do Buffer no GargaloTaxa de Descarte

Caminho (Path)

...

Melhorar a QoS das aplicações multimídia;Criar modelos mais precisos;


4

Outras métricas importantes

"Atraso de ida", em um único sentido

Problemas para estimar esta métrica,sem equipamentos específicos:

Falta de sincronização e diferentes taxas de crescimento dos relógios envolvidos;

Ex. cálculo do tamanho do buffer no gargalo;

One-way delay (OWD);

Problemas em estimar outras métricas:O RTT é usado no cálculo de algumas métricas, o que aumentaa probabilidade de estimar a métrica de forma errada;



Objetivos

Coletar e analisar medidas de desempenho na Internet,através de medições ativas

Avaliar as propostas existentes para estimar o OWD e outras métricas;

Utilizar as estimativas de OWD para auxiliar na obtenção de outrasmétricas de interesse;

Desenvolvimento de uma proposta que solucione problemasencontrados durante os experimentos;Proposto uma extensão que possibilite estimar o OWD para uma aplicaçãoqualquer;


Técnicas de Medição


Técnicas de Medição

Duas técnicas existentes:

Passiva:Coleta informações do tráfego passante por um ponto;

Ativa e Passiva;

Ativa:Envio de Sondas entre os "pontos" usados na medição;

Nota: Como a forma Passiva não faz parte do escopo deste trabalho,apenas a técnica Ativa será abordada nesta apresentação.

Diferenças conceituais entre as duas;


Medição Ativa

Consiste no envio de pacotes por um emissor,que atravessam o caminho da rede a ser estudado,e coletado em um receptor;

Pacotes chamados de Sondas;

Variações de aplicação da técnica:Métodos de Geração das Sondas;

Modelos de Geração das Sondas;

Um sentido (One-way);

Dois sentidos (Two One-way);

Ida e volta (Round Trip);

CBR;

Markov Modulated;

Trace;

Pares de Pacotes;


Medição Ativa

Medidas de Desempenho e Ferramentas:

Infra-estruturas de medição ativa:Várias máquinas executando medições ativas

Ripe;

Surveyor;

Impa;

Atraso de ida-e-volta (RTT): Ping, Bing, Clink, Netest, Pathchar, Pchar, Pipechar

Jitter (Variação do atraso): Iperf,

Vazão: Pathchar, Pchar

Capacidade de Transmissão dos Enlaces: Clink, Pathchar, Pchar

Capacidade de Transmissão do Gargalo: B|Sprobe, Netest, Nettimer, Pathrate, Pipechar

Largura de Banda Disponível: Netest, Pipechar, Treno Perda: Ping, Bing, Iperf, Netest, Owping, Pathchar, Pchar, PipecharAtraso em um sentido (OWD): Owping (com GPS).

Utilização: Cprobe

Caminho: Traceroute.

NIME;

Ex.: Bprobe e Sprobe usam pares de pacotes ICMP para estimara capacidade de transmissão no enlaco do gargalo;


TANGRAM-II Traffic Generator

Módulo de medição ativa do TANGRAM-II

TANGRAM-II:Ambiente de modelagem e experimentações de sistemas de computaçãoe comunicação;Propósito educacional e de pesquisa;

Versão anterior do TANGRAM-II Traffic Generator:Gerador de Tráfego: IP ou ATM nativo;Possibilita ao usuário a utilização de diferentes modelos de geraçãodas sondas (CBR, Markov Modulated, Trace);

Composto por vários módulos de diversas finalidades;

Métricas disponíveis: Jitter, Perda, Sucesso e Vazão;

TANGRAM-II Modelenv:Ambiente de modelagem;Criação de modelos de simulação ou analíticos;Através de uma interface gráfica (TGIF);

Com a possibilidade de integração entre elas;

Os modelos são representados por uma coleção de objetos;


Cálculo do atraso em um sentido

12

Terminologia

Cx(t): Instante "t" no relógio Cx;

C’x : Frequência (taxa de crescimento) do relógio C;

Cx : representa o relógio de uma máquina X;

ts e tr : Instante "t" de envio e recebimento do pacote;

Cálculo do Atraso: D = Cb(tr) - Ca(ts);


13

Problemas no Cálculo do OWD

Se forem usados equipamentos de sincronização (GPS), D=Cb(tr ) - Ca(ts )

Sem os equipamentos, alguns problemas devem serlevados em consideração:

A diferença entre os relógios em um instante "t" pode ser diferente de zero: OFFSET - Cb (t s) != Ca (ts)

A frequência (taxa de crescimento) dos relógios é diferente: SKEW - C’a != C’b

Sequence number

Delay(ms)

0 5000 10000 15000 20000 25000 30000 35000 40000

UFRJ->UMASS

55850

55900

55950

56000

56050

56100

56150

56200

56250

56300

Sequence number

Delay(ms)

UMASS->UFRJ

-55950

-55900

-55850

-55800

-55750

-55700

-55650

-55600

-55550

-55500

0 5000 10000 15000 20000 25000 30000 35000 40000

Tendência de crescimento no cálculo do atraso.

Inclusão da diferença entre os relógios nos valores do atraso



Algoritmos para remoção do Skew

Três propostas foram estudadas:

Avaliação das propostas:Paxson possui problemas para valores de Skew muito altos,e complexidade computacional superior a todos os outros;

Foi implementado no TANGRAM-II Traffic Generatora proposta L. Zhang e Z. Liu - Infocom´02;

S. Moon e D. Towsley provou que sua proposta é mais eficientedo que o algoritmo de Paxson;L. Zhang e Z. Liu demonstram que sua proposta possui umacomplexidade pelo menos igual a proposta de S. Moon e D. Towsley,além de mais intuitiva;

Paxson - Sigmetrics´98;S. Moon e D. Towsley - Infocom´99 ;L. Zhang e Z. Liu - Infocom´02;


Definição do Algoritmo(Skew)

Usado o conceito de Limite Inferior de um Fecho Convexo:Seja Ω um conjunto de pontos de um gráfico,

FC(Ω) consiste no menor polígono formado por um subconjuntode Ω, onde todos os outros pontos se encontram na parte interiordo polígono.

Para obter o limite inferior de um FC(Ω) o algoritmo faz uma busca nospontos a partir do ponto de menor valor da dimensão "x" até o ponto demaior valor da dimensão "x".


Funcionamento do Algoritmo(Skew)

Identifica o limite inferior do FC(Ω), onde Ω é acoleta do atraso dos pacotes;

Dentre todos os pares de vértices é estimado o melhor parque representa a reta gerada pela tendência de crescimento:

A reta ótima é escolhida a partir do ponto médio do gráfico (N/2);Identificado o ponto médio, duas possibilidades:

O ponto médio é um dos vértices do polígono;O ponto médio encontra-se acima de uma reta entre dois vértices.

Número de Sequência

2555

2560

2565

2570

2575

2580

2585

2590

2595

2600

Atraso

Sondas

0 2 4 6 8 10 12 14 16 18 20Número de Sequência

2555

2560

2565

2570

2575

2580

2585

2590

2595

2600Sondas

0 2 4 6 8 10 12 14 16 18 20Número de Sequência

2555

2560

2565

2570

2575

2580

2585

2590

2595

2600

Atraso

Sondas

0 2 4 6 8 10 12 14 16 18 20

Atraso


Funcionamento do Algoritmo(Skew) Cont.

Identifica a reta, estima-se a inclinação para representara taxa de crescimento de um relógio em relação ao outro:

Descoberto a taxa de crescimento, remover o Skew do atrasoé relativamente simples:

α = Y2 - Y1 X2 - X1

A inclinação é dada pelo coeficiente de variação da retaem relação ao eixo das abcissas:

Seja y=f(x) a reta estimada pelo algoritmo de FC(Ω), e sejamVskew(X1 , Y1)e V´skew(X2 , Y2) os vértices estimados pelo algoritmo:

Atraso_sem_skew = D - [( Tsi - Ts1) * α]

O novo atraso é calculado para todas as amostras da coleta;


Algoritmo de Offset

Diversas propostas para remoção do Offset, porém foiimplementado o método proposto em [J. Biro e D. Loung]por ela considerar caminhos assimétricos;

O objetivo da propota é estimar o Offset através davariação do retardo presente no atraso das sondasde diferentes tamanhos.

O algoritmo também supõe a inexistência de valores de Skew,mas eles podem ser removidos com o algoritmo definido anteriormente;

Cap. de Tx no caminho de ida != Cap. de Tx no caminho de volta;


Funcionamento do Algoritmo de Offset

Tamanho das Sondas

Atraso

min(a-b, tam)

min(b-a, tam)

0

2 xOffset

Enviado uma sequência de sondas de diferentes tamanhos;Selecionadas as que sofreram o menor atraso;

Decrescimento linear causado pela diferença dos tamanhos das sondas;A proposta é identificar o retardo de uma sonda de tamanho zeroque não tenha encontrado fila ao longo do caminho;

Feito isso nos dois sentidos, a diferença entre os atrasos,Dab -D ba = Offset + Tprop - ( - Offset + Tprop) = 2 * Offset

Não encontraram fila ao longo do caminho;

Esse atraso equivale ao Tprop + ou - Offset


Implementação dos AlgoritmosOs algoritmos de Skew e Offset foram implementadosno TANGRAM-II Traffic Generator;

Emissão de sondas nos dois sentidos (Two One-way);Variação do tamanho dos pacotes;

2.555e+07

2.56e+07

2.565e+07

2.57e+07

2.575e+07

2.58e+07

2.585e+07

2.59e+07

2.595e+07

2.6e+07

2.605e+07

0 5000 10000 15000 20000 25000 30000 35000 40000 45000 50000

Atr

aso(

µs)


"Trace do tráfego de Vídeo"

Coleta inicial: Com Skew e Offset


Resultado dos Algoritmos

50000

100000

150000

200000

250000

300000

350000

400000

0 5000 10000 15000 20000 25000 30000 35000 40000 45000 50000

Atr

aso(

µs)


"Trace do Tráfego de Video"

Coleta após remoção do Skew e Offset


Resultado dos Algoritmos

0

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

0.2

0 50000 100000 150000 200000 250000 300000 350000 400000

UFRJ->UMASS

UMASS->UFRJ

Atraso(µs)

P[x

=A

tras

o]

Curvas da PMF estimadas nas duas direções:


Experimentos com a ferramenta

Dia 09/09/2002

0

0.005

0.01

0.015

0.02

0.025

0.03

50000 100000 150000 200000 250000 300000

P[A

tras

o(us

)]

Atraso(us)

UMASS->UFRJ

0

0.05

0.1

0.15

0.2

0.25

50000 100000 150000 200000 250000 300000

P[A

tras

o(us

)]

Atraso(us)

UFRJ->UMASS

Dia 04/12/2002

0

0.01

0.02

0.03

0.04

0.05

0.06

0.07

0.08

0.09

0.1

50000 100000 150000 200000 250000 300000

P[A

tras

o]

Atraso(us)

UMASS->UFRJ

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

50000 100000 150000 200000 250000 300000

P[A

tras

o]

Atraso(us)

UFRJ->UMASS

0

0.002

0.004

0.006

0.008

0.01

0.012

0.014

0.016

0.018

0.02

50000 100000 150000 200000 250000 300000

P[A

tras

o(us

)]

Atraso(us)

UMASS->UFRJ

Dia 02/10/2002

0

0.02

0.04

0.06

0.08

0.1

0.12

0.14

50000 100000 150000 200000 250000 300000

P[A

tras

o(us

)]

Atraso(us)

UFRJ->UMASS

Experimentos entre a UFRJ e UMASS, e entre a UFRJ e Unifacs:


Outros problemas paraCálculo do atraso em um sentido

25

Outros problemas para estimar o OWD

Além do Skew e Offset, mais dois problemas foramencontrados durante os esperimentos que atrapalhavamas estimativas do OWD:

Atualização dos relógios

Problemas com o Sistema Operacional



Atraso

Sondas

1.4e+07

1.5e+07

1.6e+07

1.7e+07

1.8e+07

1.9e+07

2e+07

2.1e+07

2.2e+07

0 10000 20000 30000 40000 50000 60000

Congelamento temporáriodo Sistema Operacional

Atualizaçãodo relógio


Consequência dos problemasAtualização dos relógios:

A definição do FC(Ω) sofrerá influência e o α será estimado errado.

1.4e+07

1.5e+07

1.6e+07

1.7e+07

1.8e+07

1.9e+07

2e+07

2.1e+07

2.2e+07

0 10000 20000 30000 40000 50000 60000


Atraso

Trace ColetadoAplicado Algoritmo

Congelamento do sistema operacionalOcasiona "ruídos" na coleta e atrapalha a avaliação docomportamento do atraso.


Outras propostas para Tratar Atualização

[L. Zhang e Z. Liu - Infocom´02] e [Paxson - Sigmetrics´98] já descreverameste problemas:

Paxson propõe identificar este problema baseado em uma mudançasignificativa no atraso da rede:

L. Zhang e Z. Liu o uso de sub-intervalos e observação de mudançassignificativas nos sub-intervalos:

Problema da proposta:- O algoritmo supõe a inexistência de Skew nos atrasos;

Problemas da proposta:- Offset não pode ser estimado;- Algoritmo não funciona quando duas atualizações ocorrem em intervalos próximos de tempo.


Formato das Coletas

Coletas obtidas na direção A->B:

Número deSequênciadas Sondasno relógiode "A"

Instante de enviodas Sondasno relógiode "A"

Atraso das Sondas =Instante de recebimento das Sondasno relógio de "B" -Instante de envio das Sondasno relógio de "A"

Sondas são enviadas de A para B contendoo número de sequência e o instante de envio (relógio A);Sondas são coletadas em B, calculado o Atraso egerado o trace.

Forma semelhante na direção B->A .


Nova Proposta para Tratar Atualização

Baseada na taxa de envioconstante das sondas;

0

200000

400000

600000

800000

1e+06

1.2e+06

1.4e+06

1.6e+06

1.8e+06

2e+06

0 2 4 6 8 10 12 14 16 18 20

Envio das Sondas


Inst

ante

de

Env

io(µ

s)

Qualquer alteração na reta de crescimentopode ser consequência de uma atualizaçãodo relógio da máquina emissora;

7.4e+07

7.6e+07

7.8e+07

8e+07

8.2e+07

8.4e+07

8.6e+07

760 780 800 820 840


Instante de Envio(

µs)

Taxa de Envio

Variação naTaxa de Envio


Funcionamento das PropostasAtualização dos Relógios Congelamento Temporário

A B* A B*

A* BA* BDiff

DiffDiff

Diff

DiffDiff

Pac

Pac

Pac+X

Pac+X


Calculo do atraso para aplicaçõs


Cálculo do OWD para AplicaçõesPadrão de geração de sondas dos algoritmos para estimar o OWD

Geração "tradicional" em instantes próximos de tempo:

Esses mesmos valores são usados para remoção tambémna coleta "aleatória";

Tamanho de Pacotes Específicos;Nos dois sentidos (Two One-way);Intervalos constantes de tempo;

Proposta de um método que possibilita estimar o atraso a partir de qualquer modelo de geração de sondas (geração "aleatória");

Estimado o Skew e Offset da geração "tradicional";

O instante de envio da primeira sonda da coleta "tradicional" éusado para remoção do Skew na coleta "aleatória".

Iguala o Offset inicial;

-400000

-300000

-200000

-100000

0

100000

200000

300000

400000

500000

1.0525e+15 1.0525e+15 1.0525e+15 1.0525e+15 1.0525e+15 1.0525e+15 1.0525e+15

Atr

aso(

com

Offs

et e

Ske

w)

Instante de Envio(µs)

Sondas Paralelas UFRJ->UMASSSondas Paralelas UMASS->UFRJ

Tráfego de Vídeo

50000

100000

150000

200000

250000

300000

350000

1.0525e+15 1.0525e+15 1.0525e+15 1.0525e+15 1.0525e+15 1.0525e+15 1.0525e+15

Atr

aso(

com

Offs

et e

Ske

w)

Instante de Envio(µs)

Sondas Paralelas UMASS->UFRJTráfego de Vídeo


Cálculo do OWD para AplicaçõesAplicação de Videoconferência desenvolvida no LAND foram adaptadaspara gerar log dos pacotes;

Aulas e seminários entre a UFRJ e UMASSutilizaram esta ferramenta;

Em paralelo, eram executadasmedições Two One-way;

Depois os algoritmos foram aplicados ascoletas da aplicação de transmissão de vídeo;

Atr

aso(

µs)

-400000

-350000

-300000

-250000

-200000

-150000

-100000

-50000

0

0 20000 40000 60000 80000 100000


"Video_atraso.trace"

50000

100000

150000

200000

250000

300000

350000

0 20000 40000 60000 80000 100000

Atr

aso(

µs)


"Video_atraso.wso.trace"

0

0.005

0.01

0.015

0.02

0.025

0.03

50000 100000 150000 200000 250000 300000 350000

Atraso(us)

P[A

tras

o(µs

)]

"Video_atraso.pmf.trace"


Validação dasImplementações


Módulo RTT (Antes da aquisição do GPS)Para validar as implementações, um módulo que mede o RTT foi implementado;Não foi usada uma ferramenta já existente por alguns motivos:

Experimentos foram feitos em paralelo com coletado RTT e Two One-way

PMF das coletas RTT e Two One-way foram geradas

Precisão e maior controla da ferramentaGeração de pacotes UDP (Ping gera ICMP)

0

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

0.2

50000 100000 150000 200000 250000 300000 350000 400000 450000 500000 550000Atraso

P[atraso]

UFRJ->UMASSUMASS->UFRJ

0

0.001

0.002

0.003

0.004

0.005

0.006

0.007

0.008

0.009

0.01

150000 200000 250000 300000 350000 400000 450000 500000 550000 600000 650000

RTT

P[atraso]

Atraso

36

Distribuição da Soma do Two One-wayFoi calculada a distribuição e a PMF da soma doatraso em cada um dos sentidos.


1e-05

0.0001

0.001

0.01

0.1

1

100000 200000 300000 400000 500000 600000 700000 800000 900000 1e+06

ConvoluçãoIda e volta

Atraso(µs)

P[x

< A

tras

o]

0

0.2

0.4

0.6

0.8

1

100000 200000 300000 400000 500000 600000 700000 800000 900000 1e+06


Atraso(µs)

P[x

< A

tras

o]

0

0.001

0.002

0.003

0.004

0.005

0.006

0.007

0.008

0.009

0.01

100000 200000 300000 400000 500000 600000 700000 800000 900000 1e+06


Atraso(µs)

P[x

=A

tras

o]

37

Validação do OWD com GPS


38



39




Avaliação dos Resultados


Caracterização do Atraso Fim-a-Fim

O comportamento dos atrasos estimadosnos experimentos foi avaliado:

Usados descritores (média, variância e coef. de variação), emétodo de momentos para estimar os parâmetros das distribuições:

MSE foi usado para estimar a melhor distribuição, esse métodotenta estimar a distância que uma função está em relação a outra ;

A Ferramenta GNUPLOT foi usada para gerar as amostras das curvasdas distribuições;

Exponencial, Gaussiana, Lognormal,Gamma, Pareto e Weibull

A precisão da ferramenta 1e-5 faz com que as estimativas nãopossam ser consideradas confiáveisComportamentos como o da cauda de uma distribuição pode estarsendo desconsiderado;

MSE = Σ |F(x) - F´(x)|^2 N

onde, F(X) é a distribuição a ser estudada e F´(x) a distribuição estimada da coleta;


Caracterização do Atraso Fim-a-Fim

Atraso(µs)

P[X>Atraso]

0.0001

0.001

0.01

0.1

1

0 50000 100000 150000 200000 250000 300000 350000 400000 450000 500000

TraceExponencialGaussianaLognormal

GammaPareto

Weibull

0

0.2

0.4

0.6

0.8

1

50000 100000 150000 200000 250000 300000 350000 400000 450000

TraceExponencialGaussianaLognormal

GammaPareto

Weibull

Atraso(µs)

P[X>Atraso]

Atraso(µs)

P[X<Atraso]

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 50000 100000 150000 200000 250000 300000 350000 400000 450000 500000

TraceExponencial

GaussianaLognormal

GammaPareto

WeibullDistribuição MSEExponencial* 0.0000896541Gaussiana 0.0001109796Lognormal 0.0001263688Pareto 0.0004866717Gamma 0.7155580298Weibull 0.9820174230


Experimentos

Durante meses foram executados experimentos paraestimativa do OWD usando a ferramenta.

Coleta significativa de traces:

UFRJ e UMASSUFRJ e UNIFACS

40 coletas (UFRJ e UMASS)14 coletas (UFRJ e UNIFACS)Algumas coletas (Ferramenta de Transmissão de Vídeo)


Avaliação dos Resultados

A maioria dos resultados apontaram a Pareto como melhor distribuição;Falta de precisão pode estar desconsiderando a cauda dadistribuição;Além da Pareto, a Gaussiana e Lognormal também foram indicadas;

A maioria dos resultados apontaram a Distribuição Gaussianacomo a mais apropriada;

Além da Gaussiana, Exponencial, Pareto e Lognormal foramestimadas;

Das coletas feitas pela ferramenta, a Lognormal aparece comoa mais indicada;

UFRJ / UMASS

UFRJ / Unifacs

UFRJ / UMASS (Ferramenta de Vídeo)


Voltar Slides Aula


Criação de Modeloscom os Resultados


Conclusões e Contribuições

48

Contribuições e Conclusões

Atraso(us)

Atraso(us)

Atraso(us)

Atraso(us)

Atraso(us)

Atraso(us)


Desenvolvido e implementado (e validado) em uma ferramenta umasérie de algoritmos possibilitando estimar o OWD:

Algoritmos estudados implementados na ferramentaTANGRAM-II Traffic Generator.

Inclui duas novas propostas para tratar os problemas de atualização do relógio e ruídos;Desenvolvido um método para estimar o OWD independente do modelo de geração;

Execução de uma série de experimentos entre UFRJ/UMASS e UFRJ/UNIFACS;Implementado método de momentos e MSE para estimar distribuição;

Gerador automático de um objeto TANGRAM-II para modelar atraso e perdasa partir das distribuições coletadas ;

Proposto e implementado um método para seleção das sondasa serem usadas para o cálculo da capacidade de transmissão do gargalo;

Experimentos verificaram melhor precisão do método proposto;


Trabalhos Futuros

50

Trabalhos Futuros


Execução de novos experimentos entre diferentes pontos da Internet,com a avaliação desses resultados;

Executar testes com a implementação do Loss Pair e verificara diferença entre o método usando RTT e One-way;

Quantificar a diferença de precisão entre o método simplesde pares de pacotes e o método que usa seleção dos pares;

Utilizar outros métodos para a escolha da distribuição que melhorcaracteriza a coleta.

51

22° SBRC - Gramado, RS - Brasil

www.land.ufrj.brLAND - Laboratory for modeling, analysis and development

of networks and computer systems

FIM


Antonio A. de A. Rocha([email protected])

Rosa M. Meri Leão Edmundo de Souza e Silva([email protected]) ([email protected])

metodologia para estimar o atraso em um sentido e...

Documents