avaliação de desempenho universidade de são paulo instituto de ciências matemáticas e de...
TRANSCRIPT
![Page 1: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/1.jpg)
Avaliação de Desempenho
Universidade de São PauloInstituto de Ciências Matemáticas e de Computação
Departamento de Sistemas de Computação
Aferição de Sistemas Computacionais
Sarita Mazzini Bruschi
Slides de:Marcos José Santana
Regina Helena Carlucci Santana
![Page 2: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/2.jpg)
Conteúdo
1. Planejamento de Experimentos
2.2. Técnicas para Avaliação de DesempenhoTécnicas para Avaliação de Desempenho
– Apresentação das técnicas
– Técnicas de Aferição:
• Protótipos, Benchmarks e Monitores
– Técnicas de Modelagem:
• Solução Analítica e por Simulação
– Exemplos
3. Análise de Resultados 2
![Page 3: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/3.jpg)
Técnicas de Avaliação de Desempenho
Sistema Medições Dados
Protótipos
Benchmarks
Coleta de Dados
Aferição
Rede de Filas
Redes de Petri
Statecharts
Modelagem
Simulação
Analítica
Aferição
3
![Page 4: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/4.jpg)
Técnicas de Avaliação de Desempenho
Aferição
•Medidas no próprio sistema
•Sistema deve existir e estar disponível
•Experimentação restrita
•Muito cuidado com aquisição dos dados
4
![Page 5: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/5.jpg)
Benchmarks
Técnicas de Avaliação de Desempenho
Protótipos
Coleta de Dados
Aferição
Rede de Filas
Redes de Petri
Statecharts
ModelagemAferição
5
![Page 6: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/6.jpg)
Benchmarks
• Instrumento fixo, que permite comparar uma medida (mark - marca) a um padrão preestabelecido
• Deve-se ter um ponto de observação (bench - banco)
• Ponto fixo ou referência para comparações6
![Page 7: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/7.jpg)
Benchmarks
• Empresas – Utilizam como modelo– Onde elas pretendem chegar
• Ponto fixo ou referência para comparações
• Definir um benchmark para a vida....
• Exemplos:– Tábua das mares– Termômetro
7
![Page 8: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/8.jpg)
Benchmarks
ALTURA NÍVEL DA MARÉ
1,00m – 1,50m Maré alta
1,60m - 1,70m Observação
1,80m Atenção
Tábua das mares
8
![Page 9: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/9.jpg)
Benchmarks
Termômetro
Vinho
T = 38O
Febre!!!
T = 36,5O
Normal
Benchmark!!
9
![Page 10: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/10.jpg)
Técnicas de Aferição
• Benchmarks
Programa escrito em linguagem de alto nível, representativo de uma
classe de aplicações, utilizado para medir o desempenho de um dado
sistema ou para comparar diferentes sistemas
10
![Page 11: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/11.jpg)
Benchmarks• Abordagem muito utilizada para a avaliação
de desempenho por aferição
• Exemplo i5 i7
2 ou 4 núcleos 4 ou 6 núcleos
Não possui Hyper-threading
possui Hyper-threading – 2 núcleos lógicos para cada físico
DMI - Direct Media Interface (taxa de transferência ~2Gb/s)
QPI - Quick Path Interconnect (taxa de transferência >4,8Gb/s)
Quantidade de canais para acesso a memória – 2 (acessa 2 pentes ao mesmo tempo)
Quantidade de canais para acesso a memória – 3 (acessa 3 pentes ao mesmo tempo)
Qual a diferença entre um i5 e um i7?
Qual a influência Qual a influência no desempenho??no desempenho??
11
![Page 12: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/12.jpg)
Benchmarkshttp://www.cpubenchmark.net/
Processador Benchmark Preço ($)
Intel Core i7 980X @ 3.33GHz 10336 1000,00
Intel Core i7 975 @ 3.33GHz 7007 994,49
Intel Core i5 760 @ 2.80GHz 4510 205,00
Intel Core i5 680 @ 3.60GHz 3,431 296,66
Intel Core i7 740QM @ 1.73GHz 3521 546,00
PassMark Performance Test
12
![Page 13: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/13.jpg)
Benchmarks
– Uso:• Comparar desempenho de máquinas diferentes• Reprojetar hardware e software• Decidir sobre aquisição de sistemas• Ajudar na otimização de programas• Previsão de desempenho de aplicações em
computadores específicos
13
![Page 14: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/14.jpg)
• Permitem avaliar o sistema como um todo, incluindo aspectos relacionados com:– Arquitetura do sistema– Eficiência do compilador– Sobrecarga do sistema operacional– Sobrecarga de comunicação– Identificam pontos fortes e fracos de um sistema
em particular ou de aplicações
Benchmarks
14
![Page 15: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/15.jpg)
BenchmarksComo escolher um benchmark?
– Ideal -> aplicação do usuário – O ideal pode ser inviável quando os sistemas são de
propósito geral– Necessita-se de algo mais amplo e representativo
programa escrito em linguagem de alto nível;
representativo de alguma categoria de programação;
que possa ser avaliado facilmente;
que possua larga distribuição. 15
![Page 16: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/16.jpg)
• Divididos em:– Benchmark de componente;– Benchmark de sistema;– Benchmark de aplicação – utiliza programas
representativos– Benchmark sintético - imitam ambientes de
execução de programas reais. Geram dados estatísticos
Benchmarks
16
![Page 17: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/17.jpg)
• Classificação quanto a arquitetura:– seqüenciais;– paralelas;
• Comitê Parkbenck (Parallel Kernels and Benchmarks)
Benchmarks
17
![Page 18: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/18.jpg)
Benchmarks
Onde usar benchmark?
– avaliar sistemas computacionais diferentes;– avaliar o desempenho mínimo;– tarefas genéricas ou específicas.
18
![Page 19: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/19.jpg)
Áreas de Aplicação e Objetivos
• Três grandes áreas:– projeto
• não aplicável
– avaliação• aplicável, porém insuficiente
– seleção• técnica ideal
19
![Page 20: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/20.jpg)
Medidas de Desempenho Freqüentemente Utilizadas
• Comum aos outros casos: – Tempo de resposta, – Utilização, – Throughput,– Tempo/Tamanho de filas.
• Freqüência de clock - MHZ – Pode ser UMA medida– Problemas – É necessário considerar:
• Arquitetura do processador• Velocidade e quantidade de memória• Disco 20
![Page 21: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/21.jpg)
Medidas de Desempenho Freqüentemente Utilizadas
- Fabricantes apresentam números de pico de MIPS e MFLOPS superiores aos reais, valores obtidos em situações ideais
- Comparação entre máquinas com conjunto de instruções diferentes – CISC X RISC
MIPS
Milhões de Instruções por
Segundo
MFLOPS
Milhões de Instruções de Ponto Flutuante por
Segundo
21
![Page 22: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/22.jpg)
Medidas de Desempenho Freqüentemente Utilizadas
• MIPS e MFLOPS são relevantes quando aplicados em computadores de mesma arquitetura para análise comparativa
– Apresentam características similares de hardware e software
– Números de MIPS e MFLOPS mais coerentes
22
![Page 23: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/23.jpg)
Sequencial x Paralelo• Sequencial
– todas as considerações dos slides anteriores
• Paralelo– todas as considerações dos slides anteriores– poder de processamento não é o único fator
determinante da eficiência. Muito depende do quão inato é o paralelismo da aplicação, e qual a magnitude deste paralelismo pode ser explorado pela máquina
Sistemas Sequenciais e Paralelos
23
![Page 24: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/24.jpg)
Aspectos Relacionados aos Benchmarks
– Quando os resultados dos Benchmarks forem interpretados, deve-se conhecer:
– arquitetura do processador;– processadores;– clock;– barramento;– memória e caches;– disco rígido;– sistema operacional;– compilador– etc.
24
![Page 25: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/25.jpg)
Problemas...
-Sistemas com configurações diferentes geram medidas de desempenho diferentes
-Otimização do compilador: influencia diretamente no desempenho medido
Aspectos Relacionados aos Benchmarks
25
![Page 26: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/26.jpg)
Tipos de Benchmarks
• Benchmarks mais comums• Whetstone, Linpack, Dhrystone
• Outros programas de Benchmarks• Stanford Small Programs Benchmark Set
• EDN Benchmarks
• Sieve of Eratosthenes
• Livermore Fortran Kernels
• Perfect Club Benchmarks
• SPEC Benchmarks
• EuroBen Benchmarks
26
![Page 27: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/27.jpg)
Tipos de Benchmarks
• Whetstone– Primeiro grande programa da literatura escrito
para Benchmarking– Elaborado para análise de programação
numérica de ponto flutuante intensivo– Apenas a versão Pascal é oficialmente
controlada– resultado: número de loops por segundo
27
![Page 28: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/28.jpg)
Tipos de Benchmarks
• Características do Whetstone
– Possui alto percentual de dados e operações de ponto flutuante
– Alto percentual de tempo de execução é gasto em funções matemáticas
– Ao invés de variáveis locais, Whetstone utiliza muitos dados globais
28
![Page 29: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/29.jpg)
Whetstone
• Ranking das melhores máquinas
• Whetstone 97
• Última atualização – setembro 2006
• MWips, million whetstones instructions per second
• http://www.cse.clrc.ac.uk/disco/Benchmarks/whetstone.shtml
(Setembro 2006)
• http://homepage.virgin.net/roy.longbottom/whetstone%20results.htm
(Dezembro de 2007) 29
![Page 30: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/30.jpg)
Rank Machine Mflop ratings (Vl=1024) Total CPU MWIPS
N2 N3 N8 (seconds)
1 Intel Woodcrest 3.0GHz 4MBL2 DC 1966 4588 2907 3.3 10560
2 Intel Woodcrest 3.0GHz-533 4MBL2 DC 1966 4588 3069 3.3 10451
3 IBM eServer p5 570/1.9 1966 1966 1625 6.2 6219
4 SunFire V20 2.2GHz (EKO) 1311 1298 1481 7.7 4496
5 IBM eServer p5 575/1.5 1966 1529 1315 7.8 4874
6 AMD Opteron852/2600 (EKO 2.2) 1513 1547 1771 8.1 4488
7 HP DL380 Pentium4/3600 (EM64T) 1966 1720 607 8.4 4408
8 Dell PowerEdge 1850/3600 1MBL2 1966 1720 607 8.4 4351
9 Dell PowerEdge 1850/3600 2MBL2 1966 1720 607 8.5 4370
10 AMD Opteron875/2200 DC (EKO 2.0) 1311 1251 1497 8.6 4543
VL = Vector loops
MWIPS = million whetstones instructions per second
N2,N3 e N8 – diferentes instruções de ponto flutuante no loop30
![Page 31: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/31.jpg)
Tipos de Benchmarks
• Livermore Fortran Kernels– Este benchmark foi criado em 1970 por F.H.
McMahon – Consiste de 24 “kernels” ou loops de
processamento numérico– Analisa desempenho de computadores e
compiladores em operações com ponto flutuante
31
![Page 32: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/32.jpg)
Tipos de Benchmarks
http://www.osc.edu/supercomputing/computing/metrics.shtml
Ohio Supercomputer Center
Livermore Fortran Kernels executado em diferentes máquinas
32
![Page 33: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/33.jpg)
Tipos de Benchmarks
• SPEC Benchmarks– SPEC (System Performance Evaluation
Cooperative ou Standard Performance Evaluation Corporation) fundada em Outubro de 1988 por Apollo, Hewlett-Packard, MIPS e Sun Microsystems.
– Possui como meta, realismo de medidas de sistemas computacionais avançados para a indústria e educação dos consumidores quanto aos aspectos de desempenho.
33
![Page 34: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/34.jpg)
Tipos de Benchmarks• SPEC Benchmarks
– CPU– Aplicações Gráficas– Aplicações de Alto Desempenho
• MPI e OpenMP
– Cliente/Servidor Java• Projetado para medir o desempenho de servidores rodando
aplicações Java
– Mail Servers• Mede desempenho de servidores de e-mail
– Network File Systems– Web Servers
• Simula usuários enviando requisições34
![Page 35: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/35.jpg)
Benchmarks para Arquiteturas Paralelas e Sistemas Distribuídos:
problemas com MIPS e MFLOPs não basta somá-los:
comunicação; balanceamento; etc.
cada tipo de arquitetura benchmark específico;
Exemplos: PING e PING-PONG:
utilizados na avaliação de comunicação; TTCP:
avaliação de comunicação usando TCP ou UDP.
Benchmarks
35
![Page 36: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/36.jpg)
Para utilização específica: Servidores Web Redes HD Servidores de e-mail Virtualização SOA Servidores de arquivos Etc.....
Benchmarks
36
![Page 37: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/37.jpg)
WebStone• Desenvolvido pela Silicon Graphics• Objetivo: Medir desempenho de software e hardware
de servidores Web• Versão 2.0.1 • Testa o servidor Web, incluindo sistema operacional,
CPU e velocidade de acesso a rede.• Não testa influência da velocidade de acesso ao
disco• Principais medidas
– Throughput máximo– Tempo médio de resposta
37
![Page 38: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/38.jpg)
Surge• Simula uma coleção de usuários acessando
um servidorWeb
• Arquitetura– Conjunto de clientes conectados a um servidor Web– Cliente
• Conjunto de threads especificado pelo usuário• requisições a documentos no servidor• estados ON e OFF
– ON transferência de arquivos– OFF Ativo e Inativo
38
![Page 39: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/39.jpg)
httperf• Ferramenta para medir o desempenho de servidores
Web• Gera várias cargas HTTP • Arquitetura
– Maior independência do SO• Única thread• Mecanismo próprio de Timeout
– Três módulos• HTTP
– Gerenciamento de conexões– Geração de requisições http
• Geração de carga– Regras para a geração de requisições
• Coleta de estatísticas39
![Page 40: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/40.jpg)
httperf
• Carga– Conexões persistentes e requisições em cascata– Geradores de carga
• Geração de requisições– Requisições a uma taxa fixa. Padrão 1 req/con
– Sessões a uma taxa fixa. 1 sessão várias rajadas de
requisições. Think time 0.
• Geração de URLs– Seqüência de URLs que devem ser acessadas no servidor.
40
![Page 41: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/41.jpg)
Concluindo....
Benchmarks podem ser utilizados para verificar diversos tipos de
sistemas ...– Servidores Web,– Banco de dados,– Processadores,– Redes de comunicação
41
![Page 42: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/42.jpg)
Concluindo....
sendo utilizados com diferentes objetivos...
•Codificação de vídeo e edição de imagens,
• Jogos,
•Processamento intensivo,
•Processamento de textos, etc.42
![Page 43: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/43.jpg)
Concluindo....
Querendo avaliar diferentes características...
•Produtividade
•Desempenho
•Confiabilidade, etc.
43
![Page 44: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/44.jpg)
O importante é...
• Escolher o Benchmark adequado,
• Aplicar o Benchmark de forma adequada,
• Analisar os resultados obtidos com critério.
44
![Page 45: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/45.jpg)
Protótipos
Técnicas de Avaliação de Desempenho
Benchmarks
Coleta de Dados
Aferição
Rede de Filas
Redes de Petri
Statecharts
ModelagemAferição
45
![Page 46: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/46.jpg)
Técnicas de Aferição
• Construção de Protótipos
Versão simplificada de um sistema computacional que contém apenas características relevantes para a
análise do sistema
46
![Page 47: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/47.jpg)
Técnicas de Aferição
Construção de Protótipos
uma implementação simplificada do sistema real;
abstração das características essenciais; sistemas em fase de projeto; produz resultados com boa precisão; recomendado para verificação do projeto final; problema: custo e alterações.
47
![Page 48: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/48.jpg)
Considerações envolvidas: identificar os objetivos do projeto; abstrair as características essenciais; definir a estratégia de coleta de dados no protótipo; desenvolver o protótipo; avaliar o seu desempenho;
Além disso, devem ser considerados: viabilidade da prototipação do sistema; melhorias no protótipo, em função da avaliação e
análise.
Construção de Protótipos
48
![Page 49: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/49.jpg)
Construção de Protótipos1) Analisar se o sistema é um bom candidato a
prototipação
2) Delimitar e conhecer perfeitamente os domínios funcionais e comportamentais do sistema
3) Desenvolver o protótipo
4) Testar o protótipo
5) Coletar dados do protótipo
Após o passo 4, o protótipo já provê uma idéia do sistema real.
Os passos 3, 4 e 5 são repetidos iterativamente até que se tenha toda a funcionalidade do
sistema representada no protótipo49
![Page 50: Avaliação de Desempenho Universidade de São Paulo Instituto de Ciências Matemáticas e de Computação Departamento de Sistemas de Computação Aferição de](https://reader037.vdocuments.site/reader037/viewer/2022110305/552fc10b497959413d8c27ad/html5/thumbnails/50.jpg)
Construção de Protótipos
Concluindo.....
• Ótima opção para verificação de projetos
• Bom para alguns tipos de sistemas
• Custo pode ser um problema
• Flexibilidade não é ponto forte!
50