1 performance evaluation jean-yves le boudec
TRANSCRIPT
![Page 1: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/1.jpg)
1
Performance Evaluation
Jean-Yves Le Boudec
http://ica1www.epfl.ch/perfeval/
![Page 2: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/2.jpg)
2
De quoi s’agit-il ?
Problème:Évaluer la performance d’un système informatique ou de communications
SolutionsAnalyser le problème (facteurs, charge, métrique de performance)Proposer un ou plusieurs modèlesAnalyser le modèle par simulation ou théoriquement
Dans le cours nous étudionsles méthodes à utiliser en pratiqueles théories associéesdes exemples de travaux pratiques
![Page 3: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/3.jpg)
3
Exemple 1: simulation de serveur web
Vous avez developpé un logiciel de gestion de serveur web. Vous voulez évaluer sa performance.
Pourquoi ?
![Page 4: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/4.jpg)
4
Comment fonctionne l’outil que nous utiliserons (Surge)
Idea: find a stochastic model that represents user well User modelled as sequence of downloads, followed by “think
time”Tool can implement several “user equivalents”
Used to generate real work over TCP connections
![Page 5: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/5.jpg)
5
Exemple de trace de simulation
![Page 6: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/6.jpg)
6
Observations
La sortie de la simulation est aléatoire
Parce que le modèle est probabiliste
Il y a une période transitoire
Tout ceci est typique de n’importe quel modèle de simulationC’est relié à la théorie des Chaînes de Markov
![Page 7: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/7.jpg)
7
Exemple de trace de simulation
![Page 8: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/8.jpg)
8
Observations
Le système est non stationaireIl “explose”Tout ceci est typique de n’importe quel modèle de simulationC’est relié à la théorie des Chaînes de Markov
![Page 9: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/9.jpg)
9
Traitement d’une simulation
Savoir si le système va tendre vers la stationaritéEn utilisant des résultats théoriques de stabilitéEx: une file d’attente: coeff. d’utilisation < 1
Supprimer les transitoires
Quantifier la précision de l’output (intervalle de confiance)
![Page 10: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/10.jpg)
10
Results of 30 Independent Replications
![Page 11: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/11.jpg)
11
Confidence Intervals
Mean, normal approx
Median
Mean, bootstrap
![Page 12: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/12.jpg)
12
Exemple 2: L’Importance du Point de Vue
Women perform better than men [Weber-C11]
![Page 13: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/13.jpg)
13
Exemple 2: L’Importance du Point de Vue
Women perform better than men – really ?
This is an example of “importance of the viewpoint” or conditioning must be done well or playing with ratios
![Page 14: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/14.jpg)
14
L’Importance du Point de Vue
Vous voulez mesure l’impact d’une modification du logiciel de communication sur la performance d’un reseau de mobiles
Il nous faut définir un modèle de mobilitéExemple: random trip on city graph
![Page 15: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/15.jpg)
15
City Section
![Page 16: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/16.jpg)
16
Exemple simplifié
L’exemple le plus simple : random waypoint dans un rectangle:Mobile picks next waypoint Mn uniformly in area, independent of past and presentMobile picks next speed Vn uniformly in [vmin , vmax]
independent of past and presentMobile moves towards Mn at constant speed Vn
Mn-1
Mn
![Page 17: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/17.jpg)
17
Problèmes avec ce modèle simple
Les distributions de la vitesse, de la position, des distances, etc. changent avec le temps
Distributions of speeds at times 0 s and 2000 s
Samples of location at times 0 s and 2000 sSample of instant speed for one and average of 100 users
![Page 18: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/18.jpg)
18
Que s’est-il passé ?
Transitoires Différence de point de vue
“transition arbitraire” vs “instant arbitraire”
![Page 19: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/19.jpg)
19
Pourquoi est-ce important ?
Exemple (véridique) : on veut évaluer un protocole en fonction de la mobilité
On compare static (uniforme) vs random wapyointOn trouve que mobile meilleur
Q. Find the bug !
A. dans le cas mobile, la distribution moyenne dans le temps des mobiles n’est pas uniforme – ils sont plus proches ?
Random waypoint
Static
![Page 20: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/20.jpg)
20
Une Comparaison Juste Il faut comparer le cas statique et mobile en
1. Éliminant les transitoires du cas mobile2. En donnant la même distribution géographique au cas statique que la
distribution stationaire du cas mobile (obtenue par le calcul de Palm)
Random waypoint
Static, from uniform
Static, same node location as RWP
![Page 21: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/21.jpg)
21
Exemple 3: “Patterns”
Quand on évalue la performance, des “patterns” reviennent souvent
Les connaître permet de gagner beaucoup de temps
![Page 22: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/22.jpg)
22
Bottleneck
Temps de réponse en fonction du trafic offert
2 4 6 8 10Requests per Second
0.5
1
1.5
2
2.5
Mean Response Time in seconds
![Page 23: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/23.jpg)
23
In Out
In = 5 kb/s pour chaque, out = ? In = 1000 kb/s pour chaque, out = ? Quel est l’optimal ?A: in=10 source 1, in=100 source 2
Effet “Réseau”
10
101000
1000
100
1000
900
100
1090
900
10
1090
![Page 24: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/24.jpg)
24
In
Out
20 Mb/s20 Mb/s
Out
In
Congestion CollapseTravail inutile brûle des resources
![Page 25: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/25.jpg)
25
Joe’s Online Shop
Online shop Sous haute charge: saturation Que feriez vous pour augmenter le nombre de transactions ?
![Page 26: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/26.jpg)
26
Joe ajoute un serveur
Que s’est-il passé ?
Avant Après
![Page 27: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/27.jpg)
27
Interprétation
Deux patternsBottleneck: le serveur (CPU) est le bottleneckCongestion collapse: le WLAN du shop s’effondre sous le trafic
Avant: le bottleneck empêche le congestion collapse en limitant le trafic
Après: le deuxième serveur engendre plus de trafic (inutile) – le congestion collapse se révèle
![Page 28: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/28.jpg)
28
Exemple 4: Prévision Trafic US Sprint
![Page 29: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/29.jpg)
29
Prévision avec Modèle SARIMA
![Page 30: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/30.jpg)
30
Trafic EPFL
![Page 31: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/31.jpg)
31
Conours de Prévision des Etudiants EPFL
Vraie valeur
gagnant
![Page 32: 1 Performance Evaluation Jean-Yves Le Boudec](https://reader035.vdocuments.site/reader035/viewer/2022062318/551d9db7497959293b8db70e/html5/thumbnails/32.jpg)
32
Conclusion
Le cours “Performance Evaluation” est une application pratique des cours de
ProgrammationProbabilitésRéseaux et Systèmes d’Information
Un composant essentiel pour comprendre les phénomènes et les méthodes des systèmes informatiques et de communication
http://ica1www.epfl.ch/perfeval/