elosztott tagsági kép és hatékony multicast
DESCRIPTION
Elosztott tagsági kép és hatékony multicast. Autonóm és hibatűrő információs rendszerek Kocsis Imre ikocsis @ mit.bme.hu 2013.10.03. Monitorozás autonóm elosztott rendszerekben. Központosított monitorozás Nagyméretű rendszerek Dinamikus rendszerek Hálózati hibák - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/1.jpg)
1Budapesti Műszaki és Gazdaságtudományi EgyetemMéréstechnika és Információs Rendszerek Tanszék
Elosztott tagsági kép és hatékony multicast
Autonóm és hibatűrő információs rendszerek
Kocsis [email protected]
2013.10.03.
![Page 2: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/2.jpg)
2
Monitorozás autonóm elosztott rendszerekben
Központosított monitorozáso Nagyméretű rendszereko Dinamikus rendszereko Hálózati hibák
Elosztott monitorozás konfigurálása?o Rendszerméreto Dinamikus rendszereko Self-configuration!
![Page 3: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/3.jpg)
3
Monitorozás overlay network-ökkel Egy megközelítés: öngyógyító, strukturálatlan P2P
overlay
REQ1: minden c komponenst legalább egy m monitorozzono Még inkább: > 1 treshold (egyfajta redundancia)o Join-ok/Leave-ek ellenére igaz maradjon
REQ2: „monitoring load” szétosztása a rendszerben REQ3: monitorozási adatok megbízható
disszeminálása
![Page 4: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/4.jpg)
4
Monitorozás overlay network-ökkel „Overlay networks are logical networks supported,
usually, by a membership service which maintains neighboring associations between nodes”
Csomópontok: teljes vagy részleges tagsági kép?o Rendszerméreto Karbantartás
• Konzisztenciamodellek?
Részleges kép: ha véletlenszerű „peer sampling”, az overlay strukturálatlano Hatékony és megbízható alkalmazási szintű multicast
![Page 5: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/5.jpg)
5
Részleges nézetek: karbantartás
Reaktív stratégiao A nézet csak külső eseményre módosul (pl. join/leave)o Stabil állapotban: nem változik
Ciklikus stratégiao Időközöként frissítés (ált. információcsere a
szomszédokkal)
![Page 6: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/6.jpg)
6
Definiált gráf: tulajdonságok Összefüggőség
Fokszám-eloszlás (in/out degree!)
Átlagos úthossz
Klaszterezési koefficiens (clustering coefficient)o Csomópont: szomszédjai közötti élek száma / MAXo Gráf: csomópont-koefficiensek átlagao „Elárasztás”/gossip broadcast esetén redundancia mértékeo Könnyen izolálódó részek
„Pontosság” (Accuracy)o Csomópont: működő szomszédok száma / SUMo Gráf: működő csomópontok pontosságának az átlaga
![Page 7: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/7.jpg)
7
HyParView Példa: Hybrid Partial View tagsági protokoll
Kicsi, szimmetrikus „aktív nézet” (active view)oMéret: „fanout” + 1o Szimmetrikus!oMonitorozás: nyitott / nyitva tartott TCP kapcsolato Ezeket használó broadcast / gossip protokoll: implicit,
gyors hibadetektálás (a teljes nézeten)o Reaktív karbantartás
![Page 8: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/8.jpg)
8
HyParView
nagyobb „passzív nézet” (passive view)o Legyen > log(n)o „tartalék lista”o „SHUFFLE”• Aktív nézet + passzív nézet egy részének• Ciklikus cseréje• Az aktív nézet egy tagja iránáyba indított• „Véletlen sétával”
![Page 9: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/9.jpg)
9
HyParView
![Page 10: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/10.jpg)
10
HyParView
![Page 11: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/11.jpg)
11
HyParView
![Page 12: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/12.jpg)
12
„Pletyka” broadcast HyParView felett c üzenetet akar broadcastolni
Kiválaszt t csomópontoto Ez a fanout
Elküldi nekik az üzenetet
Első kézhezvételkor mindenki ugyanezt teszi
![Page 13: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/13.jpg)
13
HyParView mint monitorozási overlay? REQ1: minden c komponenst legalább t másik
monitorozzon REQ2: „monitoring load” szétosztása a
rendszerben REQ3: monitorozási adatok (riasztások)
megbízható disszeminálása
N.B.: explicit „LEAVE” kell kiegészítésként
![Page 14: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/14.jpg)
14
Broadcast / multicast
![Page 15: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/15.jpg)
15
Gossip vs feszítőfák Gossip
o Stabil állapot: pazarlóo Hibatűrés/megbízhatóság: igen jó
Feszítőfáko Stabil állapot: alacsony üzenetkomplexitáso Hibák esetén: sérülékenyek
Kevert stratégiák
![Page 16: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/16.jpg)
16
Kitérő és példa: hogyan építsünk feszítőfát? Elárasztással, kijelölt gyökérből, tetszőleges
késésekkel, ismert gráfra
Kód a Pk, 0 < k < n+1 csomópontokra
INITSzülő NILGyerekek 0Egyéb 0
![Page 17: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/17.jpg)
17
Kitérő és példa: hogyan építsünk feszítőfát?UPON „kijelöl” a j élen
If szülő = NILThen szülő j
„jóváhagyva” küldése a j élre„kijelöl” küldése minden nem jszomszédra
Else „visszautasít” küldése a j élre
UPON „jóváhagyva” a j élengyerekek gyerekek U {j}if gyerekek U egyéb = szomszédok \ {szülő}then terminate
![Page 18: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/18.jpg)
18
Kitérő és példa: hogyan építsünk feszítőfát?UPON „visszautasít” a j élen
egyéb egyéb U {j}If gyerekek U egyéb = szomszédok \ {szülő}then terminate
Pr processzorra:
If szülő = NILThen szülő NINCS
„kijelöl” az összes szomszédok-beli élre
![Page 19: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/19.jpg)
19
Plumtree
![Page 20: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/20.jpg)
20
Plumtree Gossip stratégiák
o „Eager push”o „Pull”o „Lazy push”
Push-lazy-push multicast tree
Plumtreeo „Eager peers” („buzgó szomszédok”): feszítőfává
alakulnako „Lazy peers”: üzenet-szintű redundancia a javításhoz
![Page 21: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/21.jpg)
21
Plumtree
![Page 22: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/22.jpg)
22
Plumtree
![Page 23: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/23.jpg)
23
Plumtree
![Page 24: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/24.jpg)
24
Plumtree
![Page 25: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/25.jpg)
25
Plumtree
![Page 26: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/26.jpg)
26
Plumtree
![Page 27: Elosztott tagsági kép és hatékony multicast](https://reader035.vdocuments.site/reader035/viewer/2022081401/568153b6550346895dc1b5e2/html5/thumbnails/27.jpg)
27
Hivatkozások [1] Leitao, J., Pereira, J., & Rodrigues, L. (2007).
HyParView: A Membership Protocol for Reliable Gossip-Based Broadcast. Lisboa, Portugal: IEEE. Retrieved from http://hdl.handle.net/10455/2981
[2] Leitao, J., Pereira, J., & Rodrigues, L. (2007). Epidemic broadcast trees. In Proceedings of the 26th IEEE International Symposium on Reliable Distributed Systems (pp. 301–310). IEEE Computer Society.