komplexné siete a vyhľadávanie informácií

20
Komplexné siete a vyhľadávanie informácií Marek Ciglan Ústav informatiky SAV

Upload: quito

Post on 09-Jan-2016

72 views

Category:

Documents


3 download

DESCRIPTION

Komplexné siete a vyhľadávanie informácií. Marek Ciglan Ústav informatiky SAV. Náčrt obsahu. Komplexné siete v reálnom svete Sú komplexné siete zaujímavé pre problémy spojené s vyhľadávaním informácií? Vlastnosti komplexných sietí Ako vyzerajú? Porovnanie s náhodným sieťami. - PowerPoint PPT Presentation

TRANSCRIPT

Primary Research Team & Capabilities

Komplexn siete a vyhadvanie informciMarek Ciglanstav informatikySAVNrt obsahuKomplexn siete v relnom sveteS komplexn siete zaujmav pre problmy spojen s vyhadvanm informci?Vlastnosti komplexnch sietAko vyzeraj?Porovnanie s nhodnm sieami.Typick lohy dolovania v grafovch dtach21 November 20112Komplexn sieteGrafov dta zachytvaj entity (vrcholy grafu) a ich vzahy (hrany grafu)Linky prinaj pridan hodnotuVek dta rozsah spracovvanch dt rob orientciu v dtach, ich vizualizciu a tdium ich vlastnost netrivilnym problmomKomplexn systm zloen zo spojench as, ako celok vykazuje vlastnosti, ktor sa nedaj pozorova na rovni jednotlivch ast21 November 20113

Komplexn siete v relnom sveteoraz viac dostupnch dt, ktor mono prirodzene modelova ako komplexn sieteVek on-line aplikcie:Socilne siete (facebook, twitter)Komunikcia (instant messenging, emaily, SMS, call networks)Socilne mdia (blogy)21 November 20114

Komplexn siete v relnom sveteInforman sieteBlogyCitan sieteWWW, hypertextSocilne siteOn-line socilne sieteKomunikan sieteSmantick siteLinked open data cloudJazykov sieteTerm co-occurance networksTechologick sieteCestn sieteDopravn site (elektrick, potrubn)

21 November 20115Komplexn siete a vyhadvanie informciAnalza liniekPageRankPageRank+Analza ObsahuAnalza liniek zvisl na dopyte (HITS)Vyhadvanie tm expanziou cez hypelikyLexiklne siteObjavovanie synonmDisambigucia zmyslu termovDisambigucia pomenovanch enttSyntaktick analza Part-of-speach (POS) tagovanie21 November 20116Vlastnosti komplexnch sietAko vyzeraj komplexn siete z relneho sveta?Ako sa podobaj relne site na nhodn grafy?Maj rovnak typy siet podobn vlastnosti?S globlne vlastnosti socilnej siete A podobn vlastnostiam socilnej siete B?21 November 20117tatistick vlastnosti komplexnch sietPodobaj sa komplexn siete na nhodn grafy?Erdos-Renyi model nhodnho grafu:Variant 1:Graf o n vrcholoch, kad hrana (i,j) existuje s pravdepodobnosou pTeda graf s m hranami sa vyskytuje s pravdepodobnoou: p^m * (1-p)^(M-m); kde M=n(n-1)/2Variant 2:Graf on n vrcholoch a m nhodne vybranch hranch

21 November 20118tatistick vlastnosti komplexnch sietPodobaj sa komplexn siete na nhodn grafy?Erdos-Renyi model nhodnho grafu:Variant 1:Graf o n vrcholoch, kad hrana (i,j) existuje s pravdepodobnosou pTeda graf s m hranami sa vyskytuje s pravdepodobnoou: p^m * (1-p)^(M-m); kde M=n(n-1)/2Variant 2:Graf on n vrcholoch a m nhodne vybranch hranch

Distribcia stupov nhodnho grafu - binomick

21 November 20119

tatistick vlastnosti komplexnch sietPodobaj sa komplexn siete na nhodn grafy?Erdos-Renyi model nhodnho grafu:Variant 1:Graf o n vrcholoch, kad hrana (i,j) existuje s pravdepodobnosou pTeda graf s m hranami sa vyskytuje s pravdepodobnoou: p^m * (1-p)^(M-m); kde M=n(n-1)/2Variant 2:Graf on n vrcholoch a m nhodne vybranch hranch

Distribcia stupov nhodnho grafu binomickPriemer grafu: O(log n) - zvujci sa s vekosou grafu

21 November 201110Distribcia stupov v relnych sieach (prklad DBpedia)21 November 201111

Distribcia stupov v relnych sieach - log kla(prklad DBpedia)21 November 201112

Distribcia stupov v relnych sieach - log kla(prklad DBpedia)

21 November 201113

Distribcia stupov v relnych sieach - log kla(prklad DBpedia)

21 November 201114

Zdroj: http://geza.kzoo.edu/bionet/html/scalefree.htmlNhodn sie a sie s mocninovou distribciou

21 November 201115Zdroj: http://geza.kzoo.edu/bionet/html/scalefree.htmlSie s mocninovou dist. stuovSie s binomickou dist. stuovNhodn sie a sie s mocninovou distribciou

21 November 201116Zdroj: http://geza.kzoo.edu/bionet/html/scalefree.htmlSie s mocninovou dist. stuovSie s binomickou dist. stuovDsledkok pre vyhadvanie informci:

Relne siete maj mocninov distribciu =>Existuj v nich vrcholy s vysokmi stupami => Kategorizcia na zklade topologickej truktry (hrany v grafe) funguje.Napr. PageRank, HitsSiete malho svetaObjaven tdiom socilnych siet v sociolgiiMilgramov experiment (60-te roky; priemer 6 krokov pre doruenie listov cez socilnu sie od nhodnch ud v Nebraske prmateom v Chicagu )Objav: socilne site maj krtku dku najkratch ciest medzi nhodne vybranmi Potvrden aj skmanm potaovch socilnych sietAnalza MSM site instant messaging Priemern dka najkraej siete medzi nhodne vybranmi uzali: 6,6[Jure Leskovec, Eric Horvitz: Planetary-scale views on a large instant-messaging network. WWW 2008]Priemer site (aj priemern dka cesty medzi 2 vrcholmi) sa zmenuje pri zvovan siete V protiklade k nhodnm sieam

21 November 201117Siete malho svetaSiete malho sveta asto obsahuj kliky, alebo skoro kliky Efekt moji priatelia v socilnej sieti s asto priatelia navzjomMatematicky to mono zachyti pomocou zhlukovacieho koeficientuLoklny zhlukovac koeficient:

21 November 201118

Zdroj: http://en.wikipedia.org/wiki/Clustering_coefficientVlastnosti relnych sietMocninov distribcia stupov vrcholovMal vzdialenos medzi nhodnmi uzlami v sieti (mal priemer grafu)Priemer grafu sa zniuje pri rozirovan sieteVzor zhlukovania v sieti: vysok zhlukovac koeficient

Dsledky:Algoritmy na spracovanie/dolovanie grafov funguj vaka tmto vlastnostiamRozlin typy siet z relneho sveta maj podobn vlastnostiAlgoritmy navrhnut pre jeden konkrtny typ siet (napr. soc. siete) bud pravdepodobne dva zmyslupln vsledky aj na inch sieach s podobnmi matematickmi vlastnosamiMocninov distribcia stupov pri traversovan grafu do rky u pri nzkom pote hopov je nutn prejs znan as siete

21 November 201119Typick lohy dolovania v grafochRekurzvne potanie mier centralt:Odhadn dleitos vrchlov v topolgii sietePageRankHITSDetekcia komuntIdentifikova skupiny vrcholov silne prepojen medzi sebou a slabie prepojen s ostatnmi komunitamiPrekrvajce sa komunity Propagcia v sieachrenie informci v sieachKaskdov sprvanie, propagcia vrusovKlasifikcia objektov na zklade liniekPredikcia vzniku liniekObjavovanie astch vzorov21 November 201120