redes e sistemas complexos
DESCRIPTION
Seminário de Sistemas Inteligentes, Interacção e Multimédia, FEUP, 2013-09-25TRANSCRIPT
![Page 2: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/2.jpg)
Sumário
• Análise de redes sociais
– Métricas
– Dinâmicas
• Ferramentas
– NodeXL
– Gephi
• Sistemas complexos
• Desafios
2013-09-25 2
![Page 3: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/3.jpg)
Redes que mudaram o mundo
2013-09-25 3
![Page 4: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/4.jpg)
Mais…
2013-09-25 4
![Page 5: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/5.jpg)
Origem e formação das redes
por Paul Baran, pioneiro da Internet
2013-09-25 5
![Page 6: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/6.jpg)
Os meus amigos no Facebook
2013-09-25 6
![Page 7: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/7.jpg)
Comunidades
2013-09-25 7
![Page 8: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/8.jpg)
Uma rede de jovens
2013-09-25 8
![Page 9: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/9.jpg)
Uma rede de livros (co-leitura)
http://www-personal.umich.edu/~mejn/networks/
2013-09-25 9
![Page 10: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/10.jpg)
Redes e sistemas complexos
2013-09-25 10
![Page 11: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/11.jpg)
A ciência das redes
2013-09-25 11
![Page 12: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/12.jpg)
Network Science (o meu Padlet)
http://padlet.com/wall/networkscience
2013-09-25 12
![Page 13: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/13.jpg)
Redes sociais
• Actores (nós, vértices, etc)
• Relações (lados, arestas, etc)
• Direccionadas ou não direccionadas
– Seguir, gostar, ser amigo, serem co-autores, etc
• Com atributos diversos (actores e relações)
2013-09-25 13
![Page 14: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/14.jpg)
Representação
• Podem ser representadas por matrizes ou por listas de lados, por exemplo
A B C D E
A 0 1 1 1 0
B 1 0 1 0 1
C 0 0 0 1 0
D 0 1 1 0 0
E 1 1 0 0 0
A B
A C
A D
B A
B C
B E
C D
D B
D C
E A
E B
2013-09-25 14
![Page 15: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/15.jpg)
Atributos
• Os nós e os lados podem ter atributos
• Associados a propriedades próprias
• Ou a métricas da rede
2013-09-25 15
![Page 16: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/16.jpg)
Métricas globais
• Número de vértices 5
• Número de lados 11
• Número de componentes 1
• Diâmetro 2
• Densidade 0.55
2013-09-25 16
![Page 17: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/17.jpg)
• Distância ao nó mais distante
A B
D
G
E
C
F
A B C D E F G
ABCDEFG
1 2 1 1 1 23 2 2 2 3
1 1 3 21 2 1
2 23
E(A)=2E(B)=3E(C)=3etc
Excentricidade (de um nó)
2013-09-25 17
![Page 18: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/18.jpg)
A B H
I
J
K
D
G
E
C
F
Diâmetro e raio
• Diâmetro = Máxima excentricidade 5
• Raio = Mínima excentricidade 3
2013-09-25 18
![Page 19: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/19.jpg)
A B
D
G
E
C
F
A B C D E F G
ABCDEFG
1 2 1 1 1 23 2 2 2 3
1 1 3 21 2 1
2 23
|D(1)|=8|D(2)|=9|D(3)|=4
L=(8x1+9x2+4x3)/(8+9+4) L=1.8
Distância média
2013-09-25 19
![Page 20: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/20.jpg)
Métricas dos nós
• Grau
– In/Out
• Centralidade
– Proximidade/distância
– Intermediação
• PageRank
2013-09-25 20
![Page 21: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/21.jpg)
A B
D
G
E
C
F
4 – 4 – 3 – 2 – 1 – 1 - 1
Sequência de graus
2013-09-25 21
4
4
3
2
1
1
1
![Page 22: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/22.jpg)
C= Distância média aos vizinhos
A B H
I
J
K
D
G
E
C
F
N=11
C(G)=1/10(1+2*3+2*3+4+3*5)C(G)=3.2
C(A)=1/10(4+2*3+3*3)C(A)=1.9
C(B)=1/10(2+2*6+2*3)C(B)=2
Centralidade de proximidade
2013-09-25 22
closeness
![Page 23: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/23.jpg)
BC= múmero de caminhos maiscurtos que passam pelo nó.
A B H
I
J
K
D
G
E
C
F
BC(G)=0
N=11
BC(D)=9+7/2=12.5
BC(B)=4*6=24BC(A)=5*5+4=29
Centralidade de intermediação
2013-09-25 23
betweenness
![Page 24: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/24.jpg)
PR=Probabilidade de um visitante visitar o nó.PR=Cada página vota nos seus vizinhos.
A E F
G
H
I
B
K
C
J
D
PR(A)=PR(B)/4 + PR(C)/3 + PR(D)+PR(E)/2O navegador aleatório parará de navegar algures
PR(X)=(1-d)/N + d( PR(y)/k(y))
PageRank
2013-09-25 24
random walker
praça mais visitada
F 2.028
A 1.656
B 1.615
C 1.199
E 0.933
J 0.833
G 0.581
H 0.581
I 0.581
D 0.502
K 0.493
PageRank:
![Page 25: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/25.jpg)
• Vamos explorar NodeXL
• Vale a pena conhecer Gephi (mais avançado)
Software
2013-09-25 25
![Page 27: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/27.jpg)
Experimentar…
• Notar que em NodeXL apenas se introduzem
– Os lados
– Os atributos dos lados
– Os atributos dos vértices (uma vez criados)
• Notar que existem vários separadores na folha
• Respeitar as colunas pré-definidas
• Aprender uma coisa de cada vez…
2013-09-25 27
![Page 28: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/28.jpg)
Distrito de Braga
2013-09-25 28
![Page 29: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/29.jpg)
Mais métricas dos vértices
• Grau
• Centralidade
• Eigenvector
• PageRank
• Clustering
2013-09-25 29
![Page 30: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/30.jpg)
Eigenvector
• Definição recursiva: centralidade de um nó é a soma das centralidades de todos os seusvizinhos
• Corresponde à definição matemática de vector próprio da matriz de adjacências
Ax= x
2013-09-25 30
![Page 31: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/31.jpg)
Matriz de adjacências
2013-09-25
A B H
I
J
K
DG
E
C
F
A B C D E F G H I J K
A 1 1 1 1 1
B 1 1
C 1
D 1 1 1
E 1 1 1
F 1 1
G 1 1
H 1 1 1 1 1
I 1
J 1
K 1
A 0.218
D 0.166
E 0.166
F 0.125
G 0.125
B 0.087
H 0.049
C 0.016
I 0.016
J 0.016
K 0.016
Eigenvector:
31
melhores citações
![Page 33: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/33.jpg)
Coeficiente de clustering
• Numa comunidade, há uma certatransitividade:
se A está ligado a B e B está ligado a C, entãoé bastante provável que A esteja ligado a C (amigo do amigo)
• Coeficiente de clustering de um nó
número de ligações entre os seus vizinhos / máximo de ligações possível
2013-09-25 33
![Page 34: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/34.jpg)
Clustering
2013-09-25
A B H
I
J
K
D
G
E
C
F
CA=1/6CC=1/1=1 CE=2/3vizinhos máximo de ligações
2 1
3 3
4 6
k k(k-1)/2
34
![Page 35: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/35.jpg)
Comunidades
• Densidade de rede:
número de lados / máximo número de lados
• Comunidades:
grupos de nós em que a densidade do seu interior é maior que a densidade entre eles
2013-09-25 35
![Page 36: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/36.jpg)
Detecção de comunidades
• Usam-se muitos algoritmos
– Clauset-Newman-Moore
– Wakita-Tsurumi
– Girvan-Newman
2013-09-25 36
![Page 37: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/37.jpg)
Clauset-Newman-Moore
2013-09-25
6 grupos
NodeXL_Europe.xlsx
37
![Page 38: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/38.jpg)
Wakita-Tsurumi
2013-09-25
11 grupos
38
![Page 39: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/39.jpg)
Girvan-Newman
2013-09-25
5 grupos
39
![Page 42: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/42.jpg)
Facebook fan page
2013-09-25 42
![Page 43: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/43.jpg)
Visualização de comunidades
2013-09-25 43
![Page 44: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/44.jpg)
Grupos misturados
2013-09-25 44
![Page 45: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/45.jpg)
Grupos separados
2013-09-25 45
![Page 46: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/46.jpg)
Ligações entre grupos
2013-09-25 46
![Page 47: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/47.jpg)
Layouts
• Podem ou não ser essenciais para a compreensão das redes
2013-09-25 47
![Page 48: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/48.jpg)
Fruchterman-Reingold
2013-09-25 48
![Page 49: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/49.jpg)
Harel-Koren
2013-09-25 49
![Page 50: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/50.jpg)
Circle
2013-09-25 50
![Page 51: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/51.jpg)
Gephi
2013-09-25 51
![Page 52: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/52.jpg)
Formatos suportados por Gephi
• GEXF• GDF• GML• GraphML• Pajek NET• GraphViz DOT• CSV• UCINET DL• Tulip TPL• Netdraw VNA• Spreadsheet
2013-09-25 52
![Page 53: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/53.jpg)
Dinâmicas das redes
• Redes como sistemas
• Entrada / saída
• Tempo / frequência
2013-09-25 53
x(t) y(t) = h(t) * x(t)
X(j ) Y(j ) = H(j ).X(j )
![Page 54: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/54.jpg)
Complexidade
• As colónias de insectos
• O cérebro
• O sistema imunitário
• O mercado
• A World Wide Web
Sistemas constituídos por um grande número de unidades muito simples, de onde emerge “inteligência”, “consciência”, uma vida própria
2013-09-25 54
![Page 55: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/55.jpg)
Sistemas complexos
• Sistemas baseados em redes de componentes
• Sem controlo central
• Com regras de operação simples
• Um sistema de informação sofisticado
• Capacidade de adaptação por aprendizagem ouevolução
• Comportamentos emergentes
• Auto-organização
2013-09-25 55
![Page 56: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/56.jpg)
Pode medir-se a complexidade?
• Há várias propostas
• Ainda não há uma ciência/teoria dacomplexidade
• Estão-se a definir os conceitos básicos: informação, computação, ordem, vida …
2013-09-25 56
![Page 57: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/57.jpg)
Santa Fe Institute
2013-09-25 57
![Page 58: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/58.jpg)
Organizações
• São sistemas complexos
• Com um grande dilema
– Centralizar / descentralizar
– Conservar / inovar
• No mundo global
2013-09-25 58
![Page 59: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/59.jpg)
Detecção de situações anormais
• Alterações climáticas
• Mudanças de hábitos de consumo
• Segurança
• O padrão escondido por detrás de tudo o quefazemos…
2013-09-25 59
![Page 70: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/70.jpg)
2013-09-25 70
![Page 71: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/71.jpg)
2013-09-25 71
![Page 72: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/72.jpg)
2013-09-25 72
![Page 73: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/73.jpg)
2013-09-25 73
![Page 74: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/74.jpg)
2013-09-25 74
![Page 75: Redes e sistemas complexos](https://reader033.vdocuments.site/reader033/viewer/2022042816/55996e211a28ab76368b467a/html5/thumbnails/75.jpg)
Há aqui muitos desafios
• Estudar um tópico
– Detecção de comunidades
– Desconvolução (onde começou?)
• Estudar uma rede grande
– Há muitos datasets disponíveis
– Stanford Large Network Dataset Collection
– Tore Opsahl’s Datasets
– Gephi sample datasets
2013-09-25 75