scraping by examples

Alexandre Gomes

Scrapingby examples

Friday, May 20, 2011

http://creativecommons.org/licenses/by-nc/3.0/br/Friday, May 20, 2011

http://creativecommons.org/licenses/by-nc/3.0/br/

http://creativecommons.org/licenses/by-nc/3.0/br/

Primeiros resultados definitivos do Censo 2010: população do Brasil é de 190.755.799 pessoasO Brasil tem 190.755.799 habitantes. É o que constata a Sinopse do Censo Demográfico 2010, que contém os primeiros resultados definitivos do XII Recenseamento Geral do Brasil... 29/04/2011

http://www.ibge.gov.brFriday, May 20, 2011

http://www.ibge.gov.br/home/presidencia/noticias/noticia_visualiza.php?id_noticia=1866&id_pagina=1








http://www.ibge.gov.br/home/

http://www.ibge.gov.br/home/

Resumo do Censo 2010


Qual a relação entre os índices de alfabetização e a proporção feminina?


0.49mulheres da região

total de pessoas da região

7.859.539

7.859.539 + 8.004.915= =

0.89alfabetizados* da região

total de pessoas* da região

11.326.492

12.670.041= =

Exemplo

* acima de 10 anos de idade


E nas demais

regiões?Friday, May 20, 2011

Scraping by Examples


Nokogiri 鋸


http://nokogiri.org/

http://nokogiri.org/

#1 Acessar a página que contém o dado

desejado


teste


teste

codigo


$ rspec spec/ibge_censo2010_spec.rb:8Run filtered using {:line_number=>8}

IBGECenso2010 should open page with "Razão de sexo, população de homens e mulheres"

Finished in 44.4 seconds1 example, 0 failures$


#2 Recuperar o dado desejado


Antes, entenda a estrutura da página


<table> <thead>...</thead> <tfoot> <tr> <td>...</td> <td>...</td> <td>...</td> <td>...</td> <td>...</td> </tr>

</tfoot> <tbody>...</tbody></table>

Estude o caminho do dado na árvore

DOM


Observe IDs e classes CSS que podem ser úteis.


class="td_numeros"


".td_numeros"

[


".td_numeros"

[ 0 1 23 4 56 7 89 10 1112 13 1415 16 17


[ 0 13 4 56 7 89 10 1112 13 1415 16 17

2

1º dado de que precisamos.

(numerador da fórmula)


[ 0 13 4 56 7 89 10 1112 13 1415 16 17

2

2º dado de que precisamos.

(para o cálculo do denominador da fórmula)


[ 0 13 4 56 7 89 10 1112 13 1415 16 17

2

mulheres da região N

total de pessoas da região N=

dados[5]

dados[4] + dados[5]


teste


code


$ rspec spec

IBGECenso2010 razao de sexo should open page with "Razão de sexo, população de homens e mulheres" should get number of women

Finished in 1.78 seconds2 examples, 0 failures


teste


code


#3 Recuperar o restante de dados

desejados


...Friday, May 20, 2011

#4 Apresentação Web do scrapping


application.rb

(...)Friday, May 20, 2011

application.rb(...)


index.erb

(...)


http://datavisualization.ch/tools/13-javascript-libraries-for-visualizationsFriday, May 20, 2011

http://datavisualization.ch/tools/13-javascript-libraries-for-visualizations


diferenciadade dados

o charme dos

mashups está na

visualização

http://datavisualization.ch/tools/13-javascript-libraries-for-visualizationsFriday, May 20, 2011



#5 Visualização (ainda tosca) do

scrapping


#6 Visualização diferenciada da

informação


?Friday, May 20, 2011

Agora, a mesma coisa,

apenas com

JavascriptFriday, May 20, 2011

#1 Acessar a página que contém o dado

desejado


test


code


#2 Recuperar o dado desejado


test


code


#3 Recuperar o restante de dados

desejados


...Friday, May 20, 2011

#4 Apresentação Web do scrapping


index.html


index.html

(...)Friday, May 20, 2011

index.html

(...)


http://chart.apis.google.com/chart?chxt=y&chbh=a&chs=500x300&cht=bvg&chco=A2C180,3D7930

&chd=t:49,51,51,50,50|89,82,94,95,93&chdl=Women|Literates&chp=0.033


http://livepage.apple.com/








código disponível em...


P&RFriday, May 20, 2011

http://tinyurl.com/AvaliacaoSOO14


scraping by examples

Technology

razo de sexo

populao de

dado desejadofriday

open page

dado desejadofriday

4 apresentao

censo 2010friday

amp