shut up and give me the data
TRANSCRIPT
shut up and give me the data!
quem tá falando?!Ana Paula Gomes
Baiana, mestranda em Ciência da Computação, apaixonada por tecnologia, boas conversas e viagens (não necessariamente nessa ordem).
Organizadora do GDG e WTM Belo Horizonte
dados
APIs, Crawler, Apps
conte-me mais sobre isso
APIsfacilitando a sua vida
APIs
uma interface para acessar dados
APIsrequests
pip install requests
>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))>>> r.status_code200>>> r.headers['content-type']'application/json; charset=utf8'>>> r.textu'{"type":"User"...'
APIs
Marvel API
• oferece informações sobre seu universo: quadrinhos, personagens, autores
• REST e JSON
APIs
demonstração com requests acessando a API da marvel
APIsTwitter API
passos:
• cadastrar-se no Twitter (com número de telefone)
• criar uma aplicação
• solicitar token
JSON
APIsTwitter API
modalidades:
• Streaming API
• REST API (search)
APIs
demonstração de uso da API do Twitter
Crawlertudo o que você pode ver, você pode pegar
Crawler
programas que analisam páginas web em busca de dados relevantes
Crawler
estratégias:
• busca em Largura
• snowball
CrawlerBusca em Largura
• busca todos os nós até terminar a árvore de dados
• exemplo: coleta todos os links de uma página e explora estes links até todo o site ter sido coletado
CrawlerSnowball
• inicia com um conjunto de sementes (seeds) e coleta até um determinado critério de parada
• critérios de parada: tempo de execução, componente conectado, fim das sementes
Crawler
algumas bibliotecas:
• pyquery, scrapy, beautiful soap
Crawlerpyquery
pip install pyquery
>>>from pyquery import PyQuery as pq>>>doc = pq('<html><body><p>Hello World</p></body></html>')>>>print doc('p').text()
'Hello World'
Crawler
demonstração do pyquery crawleando o foursquare
Appsvocê dá algo que os usuários querem em troca dos dados
Apps e dados
criação de aplicativos em plataformas já consolidas em troca das informações dos usuários
Apps e dados
Por onde começar?
você pode escolher!programmableweb
lod-clod.net
APIs.io
dados.gov.br
…
web inteira!
fácil assim?
só mais uma coisa!
códigos ou ideias{
“email”: “[email protected]”, “twitter”: “anapaulagomess” “github”: “anapaulagomes/shutupandgivemethedata”
}
obrigada!
crédito das imagenshttp://i.ytimg.com/vi/saZhldaHQM0/maxresdefault.jpg
http://cdn2.screenjunkies.com/wp-content/uploads/2011/10/pulp-fiction-Screen-Junkies.jpg
http://i.imgur.com/qvWn4Rd.png
http://torino.zero.eu/files/2014/07/pulp-fiction.jpg
https://blogstripme.files.wordpress.com/2015/03/stripme-blog-pulpfiction11.jpg
http://images2.fanpop.com/image/photos/13100000/Pulp-Fiction-pulp-fiction-13195732-1920-810.jpg
https://ultimaflordolacio.files.wordpress.com/2015/02/pulpfiction_185pyxurz.jpg
https://bluevelvetblog.files.wordpress.com/2014/06/pulp-cena.jpg
https://catracalivre.com.br/wp-content/uploads/2014/07/pulp.jpg