construindo um google pyrate
TRANSCRIPT
Construindo um Google Pyrate
Pyladies
http://www.google.com/insidesearch/howsearchworks/thestory/
Web Crawler
Spider, robs
Usados para navegar na internet buscando as paginas e lendo seu conteudo.
Usados principalmente pelos motores de busca.GoogleBot, Yahoo Slurp,DuckDuckBot...
http://runnable.com/UqqXuSGIpqAeAAPR/how-to-make-a-web-crawler-for-python-and-requests
Bibliotecas em Python
PySpider
Scrapy
Pyquery
lxml (pyguide)
import request
Para humanos
urllib2
import lxml
Processamento de XML e HTML
Seletor xpath
Seletores
Xpath
CSS Selectors
I/O
sys.argv
print()
Como construir meu Google Pyrate
Pegar o que a usuria digitou e chamar a url do Google
resposta = requisicao.get('http://google.com/search')
Extrair da resposta os resultados.lxml.aqui a mgica acontece...resultados_dict = {'titulo': resultados.text, 'url': resultados.href}
Exibir os resultados no terminal
print ('Titulo: ' + resultados_dict['titulo'] + ' | url: ' + resultados_dict['url'])
The End
O que poder ser feito a mais:Verificar o status code
Colocar mais resultados
Permitir que o usurio customize a busca
Criar sua prpria pgina de resultados
Fazer busca dentro de um site especifico. No em toda a web.
A idia aprender! Faa seu projeto.
Obrigada!
Roselma [email protected]/roselmamendes
Click to edit the outline text formatSecond Outline LevelThird Outline LevelFourth Outline LevelFifth Outline LevelSixth Outline LevelSeventh Outline Level