visualização de dados
TRANSCRIPT
![Page 1: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/1.jpg)
UNIVERSIDADE ESTADUAL PAULISTA “JÚLIO DE MESQUITA FILHO”
FACULDADE DE FILOSOFIA E CIÊNCIAS DE MARÍLIA
Visualização de Visualização de Dados
Aluno: Msc. Lisandro Rogério ModestoDisciplina: Aspectos Tecnológicos do Acesso a Dados AbertosProfessor: Dr. Ricardo César Gonçalves Santana
![Page 2: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/2.jpg)
Assuntos
• Capítulo 9:– Aquisição de Dados.
• Capítulo 10:– Análise / Tratamento de Dados.– Análise / Tratamento de Dados.
![Page 3: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/3.jpg)
Aquisição de Dados
• Primeiro passo para visualização de dados: colocá-los à sua disposição e na sua aplicação.
• Fontes típicas de dados:– Arquivo em um disco;– Arquivo em um disco;– Um fluxo de uma rede;– Um sinal digitalizado (leituras, por exemplo,
áudio, vídeo ou sensor);– Resultado: CONFUSÃO !!!
![Page 4: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/4.jpg)
Aquisição de Dados
• Perguntas interessantes:– Como processar semanas de vídeo de
vigilância?– Como adquirir dados de uma reunião de uma
hora de duração, que envolveu uma discussãohora de duração, que envolveu uma discussãoverbal, desenhos em um quadro branco eanotações feitas pelos participantes ?
![Page 5: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/5.jpg)
Dificuldades para a Aquisição de Dados
• Encontrar uma fonte de dados segura, boa econfiável ou gerar seus próprios dados.
• Obter os direitos de utilização dos dados.• Criar meios alternativos para extração de dados de
uma página web ou de outra fonte que não foiuma página web ou de outra fonte que não foicriada para esse fim.
• Utilizar dados que estão em constantes mutaçõesou grande volume de dados.
• Solução: utilização de linguagens de programaçãoe algorítmos para higienização dos dados parafuturo processamento.
![Page 6: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/6.jpg)
Como encontrar Dados
• Utilizar uma boa ferramenta e um bom motor debusca.
• Especificação correta dos termos para a busca.• Exemplo 1: "download 5ª sinfonia de Betoven" .
– Correto: Download 5ª Sinfonia de Beethoven– Correto: Download 5ª Sinfonia de Beethoven• Exemplo 2: "as estatísticas da fome do mundo
download“.• Exemplo 3: "estatísticas mundiais xls fome“.• Para que os dados possam ser utilizados, o
produtor deve disponibilizar em formatosacessíveis.
![Page 7: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/7.jpg)
Ética na Aquisição de dados
• Na busca de dados é importante saber o terrenoem que se pisa, pois pode se sofrer penas leves ouaté mesmo prisão.
• Situação de risco: Baixar muitas imagens Google• Situação de risco: Baixar muitas imagens GoogleMaps por vários dias resulta em IP banido ourestrito.
![Page 8: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/8.jpg)
Ética na Aquisição de dados
![Page 9: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/9.jpg)
Ética na Aquisição de dados
![Page 10: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/10.jpg)
Ética na Aquisição de dados
![Page 11: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/11.jpg)
Ferramentas para Aquisição de dados na Internet
• Métodos:– loadStrings ();– loadBytes ();– loadImage ().– Protocolos: http, https, FTP, etc.– Protocolos: http, https, FTP, etc.
• Manipulação direta de links:– Salvar Destino Como: Internet Explorer; – Salvar link como: Firefox ou Chrome; – Salvar como: Safari.
![Page 12: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/12.jpg)
Formas de Manipulação Direta
• Wget e Curl:– http://www.oreilly.com/catalog/covers/978059651
5935_cat.gif
• WebCopier• WebCopier
• Extrator de E-mail
![Page 13: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/13.jpg)
Manipulação de Formulários WEB
• Consultas de dados usando formulários WEB.• Problema: em alguns casos não é permitida busca
diretamente no código.• Exemplos:
– http://www.olympic.org/uk/athletes/– http://www.olympic.org/uk/athletes/– http://www.cipedya.com/web/FileDownload.aspx
?IDFile=155453– http://support.acer-euro.com/drivers/– http://support.acer-euro.com/drivers/ftp/ftp.html
![Page 14: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/14.jpg)
Manipulação de Banco de Dados
• Banco de dados (ou base de dados), é umconjunto de registros dispostos em estruturaregular que possibilita a reorganização dosmesmos e produção de informação. Um banco dedados normalmente agrupa registros utilizáveisdados normalmente agrupa registros utilizáveispara um mesmo fim. (Wikipedia)
• Situação: uma tabela de “endereços” contendocolunas para primeiro e último nome, rua, cidade,estado e CEP.
• Exemplos:– SELECT * FROM enderecos WHERE PrimeiroNome=‘Ricardo';
![Page 15: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/15.jpg)
Análise / Tratamento de Dados
• A análise de dados converte um fluxo de dadosbruto em uma estrutura que pode ser manipuladopelo software / máquina.
• A Visualização de dados está intimamente ligada àAquisição de Dados e Análise de Dados.Aquisição de Dados e Análise de Dados.
• Problema: Aquisição de determinada massa dedados em uma fonte que não está sob controle.Após obtidos os dados gasta-se muito tempotentando descobrir como usar os dados que foramadquiridos.
![Page 16: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/16.jpg)
Cenários para Análise de Dados
• Análise simples: dados estáveis / sem mutação.– Procura de "caminho" de dados.
• Análise de Base: utilizado para códigos não muitograndes, por isso pode ser implementado atravésda WEB.da WEB.
• Análise completa da API (Interface deProgramação de Aplicações): análise completaenvolvendo o desenvolvimento de aplicaçõescapazes de “LER” todo o código a ser analisado.
![Page 17: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/17.jpg)
Ferramentas para Obtenção de Dados
• Windows:– UltraEdit;– TextPad;– HexEdit;– HexWorkshop.– HexWorkshop.
• Mac OS X:– TextWrangler;– HexFiend.
![Page 18: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/18.jpg)
Formato de Dados
• Texto (ideal);
• Separação por tabulação (TSV);
• Separação por vírgulas (CSV);• Separação por vírgulas (CSV);
• Estrutura linhas X colunas (BD / Excel);
• Linguagens de Marcação de Texto (HTML, XML,etc).
![Page 19: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/19.jpg)
Formato de Dados
• Formatos:– XML;– XLS;– DOC;– HTML;– HTML;– DOC;– TXT;– HTML;– Etc.
![Page 20: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/20.jpg)
Aplicações para Análise de Dados
![Page 21: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/21.jpg)
Aplicações para Análise de Dados
![Page 22: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/22.jpg)
Aplicações para Análise de Dados
![Page 23: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/23.jpg)
Localização de Padrões
VWXYZVWAEHVWXSDVWXYBVWRSAVWETU
Existe algum padrão ???
Substitua:
V ���� Pão
W ���� Leite
![Page 24: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/24.jpg)
Aplicações para Análise de Dados
![Page 25: Visualização de dados](https://reader033.vdocuments.site/reader033/viewer/2022052901/5570f70fd8b42ac4248b518c/html5/thumbnails/25.jpg)
Referências• CAPLAN, Priscilla. Metadata fundamentals for all librarians. Chicago:
American Library Association, 2003.• FÁVERO, Luiz Paulo; BELFIORE, Patrícia; SILVA, Fabiana Lopes da;
CHAN, Betty Lilian. Análise de Dados: Modelagem Multivalorada paraTomada de Decisões. Campus: São Paulo, SP. 2009.
• FRY, Ben. Visualizing Data: exploring and explaining data with theprocessing environment. O'Reilly: Sebastopol, CA. 2007.processing environment. O'Reilly: Sebastopol, CA. 2007.<Visualizing_Data.pdf>
• GARFINKEL, Simson. Database Nation: the death of privacy in the 21stcentury. O'Reilly: Sebastopol, CA. 2001. ,<Database_Nation.pdf>
• HAYNES, David. Metadata for information management and retrieval.London: Facet Publishing, 2004.
• ILIINSKY, Noah. On Beauty. Cap. 1. In STEELE, Julie; ILIINSK Noah.Beautiful Visualization: looking at data through the eyes of experts. O'Reilly:Sebastopol, CA. 2010. <Beautiful_Visualization.pdf>
• MINSKY, M. A framework to represent knowledge. In: In The Psychologyof Computer Vision, 1975. Anais. McGraw-Hill, 1975. p.211.277.