![Page 1: Big Data - wiki.icmc.usp.brwiki.icmc.usp.br/images/9/96/SCC0542012017inicioBigData.pdf · Big Data Definição: Modelo de 3Vs Big Data Variedade Volume Velocidade gigantesca quantidade](https://reader033.vdocuments.site/reader033/viewer/2022052611/5f047e587e708231d40e3e91/html5/thumbnails/1.jpg)
Big Data
Big Data
Processamento Analítico de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri
![Page 2: Big Data - wiki.icmc.usp.brwiki.icmc.usp.br/images/9/96/SCC0542012017inicioBigData.pdf · Big Data Definição: Modelo de 3Vs Big Data Variedade Volume Velocidade gigantesca quantidade](https://reader033.vdocuments.site/reader033/viewer/2022052611/5f047e587e708231d40e3e91/html5/thumbnails/2.jpg)
Big Data
Imagem: https://students.washington.edu/bits/club/wp-content/uploads/2014/05/Big-data.Red_.jpg
Big Data
![Page 3: Big Data - wiki.icmc.usp.brwiki.icmc.usp.br/images/9/96/SCC0542012017inicioBigData.pdf · Big Data Definição: Modelo de 3Vs Big Data Variedade Volume Velocidade gigantesca quantidade](https://reader033.vdocuments.site/reader033/viewer/2022052611/5f047e587e708231d40e3e91/html5/thumbnails/3.jpg)
Big Data
Definição: Modelo de 3Vs
Big Data
Variedade
Volume
Velocidade
gigantesca quantidade de dados
captura e disponibilidade de
um gigantesco volume de dados em um
pequeno intervalo de tempo
dados podem ser de qualquer tipo (estruturados,
semiestruturados, não estruturados)
Chen, M.; Mao, S.; Liu, Y. Big Data: A Survey. Mobile Network Applications, v. 19, p. 171-209, 2014.
![Page 4: Big Data - wiki.icmc.usp.brwiki.icmc.usp.br/images/9/96/SCC0542012017inicioBigData.pdf · Big Data Definição: Modelo de 3Vs Big Data Variedade Volume Velocidade gigantesca quantidade](https://reader033.vdocuments.site/reader033/viewer/2022052611/5f047e587e708231d40e3e91/html5/thumbnails/4.jpg)
Big Data
Definição: Modelo de 4Vs
Big Data
Variedade
Volume
Velocidade
quão confiáveis são os dados
Veracidade
Dong, X. L.; Srivastava, D. Big Data Integration. Proceedings of the VLDB Endowment, v. 6, n. 11, p. 1188-1189, 2013.
![Page 5: Big Data - wiki.icmc.usp.brwiki.icmc.usp.br/images/9/96/SCC0542012017inicioBigData.pdf · Big Data Definição: Modelo de 3Vs Big Data Variedade Volume Velocidade gigantesca quantidade](https://reader033.vdocuments.site/reader033/viewer/2022052611/5f047e587e708231d40e3e91/html5/thumbnails/5.jpg)
Big Data
Definição: Modelo de 5Vs
Big Data
Variedade
Volume
Velocidade
os dados devem ter importância
Veracidade
Valor
Sharma, S.; Mangat, V. Technology and Trends to Handle Big Data: Survey. In: Proceedings of the Fifth International Conference on Advanced Computing & Communication Technologies, p. 266-271, 2015.
![Page 6: Big Data - wiki.icmc.usp.brwiki.icmc.usp.br/images/9/96/SCC0542012017inicioBigData.pdf · Big Data Definição: Modelo de 3Vs Big Data Variedade Volume Velocidade gigantesca quantidade](https://reader033.vdocuments.site/reader033/viewer/2022052611/5f047e587e708231d40e3e91/html5/thumbnails/6.jpg)
Big Data
• Dados possuem informações valiosas • Exemplos
– análise de navegação e reviews de usuários
• recomendação personalizada de produtos – análise de mensagens de redes sociais
Big Data
![Page 7: Big Data - wiki.icmc.usp.brwiki.icmc.usp.br/images/9/96/SCC0542012017inicioBigData.pdf · Big Data Definição: Modelo de 3Vs Big Data Variedade Volume Velocidade gigantesca quantidade](https://reader033.vdocuments.site/reader033/viewer/2022052611/5f047e587e708231d40e3e91/html5/thumbnails/7.jpg)
Big Data
Imagem: http://www.ufmg.br/online/arquivos/anexos/Portal_Observatorio_Dengue.JPG
Observatório da Dengue
Aumento de mensagens
relacionadas ao termo “dengue” em uma
região pode indicar um possível surto
• Monitoramento de mensagens de redes sociais – desenvolvido por pesquisadores da UFMG
![Page 8: Big Data - wiki.icmc.usp.brwiki.icmc.usp.br/images/9/96/SCC0542012017inicioBigData.pdf · Big Data Definição: Modelo de 3Vs Big Data Variedade Volume Velocidade gigantesca quantidade](https://reader033.vdocuments.site/reader033/viewer/2022052611/5f047e587e708231d40e3e91/html5/thumbnails/8.jpg)
Big Data
NetFlix
Imagens: http://pt.slideshare.net/laodias/os-cinco-vs-do-big-data http://img.vivaolinux.com.br/imagens/dicas/comunidade/netflix.png
• Análise – Kevin Spacey e David Fincher:
grande aceitação – mesmos usuários: gostam de
thrillers políticos
![Page 9: Big Data - wiki.icmc.usp.brwiki.icmc.usp.br/images/9/96/SCC0542012017inicioBigData.pdf · Big Data Definição: Modelo de 3Vs Big Data Variedade Volume Velocidade gigantesca quantidade](https://reader033.vdocuments.site/reader033/viewer/2022052611/5f047e587e708231d40e3e91/html5/thumbnails/9.jpg)
Big Data
Desafios
• Uso de ambientes computacionais com grande capacidade de armazenamento e processamento – clusters de computadores – computação em nuvem
• Uso de sistemas de arquivos distribuídos – HDFS
![Page 10: Big Data - wiki.icmc.usp.brwiki.icmc.usp.br/images/9/96/SCC0542012017inicioBigData.pdf · Big Data Definição: Modelo de 3Vs Big Data Variedade Volume Velocidade gigantesca quantidade](https://reader033.vdocuments.site/reader033/viewer/2022052611/5f047e587e708231d40e3e91/html5/thumbnails/10.jpg)
Big Data
Desafios
• Emprego de paradigmas de programação paralela e distribuída – framework MapReduce – framework Spark
• Uso de bancos de dados NoSQL – diferentes modelos de dados