big data e computação em nuvem na aws
TRANSCRIPT
![Page 1: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/1.jpg)
Big Data e Computação em
Nuvem na AWS
José Papo
AWS Tech Evangelist
@josepapo
![Page 2: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/2.jpg)
![Page 3: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/3.jpg)
Onde se vê Big Data
Mídia/
Propaganda
Anuncios Dirigidos
Processa-mento de vídeos e imagens
Óleo e Gás
Análise Sismica
Varejo
Recomen-dações
Análise de Transações
Telecom
Cobrança
Log de Ligações
Uso dos Produtos
Instituições Financeiras
Simulações de Monte
Carlo
Análise de Riscos
Segurança
Anti-virus
Detecção de Fraudes
Reconheci-mento de Imagens
Marketing e Jogos
(sobretudo social)
Analise Comporta-
mental
Análise de Uso
Métricas “In-game”
![Page 4: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/4.jpg)
Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios
![Page 5: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/5.jpg)
Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios
![Page 6: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/6.jpg)
![Page 7: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/7.jpg)
Relacional NoSQL
![Page 8: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/8.jpg)
![Page 9: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/9.jpg)
Como Cloud facilita
Coleta e Storage?
![Page 10: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/10.jpg)
Q4 2007 Q4 2008 Q4 2009 Q4 2010 Q4 2011 Q2 2012
14 Bilhões 40 Bilhões
102 Bilhões
262 Bilhões
762 Bilhões
Storage Elástico no Amazon S3 1 Trilhão
![Page 11: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/11.jpg)
288 servidores com Cassandra
1.100.000 transações / segundo
Benchmarking Cassandra Scalability on AWS - Over a million writes per second
41 dólares / hora (Instâncias Reservadas)
![Page 12: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/12.jpg)
DynamoDB é um Banco de
Dados NoSQL “as a service”
sem complexidades
Armazene e recupere qualquer quantidade de dados
Sirva níveis gigantescos de tráfego e requisições
Sem instalações de software
Não é necessário configurar clusters
Custos mínimos de administração
![Page 13: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/13.jpg)
![Page 14: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/14.jpg)
![Page 15: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/15.jpg)
![Page 16: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/16.jpg)
![Page 17: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/17.jpg)
Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios
![Page 18: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/18.jpg)
"Hadoop é um storage confiável e um sistema analítico"
HDFS MapReduce
![Page 19: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/19.jpg)
![Page 20: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/20.jpg)
![Page 21: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/21.jpg)
Como Cloud facilita
Processamento e ETL?
![Page 22: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/22.jpg)
Elasticidade
Aumenta
para 25
instancias
Data Warehouse
(Estável)
Data Warehouse
(Processo Batch)
Diminui
para
9
instancias
Data Warehouse
(Estável)
![Page 23: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/23.jpg)
Implantar um cluster hadoop é difícil
http://eddie.niese.net/20090313/dont-pity-incompetence/
![Page 24: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/24.jpg)
+
![Page 25: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/25.jpg)
![Page 26: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/26.jpg)
![Page 27: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/27.jpg)
![Page 28: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/28.jpg)
![Page 29: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/29.jpg)
![Page 30: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/30.jpg)
![Page 31: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/31.jpg)
![Page 32: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/32.jpg)
![Page 33: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/33.jpg)
Elastic MapReduce, DynamoDB e Hive
http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/EMRforDynamoDB.html
![Page 34: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/34.jpg)
![Page 35: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/35.jpg)
Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios
![Page 36: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/36.jpg)
![Page 37: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/37.jpg)
![Page 38: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/38.jpg)
Como Cloud facilita
Buscas e Machine
Learning?
![Page 39: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/39.jpg)
![Page 40: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/40.jpg)
![Page 41: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/41.jpg)
![Page 42: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/42.jpg)
Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios
![Page 43: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/43.jpg)
![Page 44: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/44.jpg)
![Page 45: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/45.jpg)
![Page 46: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/46.jpg)
Como Cloud facilita
Visualização e
Relatórios?
![Page 47: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/47.jpg)
![Page 48: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/48.jpg)
![Page 49: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/49.jpg)
Casos de utilização de
Big Data na Nuvem
![Page 50: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/50.jpg)
![Page 51: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/51.jpg)
![Page 52: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/52.jpg)
![Page 53: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/53.jpg)
![Page 54: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/54.jpg)
![Page 55: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/55.jpg)
3 Horas por $4828,85/hora
![Page 56: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/56.jpg)
![Page 57: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/57.jpg)
OFERTA GRATUITA!
aws.amazon.com/pt/free
awshub.com.br
![Page 58: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/58.jpg)
![Page 59: Big Data e Computação em Nuvem na AWS](https://reader034.vdocuments.site/reader034/viewer/2022052601/5595a3d11a28ab357f8b461c/html5/thumbnails/59.jpg)
OBRIGADO! aws.typepad.com/brasil
slideshare.net/AmazonWebServicesLATAM
José Papo
AWS Tech Evangelist
@josepapo