Download - NoSQL e Big Data na Nuvem
![Page 1: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/1.jpg)
NoSQL e Big Data na Nuvem Sua solução na Velocidade da Luz com a
Amazon Web Services
José Papo
AWS Tech Evangelist
@josepapo
![Page 2: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/2.jpg)
![Page 3: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/3.jpg)
Nuvem é Liberdade!
![Page 4: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/4.jpg)
Liberte-se da Infra Tradicional!
![Page 5: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/5.jpg)
Infraestrutura Tradicional é Cara e Complexa
Negociação de Contratos
Provedores Lentos para Atender a Demanda de Infra
Instalação de Patches
Data Center sem Espaço
Preços Altos para Infraestrutura de TI
Implantações Demoradas
Altos Investimentos de Capital
Recursos de TI com Baixa Utilização
Falta de foco no negócio
Gerenciar Crescimento Físico
“TI gasta 80% de seu tempo e recursos mantendo as luzes acesas”
Gartner Press Release, 2006
![Page 6: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/6.jpg)
O que realmente precisamos é…
…capacidade ajustável
http://www.flickr.com/photos/purecaffeine/302682456/
![Page 7: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/7.jpg)
![Page 8: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/8.jpg)
Quando você desliga seus recursos de Nuvem você pára de pagar por eles
![Page 9: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/9.jpg)
Elasticidade simples e automática
App de Vídeos com Amazon EC2: De 50 a 5,000 servidores em 3 dias!
Núm
ero
de I
nstâ
ncia
s E
C2
5,000
0 Segunda Terça Quarta Quinta Sexta Sábado Domingo
![Page 10: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/10.jpg)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
We
b S
erv
ers
Hora
25% de Economia
Durante um dia
![Page 11: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/11.jpg)
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29
We
b S
erv
ers
Dia do Mês
75% de Economia
Durante um mês
![Page 12: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/12.jpg)
Nuvem é Democracia!
![Page 14: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/14.jpg)
… E facilita o aumento da inovação em grandes
empresas
![Page 15: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/15.jpg)
![Page 16: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/16.jpg)
O que é NoSQL?
![Page 17: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/17.jpg)
Bancos de dados NoSQL normalmente são facilmente escaláveis horizontalmente, podem trabalhar com quantidades de dados maciças e não utilizam um modelo relacional para suas estruturas de dados.
![Page 18: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/18.jpg)
Bancos de Dados na
Nuvem da Amazon
![Page 19: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/19.jpg)
Flexibilidade e independência
Sistemas Operacionais Linguagens e Bibliotecas Aplicações Certificadas
![Page 20: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/20.jpg)
Opções de Bancos de Dados
Relacional NoSQL
![Page 21: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/21.jpg)
Bancos de Dados - Modelos
Banco de Dados no
Amazon EC2
Sua escolha de software
de banco de dados
Bring Your Own License
(BYOL)
Amazon Relational
Database Service (RDS)
SQL Server, MySQL ou
Oracle oferecidos como
serviço
Licenciamento Flexível:
BYOL ou Licença Incluída
Amazon DynamoDB
NoSQL
Modelo não relacional
Overhead zero de
administração
Auto-gestão Database as a Service
![Page 22: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/22.jpg)
Alta Disponibilidade de
NoSQL na AWS
![Page 23: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/23.jpg)
Infraestrutura Global
US West (Northern
California)
US East (Northern
Virginia)
EU (Ireland)
Asia
Pacific (Singapore)
Asia
Pacific (Tokyo)
Regiões AWS
Pontos Edge AWS
GovCloud (US ITAR
Region)
US West (Oregon)
South
America (Sao Paulo)
![Page 24: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/24.jpg)
Regiões da AWS e Zonas de Disponibilidade
Cliente pode decidir onde suas aplicações e dados residem
![Page 25: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/25.jpg)
![Page 26: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/26.jpg)
![Page 27: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/27.jpg)
US-West-1b
RDS
Multi-AZ
US-West
Auto Scaling group :
Web App Tier
RDS
Maste
r
US East Traffic US West Traffic
ELB
Geo IP/Directional DNS
Server
Asia Traffic
Software-based Data Replicator
Europe Traffic
Web
App
Web
App
Web
App
Web
App Web
App
Web
App
US-East-1b
RDS
Multi-AZ
US-East
Auto Scaling group :
Web App Tier
RDS
Maste
r
ELB
Web
App
Web
App
Web
App
Web
App Web
App
Web
App
EU-West-1b
RDS
Multi-AZ
EU-West
Auto Scaling group :
Web App Tier
RDS
Maste
r
ELB
Web
App
Web
App
Web
App
Web
App Web
App
Web
App
AP-SOUTHEAST-1b
RDS
Multi-AZ
AP-SOUTHEAST
Auto Scaling group :
Web App Tier
RDS
Maste
r
ELB
Web
App
Web
App
Web
App
Web
App Web
App
Web
App
![Page 28: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/28.jpg)
DynamoDB
![Page 29: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/29.jpg)
DynamoDB é um Banco de
Dados NoSQL “as a service”
Armazene e recupere qualquer quantidade de dados
Sirva níveis gigantescos de tráfego e requisições
![Page 30: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/30.jpg)
Sem as complexidades
operacionais
Sem instalações de software
Não é necessário configurar clusters
Custos mínimos de administração
![Page 31: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/31.jpg)
Performance consistente e
previsível
Latências em unidades de milisegundos.
Armazenado em discos SSD.
![Page 32: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/32.jpg)
Modelo de dados flexível
Modelo Chave/atributos.
Não requer schemas
Fácil de criar. Fácil de ajustar.
![Page 33: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/33.jpg)
Escalabilidade simples
Sem limites de tamanho de tabelas.
Zero downtime.
Armazenamento ilimitado.
![Page 34: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/34.jpg)
Durável e com alta disponibilidade.
Escritas consistentes em disco.
Replicação em diversos data centers
dentro de uma região.
![Page 35: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/35.jpg)
Sem complexidades de
administração!
![Page 36: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/36.jpg)
Sem complexidades de
administração!
![Page 37: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/37.jpg)
Duas decisões + três
cliques = pronto para uso!
![Page 38: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/38.jpg)
Duas decisões + três
cliques = pronto para uso!
![Page 39: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/39.jpg)
Capacidade provisionada.
Reserve quantidade de requisições por
segundo para leituras e escritas.
Aumente ou diminua a capacidade a
qualquer momento.
![Page 40: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/40.jpg)
Pague por capacidade.
Precificação por hora de capacidade
provisionada e dados armazenados
![Page 41: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/41.jpg)
Duas decisões + três
cliques = pronto para uso!
![Page 42: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/42.jpg)
![Page 43: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/43.jpg)
![Page 44: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/44.jpg)
![Page 45: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/45.jpg)
Duas decisões + uma
chamada de API = pronto
para uso!
![Page 46: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/46.jpg)
$create_response = $dynamodb->create_table(array(
'TableName' => 'ProductCatalog',
'KeySchema' => array(
'HashKeyElement' => array(
'AttributeName' => 'Id',
'AttributeType' => AmazonDynamoDB::TYPE_NUMBER
)
),
'ProvisionedThroughput' => array(
'ReadCapacityUnits' => 10,
'WriteCapacityUnits' => 5
)
));
![Page 47: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/47.jpg)
APIs para as principais plataformas
Java
PHP
.NET
Perl
Python
Ruby
![Page 48: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/48.jpg)
Modifique capacidade
manualmente ou automaticamente
![Page 49: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/49.jpg)
![Page 50: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/50.jpg)
Hadoop na Nuvem
![Page 51: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/51.jpg)
"Hadoop é um storage confiável e um sistema analítico"
HDFS MapReduce
![Page 52: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/52.jpg)
Então, Hadoop diminui o custo de
desenvolver um sistema Big Data…
![Page 53: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/53.jpg)
Mas e o custo de operar um
sistema de Big Data?
![Page 54: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/54.jpg)
Implantar um cluster hadoop é difícil
http://eddie.niese.net/20090313/dont-pity-incompetence/
![Page 55: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/55.jpg)
Big Data requer infraestrutura flexível
Infraestrutura on premise leva a hardware e software estático e planejado para atender picos…
…e muitas vezes acaba gerando longas filas de processamento
![Page 56: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/56.jpg)
+
Diminuindo o custo de operar sistemas Big Data…
![Page 57: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/57.jpg)
Reduz complexidade/custo da gestão do Hadoop
Integra diretamente com Serviços AWS (EC2, S3,
DynamoDB, etc)
Facilita a elasticidade para Big Data
AMAZON ELASTIC MAPREDUCE
![Page 58: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/58.jpg)
Data Warehouse Elástico
Aumenta
para 25
instancias
Data Warehouse
(Estável)
Data Warehouse
(Processo Batch)
Diminui
para
9
instancias
Data Warehouse
(Estável)
![Page 59: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/59.jpg)
EMR é a Solução Hadoop Corporativa #1
AWS é “o provedor Hadoop mais proeminente” e “lidera por causa de seu serviço Elastic MapReduce já provado e rico em funcionalidades…”
-The Forrester Wave™: Enterprise Hadoop Solutions Q1 2012
![Page 60: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/60.jpg)
Exemplos de uso e
escala de NoSQL e
NewSQL na AWS
![Page 61: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/61.jpg)
NoSQL as a Service
500.000 transações / segundo
Amazon DynamoDB site
60 dólares / hora
DynamoDB
![Page 62: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/62.jpg)
288 servidores com Cassandra
1.100.000 transações / segundo
Benchmarking Cassandra Scalability on AWS - Over a million writes per second
51 dólares / hora (Instâncias Reservadas)
![Page 63: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/63.jpg)
500 servidores
600.000 transações ACID / segundo
NuoDB Presentation at Under the Radar
47 dólares / hora (Instâncias Reservadas)
![Page 64: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/64.jpg)
100 servidores
500.000 transações ACID / segundo
Calvin: Fast Distributed Transactions for Partitioned Database Systems
20 dólares / hora (Instâncias Reservadas)
Calvin
![Page 65: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/65.jpg)
10 dólares / hora (Instâncias Reservadas)
695k TPS with Node.js and VoltDB
![Page 66: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/66.jpg)
Referências
![Page 67: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/67.jpg)
NoSQL na Nuvem da AWS aws.amazon.com/nosql
![Page 68: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/68.jpg)
OFERTA
GRATUITA! aws.amazon.com/pt/free
![Page 69: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/69.jpg)
E mais um pequeno presente…
Siga @josepapo e envie um tweet com a seguinte
frase:
@josepapo Vi a palestra de #NoSQL da Amazon
#AWS no #TDC2012
E sortearei promo codes com crédito extra de 15
dólares para uso na Amazon Web Services!!!
![Page 70: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/70.jpg)
OBRIGADO! aws.typepad.com/brasil
slideshare.net/AmazonWebServicesLATAM
José Papo
AWS Tech Evangelist
@josepapo
![Page 71: NoSQL e Big Data na Nuvem](https://reader034.vdocuments.site/reader034/viewer/2022052410/55617767d8b42a72118b4ed0/html5/thumbnails/71.jpg)