introducao a aws storage backup e archiving
TRANSCRIPT
SÃO PAULO
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved
Introdução à AWS: Storage,
Backup e ArchivingAngelo Carvalho, Partner Solutions Architect
Opções de Storage na AWS
• Storage de objetos escalável
• Storage de baixo custo paraarquivamento
• Storage de blocos persistente
• Sistema de arquivos compartilhado
• Gateway para integração
Nós estamos constantemente produzindo mais dados
Em todos os tipos de indústrias
Storage de Objetos
Amazon S3
Simple Storage Service
2012 2013 2014 2015
102% de crescimento anual em
termos de transferência de
dados para e a partir do S3
(Q4 2014 vs Q4 2013, sem considerar o uso da Amazon)
Uso de S3
99.999999999%durabilidade
Boa tentativa,
Joãozinho…
Opção de redundância reduzida99.99% economia de ~20%
Recursos do S3: buckets e objetos
Website S3: conteúdo estático
1 PB de storage
800 TB de storage usável
600 TB de storage alocado
400 TB de dados de aplicação
Precificação do S3 — pague somente pelo que você
usa!
Amazon S3
Redução de custo Contínua: S3
• Disponível em 11 regiões globais
• Cobrado por GB-mês
• 8 reduções de preço desde o
lançamento
• 51% de redução (média) de
preço em 1/4/2014
• TCO: comparando on-premises
com S3
– Pode ser desafiador para
alguns clientes
– Nós podemos ajudar!
S3
Amazon
EMR
Amazon S3—Novas Features
S3 event notifications
Envia notificações ao Amazon SNS, Amazon SQS, or AWS
Lambda quando um evento ocorre no S3
S3
Eventos
Tópico SNS
Fila SQS
Função Lambda
Notificações
Foo() {…}
• Preserve, recupere, e restaure todas as
versões de cada objeto armazenado em seu
bucket
• S3 automaticamente adiciona novas versões
e preserva os objetos excluídos com
marcadores de exclusão
• Controle facilmente o número de versões
armazenadas usando as políticas de
expiração e ciclo de vida dos objetos
• Facilmente habilitado através do Console de
Gerenciamento
Versionamento no S3
Replicação entre regiões no S3Replicação assíncrona de dados entre regiões AWS, automatizada, rápida e confiável
Source
(Virginia)
Destination
(Oregon)
• Apenas replica novos PUTs. Uma
vez que o S3 está configurado,
todos os novos uploads para um
bucket serão replicados
• Bucket inteiro ou baseado em
prefixo
• Replicação 1:1 entre quaisquer 2
regiões
• Versionamento Requerido
Casos de Uso:
• Compliance—armazene seus dados a centenas ou milhares de kilometros de distância
• Menor latência—distribua dados para clientes regionais
• Segurança—crie réplicas remotas gerenciadas por contas AWS diferentes
VPC Endpoints no S3
Demo da Replicação entre Regiões
Casos de Uso para o S3
• Capacidade de armazenamento “web-scale” e
performance para aplicações web
• Armazenamento com origem única com entrega através
do Amazon CloudFront
• Armezamento temporário e persistente para aplicações
Big Data
• Storage alvo para backup e arquivamento ativo
Amazon Glacier
Serviço de arquivamento de baixo custo
$0.01por GB-mês
$120por TB/ano
99.999999999%durabilidade
3–5 horasRecuperação dos dados
Custo de Storage
vs.
Custo de recuperação
Benefícios do Glacier
• Reduza o custo para arquivamento para
arquivamento de longo prazo
• Capacidade ilimitada de armazenamento
• Substitua fita
• Aumente a durabilidade
Amazon S3 – Integração com Glacier
Serviço de arquivamento baseado em
políticas
Políticas de ciclo de vida no S3 →
Key prefix “logs/”
Mover objetos para o Glacier 30 dias após a criação
Excluir 365 dias após a criação
<LifecycleConfiguration>
<Rule>
<ID>archive-in-30-days</ID>
<Prefix>logs/</Prefix>
<Status>Enabled</Status>
<Transition>
<Days>30</Days>
<StorageClass>GLACIER</StorageClass>
</Transition>
<Expiration>
<Days>365</Days>
</Expiration>
</Rule>
</LifecycleConfiguration
SoundCloud—usa o Glacier para
transcoding de audio
• Líder no ramo de redes sociais para
o mercado música e áudio
• Arquivos de áudio devem ser
transcodificados e armazenados em
múltiplos formatos
S3
Glacier
Casos de uso para as políticas de ciclo de
vida do S3
• Escalonamento de dados na nuvem
• Gerenciar versionamento de objetos para proteção
lógica dos dados
• Exclusão de dados no Glacier por política
Storage de Blocos
Storage de Instância
Amazon EBS
Elastic Block Storage
1GB16 TB
EBS
General Purpose (SSD)
até 16 TB
10,000 IOPS
até 160 Mbps
Provisioned IOPS (SSD)
até TB
20,000 IOPS
até 320 Mbps
Preço Performance
EBS
Magnetic General Purpose Provisioned IOPS
Casos de uso Infrequent data access
Boot volumes
Small to med DBs
Dev and Test
I/O intensive
Relational DBs
NoSQL DBs
Media do Storage Magnetic disk-backed SSD-backed SSD-backed
Max IOPS 40–200 IOPS 10,000 IOPS 20,000 IOPS
Latência (random
read)20–40 ms 1–2 ms 1–2 ms
Disponibilidade Designed for 99.999% Designed for 99.999% Designed for 99.999%
Preço$.05/GB-month
$.05/million I/O$.10/GB-month
$.125/GB-month
$.065/provisioned IOPS
Amazon EBS:snapshots
EBS use cases
• Storage de blocos persistente para o Amazon EC2
• Workloads transacionais
• Sistema de arquivos para uma instância—NTFS, ExtFS,
etc…
Introduzindo o Amazon Elastic File System
Sistema de arquivos na nuvem
O que é o EFS?
• Um sistema de arquivos gerenciado para as instâncias EC2
• Fornece a semântica padrão para sistema de arquivos
• Cresce elasticamente a uma escala de petabytes
• Entrega performance para uma variedade de workloads
• Altamente disponível e durável
simples elástico escalável
1 2 3
EFS é desenhado para um amplo leque de
casos de uso, como…
• Repositório de Conteúdo
• Ambientes de Desenvolvimento
• Diretórios de Usuários
• Big data
EFS é simples
• Totalmente gerenciado
– Sem hardware, rede, camada de arquivos
– Cria um sistema de arquivos escalável emsegundos!
• Integração precisa com ferramentas e aplicações existentes
– NFS v4—muito adotado, aberto
– Semântica padrão para o sistema de arquivos
– Funciona com as apis padrões do SO
• Preço simples = Estimativa simples
1
EFS é elástico
• Sistemas de arquivos crescem e
diminuem automaticamente conforme
você adiciona ou remove arquivos
• Não é preciso provisionar capacidade
ou performance
• Você paga somente pelo que você
usa, não existe valor mínimo
2
• Sistemas de arquivos podem crescerpara uma escala de petabytes
• Throughput e IOPS escalamautomaticamente conforme o sistemade arquivos cresce
• Baixa latência consistenteindependente do tamanho do arquivo
• Suporte para milhares de conexõesNFS concorrentes
EFS é escalável3
Arquitetura do EFS
AVAILABILITY ZONE 1
REGION
AVAILABILITY ZONE 2
AVAILABILITY ZONE 3
VPC
EC2EC2
EC2
EC2
Sistema de
Arquivos do
Cliente
Porque isso é importante?...
… to app owners
and developers?
… to your
business?
• Fácil mover para a nuvem código existente, aplicações
e ferramentas que hoje usam servidores NFS
• Storage de arquivos simples para novas aplciações
nativas para cloud
• Preço previsível sem investimento inicial
• Mais agilidade
• Gaste menos tempo gerenciando storage e mais
tempo focado no seu business
… to IT
administrators?
• Elimina a necessidade de gerenciar e manter
storage em larga escala
Amazon Storage Gateway
Storage Gateway
Sua rampa de acesso para o Storage
em Nuvem da AWS:
• Back up para o S3
• DR no EC2
• Arquive no Amazon Glacier
• iSCSI ou VTL
Sumário: portfolio de Storage da AWS
S3• Storage de Objetos: dados apresentados como buckets de objetos
• Dados acessados por APIs através da Internet
EFS• Storage de arquivos (análogo ao NAS): dados apresentados como um file system
• Acesso de baixa latência e compartilhado a partir de múltiplas instâncias EC2
Glacier• Storage para Arquivamento: dados apresentados como vaults/archives de objetos
• Storage de menor custo, para dados não acessados frequentemente
Storage
Gateway• Back up e arquive dados no S3 e Amazon Glacier
EBS• Storage de Blocos (análogo ao SAN): dados apresentados como discos/volumes
• Acesso de menor latência a partir das Instâncias EC2
AltaVault: Storage integrado a Cloud e Amazon Web Services
AWS SUMMIT 2015 - Brasil
Nome: JOÃO PAULO ARAGÃO PEREIRA
Título: ENGENHEIRO DE SISTEMAS
Empresa: NETAPP
Data:28/05/2015 © 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use 57
Nova era de TI
© 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use58
A Cloud é o framework –modelo baseado emserviços
Data Center Enterprise está evoluindo para Clouds privadas e expandindopara Clouds públicas
Um modelo de Cloud ultimamente entrega:
Autonomia, Agilidade, Inovação
Em 2016, a Cloud tornará-se a maior parte de novosgastos com TI – Gartner.
49%
38%
35%
34%
32%
31%
30%
27%
27%
25%
25%
Backup e archive de dados
Teste e desenvolvimento
Disaster recovery
Storage primário para files
Web servers
HPC
BI
Projetos temporários
Produção interna de apps
Bursting de aplicação
Picos de Workload
Para o que sua organização usaria a infraestrutura de Cloud?
POR QUE CLOUD PARA BACKUP E ARCHIVE?
© 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use59
*Source: Enterprise Strategy Group, 2014.
0
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
Preço do Storage/GB/mês
AWS S3
AWS Glacier
2010 2011 2012 2013 2014 2015
O problema atual com backup e archive
© 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use60
Muito caro
Como storagecresce, o custo cresce
Muito tempo de equipe técnicagasta para proteção dos dados
Muito arriscado
Tapes podemdeteriorar e sãodifíceis de testar
Empresasexperimentamdowntime e perdade dados
Muito lento
Usuários esperaminstantânearecuperação e sem perda de dados
Backup e falha de recuperaçãodentro das janelasde backup
Muito complexo
Organizaçõesgerenciam centenasde jobs de backup através de múltiplosbackup apps
Gerenciar cópias de dados através de sites é um desafio
© 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use 61
Modernização de backup
Adicionando backup integrado a Cloud
Storage como target de archiveStorage como target file
Backup server Backup server
PBBA
Archive ou DB
server
Enterprise
Vault
cloud-integrated
storage appliance
cloud-integrated
storage appliance
cloud-integrated
storage appliance
cloud-integrated
storage appliance
Como as empresas podem usar Cloud para backup e archive?
Cloud pode ajudar com o Disaster Recovery
© 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use 62
Recupera workloads na Cloud
Backup server
Recupera para outro site via Cloud
Backup server
DR site
Cloud-based storage
appliance
Cloud-based backup server
Cloud-integrated
storage appliance
Cloud-integrated
storage appliance
Cloud-integrated
storage appliance
NetApp altavault: Storage integrado a Cloud
63
NetApp® AltaVault é uma solução líder para backup e archive na Cloud de forma eficiente e segura. NetApp® AltaVault é o único Storage integrado na Cloud que permite os clientes armazenar, de forma segura, os dados da sua
escolha na Cloud, e em até 90% menos dados do que os métodos locais.
FÍSICO VIRTUAL CLOUD
AV400 AVA-v8 AVA-c4
AV800 AVA-v16 AVA-c8
xxx AVA-v32 AVA-c16
Outras Clouds
Como o ALTAVAULT trabalha?
© 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use 64
FAS
E-Series
Não-NetApp Storage
NetApp SnapProtect
Arcserve
CommVault Simpana
EMC NetWorker
HP Data Protector
IBM Tivoli Storage Manager
Veritas Backup Exec
Veritas NetBackup
Veeam
Microsoft SQL Server
Oracle RMAN
NetApp AltaVault
S3, Glacier,GovCloud
Integra com infraestrutura vigente
Desduplica, comprime e
encripta
Cache local de recentes backups,
vaults de cópias maisvelhas na Cloud
Armazena dados naCloud pública ouprivada de sua
escolha
Dispositivo ALTAVAULT: modos
*Logical capacities assume 30x deduplication© 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use 65
240TB-1,92PB
Storage lógico na
Cloud:
Storage útil na
Cloud:
Até 57PB
Até 10PB
Até 10PB
Physical: 3030
Modo Cold
storage:Modo Backup:
Cache útil: 32TB-384TB 32TB
Cache
lógico: 960TB-11.5PB Até 1999M files
Rate Ingest: =8TB/hr =350GB/hr
Virtual
Até 32TB
960TB
2.6TB/hr
160TB
4.8PB
Virtual
Até 32TB
960TB
350GB/hr
10PB
10PB
Clientes
© 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use 66
Obrigado
© 2015 NetApp, Inc. All rights reserved. NetApp Confidential – Limited Use 67