Ask the Architect Storage services Ivan Salazar, Enterprise Solutions Architect ivansal@amazon.com @ivansalazarc Jul, 2016

ü  ¿Cuáles son las principales diferencias entre los servicios de almacenamiento?

ü  ¿Cuáles son los criterios para decidir qué tipo de solución de Storage debo utilizar?

•  Objetos, Archivos, Bloques, Backups en ambientes híbridos

•  Temperatura y ciclo de vida de la información •  Presupuesto •  Latencia y conectividad •  Funcionalidad adicional

File Block Object Hybrid integrated storage

Choice in storage

Amazon EFS

Amazon EBS

Amazon EC2 Instance storage

Amazon S3

Amazon Glacier

AWS Storage Gateway

Selecting the Right Object Storage Class

S3

S3-IA

Glacier

Lifecycle

Available S3: 99.99%

S3-IA: 99.9%

Performant Low Latency

High Throughput

Secure SSE, client

encryption, IAM integration

Event Notifications SQS, SNS, and

Lambda

Versioning Keep multiple

copies automatically

Cross Region Replication

Common Namespace Define storage class per object

Durable 99.999999999%

Scalable Elastic capacity No preset limits

“Hot” Data Active and/or

Temporary Data

“Warm” Data Infrequently

Accessed Data

“Cold” Data Archive and

Compliance Data

ü  Hola, Quiero saber los precios de almacenamiento

ü  Precios o planes de pago de storage

•  El modelo de pago es por GB/Mes •  Pago prorrateado al tiempo utilizado en el mes •  El precio varía de acuerdo a la región •  Costo por transferencia de datos •  Solicitudes, VGW appliance •  Tiered

Regiones

Próximamente 4 nuevas regiones

Amazon EFS

Amazon EBS

Amazon EC2 Instance storage

Amazon S3

Amazon Glacier

AWS Storage Gateway

Ejemplos de precios en us-east-1

* Precios en USD por GB por mes

Ejemplos de precios en us-east-1

$ 0.30 $ 0.100 $ 0.125 $ 0.045 $ 0.025 $ 0.095

$ 0.0 $ 0.0300 $ 0.0125 $ 0.007

$ 0.030 $ 0.095 $ 0.007

* Precios en USD por GB por mes

Amazon EBS General Purpose SSD (gp2) volumes •  $0.10 per GB-month of provisioned storage Amazon EBS Provisioned IOPS SSD (io1) volumes •  $0.125 per GB-month of provisioned storage •  $0.065 per provisioned IOPS-month Amazon EBS Throughput Optimized HDD (st1) volumes •  $0.045 per GB-month of provisioned storage Amazon EBS Cold HDD (sc1) volumes •  $0.025 per GB-month of provisioned storage Amazon EBS Snapshots to Amazon S3 •  $0.095 per GB-month of data stored

S3

S3-IA

Glacier

Lifecycle

Available S3: 99.99%

S3-IA: 99.9%

Performant Low Latency

High Throughput ≥ 30 Days ≥ 128K

≥ 90 Days

Durable 99.999999999%

Scalable Elastic capacity No preset limits

> 0K $0.007/GB per month

$0.0125/GB per month

“Hot” Data Active and/or

Temporary Data

“Warm” Data Infrequently

Accessed Data

“Cold” Data Archive and

Compliance Data

≥ 0 Days > 0K ~$0.03/GB per month

3 – 5 Hrs

$0.01/GB retrieval

$0.01/GB retrieval < 5%

ü  ¿Se puede automatizar pasar un archivo s3 a Glacier según la fecha de creación de los archivos?

ü  ¿Cómo se puede establecer un proceso automático de backup por temporalidad desde S3 a Glacier?

•  Lifecycle rules •  Para buckets con versioning también •  https://docs.aws.amazon.com/AmazonS3/latest/UG/LifecycleConfiguration.html

ü  ¿Cómo podemos utilizar S3 como si furea un disco atachado a una instancia? o en sud efecto, algún servicio que nos permita atachar un gran volumen sin ser necesariamente un disco?

ü  ¿Es posible montar un bucket en un filesystem linux ?

•  S3 es storage de Objetos por HTTP, no bloques •  EFS se puede montar y el pago es por uso •  Fuse S3FS •  SoftNas Cloud NAS

ü  ¿Puedo migrar el servicio de s3 a otra cuenta en la misma region por medio de alguna herramienta?

•  Dependiendo del volúmen y tamaño de los archivos •  S3DistCp, copia en paralelo con Hadoop •  Comando S3 Sync/CP (CLI), en paralelo •  Marketplace •  https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html •  https://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/

UsingEMR_s3distcp.html

ü  ¿Cómo copiar backup grande que pese 30 GB de una instancia ec2 a un repositorio s3?

•  Dentro de la misma región 10 Gbps (CLI) •  S3 multipart upload •  Tsunami, Aspera, Signiant •  EBS Snapshots •  https://docs.aws.amazon.com/AmazonS3/latest/dev/uploadobjusingmpu.html

ü  ¿Cómo funciona el cobro de almacenamiento para respados?

ü  ¿Cual es la manera más barata y performante de hacer snapshots de EBS y mantener una copia completa del EBS por semana/mes ?

•  $ 0.095 / GB / Mes •  Backups incrementales •  S3 para backups

Internet

AWS Cloud

EBS Snapshots

EC2 Availability Zone

EC2

Amazon S3

EBS

EC2 EC2

EBS EBS EBS EBS EBS EBS Snapshot

EBS Snapshot

EBS Snapshot

EBS Snapshot

EBS Snapshot

Create Snapshot

Clone From Snapshot

EBS Volume

How Do Snapshots Work? Time

Snapshot 1 Snapshot 2 Snapshot 3

S3

Block 1 Block 2 Block 3 Block 4

Chunk 1 Chunk 2 Chunk 3 Chunk 4

X

ü Dejando de lado el hecho de que EFS es la única forma de compartir archivos a través de instancias de AWS, qué otros factores son útiles al decidir entre si usar EBS o EFS para el almacenamiento de datos en una aplicación en la nube?

•  EFS no es la única opción: GlusterFS, SoftNas, NetApp, Panzura, DFS, S3

•  EBS es 1:1 por instancia EC2, bloques, pago por GB provisionado, latencia, encripción

•  EFS File system de archivos, pago por uso •  EFS redundancia Multiple AZ, throughtput, administrado

ü  ¿Como seria la puesta en marcha de un autoscale de servicios web con el servicio de almacenamiento Amazon Elastic File System?

•  EC2 user data: Shell •  EC2 instance metadata •  Mount EFS File system on launch

•  https://docs.aws.amazon.com/efs/latest/ug/mounting-fs.html •  https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-instance-

metadata.html

$sudoyum-yinstallnfs-u0ls$sudomount-tnfs4-overs=4.1$(curl-sh;p://169.254.169.254/latest/meta-data/placement/availability-zone).file-system-id.efs.aws-region.amazonaws.com:/~/efs-mount-point

ü ¿ Cómo puedo incluir nuevos volúmenes a un EC2 computer y qué costo tiene?

•  Crear un nuevo volumen EBS desde la consola •  Attach volume a EC2 •  Formatear con un FS y montar •  El costo depende del tamaño y tipo del volumen •  Costo prorateado por mes •  https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-attaching-volume.html

ü ¿Cómo funciona el servicio de AWS Storage Gateway?

•  On-premise software appliance •  Cloud Backup a S3 •  Volume Gateways

•  Gateway Cached Volumes •  Gateway Stored Volumes

•  Gateway VTL

ü ¿Cómo puedo cotizar el espacio real que se llevará mi aplicación y el costó mensual del incremento de subir y descargar información actualmente tengo 250 GB y al mes subimos y descargamos al rededor de 100 MB?

•  Simple! Con la simple monthly calculator •  https://calculator.s3.amazonaws.com/index.html

¡Gracias!