otimizacao de custo summit 2015
TRANSCRIPT
![Page 1: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/1.jpg)
São Paulo
![Page 2: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/2.jpg)
Otimização de Custos na AWS
Hugo RozestratenAWS Solutions Architect
Rodrigo FernandesEspecialista de Cloud – ZAP Imóveis
![Page 3: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/3.jpg)
O que terá desta Sessão
• Uma fatura menor da AWS
• Manter alta performance minimizando custo
• Arquitetura mais escalável, robusta e dinâmica
• Mais tempo para inovação
• Fáceis de implementar
• Caso Prático ZAP Imóveis
![Page 4: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/4.jpg)
Benefícios da Computação em Nuvem
• Pague pelo uso, sem investimento inicial
• Menor custo de ongoing
• Capacidade flexível
• Velocidade, agilidade e inovação
• Foco no seu negócio
• Presença global em minutos
![Page 5: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/5.jpg)
Benefícios da Computação em Nuvem
• Pague pelo uso, sem investimento inicial
• Menor custo de ongoing
• Capacidade flexível
• Velocidade, agilidade e inovação
• Foco no seu negócio
• Presença global em minutos
![Page 6: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/6.jpg)
Não faça nada
![Page 7: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/7.jpg)
Filosofia de preços da AWS
Ecosistema
Global
Novas Features
Novos Serviços
Maior uso
AWS
Mais
infraestrutura
Menor custo de
infraestrutura
Redução
Preços
Mais
ClientesInovação na
Infraestrutura
45 reduções de
preço desde 2006Economia
de escala
![Page 8: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/8.jpg)
Não faça quase nada
![Page 9: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/9.jpg)
AWS Trusted Advisor
https://aws.amazon.com/premiumsupport/trustedadvisor/
Free with Business or Enterprise Support
![Page 10: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/10.jpg)
Otimize sua Arquitetura
![Page 11: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/11.jpg)
Processo Básico
![Page 12: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/12.jpg)
… em sete passos!
Arquitetando para Baixo Custo
![Page 13: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/13.jpg)
1. Desligue instâncias inativas
![Page 14: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/14.jpg)
1. Desligue instâncias inativas
• Instâncias de DEV, TEST, TRAINING nos finais de semana e a noite
• Use a opção simples de Start / Stop
• Destrua tudo e construa todos juntos
• Instâncias são descartáveis
• Automatize, automatize, automatize!!!
– AWS CloudFormation
– Scripts para Finais de semana e período noturno
– Utilize “Tags” nos recursos
![Page 15: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/15.jpg)
Exemplo Cliente Dev/Test
Segunda Sexta Final das férias
35% saved
![Page 16: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/16.jpg)
2. Utilize Auto Scaling
![Page 17: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/17.jpg)
Auto Scaling
![Page 18: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/18.jpg)
AWS CloudFormation: Configuração"LaunchConfig": {
"Type" : "AWS::AutoScaling::LaunchConfiguration",
"Metadata" : {
"AWS::CloudFormation::Init" : {
"config" : {
… packages, sources, files, services …
}
}
},
"Properties": {
"ImageId" : "ami-149f7863",
"InstanceType" : "m1.small",
"SecurityGroups" : [ {"Ref" : "WebServerSecurityGroup"} ],
"KeyName" : "MySSHKey",
"UserData" : { "Fn::Base64" : { "Fn::Join" : ["", [
"#!/bin/bash -v\n",
… your user data script …
]]}}
}
}
![Page 19: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/19.jpg)
Alinha seus Recursos com suas Demanda
http://aws.amazon.com/autoscaling/
![Page 20: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/20.jpg)
3. Instâncias Reservadas
![Page 21: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/21.jpg)
Instâncias Reservadas são Flexíveis
• Podem ser movidas de AZs
• Podem ser migradas de EC2-Classic para plataforma EC2-
VPC
• O Tamanho pode ser modificado dentro da mesma família
http://aws.amazon.com/ec2/purchasing-options/reserved-
instances/
![Page 22: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/22.jpg)
O modelo simplificado de Instâncias Reservadas
• Escolha o tipo de Instância Reservada e três formas de pagamento:
– All Upfront
– Partial Upfront
– No Upfront
http://aws.amazon.com/ec2/purchasing-options/reserved-
instances/
![Page 23: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/23.jpg)
4. Use Spot Instances
![Page 24: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/24.jpg)
Regras da Spot Instance
• Preço baseado em oferta / demanda
• Você estabelece o preço máximo $/hora
• Sua instância é iniciada se o preço está abaixo do seu máximo
• Sua instância é terminada se o preço está maior
• Mas, você tem um plano de tolerância a falhas, não tem ?
• Nós te daremos orientação para arquitetar aplicações para o uso de Spot Instances
![Page 25: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/25.jpg)
Exemplo Spot Instance
$0.028 (11.7%) $0.026 (10.8%)
$3.28
(1367%)
On-Demand:
$0.24
![Page 26: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/26.jpg)
Casos de Uso Spot Instance
• Analíticos
• Processamento Batch
• Big Data - Amazon Elastic MapReduce
• Web crawlers
• Testes
• Tratamento de Imagem e mídia
• High Performance Computing (HPC)
• Modelo financeiro e análises – análise de modelos matemáticos
![Page 27: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/27.jpg)
Resumo Spot Instances
• Preço dinâmico limitado ao valor máximo que estabeleceu
• Oportunidade de economizar de 80 a 90% de custo
• Desenhe sua aplicação pois existem riscos!
• Preços diferentes por AZ
• Utilize o Auto Scaling!
• Um grupo com Spot Instance
• Um grupo com On-Demand
• Tenha o melhor dos dois mundos
![Page 28: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/28.jpg)
5. Use as classes do Amazon S3
• Classe de Redundância Reduzida
– 99.99% durabilidade vs. 99.999999999%
– Até 20% de economia
– Tudo aquilo que conseguir reproduzir
– Use SNS para notificar qualquer perda
• Classe Amazon Glacier
– Mesmos 99.999999999% de durabilidade do S3
– 3 a 5 hours tempo de restore
– Até 64% economia
– Archiving, backups de longo prazo, dados antigos
• Regras de Lifecycle do S3
– Arquiva objetos no Glacier apos x dias
– Deleta objetos após y dias Delete
![Page 29: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/29.jpg)
6. Otimize a capacidade do Amazon DynamoDB
• Unidades de Capacidade de Escrita/Leitura, determina o custo do
DynamoDB
• Otimizando as Unidades de capacidade, você economiza dinheiro
• Mas:
– Você precisa provisionar capacidade suficiente para sua
demanda
– Conhecer e se preparar para os picos
– Realizar um monitoramento e ajuste
![Page 30: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/30.jpg)
Otimização DynamoDB
• Utilize Cache para economizar unidades de capacidade
– Cache de RAM nos application servers
– Conheça o Amazon ElastiCache
• Pense em estratégias para otimização
– Utilize múltiplas tabelas para suportar padrões de acesso diferentes
– Entenda os padrões de acesso para cada série de dados
– Comprima valores de atributos muito grandes
• Utilize o serviço Amazon SQS como buffer para escritas acima da capacidade prevista
![Page 31: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/31.jpg)
Amazon SQS como Buffer de Requisições
![Page 32: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/32.jpg)
Exemplo de Otimização DynamoDB
Caching/Optimization:
80% saved
Cache
flush
Dynamic
DynamoDB:
20% saved
Growth +
new features
![Page 33: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/33.jpg)
7. Alivie a carga da sua Arquitetura - Offload
• Quanto mais você retirar, menos infraestrutura vai precisar manter, escalar e pagar
• Três maneiras simples de realizar o Offload:
– Use CDN - Amazon CloudFront
– Utilize Cache – Amazon ElastiCache
– Se beneficie de outros Amazon Web Services
![Page 34: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/34.jpg)
Offload para Amazon S3 & CloudFront
![Page 35: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/35.jpg)
Alivie a carga nos Bancos de Dados com Caching
![Page 36: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/36.jpg)
Tire benefício dos outros Serviços
• Amazon RDS, Amazon DynamoDB or Amazon ElastiCache for Redis, Amazon Redshift
– Ao invés de rodar seu próprio banco de dados
• Amazon CloudSearch
– Ao invés de rodar seu próprio mecanismo de busca
• Amazon Elastic Transcoder
• Amazon Elastic MapReduce
• Amazon Cognito, Amazon SQS, Amazon SNS, Amazon Simple Workflow Service, Amazon SES,
Amazon Kinesis, and more …
Simples, mais confiáveis, menor custo
![Page 37: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/37.jpg)
“Encontramos na AWS a parceria ideal para oferecer o
que procurávamos em termos de escalabilidade, alta
disponibilidade e ferramentas de apoio à computação
em nuvem.”
O ZAP tem sede em São Paulo, conta com 375 funcionários e possui 25 escritórios regionais distribuídos pelo Brasil. Nossos principais polos de tecnologia estão localizados em São Paulo e Porto Alegre
Oferecemos as ferramentas de buscas com os mais adequados filtros de pesquisa através de website ou por meio de um moderno aplicativo para celulares e tablets das plataformas Android e iOS, com mais de 10,5 milhões de visitas/mês.
“A AWS também
permitiu nos adaptarmos
aos nossos picos de
audiência com
rapidez e
flexibilidade, além
de redução de custoscom Infraestrutura”
- Eduardo Perez, CTO
![Page 38: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/38.jpg)
Nosso Desafio
Otimização de Uso / Custo
Volatilidade Cambial
Automatização
Escalabilidade
![Page 39: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/39.jpg)
Ações Executadas
Definição de tipo de instâncias
Migração de IaaS para PaaS (SES, ELB, SWF)
Autoscaling agendado e instâncias Spot
Desligamento automatizado de ambientes de Dev & QA
Aquisição de instâncias reservadas
Uso de caching (Elastic Cache e 3rd party CDN)
AWS Trusted Advisor
![Page 40: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/40.jpg)
Ambiente
![Page 41: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/41.jpg)
Relação de Redução X Serviço
Definição do tamanho das instâncias EC2
Migração de IaaS para PaaS
Autoscaling agendado e instâncias Spot
Desligamento automatizado de ambientes de Dev & QA
Aquisição de instâncias reservadas com termo de 1 ano
Cache de conteúdo com Elastic Cache e 3rd party CDN
Melhores práticas do AWS Trusted Advisor
% de Redução de
Custo
x
Custo individual
de cada serviço
2%
28%
21%
8%
22%
5%
1%
![Page 42: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/42.jpg)
Monitoramento de Custo e Análises
![Page 43: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/43.jpg)
Amazon EC2
https://awstcocalculator.com/
![Page 44: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/44.jpg)
AWS Simple Monthly Calculator
http://calculator.s3.amazonaws.com/index.html
![Page 45: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/45.jpg)
AWS Billing Console
![Page 46: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/46.jpg)
AWS Cost Explorer
![Page 47: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/47.jpg)
AWS Billing Alerts
![Page 48: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/48.jpg)
Resumo
1. Desligue as instâncias não utilizadas
2. Use Auto Scaling
3. Use Reserved Instances
4. Use Spot Instances
5. Utilize classes de storage do Amazon S3
6. Otimize as unidades de capacidade do Amazon DynamoDB
7. Alivie a carga da sua architecture
![Page 49: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/49.jpg)
Lembre-se de praticar repetidademente!
Arquiteta
ConstróiMonitora
![Page 50: Otimizacao de custo summit 2015](https://reader033.vdocuments.site/reader033/viewer/2022051213/55b3653fbb61eb94548b4727/html5/thumbnails/50.jpg)