uma arquitetura de stream processing e etl serverless na aws€¦ · stream processing e etl...
TRANSCRIPT
![Page 1: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/1.jpg)
Uma Arquitetura de
Stream Processing e ETL
Serverless na AWS
![Page 2: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/2.jpg)
Uma instituição
financeira diferente.
Uma instituiçãofinanceira cooperativa.
![Page 3: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/3.jpg)
Experiência digitalPlataforma para
inovaçãoNovo Core Bancário
TRANSFORMAÇÃO DIGITAL
![Page 4: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/4.jpg)
DATA LAKE do WOOP
![Page 5: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/5.jpg)
![Page 6: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/6.jpg)
Server
![Page 7: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/7.jpg)
Serverless na
![Page 8: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/8.jpg)
Por que escolhemos Serverless?
![Page 9: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/9.jpg)
A Arquitetura
![Page 10: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/10.jpg)
![Page 11: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/11.jpg)
![Page 12: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/12.jpg)
O Framework
dentro do Framework
![Page 13: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/13.jpg)
Processamento
de Eventos
Reprocessamento
Controle de Fluxo
(Backpressure)
Broker de Eventos
Controle de Erros
Garantia de
Processamento
Controle de Estado
Dados
Formato
Padronizado
Tipos de Dados
Schema
Transporte
Kinesis + KPL
Codec ORC
Cópia de Eventos
no S3
Metadados
100%
Automatizado
Dashboard
Métricas
Troubleshooting
Aplicações
SQS
SNS
JSON
CSV
XML
XLS
Oracle
MongoDB
Teradata
S3
![Page 14: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/14.jpg)
![Page 15: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/15.jpg)
Metadados
![Page 16: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/16.jpg)
![Page 17: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/17.jpg)
Utilizado
para
reprocessar
job
![Page 18: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/18.jpg)
Utilizado
para buscas
e controle de
paralelismo e
de falhas
![Page 19: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/19.jpg)
![Page 20: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/20.jpg)
Lidando com Erros
![Page 21: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/21.jpg)
![Page 22: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/22.jpg)
Do Oracle ao (S3 + Presto)
em
Near Real Time
![Page 23: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/23.jpg)
![Page 24: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/24.jpg)
Amazon Kinesis
![Page 25: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/25.jpg)
Faça Cópia das suas Streams!
![Page 26: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/26.jpg)
Quanto custa uma
stream?
![Page 27: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/27.jpg)
1 shard = 1 MB/s ou 1000
registros/s
![Page 28: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/28.jpg)
Você paga pela hora/shard
![Page 29: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/29.jpg)
E por cada carga de PUT de
25KB
![Page 30: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/30.jpg)
Reduzindo os custos do Kinesis
• Faça agregação dos dados com o
Kinesis Producer Library (KPL)
![Page 31: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/31.jpg)
Reduzindo os custos do Kinesis
• Faça agregação dos dados com o
Kinesis Producer Library (KPL)
• Dimensione corretamente suas
streams
![Page 32: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/32.jpg)
Reduzindo os custos do Kinesis
• Faça agregação dos dados com o
Kinesis Producer Library (KPL)
• Dimensione corretamente suas
streams
• Uma stream X N Streams
![Page 33: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/33.jpg)
Como Utilizamos o Kinesis
![Page 34: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/34.jpg)
Como Utilizamos o Kinesis
![Page 35: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/35.jpg)
Como Utilizamos o Kinesis
![Page 36: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/36.jpg)
Como Utilizamos o Kinesis
![Page 37: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/37.jpg)
Alguns números…
![Page 38: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/38.jpg)
12 Milhões
jobs executados 192 Milhões
registros processados
+120 GBdados processados
![Page 39: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/39.jpg)
![Page 40: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/40.jpg)
PONTOS FORTES
• Pouco gerenciamento
• Integração simples entre serviços da
AWS
• Estabilidade dos serviços
• Facilidade em escalar serviços
![Page 41: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/41.jpg)
PONTOS FRACOS
• Custos podem crescer rapidamente
• Subutilização de recursos (ex. Kinesis)
• Explosão de chamadas Lambda
• Saiba quando sua Lambda deve virar
um microserviço ou EC2
![Page 42: Uma Arquitetura de Stream Processing e ETL Serverless na AWS€¦ · Stream Processing e ETL Serverless na AWS. Uma instituição financeira diferente. Uma instituição financeira](https://reader033.vdocuments.site/reader033/viewer/2022052518/5f0618a77e708231d416453d/html5/thumbnails/42.jpg)
Nossa arquitetura está em constante
evolução. Começamos pequeno e
crescemos de forma orgânica, na medida
em que os cenários mudam.