inteligência operacional utilizando a solução elastic
TRANSCRIPT
![Page 1: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/1.jpg)
Inteligência Operacionalutilizando a solução
![Page 2: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/2.jpg)
Palestrantes:
Ronaldo WanzellerFormado em Web design e programação,UNISUL, e Pós-graduado em Coordenação de Projetos de TI.
Dinâmico, autodidata, empreendedor. Meus hobbies são motociclismo, e viagem em família.
![Page 3: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/3.jpg)
Palestrantes:
Rodrigo TornisGraduado em Redes de ComputadoresPós-Graduado em Segurança Pós-Graduando em Business Intelligence
Gerente de Tecnologia na 4Linux Profissional de TI desde 1996 Entusiasta em tecnologias de BigData e DataScience.
![Page 4: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/4.jpg)
Sobre a CAIXA
A vida pede mais que um banco
Desde que foi criada, em 1861, a Caixa sempre buscou ser mais que apenas um banco, mas uma instituição realmente presente na vida de milhões de brasileiros. Ela é, por exemplo, o agente responsável pelo Fundo de Garantia do Tempo de Serviço (FGTS), pelo Programa de Integração Social (PIS) e pelo Seguro-Desemprego, institutos tão presentes na vida do trabalhador formal. Aparece ainda no momento de ajudar a população, através dos programas sociais do governo, como o Bolsa Família – que beneficia mais de 13 milhões de brasileiros, FIES e Programa Minha Casa Minha Vida.
![Page 5: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/5.jpg)
CAIXA e Software Livre● + de 100 mil equipamentos em Linux (Desktop, Embarcados e
Servidores)● Disponibilizou para comunidade os códigos dos softwares
Minuano, Curupira e Expresso Livre● Adota o Expresso Livre como solução de correio para Parceiros e
Terceirizados● Utiliza outras soluções Open Source em diversas unidades● Um dos maiores CASES com PostgreSQL - Multicanal
![Page 6: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/6.jpg)
Agenda● Contextualização do Problema● Avaliação das soluções● Solução Elastic – Nossa arquitetura● Visibilidade do comportamento da infraestrutura● Maturidade do Dados● Futuro com a solução Elastic
![Page 7: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/7.jpg)
Contextualização do Problema
![Page 8: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/8.jpg)
Contextualização do Problema - TEMA● Apresentar a experiência que a equipe de correio
eletrônico da CAIXA vem ganhando com a adoção da solução Elastic.
![Page 9: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/9.jpg)
Contextualização do Problema – cont.● Retenção de apenas 15 dias de logs para consulta● Demora durante o rastreio de logs de mensagens● Ação reativa a incidentes● Medições e volumetria parcial ou inexistente● Analise em tempo real do ambiente● Uso indevido ou incorreto do canal
![Page 10: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/10.jpg)
Contextualização do Problema – cont.
O que queremos?● Armazenar informações de 2,5 milhões de mensagens por dia● Possibilidade de coleta de logs/dados de qualquer origem● Realizar buscas em milhões de dados de forma rápida● Gerar gráficos estatísticos em tempo real● Agir proativamente a incidentes inibindo o mau uso do canal● Realizar medições e volumetria em tempo real
![Page 11: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/11.jpg)
Avaliação das Soluções
![Page 12: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/12.jpg)
Avaliação das Soluções● Inicialmente armazenar em SGBD:
![Page 13: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/13.jpg)
Avaliação das Soluções – cont.● Foi bem até um certo tempo...
● … mas ficou inviável após o aumento das informações a serem armazenadas e a adição de mais servidores para serem monitorados.
![Page 14: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/14.jpg)
Avaliação das Soluções – cont.● Qual solução?
![Page 15: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/15.jpg)
Avaliação das Soluções – cont.Todas as soluções citadas atendiam a necessidade porém foi percebido alguns impeditivos como:
● Curva de aprendizado é alta em boa parte das soluções propostas● Inexistência de interface pronta ou parcialmente funcional para consultas e
geração de gráficos ou analise estatísticas● Algumas das soluções necessitam de muitos recursos computacionais● Nossa equipe pouco Know-how em desenvolvimento● Conhecimento baixo ou inexistente nas ferramentas e equipe de sustentação
![Page 16: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/16.jpg)
Avaliação das Soluções – cont.● Qual solução?
![Page 17: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/17.jpg)
Avaliação das Soluções – cont.● Porque?● Simples para implementar● Simples para escalar● Solução atende de ponta a ponta (coleta, tratamento,
armazenamento e visualização)● Curva de aprendizado baixa e rápida para a equipe
![Page 18: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/18.jpg)
Solução ElasticNossa arquitetura
![Page 19: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/19.jpg)
Solução Elastic – Nossa arquitetura● Composta por três ferramentas:
![Page 20: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/20.jpg)
Solução Elastic – Nossa arquitetura● Em 2015 criou-se uma única solução denominada:
![Page 21: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/21.jpg)
Solução Elastic – Nossa arquitetura – cont.● Motivação em usar a solução. Quem usa o Elastic?
Fonte: https://www.elastic.co/use-cases
![Page 22: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/22.jpg)
Solução Elastic – Nossa arquitetura – cont.Nossa estrutura em números:
● 16 servidores MS Exchange para atender 80 mil colaboradores CAIXA● 3 Servidores Postfix/Expresso para atender 18 mil terceirizados e
parceiros● 2 Servidores Postfix para mensagens de Aplicações● 2,5 milhões de mensagens trafegadas por dia● Média de 32GB de logs por dia ou 20 milhões de linhas de logs/dia
![Page 23: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/23.jpg)
Solução Elastic – Nossa arquitetura – cont.● Nossa estrutura
POSTFIX
![Page 24: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/24.jpg)
Solução Elastic – Nossa arquitetura – cont.● Nossa estrutura em detalhes
POSTFIX
Cluster
![Page 25: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/25.jpg)
Visibilidade do comportamento da
infraestrutura
![Page 26: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/26.jpg)
Visibilidade do comportamento da infraestrutura
![Page 27: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/27.jpg)
Visibilidade do comportamento da infraestrutura - cont
![Page 28: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/28.jpg)
Visibilidade do comportamento da infraestrutura - cont
![Page 29: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/29.jpg)
Visibilidade do comportamento da infraestrutura - cont
![Page 30: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/30.jpg)
Visibilidade do comportamento da infraestrutura - cont
![Page 31: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/31.jpg)
Visibilidade do comportamento da infraestrutura – cont.Ganhos com a adoção do Elastic:
● Visão em tempo real do ambiente de correio eletrônico● Proatividade e rapidez na identificação de incidentes ou uso
indevido do canal● Medição e Volumetria● Pesquisa em volume gigantesco de dados com resultados
rápidos
![Page 32: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/32.jpg)
Visibilidade do comportamento da infraestrutura – cont.Ganhos com a adoção do Elastic:
● Comparar e correlacionar informações em plataformas distintas (Comercial e Livre)
● Aumento de 15 para 90 dias a retenção de logs (dados disponíveis para consulta)
● Armazenamento centralizado de aproximadamente 600 milhões de linhas de logs (média de 20 milhões dia)
![Page 33: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/33.jpg)
Maturidade dos Dados
![Page 34: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/34.jpg)
Maturidade dos Dados
Com a visão do ambiente passamos a questionar:● O que deve ser de fato armazenado? Qual o SIZE que preciso
ter para armazenar essas mensagens? Estamos estimando bem?● Como identificar de forma automatizada mensagens que não
tem nenhum sentido para o negócio?● Como inibir de forma automatizada que aplicações realizem
testes de envio em produção?
![Page 35: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/35.jpg)
Maturidade dos Dados – cont.
Do ponto de vista negocial:● Como inibir de forma automatizada mensagens de
cunho pejorativo, homofóbico, político/partidário ou pornográfico?
● Esse tipo de informação deveria estar em um portal (ou qualquer outro canal de comunicação) e não em um e-mail
![Page 36: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/36.jpg)
Futuro com a solução Elastic
![Page 37: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/37.jpg)
Futuro com a solução Elastic
● Medição e volumetria de mailboxes● Analise de trafego de usuários e agências● Geo-referenciamento de agências e unidades● Analise e identificação de fraude e falhas em caixas
eletrônicos e terminais lotéricos● Estender para outros departamentos da CAIXA
![Page 38: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/38.jpg)
Futuro com a solução Elastic● Projeto de analise de logs OpenLDAP● 99 milhões de linhas de logs/dia● Projeto portais de intranet CAIXA● Armazenar e analisar logs de aproximadamente 400 portais internos em SharePoint● Projeto GSC● Monitorar abertura de chamados entre CAIXA e fornecedor● Projeto GIICP● Monitorar ciclo de vida de emissão de certificados digitais● Pro-atividade em ataques no ambiente de emissão de certificados
![Page 39: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/39.jpg)
Futuro com a solução Elastic
● Predição e Classificação utilizando:
![Page 40: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/40.jpg)
Perguntas?
![Page 41: Inteligência Operacional utilizando a solução Elastic](https://reader031.vdocuments.site/reader031/viewer/2022013118/55d27571bb61eb8d208b4637/html5/thumbnails/41.jpg)
Obrigado!