governança e big data - static.eventials.com · ferramentas de big data para solucionar problemas...
TRANSCRIPT
![Page 2: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/2.jpg)
Formação Acadêmica:
Economista
Especialista em Sistemas de Informação
Mestre em Tecnologia (Grid Computing/Cloud Computing)
Livros Publicados:
Guias de Referência: Oracle PL/SQL 8i, 9i e 10g
Livro: SQL Curso Prático
Atividades Profissionais:
Professor e Coordenador de pós-graduação na FIAP
Diretor de Serviços para América Latina na MicroStrategy
Celso Poderoso
![Page 3: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/3.jpg)
Falhas em Projetos com Big Data
Falta de apoio e liderança dos executivos
Lideranças departamentais são menos propensas ao sucesso
Falta de uma Arquitetura adequada
Ferramentas de Big Data para solucionar problemas de Big
Data
Ausência de Governança Corporativa e de Dados
Agilidade, segurança e qualidade
Falta de Cultura de Dados na Organização
Todos os colaboradores conscientes da importância do dado
![Page 4: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/4.jpg)
Eco Sistema de Big Data
![Page 5: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/5.jpg)
O que é Big Data?
Conceitos e Fundamentos
![Page 6: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/6.jpg)
Big Data – Definição
"Big Data" é um dado cuja escala, distribuição, diversidade
e/ou atualidade exigem o uso de novas arquiteturas técnicas
e análises para permitir insights para agregar novas fontes de
valor do negócio.
Requer novas arquiteturas de dados (caixas de areia analíticas);
Novas ferramentas;
Novos métodos analíticos;
Integração de múltiplas habilidades: Cientista de Dados.
EMC, 2012
![Page 7: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/7.jpg)
IoT
Definição:
Rede de objetos físicos que contém tecnologia embutida
para comunicar, sentir ou interagir com seus estados
internos ou ambiente externo. Gartner.
Convergência:
Social e mobile: interações
Cloud: infra para entrega e distribuição
Antecedentes:
Computação Ubíqua, pervasiva, ambiente
![Page 8: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/8.jpg)
Big Data – Impacto em TI
![Page 9: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/9.jpg)
Por que Big Data?
Negócios
![Page 10: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/10.jpg)
![Page 11: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/11.jpg)
A Evolução da Análise de Dados
Falta de Liderança e Apoio Executivo
![Page 12: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/12.jpg)
Tomada de Decisão
Dados
SentimentoExperiência
![Page 13: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/13.jpg)
Estrutura dos Dados Corporativos
Fonte: EMC, 2012 - Adaptado
Structured
Semi-Structured
“Quasi” Structured
Unstructured
Dados que possuem um tipo, formato e estrutura definida
Exemplo: Dados transacionais e OLAP
Dados que não possuem estrutura
e normalmente são armazenados
em formatos diferentes
Exemplo: documentos texto, PDF,
imagens e vídeos
Dados textuais com formatos parcialmente
passíveis de formatação com esforço,
ferramentas e tempo.
Exemplo: Clickstream
Arquivo de dados textuais padronizados que
permite realizar buscas
Exemplo: XML
Mo
re S
tru
ctu
red
![Page 14: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/14.jpg)
Onde Estão os Dados
Planilhas e BDs para uso departamental(limitado)
Extração dependentedo analista
Ilhas de Dados“Spreadmarts”
Data Marts isolados
Data Warehouses
Dados para tomada de
decisão centralizados
Analytic Sandbox
Ativos de Dados recuperados por
diversos analistas e tecnologias
• Suporta relatórios e BI, depende da estruturaçãoprévia das necessidades
• Dependente do analista, TI e DBA para criação de relatóriose dashboards
• Tempo para gerar novasanálises é grande
• Permite análises complexas(processamento “in-db”)
• Trabalha com o dado e depois criamétricas, relatórios e dashboardsestruturados
• “Analyst-owned” ao invés de “TI-DBA owned”
Fonte: EMC, 2012 - Adaptado
![Page 15: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/15.jpg)
Business Intelligence Tech
Descritivo
O que aconteceu?
Diagnóstico
Por que aconteceu?
Preditivo
O que irá acontecer?
Prescritivo
O que deveria acontecer?
Funções analíticas
Matemáticas, OLAP &
Financeiras, Operadores &
Estatísticas
Modelos descritivos
Agrupamento &
Associação,
Análises de fatores
Modelos preditivos
Regressão & Série
Temporal, Previsão &
Classificação
Otimização
Simulação de
Programação Linear
Fonte: MicroStrategy, 2016
![Page 16: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/16.jpg)
Data Mining
Fonte: MicroStrategy, 2016
![Page 17: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/17.jpg)
Business Intelligence & Analytics
Tipos: Decisão: apoio aos gestores*
Descritivo: insight de dados históricos*
Preditivo: estatística e machine learning
Prescritivo: simulação e recomendações (decisões)
Descritivo
Preditivo
Inquisitivo
Prescritivo
Dados Insights
![Page 18: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/18.jpg)
Solução
Visão Corporativa dos Dados
Single Version of the Truth
“Soluções” departamentais estão longe de ser “a” solução
Usuário com Poder de Análise
Data Discovery & Self-Service BI
Executivos de alto escalão engajados no processo
![Page 19: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/19.jpg)
Arquitetura de Big Data
Falta de Arquitetura Adequada
![Page 20: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/20.jpg)
Big Data
Integração
Armazenamento
Processamento
![Page 21: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/21.jpg)
Arquitetura de Big Data
Integração e
Governança
Ciclo de Vida &
Governança
Dataflow
Sqoop
Flume
Kafka
Spark Streaming
Ferramentas de Gestão Segurança
Administração
Autenticação
Auditoria
Proteção Dados
Operações
Provisionamento,
Gestão e
Monitoramento
Agendamento
Oozie
Acesso aos Dados - Armazenamento
Batch (MapReduce/Spark)
Script
SQL
NoSQL
Busca
In-Memory
YARN x Mesos
HDFS
Gestão do Dado
Zookeper
Cloudbreak
![Page 22: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/22.jpg)
Banco de Dados NoSQL
![Page 23: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/23.jpg)
All Together
Aquisição
e Ingestão
Gestão de
Metadados
Catálogo
Preparação
e LimpezaHadoop
Workflow
AcessoData Wrangling / Blending / Curation
![Page 24: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/24.jpg)
Grandes Questões de Arquitetura
Forma de Entrega
Cloud x On-Premises
Características para serviços Enterprise-class
Segue padrão Apache ou agrega serviços adicionais?
Segurança e Proteção
Autenticação, Controle baseado em regras, políticas de
segurança, etc.
Suporte
![Page 25: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/25.jpg)
Solução
Arquitetura adequada para problemas de Big Data
Pessoas preparadas para usar Arquitetura
![Page 26: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/26.jpg)
A Governança de Dados e Big Data
Ausência de Governança Corporativa e de Dados
![Page 27: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/27.jpg)
Pilares da Governança de Dados
Dados Centralizados e Integrados
Metadados
Privacidade e Segurança
Data Quality
![Page 28: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/28.jpg)
Maturidade
Fonte: TDWi, 2014
![Page 29: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/29.jpg)
29
Framework Big Data
Pessoas
Usu
ári
os
Analist
as
TI
ProcessosTo
mada D
ecis
ão
Analy
tics
Infr
aest
rutu
ra
Tecnologia
Transa
cio
nal
BI
Analy
tics
DW
![Page 30: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/30.jpg)
Solução
Políticas claras para Uso do Dados Corporativo
Processos claros para os pilares da Governança
Cultura Organizacional voltada aos Dados
Agilidade, Segurança e qualidade de dados
Visão Corporativa dos Dados
Liberdade para Usuário criar as Análises
Responsabilidade de TI em garantir confiabilidade
“Soluções” departamentais estão longe de ser “a” solução
![Page 31: Governança e Big Data - static.eventials.com · Ferramentas de Big Data para solucionar problemas de Big Data Ausência de Governança Corporativa e de Dados ... Dados para tomada](https://reader034.vdocuments.site/reader034/viewer/2022051011/5be4842909d3f26f228ce5c1/html5/thumbnails/31.jpg)
http://www.facebook.com/GovernancaDados
http://br.linkedin.com/in/cpoderoso/
Big Data – Brazil
Governança de Dados - BR
Blog
http://corporate.canaltech.com.br/autor/Celso-Poderoso/
@cpoderoso
Celso Poderoso