QMeeting 2015

BIG DATA: Data ScienceDiogenes Justo

26/set/2015

SHORT BIODiógenes Justo

Mestre em Economia Aplicada (UFRGS)MBE Economia (UFRGS).

Especialista em Banking (FGV).Especialista em Data Science (John Hopkins University / Coursera).

Bacharel em Matemática Aplicada e Computacional (UFRGS).

Cursos de especialização em Big Data, Machine Learning e Data Mining no MIT, Washington University, University of Illinois e Stanford

PMO Manager da BMF&Bovespa - Profissional certificado PMP.20 anos de experiência na área de TI, tendo atuado em desenvolvimento, infraestrutura, banco de dados

e B.I., além de projetos.

In the German military machines, the total number of possible combinations for message encryptions comes to a staggering figure in the quadrillions. (The exact number? 158,962,555,217,826,360,000).

RECENTE HISTÓRIA

BIG DATA

91 95 98 99 01 02 03 04 05 12

NSF - Core Technologies for

Advancing Big Data Science

TENDÊNCIA

CARREIRAS MAIS DEMANDADAS

CLUSTER COMPUTING

CLUSTER COMPUTING

Min(CPU-CPU)?

Multi-Core

RASPBERRY PI CLUSTER

WSO2 Conference 2013, London UK

HADOOP + MAP REDUCE

Logistic regression in Hadoop and Sparkspark.apache.org

DATA MINING, BIG DATA, DATA SCIENCE...

Data Mining ≈ Big Data ≈Predictive Analytics ≈

Data Science

J. Leskovec, A.Rajaraman, J.Ullman: Mining of Massive Datasetshttp://www.mmds.org

WHAT IS BIG DATA?

thefinancialbrand.com (IBM Research)

[DEAN, 14]

DATA MINING, MACHINE LEARNING...

O QUE NÃO É O QUE É

● Algo novo ou moda

● Algo totalmente avesso a Business

Intelligence ou DatawareHouse

● Quem tem Hadoop/NoSQL tem Big

Data

● Big Data significa muitos dados

espalhados por aí (web)

● Um problema que, mais hora, menos hora,

apareceria; uns tiveram o problema primeiro

● Abrange e se utiliza de técnicas já desenvolvidas

de BI, DW, Data Mining, Machine Learning (e usa

novas)...

● Hadoop/NoSQL facilitam a solução de problemas

● Big Data significa muitos dados (in ou out),

complexos (estruturados e não), de forma

crescente

APLICAÇÕES

QUEM FAZ ACONTECER?

Pesquisa Científica

Machine Learning

Zona de Perigo

DATA SCIENCE - PROCESSO

DESAFIOS...

- Demanda deve crescer muito nos próximos anos- Faltam profissionais para iniciarem as demandas ou identificar

aplicações- Preparar mão de obra

- Nas empresas: qual é mais difícil? Mat/Est, Programação ou Negócios- Nas universidades e escolas: adaptação de ementas, professores

qualificados- Trazer valor de soluções

- Foco na solução, benefícios e não nas tecnologias

Obrigado!

Diogenes Justodiogenes.justo@gmail.com