desmitificando el big data por logtrust
TRANSCRIPT
desmitificando
BIG DATA•Qué es Big Data•Por qué surge•Para qué sirve•El Factor Visualización•Conclusiones
Data
Ware
hou
se
BIG DATAData Mining
Business Intelligence
QM
F
ETL
BIG DATA
Web 2.0
Efecto:2000.COM
Data
Ware
hou
se
Data MiningBusiness Intelligence
Herramientas CASE
Ori
en
tació
n a
Ob
jeto
s
Downsizing
RA
D
Web 2.0
Efecto:2000.COM
Data
Ware
hou
se
Data MiningBusiness Intelligence
Cliente/ServidorCentro de Información
Linux vs Windows
Windows vs OS/2BIG DATA Rightsizing
OS/2 vs MS/DOS
Unix vs Mainframe
Relacional vs Jerárquica
Arq
uit
ectu
ra S
AA
Mc v
s e
very
thin
g
Programación Estructurada
Teleproceso
On
Lin
e
XML
En
tid
ad
/Rela
ció
n
Data Mart
Metodología
B.Datos Relacional
Method/1
B.D
ato
s J
erá
rqu
ica
MainframeC
od
igo s
pag
hett
i
Herramientas CASE
Ori
en
tació
n a
Ob
jeto
s
Downsizing
RA
D
Web 2.0
Efecto:2000.COM
Data
Ware
hou
se
Data MiningBusiness Intelligence
Cliente/ServidorCentro de Información
Linux vs Windows
Windows vs OS/2BIG DATA Rightsizing
OS/2 vs MS/DOS
Unix vs Mainframe
Relacional vs Jerárquica
Arq
uit
ectu
ra S
AA
Mc v
s e
very
thin
g
Programación Estructurada
Teleproceso
On
Lin
e
XML
En
tid
ad
/Rela
ció
n
Data Mart
Metodología
B.Datos Relacional
Method/1
B.D
ato
s J
erá
rqu
ica
MainframeC
od
igo s
pag
hett
i“Internet of Things”
Próximamente en sus pantallas:
“El futuro descansa en diseñar y vender computadoras que la gente no se de cuenta que son computadoras”
Adam Osborne, 1983
“La mejor manera de predecir el futuro es inventarlo”
Peter F. Drucker
“640 K deberían ser suficientes para cualquiera”
Bill Gates, 1981
Doug Laney:
Big data son activos de información de gran volumen, alta velocidad de crecimiento y gran variedad de formatos, que exigen formas innovadoras de proceso de información, para una mejor comprensión y toma de decisiones.
[Otras definiciones/reflexiones menos formales]
“Big Data es como el sexo adolescente: todos hablan de él, nadie sabe realmente cómo hacerlo y todos piensan que los demás lo hacen...”Frase atribuída a Dan Ariely
“Palabra Técnica de moda que todo el mundo usa y nadie entiende muy bien”http://www.languagemonitor.com
“Big Data: hemos pasado de no saber qué es, a que todo el mundo proclame que tiene uno, sin que en el intermedio haya ocurrido nada relevante…”Javier Valdés - Logtrust
Siempre hay quien lo confunde con sus herramientas…
También hay quien lo identifica con:Big Data te vigila…
También se dice: Big Data is dead…
Según Gartner, el término ha llegado al “Máximo de inflacción de expectativas”
Tendemos a sobrevalorar el impacto de la tecnología en el corto plazo….y a infravalorarlo en el largo.
“Se abusa del término Big Data y sus famosas 3 V. Ya hay quien lo detesta y considera que su simple aparición en una conversación o texto es síntoma de falta de rigor…”“Big Data es una de los escasos ejemplos de tecnologías que se definen por ‘el problema’ y no por ‘la solución’. Esa es una de las razones del abuso de tópicos y conceptos sin verdadero significado real.”
y sin embargo…
Los hechos…
Nuevo término: Datification
Nuevo término: Datification
El crecimiento de Internet
27.483 PB/mesSi se almacenaran en DVD estándar y se pusieran juntos, medirían la distancia de la Luna a la Tierra… ida y vuelta.
http://www.evolutionoftheweb.com/
Repasando…Kilobyte (KB)
103
megabyte (MB)
106
gigabyte (GB)
109
terabyte (TB)
1012
petabyte (PB)
1015
exabyte (EB)
1018
zettabyte (ZB)
1021
yottabyte (YB)
1024• Google procesa sobre 20 petabytes de datos cada día
• Filmar 100 años de vida de una persona en alta definición (10 megapíxels, 50 fotogramas por segundo) ocuparía 0,5 petabytes.
• Facebook tiene 60 mil millones de imágenes, lo que supone 1,5 petabytes de almacenamiento y crece a un ritmo de 220 millones de imágenes por semana.
Espectacular caída de costes de almacenamiento…
…entramos en la Era Petabyte
Datos no estructurados, no catalogados y sin explorar que se encuentran en los repositorios de datos y que aún no han sido analizados ni procesados.
Nuevo término:Dark Data
Datos conocidos
Datos desconocidos,se sabe que existen
Datos desconocidos,No se sabe que existen
Big Data
Factores relevantes:
La información no operativa (Dark Data) podría ayudar a tomar decisiones.Poder tomar decisiones antes que los demás es una verdadera ventaja competitiva .
•Integrar no solo información operativa•Guardar terabytes de información por día•Hacer consultas sobre ellos•Correlaciones•Hacerlo todo en tiempo real•Y disponer de esta información de forma permanente y longeva
¿ Cómo lo absorbemos?
Por lo tanto necesitaríamos:
Asimilación de la información
El número de conceptos simultáneos que podemos asimilar, oscila entre 5 y 9.( 7+- 2 )
George A. Miller
¿ Cuanto hace que se rebasó el límite ?
Pero no toda la información se procesa de la misma manera…Hay modalidades que se asimilan de forma directa, prácticamente sin necesidad de reflexión
Visualización
Ejemplo de Visualización:• Aparecerá una lista de 7 palabras (dentro
de los límites de Miller)• El objetivo es intentar recordarlas
después de verlas unos segundosDespertadorCamisaPianoCasaSofaToroBesugo¿ Resultados ?
…variables, pero en el mejor de los casos, se nos olvidarán en pocos minutos. Probemos de forma visual:
Ejemplo de Visualización:Localizar los “7” de esta figura
Ejemplo de Visualización:Representar patrones de correlación
En realidad el poder de “lo visual” es algo que conocemos desde hace mucho tiempo…
Primer gráfico estadístico conocido:
1644 Michael Florent van Langren, cartógrafo Holandés que proponía un sistemade cálculo de la Longitud.
Representación gráfica de la disparidad de valores propuestos para la Longitud entre Toledo y Roma
…mejorando el gráfico con medios modernos:
William Playfair 1759-1923 – Ingeniero y economista político Escocés, fundador del Método Gráfico Estadístico
La Visualización no sólo representa de forma rápida y concisa la información… También permite DESCUBRIRLA
Mapa del DR. Snow, 1814Epidemia de cólera, localización de fuente de agua contaminada
Doug Laney:
Big data son activos de información de gran volumen, alta velocidad de crecimiento y gran variedad de formatos, que exigen
formas innovadoras de proceso de información
para una mejor comprensión
y toma de decisiones
IT Convencional
¿ Big Data ó Collateral Data?
IT Convencional
?
1- ¿ Pregunta ?
2- Actividad
3- Obtener Datosy Almacenarlos
4- Ordenación y Estructuración
5- Exploración
5’-Automatismos de Análisis
6- Visualización y Comunicación
Ejemplos varios de Visualización Logtrust:
En Resumen:
• Big Data es una Moda
• Big Data no sólo es un acierto de Marketing
• Big Data es una Necesidad
• Big Data es un Hecho
• Big Data es Accesible
