big data perspectiva devops
TRANSCRIPT
About
Enrique Carbonell Muela
• Lic. Ciencias de la Computación
• Ingeniero de Software• Líder de equipo• Miembro equipo de Operaciones
• Entusiasta del DevOps• Organizador DevOpsDays Cuba
Twitter: @kikicarbonellLinkedIn: /enrique-carbonell
Sumario
I Parte: Big DataConceptos, casos de uso, herremientas...
II Parte: DevOpsDesarrollo de soluciones, operaciones, perspectiva DevOps, herramientas, proyectos de apoyo a la investigación.
Casos de Uso
● Análisis de comportamiento● Segmentación de clientes● Soporte predictivo● Análisis de mercado y optimización de precios● Predicción de amenzasa● Detección de fraudes● Especificos:
– Red de sensores climatológicos
– Redes eléctricas (3 T x día)
● ...
Realidad?
● Gigantes como Google lleva +10 años trabajando los datos
● En 5 años el 30% de los movimientos financieros serán acaparados por gigantes como Google y Apple (log n).
Realidad?
● Con los datos logran “conocer a las personas mejor que ellas mismas” (fuente: Campaña Trump y Obama)
● El sector financiero está moviendose para aprovechar al máximo la información de sus clientes.
Buzzword / Falacia
● Provedores vendiendo:– “hardware Big Data”
– “soluciones Big Data”
– “…. Big Data”
Infraestructura?
● Provisionamiento● Escalado● Particionamiento elástico● Reutilización de recursos● Tolerancia a fallos● ...
SMACK
engine de procesamiento de datos de gran escala (v: 10-100x).
sistema de gestion de recursos de un cluster, permite el aislamiento y comartir recursos entre aplicaciones distribuidas.
toolkit para construir aplicaciones basadas en manejo de mensajes altamente concurrentes, distribuidas y elásticas sobre JVM.
● bases de datos distribuida con alta disponibilidad diseñada para gestionar grandes volumenes de información entre diferentes datacenter.
sistema de mensajes de alta disponibilidad, baja latencia y diseñado para manejar la entrada en tiempo real.
What is Docker?
Plataforma abierta para el desarrollo, transporte y ejecución de aplicaciones.
Docker permite que empaquete todas las dependencias en una unidad estandarizada para el desarrollo de software y puesta en producción.
© 2013-2016 Docker, Inc. All rights reserved
Applications are changing
Loosely Coupled Services
Many Small Servers
~2000 Today
Monolithic
Big Servers
Slow changing
Rapidly updated