business intelligende& big data: nuevos perfiles y oportunidades de empleo. ponente: antonio...
TRANSCRIPT
BIG DATA. NUEVOS PERFILES Y OPORTUNIDADES DE EMPLEO
A N T O N I O A L O N S O P I Ñ E R O 1 6 D E N O V I E M B R E D E 2 0 1 6
Licenciado en CC Matemáticas. Master BI
Programa Executive Big Data&Business Analitycs
Especialidad profesional
Business Intelligence. Modelado de datos
Big Data
Experiencia laboral
Antonio Alonso Piñero Project Manager BI&Big Data
eslinkedin.com/in/antonioalonsobibigdata
Nuevo contexto. Omnicanalidad
Los clientes ya no interactúan por un solo
canal, sino que utilizan múltiples vías de
contacto.
Nuevo contexto. Omnicanalidad
Obteniendo información, no sólo de las fuentes
tradicionales, sino también de cualquier tipo
de contacto
Nuevo contexto. Omnicanalidad
Incorporando información externa
proporcionada voluntariamente por el cliente o con mecanismos de extracción de entornos
sociales
Nuevo contexto. Omnicanalidad
Incorporando información externa
proporcionada voluntariamente por el cliente o con mecanismos de extracción de entornos
sociales
Nuevo contexto. Sensores. IoT
UPS comenzó a instalar sensores en sus vehículos de reparto para conocer su velocidad y ubicación (si el cinturón de seguridad del conductor está abrochado).
Al combinar su información de GPS y los datos de sensores sobre rendimiento en más de 46.000 vehículos, UPS recortó 136 millones de kilómetros
de sus rutas.
Geolocalización
Nuevos orígenes de fuentes de datos
Generados por las personas
E-Mail, redes sociales (Facebook, Twiter…),
búsquedas
Transacciones de datos
Facturación, llamadas,
transacciones entre cuentas generan
información que tratada
pueden ser datos relevantes
E-marketing y Web
Generamos una gran cantidad de datos cuando navegamos por internet
IoT (Internet of Things)
Son las tecnologías que comparten datos con
dispositivos: medidores, sensores de temperatura, de luz, de altura, de presión, de sonido…
Biométrica
Son el conjunto de datos que provienen de la seguridad, defensa y
servicios de inteligencia. Datos generados por
lectores biométricos como escáneres de retina, escáneres de huellas
digitales, o lectores de cadenas de ADN.
¿Qué es Big Data?
Una nueva generación de tecnologías y arquitecturas diseñadas para extraer valor económico de grandes volúmenes de datos heterogéneos que debido a su
volumen, variedad o velocidad no pueden ser tratados de manera convencional, ya que superan los límites y
capacidades de las herramientas de software habitualmente utilizadas para su captura, gestión y
procesamiento
Gaps en la actualidad • Soporte de volúmenes de datos
limitado de los sistemas OLTP • Excesiva normalización y rigidez a
nivel de los esquemas de datos
• No es compatible con la carga de fuentes de datos no estructuradas
• Limitaciones importantes para resolver workloads de Real-time analytics
• Capacidad de escalamiento y elasticidad limitados y de alto costo
• Pensada principalmente para el mundo
on-premise, lo que dificulta su extensión hacia el Cloud
No esta preparada para la Transformación
Digital
• Volúmenes de datos ilimitados con
capacidad de escalamiento horizontal. • Arquitectura de datos Unificada que
integra fuentes de datos estructuradas y no estructuradas.
• Esquemas flexibles diseñados para
cambiar frecuentemente.
• Diseñada para soportar cualquier tipo
de workload, Interactivo, Real-time, Batch y Analítico.
• Integrándose con los activos de datos
existentes como el EDW, los DataMarts y las bases de datos OLTP más las
fuentes de datos no estructuradas.
• Compatible con cualquier arquitectura Cloud (privada, pública, híbrida).
Habilita la implementación de nueva analítica de
negocio
Nueva arquitectura
¿Por qué ahora?
El entorno competitivo ha impulsado la tecnología Big
Data mediante el desarrollo de nuevas herramientas para una toma de decisiones más precisa.
Abaratamiento de la memoria RAM de las computadoras y su aumento de tamaño posibilitan la carga masiva para su análisis (in memory analytics)
Nuevos entornos para el almacenamiento, trabajo y computación distribuidos. (Hadoop, Spark).
Nuevas Bases de Datos especializadas (NoSQL; MPP; En memoria)
La profesión más “sexy”
“Gran parte del entusiasmo actual por los big data se enfoca en la tecnología. Aunque la tecnología es importante, como mínimo es igual de importante la gente con las capacidades (o la mentalidad) para usarla. Y en este frente, la demanda es mayor que la oferta.”
T. Davenport
Necesidad de formar nuevos perfiles
Equipo Data Steward/CDO
Arquitecto Big Data
Ingeniero Big data
Administrador Big Data
Analista de Datos (Data Analyst)
Data Scientist
Visualizador de Datos
(UX)
Analista Digital/SEO
Business Analyst
Big Data y Data Science
Son dos campos complementarios pero se diferencia. El objetivo de Big Data es construir la infraestructura que soporte la escalabilidad para el tratamiento de datos y los tiempos de respuesta adecuados .
Sobre esas arquitecturas, se desarrollarán posteriormente los procesos analíticos para extraer
valor de los datos por parte de los Data Scientist
Big Data y Data Science
ORIGENES DE DATOS
INTEGRATION LAYER (EL)
SOURCES
REAL TIME EVENT
STORAGE LAYER
PROCESSING &ANALYSIS
LAYER (ETL)
ANALYTICAL TOOLS
VISUALIZATION LAYER
Perfiles más demandados
CDO (Chief Data Officer). Realiza la doble acción de proteger los datos y resultados obtenidos y la gestión y acceso a los datos de acuerdo a las políticas, normativas y estándares de la empresa. Gobierno del Dato
Data Architect. Responsable del diseño y la implementación del ciclo de vida de la arquitectura Big
Data. Big Data Developer. Encargado de captar los datos,
almacenarlos, y procesarlos para que los datos esten disponibles para su analítica.
Big Data Administrator. Distribución de los cluster, infraestructura, seguridad y optimización de las cargas.
Perfiles más demandados. Data Architect
Responsable del diseño y la implementación de
la infraestructura Big data.
Entender los requerimientos del negocio y las nuevas capacidades de la infraestructura para el desarrollo de la integración entre la
arquitectura Big Data y la infraestructura actual
Selección de herramientas y plataformas
necesarias.
Competencias programación en sistemas distribuidos para el
tratamiento de datos
Conocimientos de Databases y Almacenamiento de datos y SO Linux
Competencias en comunicación
Perfiles más demandados. Data Scientist
Extrae conocimiento y valor de los datos.
Definir los data sets adecuados Descubre relaciones ocultas y patrones entre los datos de diferentes áreas de negocio y tecnología
Competencias informáticas para el tratamiento de datos
Competencias estadísticas, matemáticas para analítica de datos.
Competencias en comunicación y visualización de datos.
Conclusiones
En el nuevo contexto, el análisis de datos es cada vez más
relevante y necesarios.
Es necesario una nueva infraestructura para llevar a cabo la explotación de los datos en un entorno cada vez más cambiante
Hay organizaciones que ya se están apalancando en este tipo
de estrategias para crear ventajas competitivas
El mercado de BI / Big Data / Business Analytics tiene una salud de hierro y mucho interés
Hay una clara necesidad de perfiles
Capacitación y formación especializada en puntos concretos de
Big Data / Business Analytics