data freedom, migrating bigdata workloads to aws€¦ · anonimizados y agregados sobre volumen y...

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Data freedom, migrating bigdata workloads to AWSDaniel Pereiro | Xavi Morales | Javier Chamorro

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Evolution of data analysis platform technologies

S3 as HDFS

S3 Data Lake

S3 Data Lake

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AnalyticsMachine Learning

Real-time Data Movement

On-premisesData Movement

Data Lake on AWS

OLTP ERP CRM LOB

Data Warehouse

Business Intelligence

Data Warehouse

Business Intelligence

OLTP ERP CRM LOB Devices Web Sensors Social

Big Data processing, real-time, Machine Learning

Data Lake

Traditional Analytics Data Lakes Extend traditional approach Data Lakes & Analytics from AWS

CSV

ORC

Grok

Avro

Parquet

JSON

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS Big Data Platform

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Swim lane of jobs (different workloads running on the same unique cluster)

Over-utilized Under-utilized

Hadoop

Zeppelin

Livy

JupyterHub

Tez

Flink

Ganglia

HBase

Pig

Hive

Presto

ZooKeeper

MXNet

Sqoop

Mahout

Hue

Phoenix

Oozie

Spark

Hcatalog

TensorFlow

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Transient or long-running clusters

Deploy multiple clusters Resize a running cluster

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Spot for

task nodes

Up to 80%

off Amazon EC2

On-Demand

pricing

On-Demand for

core nodes

Standard

Amazon EC2

pricing for

On-Demand

capacity

Meet SLA at predictable cost Exceed SLA at lower cost

Use Spot and Reserved Instances to lower costs

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Three big indicators of individual behavior

Purchases Movement Influence

Madrid, 2018

Smart StepsEmpowering Data-Driven decisions

Xavier Morales Sorolla – Gerente Global de Producto Smart Stepsxavier.moralessorolla@telefonica.com

Javier Chamorro – Head of Global Operationsfranciscojavier.chamorroperez@telefonica.com

Portfolio de producto orientado a clientes corporativos/B2B

LUCA es la unidadBig Data de Telefonica

LUCA sea ha sido posicionado como Líder según el último informe de evaluación de proveedores de insights Big Data publicado por Forrester.

“The Forrester Wave™: SpecializedInsights Service Providers, Q3 2018”

https://data-speaks.luca-d3.com

Os invitamos a visitar nuestro blogy canal de YouTube:

Convirtiendo metales base…

¿Que es Smart Steps?

…en Oro!!!Piedra filosofalSustancia alquímica

legendaria

de los DATOS operativosde Telefonica…

…a INSIGHTS siempre anonimizados y agregados.

02/24/2018 15:35 hay 282 personas conectadas a una celda, de las cuales 25 están llamando, y alguna de ellas acaba de generar un evento hand-overporque ha cambiado de celda…

RANGOS DE EDAD

GENERO

PATRONES MOVILIDAD

CATEGORIASDE INTERES

NIVEL SOCIO-ECONÓMICO

en el kilometro 32 de la autovía A1, los sábados de 10 a 11 de la mañana transitan 20.000 personas, de las cuales un 65% son hombres, y de los cuales, un 15% están interesados en música y moda, con alto nivel socio económico…

AN

ON

IMIZA

CIO

N

¿Que es Smart Steps?

SMART STEPS

GRUPOS

ANONIMOS

GDRP complaint

LUCA Tourism

Asturias

Permite entender patrones de comportamiento por tipo de visitante. Aportamos insightsanonimizados y agregados sobre volumen y origen de turistas nacionales e internacionales. Así como perfil (rango edad, género, intereses, nivel socioeconómico, etc.) de los turistas nacionales.

Orientado al sector turístico público y privado, y a empresas de gestión de eventos.

Analíticas detalladas para puntos de atención físicos que hasta ahora eran exclusivas del mundo digital. Mediante el cruce de analítica in-store + out-storeofrecemos insights anonimizados y agregados sobre cuántas personas van a la tienda, cuán a menudo, de dónde vienen, a dónde van y qué perfil tienen.

Facilitan la toma de decisiones respecto a las ubicaciones, posibilitan comparar capacidad de atracción frente a la competencia e identificaracciones para mejorar la tasade conversión por perfil de visitante.

LUCA Store

LUCA TransitAnalizamos millones de desplazamientos cada día para entender patrones anónimos y agregados de movilidad, creando matrices de origen destino que tienen en cuenta el motivo del viaje y el modo de transporte.

Ayudamos a nuestros clientes a tomar decisiones sobre la planificación de servicios en base a la demanda real y sobre la planificación de nuevas infraestructuras u optimización de existentes.

LIMA

Quito

LUCA Audience

Aporta valor al sector de publicidad exterior con insights anonimizados y agregados que permiten entender el volumen y perfil de la audiencia que ha pasado cerca de sus paneles de publicidad.

Permitiendo un targeting más eficaz y una mejor medición del impacto.

En la era BDcon Telefónica

La toma de decisiones se sustenta en comportamiento real observado de una población de más de 20 millones de personas.

Antes de LUCA…

La toma de decisiones se sustentaba encomportamiento de unos pocos centenares de personas.

¿Quien declara en una encuesta que no recicla?

Antes de LUCA…

La toma de decisiones se sustentaba encomportamiento declarado.

>5bn

Accesos en 17 países

Procesando datos de ~400 millones de personas

350M 2,5 PetaB 250k 13

Datos desde el año 2013

Reunido Unido y España son los países pioneros

Líneasde Código

Incrementando rápidamente, seguimos construyendo propuestas verticales

Países con Smart Steps

Planes para continuar expansión en LATAM

Eventos recibidos al día

50.000 horas de procesado mensual

Big data,big numbers