inteligencia de negocio en la nube, una realidad palpable!!!
DESCRIPTION
Introducir, demostrar y aprender como las poderosas características y herramientas que nos proveen Windows Azure y SQL Database con SQL Reporting, nos lleva a implementar capacidades de consumo de datos visualmente, así mismo, explicar la arquitectura que trae este servicio para la nube.TRANSCRIPT
Inteligencia de Negocio en la nube, una realidad palpable!!!
Jose Redondo
Expositor
Jose Redondo Chapter Leader SQL PASS Venezuela – Caracas Chapter DPA SolidQ Senior Consultant SynergyTPC, Bogotá - Colombia MCP | MCTS - MS SQL Server; MTA - DAF | SQL Server MVP
Organización
Patrocinadores / Sponsors
GOLD
SILVER
BRONCE
Personal/Swag
AGENDA
Análisis Empresarial en el Nuevo Mundo de Datos
Análisis del Big Data Plataforma Analítica On-Premise, Cloud y
Híbrida Análisis Avanzado Demo Conclusiones
Análisis Empresarial en el Nuevo Mundo de Datos
Propósito de BI
Ayudar a los usuarios a generar una mejor decisión empresarial
Enfocado en lo que dice & Conocimiento oculto en los datos
El mundo de los datos es cambiante
Explosión de los datosHambre de informaciónNuevas preguntas
Aumento de 10x cada 5 años
85% desde nuevos tipos de datos
Propósito del Análisis Empresarial
Apoderar a las personas a tomar decisiones de sentido común basadas en hechos probados
Extraer el conocimiento de los datos, validando, simplificándolo y visualizando
Análisis Empresarial
Almacenes de datos (DW)
Big data BI
Valores de análisis modernos
Nuevo mundo de datos
En 2015, las organizaciones han de integrar alto valor, diversificándose, generando nuevos tipos y fuentes de información en una infraestructura de gestión de información coherente, superando a sus colegas del sector financieramente por más de 20 %.
Gartner, Regina Casonato et al., “Information Management in the 21st Century”
Una buena Plataforma BI es la clave para el Análisis Empresarial
Información CorrectaContexto AdecuadoFormato Atractivo
EnfocadoFiltradoSimplificado
Implantaciones Inmersivas
Cualquier dato,cualquier tamaño,en cualquier lugar
Conectando con el mundo de los datos
Microsoft Business Analytics
Implantaciones Inmersivas
Cualquier dato,cualquier tamaño,en cualquier lugar
Conectando con el mundo de los datos
Microsoft Business Analytics
Microsoft Business Analytics
Excel: Fundación de autoservicio analítico
Compartir
Limpieza
Mash-up
Explorar
Visualizar
Reportar
Familiar, análisis poderoso
PowerPivot,DAX, Cubes, Data Mining
ColaborarEscalarAdministrar
Power ViewCharts, Slicers, Timelines
Que acontece?
Modelos preparados y probados por un analista o usuario
Interacción con el usuario de manera natural, sin embargo, es escalable y segura
Modelo Tabular desplegado desde Excel para IT, refrescando diariamente los datos desde DW
Mobilidad
Próximamente, aplicaciones BI móbiles nativas para iOS y Windows 8
Generado en SharePoint 2013, PPS optimizado ahora para táctil
Rápido, Avanzado In-Memory
xVelocity In-Memory Analytics
Data warehouse
Desktop Modelo Analítico
Mañana: OLTP Relacional
“Hekaton”
Conectando con el mundo de los datos
Hacia
DesdeBUSQUEDA
RECOMENDACIÓN
IDENTIDADCONTEXTO DOCUMENTAL
GRAFICACIÓN SOCIAL
EXPLORADOR DE DATOSDATA HUB
Data Quality, EUC, End-User Computing (Spreadmart)
MDM – Administrador Maestro de Datos
AutoservicioCalidad del origen de datos
DQS – Servicios de Calidad de Datos
Calidad de ETL’s
Office Audit and Control Management Server 2013
Cualquier dato, cualquier tamaño,en cualquier lugar
Relacional No relacional
Streaming010101010101010101
101010101010101001010101010101
101010101010
Cualquier dato, cualquier tamaño,en cualquier lugar
Parallel Data Warehouse
Business Data Appliance
Fast Trackfor
Arquitectura de referencia DW
Aplicando DWAlmacén de Datos Relacionales
Relacional, Estructurado
Complejidad, No Relacional, No Estructurado
Seguridad Empresarial, DisponibilidadIntegración con herramientas Microsoft BIProvisión en minutos con Windows Azure
Microsoft HDInsightHadoop
Cualquier dato, cualquier tamaño,en cualquier lugar
Análisis del Big Data
Big data, o sólo datos complejos?
Velocidad
Variedad Complejidad
volume
Data
InterpretandoPreparando
Big data de hoy, pocos datos del mañana
Complejidad vs. Capacidades actuales
Dominio Escenarios comunes de Big Data
Servicios Financieros Modelando riesgos reales
Detección de fraude y análisis de amenazas
Vigilancia del comercio
Credit scoring y análisis
Medios & Entretenimientos Motores de recomendación
Ad targeting
Calidad de búsqueda
Abuso y haga clic en detección de fraude
Ventas Punto de análisis de transacciones de ventas
Análisis de abandono de clientes
Sentimiento analítico
Telecomunicaciones Prevención de abandono de clientes
Optimización de rendimiento de la red
Análisis Call Detail Record (CDR)
Predicción de fallas de redes
Gobierno Seguridad cibernética (botnets, fraudes)
Congestión de tráfico y desvíos
Monitoreo ambiental
Monitorización antisocial a través de los medios de comunicación social
Salud Investigación genómica
Investigación del cáncer
Detección temprana de las pandemias de salud
Monitoreo de la calidad del aire
Big data de hoy, pocos datos del mañana
Big Data + BI Tradicional = Power & Simplicidad
Grandes, rápido, o datos complejos
Microsoft HDInsightSQL Server tabular,
multidimensional, DW relacional, o PDW
0101010101010101011010101010101010
01010101010101101010101010
Interacción, exploración, visualización
Microsoft HDInsight
Distribución de Apache Hadoop
Desarrollado por Hortonworks & Microsoft
Integrado con Microsoft BI
Principios de Hadoop
Método práctico para paralelización masiva de procesamiento de datos analítico
dataDistribuidaprocesamientoDistribuido
Motor analítico de Microsoft, Yahoo, Google, Facebook, Netflix, Klout…
Principios de Hadoop: Datos
HDFS (Hadoop File System)Rack de red consistente para reducir al mínimo las transferencias
Acceso como archivos normalesConsulta como almacén (Hive) usando HiveQL
Principios de Hadoop: MapReduce
Su lógica de procesamiento se divide entre mapeo y reducir las funciones
Mapear el problema en más pequeño (dividir)
Reducir resultados en agregados de alto nivel (conquistar)
MapReduce es como dividir-y-conquistar
Hadoop Clúster
dataDistribuidaprocesamientoDistribuido
Yahoo! Hadoop cluster, about 2007.
Hadoop Clúster
dataDistribuidaprocesamientoDistribuido
Buster Cluster, es un proyecto de investigación temprana creado por Miles Osborne, University of Edinburgh, School of Informatics.
Hadoop Clúster
dataDistribuidaprocesamientoDistribuido Cloud
rent-a-Hadoop-cluster, o:“Supercomputer for cents”Windows Azure HD Insight
Procesamiento lógico en HDInsight
Escribe Jobs de MapReduce en Java o cualquier lenguaje de Windows (.NET), mediante la entrada-salida estándar
Pig Latin con Funciones Definidas por el Usuario (UDFs) en Python, JS, C#, Java, and .NET
Bajo nivel, rápido, complejo Sencillo, Paralelismo masivo
Contador de Palabras en JS - MapReduce
• var map = function (key, value, context) {
• var words = value.split(/[^a-zA-Z]/);
• for (var i = 0; i < words.length; i++) {
• if (words[i] !== "") {
•context.write(words[i].toLowerCase(), 1);
• }
• }
• };
• var reduce = function (key, values, context) {
• var sum = 0;
• while (values.hasNext()) {
• sum += parseInt(values.next());
• }
• context.write(key, sum);
• };
Ejemplo de Pig Latin - Esto es Paralelismo!!!
raw = LOAD ’search.log' USING PigStorage('\t') AS (user, time, query);
houred = FOREACH raw GENERATE user, org.apache.pig.tutorial.ExtractHour(time) as hour, query;
ngramed1 = FOREACH houred GENERATE user, hour, flatten(org.apache.pig.tutorial.NGramGenerator(query)) as ngram;
ngramed2 = DISTINCT ngramed1;
hour_frequency1 = GROUP ngramed2 BY (ngram, hour);
… [see http://pig.apache.org/docs/r0.7.0/tutorial.html]
STORE ordered_uniq_frequency INTO '/tmp/tutorial-results' USING PigStorage();
Procesamiento lógico reutilizable - Librerías
Aprendizaje automáticoMinería de datos escalable
Filtrado colaborativo, Recomendadores, Clustering, La descomposición en valores simple, Parallel frequent pattern mining, Naive Bayes, Árbol de decisión
Desde HDInsight haciendo mas atractivo Microsoft BI
Conector para Hadoop de SQL Server & PDWDriver ODBC para HivePanel Excel Hive
Prontamente: SQL Server PolyBase:Unificando las consultas relacionales de SQL y Hive, no es necesario para HiveQL
Operacionalizando Hadoop
Microsoft HDInsight para:
Aprovisionamiento y gestión de clústeres
Asignación de Jobs
Seguridad
Escalabilidad
Plataforma AnalíticaOn-Premise, Cloud y Híbrida
Evolución de la Infraestructura IT
Nube Privada: VMs + Admin Cloud
Nube Pública con VMs
Nube Pública sin VMs: Cloud OS
Centro de Datos no virtualizados
Centro de datos virtualizados
IT Hibrido
Seis infraestructuras en cuatro categorías
PrivadaNUBE
TradicionalNO-VIRTUALIZADO
PublicaNUBE
IT Híbrida
AplicacionesNo-Virtualizadas
Agrupado (Virtualizado)ElásticoAutoservicioBasada en el uso
Servicios GestionadosAgrupado (Virtualizado)ElásticoAutoservicioBasada en el uso
Aplicaciones HíbridasMódulos de aplicaciones y datos en-prem y off-prem
Tradicional Centro de Datos
No-Virtualizado
Tradicional, Full Control, Costoso para gestionar, actualizar, migrar
Centro de Datos Virtualizados
Hyper-V Primer paso hacia la nube privadaMás baratoNo hay beneficios palpables en la nube todavía
Nube Privada
Administrando VMs +
System Center
Nube privadaBasado en PlantillasAprovisionamiento,Gestión de acciones y métricas
Nube Pública con VMs
Nube Administrada
VMs Administradas
Fácil administración desde la Nube PrivadaTodos los beneficios de la Nube PrivadaTCO eficiente
Nube Pública es un nuevo OS, no VMs
Servicios en la Nube para nuevas aplicaciones de software
Moderno & orientado al futuroMejor escalabilidad y agilidadNo incrementa el costo capital, Usualmente es más económica
IT Híbrido: Privada + Publica
Muchas combinaciones de arquitecturas
Privada no-VM—publica VMPrivada VM—publica VMPrivada VM—publica non-VMPrivada no-VM—publica non-VM
Opciones para una Plataforma Análitica
Granjas PrivadasGranjas Públicas VMSharePoint Online
Servidores PrivadoPublicas en VMAzure:SQL Database,SQL Reporting,Datamarket, HDInsight
Localmente instaladoOffice 365SkyDrive
IT Hibrido
Todas las caractéristicas - Analisis moderno
Granjas Privadas en la Nube+Granjas Públicas VM
Servidores Privados,Windows HDInsight+Publicas en VMHDInsight Azure
Localmente instalado+Office 365
Porqué Microsoft para IT Híbridos
PrivateCLOUD
TraditionalNON-VIRTUALIZED
PublicCLOUD
Recursos Comunes
IT Híbrido
Identidad Herramientas de Desarrollo Herramientas de Adm
Nube en nuestros términos
Nube Pública: Dos opciones
Nube Pública
Aplicaciones Híbridas (VM)
Business App
Connect
SQL Server
ON-PREM
WINDOWS AZURE
Windows Azure Virtual Network
Ext
en
dFlexibility &
Control
Low TCO for Existing Apps
Full SQL Server
Capability
Managed Infrastructure
SQL Server in VM
Nuevos diseños de Apps en la Nube
SQL Database
Mobile Web
Managed Platform & Infra.
Low TCO for New Apps
Dynamic Scalability
Based on SQL Server
Technology
Apps Híbridos (no VM)
On-Prem Business App
SQL Database
On-Prem SQL Server
Data
Sync
Connect
Co
nn
ect
Managed Platform & Infra.
Low TCO for New Apps
Dynamic Scalability
Based on SQL Server
Technology
Nube Privada
Todas las característicasNube Privada Analítica
Granjas de Nubes Privadas
Nube Privada, HDInsight para Windows Server
Instalado localmente
System Center para la administración y aprovisionamiento de la nube privada
SQL Server para la Nube Privada
Soluciones para la Nube Privada
Rápido Tiempo de solución
Bueno Muy bueno Excelente
Ejecución a escala
Flexible en componentes
Rápido Tiempo de solución
Bueno Muy bueno Excelente
Ejecución a escala
Flexible en componentes
Rápido Tiempo de solución
Bueno Muy bueno Excelente
Ejecución a escala
Flexible en componentes
Construido sobre DW relacional
Arquitectura de Referencia Fast Track DW
Infraestructura PDW & BDW
ANALÍSIS AVANZADO
DAXMicrosoft Analytics Lenguaje
Estilo Excel, Expresiones tabularesCampos calculados & KPI’sContextos & filtros consistentes
Forma parte de Excel 2013 Modelo de datos (PowerPivot)Lenguaje para proyectos SSAS tabular
Data Analysis Expressions
Expresiones DAX
= [First Name] & " " & [Last Name] Concatenación de cadenas, como en Excel
= SUM (Sales[Amount]) Creación de SUM en contextos de agregaciones
= RELATED (Product[Cost]) Sigue relaciones entre tablas, como las uniones
No se hace referencia a celdas o rangos individuales
Las funciones siempre se refieren a las columnas o tablas
Modelo Semántico BI
Data Model
Business Logic & Queries
Data Access ROLAP MOLAP xVelocity
MDX, soon: “DAXMD” DAX
Multidimensional Tabular
Applications Power View Excel PowerPivot
Databases Applications Files OData feeds Cloud services
SharePoint
Direct query
Entregando Power View y PowerPivot a los usuarios
Archivos Standalone Excel
Excel en SharePoint, SharePoint Online, SkyDrive
Power View, PowerPivot directamente en SSAS ModoSharePoint
Modelo tabular SSAS nativo + Archivo de conexión SharePoint BISM
SQL Server 2012 Analysis ServicesTabular Mode
Escalabilidad empresarial y seguridad para el modelo de datos
Accesible desde SharePoint y sus aplicaciones
Construido en Excel PowerPivot, desplegado en SSAS
Seguridad dinámica, Particiones, >2 billones de registros, imagenes
Power View
Exploración de datos interactivos y presentación visual Experiencia de usuario
Excel 2013
SharePoint 2013 SQL 2012 SP1 Reporting Service
Visualización de datos Power View
Tablas, matrices, small multiples, cards, tiles, filters, slicers
Chart, scatter plot, bubble animation
Interacción Geoespacial y Mapas con Bing
Qué hace la Minería de Datos?
Buscar objetivos
Explorar sus datos
Predecir
Qué es la Minería de Datos?
Estadística, probabilidad y aprendizaje automático
Visualización de patrones
Tecnología para el descubrimiento de patrones de conocimiento ocultos, correlaciones
Minería de
Datos
Análisis de rentabilidad
Entender las necesidades
del cliente
Anticipar acciones
Predecir ventas & inventario
Construir efectivamente campañas de mercadeo
Detectar y prevenir fraudes
Corregir datos
durante procesos
ETL
SQL ServerAnalysisServicesServer
Tus modelos de mineria de datos
Algoritmos de mineria de datos Origendatos
Excel, Visio, SSRSTu aplicación
Despliegue
ExcelVisioSSDTSSMS
AppData
Arquitectura de la Minería de Datos
Data Mining Add-Ins para Office 2013
Gratis!Conecta a Excel y Visio hacia SSAS
Tab Data Mining
Full Power
Tab de AnálisisSencillo de usar
Decision Trees Finds the odds of an outcome, great for visualising relationships between values
Association Rules Identifies causal relationships between cases, good for market basket analysis and recommendation engines
Clustering Classifies cases into distinctive groups based on any attribute sets
Naïve Bayes Shows the differences in a particular variable for various data elements
Sequence Clustering Groups or clusters data based on a sequence of previous events
Time Series Analyzes and forecasts time-based data combining the power of ARTXP for accurate short-term predictions with ARIMA
Neural Nets Uncovers non-intuitive relationships
Linear Regression Determines mathematical linear relationship between inputs and an outcome
Logistic Regression Determines the relationship between columns in order to evaluate the probability that a column will contain a specific state
DEMO
• Análisis de negocios en el nuevo mundo de los datos: Conectados, inmersivo, de cualquier tamaño
• Plataforma Microsoft más poderosa y sencilla
• Big data = Datos demasiado complejos para los métodos tradicionales
• Microsoft HDInsight + Sencillez de BI tradicional = Potentes herramientas de análisis
• Desde el centro de datos tradicional a la nube OS: Su opción flexible para el análisis
• Nube en sus propios términos: Está bien cambiar de opinión
• Advanced Analytics no es complejo hoy día
• Microsoft Business Analytics: Potencia y simplicidad
CONCLUSIONES
Inteligencia de Negocio en la nube, una realidad palpable!!!
Jose Redondo - SQL Server MVPCorreos: [email protected] | [email protected]
Twitter: @redondoj
Blog: redondoj.wordpress.com