servicios de calidad de datos empresariales con data quality service "denali"
TRANSCRIPT
![Page 1: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/1.jpg)
Servicios de Calidad de Datos Empresariales con Data Quality Services
"Denali"
José RedondoChapter Leader – SQL PASS Venezuelawww.sqlpass.org.veCorreo: [email protected]: @redondoj
![Page 2: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/2.jpg)
AGENDA
• Introducción• Características• Arquitectura• Instalación y Configuración• Base de conocimiento ‘Knowledge Base’• Proyecto de Calidad de Datos ‘Data Quality
Project’• Demos• Preguntas
![Page 3: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/3.jpg)
INTRODUCCIÓN
• ¿Qué es Calidad de Datos?– El grado en que los datos de una entidad están aptos para usos
comerciales.– Se pueden definir, medir y administrar a través de varias
Dimensiones y Métricas.• Precisión• Consistencia• Integridad• Duplicados• Puntualidad
– Personas + Tecnología + Procesos.
![Page 4: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/4.jpg)
• ¿Porqué es importante la Calidad de Datos?– Es el fundamento de todo negocio.– La deficiencia tiene un impacto negativo y significativo
en las iniciativas empresariales mas estratégicas del negocio.
– Mala información = (Tiempo extra * (Perdida de credibilidad + Insatisfacción de los clientes)) / Problemas de incumplimiento + Malos ingresos.
INTRODUCCIÓN
![Page 5: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/5.jpg)
¿Problemas comunes de Calidad de Datos?Calidad de
Datos Problemática Ejemplo
Estandarización Son elementos de datos coherentemente definidos y entendidos?
Tipo Sexo: • M, F, I en un sistema.• 0, 1, 2 en otro sistema.
Formateo Qué normativa estándar llevan los siguientes datos?
Número de teléfono pueden aparecer como:• 02129999999• (212)-9999999• +58 212 9999999
Consistentes Los valores representan el mismo significado?
Los montos se presentan en Bolívares Fuertes así como en Euros o en Dólares?
Afinamiento Es necesario mostrar todos los datos? • 20% de los apellidos de los clientes están en blanco.• 50% de los códigos postales son 999999.
Exactitud Los datos se muestran con exactitud real o proviene de una fuente verificable?
Un proveedor esta en el sistema como “Activo” pero dejo de estar operativo desde hacen 6 años.
Validación Qué significan los valores que se encuentran dentro de rangos aceptables?
Los montos salariales deben rondar entre BsF. 26,000 a BsF. 35,000.
Unicidad Los datos son repetidos? Tanto Alba Rivero como Alma Rivero aparecen en el sistema. ¿Son la misma persona?
INTRODUCCIÓN
![Page 6: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/6.jpg)
Requerimientos de una solución de Calidad de Datos.
Limpieza
Coincidencia
Perfilamiento
Monitoreo
LimpiezaModificar, eliminar y enriquecer los datos incorrectos o incompletos. Esto incluye la corrección, la estandarización y enriquecimiento de los datos.
CoincidenciaIdentificando, enlazando y combinando las entradas relacionadas dentro o a través de los conjuntos de datos..
MonitoreoSeguimiento y monitoreo del estados de las actividades de Calidad de Datos.
PerfilamientoAnálisis de la fuente de datos para dar una idea del estado de los datos y ayudar a identificar problemas de Calidad de Datos..
INTRODUCCIÓN
![Page 7: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/7.jpg)
• ¿Qué es Data Quality Services “DQS”?– Es una solución enfocada:• Conocimiento.• Data Quality Knowledge Base - "DQKB“.
– Limpieza de datos.– Coincidentes.
– El concepto principal:• Rápido.• Fácil de implementar.• Fácil de usar.
INTRODUCCIÓN
![Page 8: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/8.jpg)
• ¿Qué es Data Quality Knowledge Base “DQKB”?– Es el núcleo de DQS.– Almacena todos los conocimientos.
• Tipo específico de orígenes.• Fuentes de datos.
– Componentes:• Orígenes de datos.• Dominios de datos.
– Almacena:• Términos identificados.• Errores de ortografía.• Reglas de validación y de negocios.• Datos de referencia.
INTRODUCCIÓN
![Page 9: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/9.jpg)
CARACTERÍSTICAS
• Gestión del conocimiento.• Proyectos.• Administración.
![Page 10: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/10.jpg)
• Gestión del conocimiento.– Descubrir el conocimiento.– Administración de dominios.– Políticas de combinación.– Servicios de referencias.
CARACTERÍSTICAS
![Page 11: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/11.jpg)
• Proyectos de calidad de datos.– Limpieza y depuración.– Coincidencias y deduplicación.– Perfiles y notificaciones.
CARACTERÍSTICAS
![Page 12: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/12.jpg)
• Administración de la calidad de los datos.– Administración.– Seguridad.
CARACTERÍSTICAS
![Page 13: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/13.jpg)
Hacer accesible datos de calidad para todos.– Mejorar la calidad de los datos con DQS.• Limpiar los datos y mantenerlos limpios.• Fomentar la confianza en los datos de la empresa.• Compartir la responsabilidad de la calidad de los
datos.– Eliminar las barreras para la calidad de los datos.• Diseñado para su facilidad de uso.• Capacitar a los usuarios de negocio.• Ver los resultados en minutos en lugar de meses.
CARACTERÍSTICAS
![Page 14: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/14.jpg)
Procesos de DQS
Crea
ción
Use
Proyecto de Calidad de Datos
Administración del conocimiento
Coincidencia y
DeduplicaciónLim
pieza &
Estandariz
ación
Administrar
conocimiento
Descubrir / Explorar datos / Conectar
Datos empresariales
Datos de referencia
Servicio de la nube
Perfi
lam
ient
o
NotificacionesProgresosEstatus
Base de Conocimiento
CARACTERÍSTICAS
![Page 15: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/15.jpg)
DQS se conforma por los siguientes componentes:– Servidor DQS.– Cliente DQS.
Servicios externos:– Servicios de la nube de DQS.– Servicios de terceros.
ARQUITECTURA
![Page 16: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/16.jpg)
COMPONENTES
ARQUITECTURA
![Page 17: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/17.jpg)
Servidor DQS
ARQUITECTURA
Coincidencias
Datos Referenciados
Servidor DQ
Almacén de Proyectos DQ Almacén Común de Conocimiento Almacén de Base de Conocimiento
Motor DQ
Proyectos Activos DQDominios de
Datos MSDominio de
Datos Locales
Base de Conocimiento
Publicada
Descubriendo el Conocimiento
Perfilamiento de Datos &
Exploración
Limpieza
API de Referencia de Datos (Browse, Get, Update…)
API de Servicios RD(Browse, Set, Validate…)
![Page 18: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/18.jpg)
Cliente DQS
ARQUITECTURA
Cliente DQ
Interfaz gráfica DQS
ComponenteDQ SSIS
Descubriendo y Administrando el
Conocimiento
Proyecto DQ Interactivo
Exploración de Datos
Clientes futuros: MS Office Excel,
MS SharePoint, etc.
![Page 19: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/19.jpg)
SERVICIOS EXTERNOS
ARQUITECTURA
![Page 20: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/20.jpg)
Servicios de la nube de DQS
ARQUITECTURA
Almacén de Dominios de MS DQ
MS Windows Azure Marketplace DataMarket
Referencias de Datos Categorizados
Servicio de Referencias de Datos Categorizados
![Page 21: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/21.jpg)
Servicios de terceros
ARQUITECTURA
3rd Party
Reference Data Services
Reference Data Sets
![Page 22: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/22.jpg)
INSTALACIÓN Y CONFIGURACIÓN
• Prerrequisitos.• Instalación.• Tareas Post Instalación.
![Page 23: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/23.jpg)
• Prerrequisitos– Servidor DQS.– Cliente DQS.– Componente DQS para SSIS.
INSTALACIÓN Y CONFIGURACIÓN
![Page 24: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/24.jpg)
• Prerrequisitos
INSTALACIÓN Y CONFIGURACIÓN
![Page 25: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/25.jpg)
• Instalación– .NET 4.0– IE 6.0 SP1 o superior.
INSTALACIÓN Y CONFIGURACIÓN
![Page 26: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/26.jpg)
• Instalación
INSTALACIÓN Y CONFIGURACIÓN
![Page 27: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/27.jpg)
• Instalación
INSTALACIÓN Y CONFIGURACIÓN
![Page 28: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/28.jpg)
• Instalación
INSTALACIÓN Y CONFIGURACIÓN
![Page 29: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/29.jpg)
• Tareas Post Instalación– Habilitar el rol de usuario DQS.– Habilitar permisos en la base de datos
Origen / Destino.– Habilitar el protocolo TCP-IP para acceso
remoto.
INSTALACIÓN Y CONFIGURACIÓN
![Page 30: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/30.jpg)
• Habilitar el rol de usuario DQS.
INSTALACIÓN Y CONFIGURACIÓN
![Page 31: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/31.jpg)
• Habilitar el rol de usuario DQS.
INSTALACIÓN Y CONFIGURACIÓN
![Page 32: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/32.jpg)
• Habilitar permisos en la base de datos Origen / Destino.
INSTALACIÓN Y CONFIGURACIÓN
![Page 33: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/33.jpg)
• Habilitar permisos en la base de datos Origen / Destino.
INSTALACIÓN Y CONFIGURACIÓN
![Page 34: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/34.jpg)
• Habilitar el protocolo TCP-IP para acceso remoto.
INSTALACIÓN Y CONFIGURACIÓN
![Page 35: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/35.jpg)
INSTALACIÓN Y CONFIGURACIÓN
![Page 36: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/36.jpg)
INSTALACIÓN Y CONFIGURACIÓN
![Page 37: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/37.jpg)
INSTALACIÓN Y CONFIGURACIÓN
![Page 38: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/38.jpg)
BASE DE CONOCIMIENTO
Representación de Dominios de
los tipos de datos
Valores
Reglas &
Relaciones
Datos de Referencias
de 3ras partes
Base de Conocimiento
Composición de Dominios
Políticas de Coincidencias
Dominios
![Page 39: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/39.jpg)
PROYECTO DE CALIDAD DE DATOS
• Limpieza de datos.• Componente SSIS.• Coincidencia de datos.
![Page 40: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/40.jpg)
DEMO
![Page 41: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/41.jpg)
RESUMEN
• Enfocado a la referencialidad de los datos basados en la nube.
• Creado por usuarios de conocimiento.
• Integración con SSIS
Basado en el Conocimiento
Abierto & Extensible
Facil de usar
• Enfocado a la productividad y experiencia del usuario.
• Diseñado para usuarios empresariales.
• Externo a un criterio de conocimiento.
• Base de Conocimiento enriquecida.
• Continua mejoras y adquisición de conocimiento.
• Una vez creada, se incrementa su uso.
![Page 42: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/42.jpg)
PREGUNTASY
RESPUESTAS
![Page 43: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/43.jpg)
Recursos para Profesionales IT
http://microsoft.com/technet
SQL PASS Global
http://www.sqlpass.org
Recursos para Desarrolladores
SQL PASS Latam
http://www.sqlpass-latam.org
SQL PASS Venezuela
http://www.sqlpass.org.ve
http://microsoft.com/msdn
![Page 44: Servicios de Calidad de Datos Empresariales con Data Quality Service "Denali"](https://reader035.vdocuments.site/reader035/viewer/2022070318/5573e799d8b42a86478b5564/html5/thumbnails/44.jpg)
MUCHAS GRACIASJosé Redondohttp://redondoj.wordpress.com/[email protected]: @redondoj