MIBŐL (NEM) LEHET (VÁRAT) ADATTÁRHÁZAT ÉPÍTENIKovács ZoltánTraining360 Kft.zoltan.kovacs@training360.com

AZ ADATOK TERMÉSZETES ÁLLAPOTA

• Nem egységes az adatszerkezet a különböző rendszerekben• Az adatszerkezet változik• Az adatérvényességi szabályok sokfélék, és nem állandóak• Az adatok minősége folyamatosan romlik• A felhasználói igények, szerepek sokfélék és változnak

Rendet kell tenni!

Rendet kell tartani!

DQS

MDS

MIT JELENT A TÖRZSADATKEZELÉS?

• Törzsadat (Master Data)• az üzleti tevékenységek szempontjából fontos központi adatok

halmaza • vevők, szállítók, címek, termékek, árak, eszközök,…

• Törzsadatkezelés (Master Data Management)• A törzsadatok központi kezelése• Az adatok minőségének folyamatos fenntartása• Adatmegosztás – előállítás és felhasználás

• Példák• CRM – ERP objektumok megfeleltetése• Egységes címkezelés a szervezeten belül• Adattárház karbantartás

Verziókezelés

ÉrvényesítésÜzleti szabályok kezelése,

adatkonzisztencia biztosítása

ModellezésEntitások, attribútumok,

hierarchiák

Integráció és megosztás

MIT TUD AZ MDS?

MDS

Szerepkörök kezeléseTranzakciók naplózása

Törzsadatkezelés

Külső (CRM, ..)Excel DWH

Kötegelt betöltés átmeneti táblákba

Adatelérés SQL nézetekkel

Módosítás API-n keresztül

Excel Add-In Web UI

Adategyeztetés(DQS integrált)

Workflow és értesítések

MDS ARCHITEKTÚRA

MDS Database

Entity BasedStaging Tables

Subscription Views

IIS Service

MDS Service

Excel Add-InWEB-UI

External System

CRM/ERP

Workflow / Notifications

DWH

Excel Cleansing and Matching

(DQS) SSIS

BizTalk / Others

SSIS

BI OLAP

External System

WCF

PW Pivot

BizTalk / Others

ADATTÁRHÁZAK ÉS MDS

• Adatérvényesítési szabályok központi kezelése• Előkészített adatbetöltő infrastruktúra• Kész infrastruktúra a dimenziók, hierarchiák karbantartására• Webes és Excel felület• Szerepkör alapú biztonsági rendszer• Tranzakciók naplózása• Átmeneti táblák• Integrációs nézetek

• Verziókezelés• Excel felület

MDS - HA MÁR VAN ADATTÁRHÁZUNK

• Hozzuk létre a megfelelő adatstruktúrát az MDS-ben• dimenziókat, • ténytáblákat,• egyéb entitások az adatérvényesítéshez.

• Hozzuk létre az • üzleti szabályokat, • hierarchiákat, • integrációs nézeteket.

• Állítsuk be a jogosultságokat• Módosítsuk a karbantartó eljárásokat • Átmeneti táblák -> MDS -> Integrációs nézetek

DEMO

Adattárház karbantartása MDS-selMDS modell létrehozásaEntitások létrehozása Excel-ben, meglévő dimenzió alapjánAdatmódosítás Excel-benAdatérvényesítésDimenzió frissítése integrációs nézeten keresztül

TIPIKUS ADATPROBLÉMÁK

Adatminőség Probléma Példa

Szabványosság

Konzisztens és egyértelmű-e az adatdefinícó?

Nemek kódja = N, F, I, máshol = 0, 1, 2 – melyik mit jelent?

Teljesség Minden adat megvan? Nincs megadva a telefonszámok 20%-a, az irányítószámok 10%-a 9999

Pontosság Helyesek az adatok?Hat éve nem szállított semmit, de még mindig „aktív” a státusza.

ÉrvényességAz adatok értéktartományon belül vannak?

A fizetés 100.000 és 2.000.000 között kell legyen.

Egyediség Vannak-e duplikátumok?Kiss Éva és Kis Éva ugyanaz a személy?

ADATMINŐSÉG MEGOLDÁS KOMPONENSEK

Az adathibák megkeresése, korrigálása.

Duplikátumok azonosítása, megkeresése.

Tisztítás Párosítás

ProfilozásMonitoroz

ásAz adatok elemzése, és a lehetséges problémák felderítése.

Az adatminőség folyamatos figyelése, biztosítása.

Tudásalapú

Szemantikus

Tudás-felderítés

Tudásbázisra épül.

Az adattartományok tartalmazzák a szemantikát.

A tudás folyamatosan bővíthető a használat során.

Bővíthetőség

Egyszerűség

Felhasználói szabályokkal és külső referenciaadat-szolgáltatókkal.

Egyszerű felhasználói interfészek.

DQS KONCEPCIÓ

DQS FOGALMAK

• Tudásbázis (Knowledge Base)• Tartomány (Domain)

o Elemi vagy összetett adatdefinícióo Lehetséges értékek halmaza (szinonímákkal)o Tartományi szabályoko Referencia adatok

• Egyeztetési definíció (Matching Policy)o Adategyezőségi szabályok

• Tudás-felderítés (Knowledge Discovery)o Meglévő adatok elemzése

• Adattisztítás• Adatok ellenőrzése és javítása a tudásbázis alapján (Cleansing)• Egyező adatok keresése (Matching)

DQS FOLYAMAT

• Tudásbázis létrehozása• Tartományok létrehozása• Adatok feltérképezése – meglévő adatokból• Szabályok definiálása• Referencia adatok megadása• Egyeztetési szabályok létrehozása

• Adattisztítási feladatok létrehozása• Adattisztítási feladatok futtatása, nyomkövetése• Tudásbázis bővítése

DEMO

Adattisztítás DQS-selTudásbázis létrehozása meglévő adatokbólAdatok ellenőrzése és javítása

Adatbetöltés MDS-beDuplikátumok szűréseAdatok betöltése