san margar mdm

Master Data Management Idea i praktyka

MDM

DATA QUALITY

DATA MANAGE

-MENT

MASTER DATA

ETL

Master Data Management (MDM)

Business Intelligence Nowe podejście

2

Agenda

• Wstęp – Nasze rozumienie Master Data i Master Data Management

• Jakość danych

• Wyzwania w zarządzaniu Master Data

• Rozwiązania Sanmargar Team

• Sanmargar Team o firmie

Master Data (dane referencyjne)

Master Data to „wolno zmienne dane (statyczne) , które definiują i opisują obiekty biznesowe, dla których istnieje (bądź powinna istnieć) uzgodniona definicja w skali całej organizacji”.

Dane typu Master – to cechy takie jak nazwisko, płeć, zawód …

Obiekty biznesowe (definiowane przez Master Data) to „podmioty” transakcji realizowanych w różnych procesach biznesowych. Obiekty biznesowe – odnoszą się do dobrze zdefiniowanych pojęć, których znaczenie powinno być jednoznacznie uzgodnione i współdzielone w organizacji (np. definicja produktu ubezpieczeniowego lub oferowanej przez nas usługi).

4

• Rola i cechy Master Data:

• definiują obiekty biznesowe

• zmieniają się powoli (nietransakcyjnie)

• są uzgodnione i współdzielone w skali całej organizacji

Master Data (dane referencyjne) 5


• Przykłady Master Data

Ludzie Rzeczy Miejsca Pojęcia

Klienci Produkty Sklepy Czas

Dostawcy Jednostki organizacyjne

Centra kosztów Umowy

Pracownicy Dokumenty Terytoria Cenniki

Pacjenci Zasoby Gwarancje

Dłużnicy Regulacje

6


• Master Data mogą zawierać zarówno informacje ustrukturalizowane jak i nieustrukturalizowane, takie jak dokumenty czy multimedia.

7


• Rodzaje danych biznesowych:

• Niezorganizowane

• Transakcyjne

• Dane podstawowe / referencyjne

• Hierarchiczne

• Główne

• Cechy takie jak nazwisko, płeć, zawód to dane typu Master, natomiast nr. wielkość rachunku to informacja transakcyjna.

8

Master Data Management (MDM)

• Master Data Management (MDM) jest zestawem procesów, systemów i rozwiązań organizacyjnych, mających na celu zapewnie scentralizowanego zarządzania Master Data w obszarach:

• zbierania,

• konsolidowania,

• zapewnienia jakości,

• przechowywania oraz dystrybucji.

• W procesach MDM biznes i IT współpracują w celu zapewnienia jednolitości, dokładności, Stewardship*, semantycznej spójności i odpowiedzialności wspólnych danych podstawowych.

• Celem Master Data jest spójny i jednolity zestaw identyfikatorów i atrybutów rozszerzonych, które opisują podstawowe dane przedsiębiorstwa, w tym klientów, potencjalnych klientów, obywateli, usługodawców, miejsca, hierarchie, plan kont i produkty.

* Stewardship - ucieleśnia odpowiedzialne planowanie i zarządzanie zasobami.

9

Procesy MDM

• Procesy MDM - określają, kto i w jaki sposób tworzy i modyfikuje obiekty biznesowe: • dane przedsiębiorstwa • plany kont • hierarchie • definicje produktów, będących w naszej ofercie handlowej • ….

Patrzymy na obiekty biznesowe, np. na produkt jako spójny zestaw

kilkudziesięciu szczegółowych atrybutów, wraz z zestawem zdjęć, instrukcji, czy filmów pokazujących sposób zastosowania. Alokowanie kosztów również wymaga zakładania i zarządzania kontami wyposażonymi w wiele atrybutów. Proces tworzenia słowników MD w takim ujęciu staje się zagadnieniem co najmniej skomplikowanym.

10

Procesy MDM

• Master Data mogą być wykorzystywane przez różne grupy użytkowników w: • procesach transakcyjnych,

• systemach analitycznych.

• Jednocześnie mogą być bardzo rozproszone i przechowywane w wielu różnych systemach informatycznych w organizacji.

Porównywarka cen

Dystrybutor/System magazynowy

Księgowość/Kontroling

E-sklep

Serwis opinii

CRM

11

Jakość danych

Jakość danych leży podstaw efektywnego działania systemów

wspierających procesy biznesowe (BI) oraz analitycznych

i raportowych.

Rozwiązania Sanmargar oferują:

• Kartoteki różnych obiektów,

• Porządkowanie „wymiarów” na potrzeby Business Intelligence,

• Integrację systemów i procesów,

• Synchronizację repozytoriów,

• Zapewniają wydajność systemów przy skokowym wzroście ilości

danych.

12

MDM – Data Quality StudioTM

• Sanmargar Team DQS pozwala efektywnie zbierać i udostępniać dane wszędzie tam gdzie są one potrzebne.

• DQS : • Zapewnia platformę przechowywania i zarządzania Master Data;

• stanowi źródło danych dla wszelkich uprawnionych systemów i użytkowników;

• konsoliduje i pozwala zarządzać danymi referencyjnymi w całym cyklu życia Master Data;

• zapewnia mechanizmy pozwalające na ciągłe zapewnienie jakości i jej kontrolę;

• Zapewnia użytkownikom biznesowym możliwość samodzielnego modelowania i zarządzania strukturą /słownikami Master Data. *Meta Studio Sanmargar Team

13

Wdrożenie MDM Wymagania wobec biznesu

• Po stronie biznesu konieczne jest wdrożenie właściwych rozwiązań organizacyjnych, wspierających realizację uzgodnionych procesów zarządzania danymi referencyjnymi.

• Przedsiębiorstwa tworzą zupełnie odrębne komórki, odpowiedzialne za wysoką jakość i dostępność danych referencyjnych.

• Odpowiedzialności za kompletność i aktualność na przykład definicji produktów biznes może przenieść na swoich dostawców bądź partnerów biznesowych.

14

Problemy z jakością danych. Przykłady

„ Dostępne za pomocą systemów raportujących analizy są nieprzydatne dla biznesu ze względu na rozproszenie danych, złe opisy i słabą klasyfikację. Nasi pracownicy wciąż ręcznie zestawiają dane dla zarządu”.

„Bazy klienckie okazały się zbyt słabej jakości, aby mogły być wykorzystane w kampaniach sprzedażowych. Bazowanie na nich naraziło firmę na utratę zaufania klientów i zbyt duże koszty realizacji”.

„Nie możemy optymalizować kosztów produkcji, ponieważ wciąż nie umiemy właściwie agregować i alokowoać danych kosztowych”.

„Mamy problemy z realizacją polityki rabatowej dla klientów z powodu błędów w danych kontrahentów”.

„Jesteśmy niezadowoleni z raportów i posiadanych systemów business intelligence z powodu zbyt słabych danych”.

15

Typowe źródła problemów związanych z jakością danych

• Technologiczne • brak jednorodnego repozytorium dla Master Data • brak scentralizowanych aplikacji do zarządzania Master Data • jednokierunkowe interfejsy pomiędzy repozytoriami • ogromna ilość historycznych, nigdy nie czyszczonych danych

• Procesowe • procesy zarządzania Master Data nie są właściwie zdefiniowane • istniejące procesy nie zapewniają właściwego zarządzania jakością • wymogi jakościowe są niejednoznaczne, bądź w ogóle nie określone • brak procesów poprawy jakości istniejacych danych historycznych

• Organizacyjne • korporacyjne fuzje i przejęcia • niewłaściwa komunikacja wewnątrz organizacji • rozproszona, bądź nie zdefiniowana odpowiedzialność • brak jednostki zajmującej się zarządzaniem Master Data w organizacji

16

Wyzwania w zarządzaniu Master Data

• Dane referencyjne są rozproszone i zduplikowane w wielu repozytoriach i systemach, część wymaganych atrybutów nie jest obecnie zbierana.

• Należy uzgodnić model danych standaryzujący strukturę informacji

• Istniejące dane należy skonsolidować i usunąć niespójności

• Należy zapewnić odpowiednie interfejsy dla użytkowników i dostawców/agentów

• Uzgodnione dane referencyjne powinny być dostępne dla systemów transakcyjnych oraz Business Intelligence

1

17


• Procesy tworzenia i zarządzania danymi referencyjnymi są często niezdefiniowane i nieuporządkowane. Konieczne działania nie mogą być zrealizowane ze względu na ograniczenia systemów informatycznych. Odczuwamy brak jasno określonej odpowiedzialności oraz kontroli jakościowej: • Należy zredefiniować procesy MDM i dać kontrolę

użytkownikom biznesowym

• Procesy te powinny być w pełni wspierane przez interfejsy aplikacji MDM

• Konieczne jest gromadzenie historii Master Data (analizy trendów, audyty)

• Zapewnienie jakości danych musi być wpisane we wszystkie procesy i interfejsy 2

18


• Struktura danych referencyjnych (atrybuty, hierarchie, wymagania jakościowe, etc.) jest zaszyta w systemach transakcyjnych i niedostępna dla użytkowników biznesowych

• Należy dać użytkownikom biznesowym możliwość zarządzania strukturą danych

• Konieczne jest zapewnienie możliwości tworzenia i wzajemnego mapowania różnych perspektyw patrzenia na dane (data contexts)

3

19


• Procesy zbierania i modyfikowania danych referencyjnych są niezależne od procesów ich wykorzystania w systemach transakcyjnych i analitycznych. Często uczestniczą w nich inne osoby i jednostki zewnętrzne

• System zarządzania danymi referencyjnymi powinien zapewnić obsługę całości procesów związanych z ich definiowaniem, zapewnić mechanizmy publikacji uzgodnionych wersji (golden copy) dla innych systemów

• Wszelkie działania związane z tworzeniem i zarządzaniem Master Data powinny być oparte o tenże wydzielony, centralny system MDM 4

20


• Znaczna część danych referencyjnych może mieć postać binarną (zdjęcia, mp3, video, playable demo) i ze względu na dużą wolumetrię nie powinny one być przechowywane w bazach danych

• Elementem systemu MDM może być zewnętrzny storage dla plików binarnych,

• Baza danych systemu przechowuje jedynie odnośniki do zewnętrznych plików, przechowywanych na odrębnej macierzy, dedykowanej do obsługi multimediów

5

21


• Zarządzanie danymi referencyjnymi wymaga zdefiniowania i zapewnienia możliwości ciągłego raportowania najważniejszych wskaźników (KPI), związanych ze statystykami, jakością, działaniami użytkowników, etc.

• Główne wskaźniki KPI powinny zostać uzgodnione na poziomie managementu.

• Rozwiązanie musi zapewniać możliwość logowania wszelkich działań użytkowników i tworzenia statystyk na potrzeby raportów i analiz, wspierających całość procesu zarządzania informacjami referencyjnymi.

6

22

Master Data Management

Źródło Master Data dla wszelkich, uprawnionych systemów i użytkowników

DQS Studio – platforma przechowywania i zarządzania Master Data Meta Studio – Zarządzani słownikami danych

Konsolidacja i zarządzanie danymi referencyjnymi w całym cyklu ich życia

Modelowanie i zarządzanie strukturą Master Data

Definiowanie ról oraz odpowiedzialności W procesach zarządzania Master Data w strukturze organizacyjnej przedsiębiorstwa

Zarządzanie jakością i kontrola

23

Produkty Sanmargar Team - zastosowania

• Customer Data Integration (CDI) – jednoznaczna identyfikacja i reprezentacja klienta we wszystkich systemach, kanałach kontaktu i liniach biznesowych przedsiębiorstwa. •Uzupełnianie rekordów

o dane z systemów referencyjnych Poczty Polskiej i GUS. •Kategoryzacja semantyczna danych.

24


• Product Information Management (PIM) – spójna i aktualna informacja o produktach we wszystkich wewnętrznych procesach biznesowych oraz w całym łańcuchu dostaw.

25


• Product Information Management (PIM)

• Integracja i segmentacja danych na potrzeby systemów analitycznych i raportujących

1

2

3

4

5

6

7

8

9

10

11

12

13

MIESO

MLEKO

OWOCE WARZYWA

PIECZYWO SWIEZE

PIWO

SERY

WEDLINY

(puste)

26


• Tworzymy kartoteki:

• Centralne – Podstawowe zbiory danych w organizacji

• Lokalne

• Korporacyjne

• Tworzenie centralnych kartotek:

• Klientów

• Produktów

• Kontrahentów

27

Działanie Data Quality Studio TM

Kontrahenci z systemu CRM

Kontrahenci z systemu ERP

Kontrola NIP Czyszczenie Deduplikacja

Centralna Baza Kontrahentów

Baza referencyjna (ulice, miasta, kody pocztowe, adresy, nazwy alternatywne)

28

Data Quality StudioTM. Efekty czyszczenia danych 29

Przed: Po:

Warszawa, Wesoła, ul. Franciszka Żwirki, kod 05-075

DataQualityStudioTM Rola słownika referencyjnego

30

Kod Miejscowość Ulica Nr. bud.

02-143 Żwirki i Wigury Warszawa 2

Kod Miejscowość Ulica Nr. bud. podobieństwo

02-143 Warszawa Żwirki i Wigury 31 98


21-512 Zalesie Warszawska 31 76

05-135 Wieliszew Warszawska 31 77

...

Wyraźna różnica w propozycjach. Oczywista decyzja, która propozycja lepsza – przypadek do automatycznego wyczyszczenia.

Data Quality StudioTM

Strojenie algorytmów

31

DataQualityStudioTM

Strojenie algorytmów

Kod Miejscowość Ulica Nr. bud.

32-020 Krakow Wieliczka 31


30-022 Kraków Wielicka 31 97


32-020 Wieliczka Krakowska 31 98

Obie propozycje tak samo prawdopodobne Tego przypadku nie można poprawić automatycznie!!

32

Podejście do czyszczenia i kontroli jakości danych Strojenie algorytmów czyszczenia

Liczba błędnie

poprawionych adresów

na każde 1000

100%

Mniej ostre kryteria poprawności -> Większa liczba poprawionych adresów -> Coraz większa liczba błędnie poprawionych

Zasady czyszczenia danych: 1. Nie psujemy danych

2. Czyścimy jak najwięcej danych o ile nie stoi to w sprzeczności z pkt 1.

33

DataQualityStudio TM [DQS]. Przykładowy proces

34

Architektura Meta Studio TM

Master Data Management

Master Data Master Data Master Data Master Data

Meta Studio MDM

Integracja danych

35

Meta Studio MDM. Rola w architekturze BI

Słowniki instytucji zewnętrznych

XML xbrl

txt xls

MetaStudioTM

Słowniki Słowniki Reguły Słowniki

System 1

System 2

System 3

System Sprawozdawczości

System Raportowy

System Analiz Ad hoc

Procedury ETL

Repozytorium Danych

Procedury ETL

Data

Zarządzanie słownikami danych

36

Korzyści z zastosowania Data Quality Studio TM

• Czyszczenie i wzbogacanie informacji w procesach inicjalnej integracji danych referencyjnych • inicjalna walidacja reguł biznesowych (wymagalność pól, wzorce wartości,

spójność referencyjna) • analiza leksykalna i korekta automatyczna • rekordy nie spełniające wymagań nie są odrzucane a jedynie oznaczane do

ręcznej poprawy

• Zapewnienie i kontrola jakości wpisana we wszelkie procesy i interfejsy związane z Master Data • stała walidacja reguł biznesowych i leksykalnych • zaangażowanie użytkowników biznesowych i dostawców/agentów • jasno określona odpowiedzialność

• Ciągła poprawa jakości danych • Efektywne działanie systemów korzystających z danych • Poprawa jakości i wydajności w systemach raportujących

i analitycznych.

37

Kluczowe elementy stosowanego rozwiązania

• Zarządzanie regułami walidacji

• Procesy przetwarzania i czyszczenia

• Słowniki referencyjne

MetaStudioTM

•Reguły walidacji •Parametry procesów •„ręcznie” wprowadzane słowniki wartości, których może nie być w systemie, np. zawody

ETL

•Ekstrakcja •Przygotowanie danych •Wykonanie reguł walidacyjnych

DQS

•Czyszczenie danych adresowych •Czyszczenie innych pól niż adresy przy zastosowaniu podobnych algorytmów

ETL

•Przygotowanie danych zgodnie z ustalonym/wymaganym formatem

Dane źródłowe Bazy

referencyjne Dane

tymczasowe Dane wynikowe

Raporty Analityczne

Podejście do kontroli jakości danych i czyszczenia 38

Podsumowanie

• Zastosowanie czyszczenia i metadanych (słowników) znakomicie usprawnia BI i przynosi wymierne korzyści

• Dysponujemy metodyką czyszczenia danych adresowych i słownikami referencyjnymi

• Wykorzystujemy rozwiązania wspomagające zarządzanie jakością [DQS, MetaStudio]

• Posiadamy doświadczenia w projektach czyszczenia i kontroli danych

39

• Działamy od 2005r;

• Jesteśmy firmą „Business Intelligence”

• Jesteśmy producentem rozwiązań BI:

• zarządzanie metadanymi: MetaStudio

• czyszczenia i deduplikacja danych: DQS

• Produkty:

Partnerstwo technologiczne

Najważniejsi klienci: Agora SA Bank BGŻ JSW SA Energa Obrót SA BNP Paribas Fortis

*Computerworld: Raport TOP 2011

Obszary kompetencyjne:

o Hurtownie danych i systemy raportowe

o Planowanie i budżetowanie

o Optymalizacja procesów controlingowych

o Przetwarzanie i migracja danych

o Zarządzanie danymi podstawowymi / regułami

o Czyszczenie i standaryzacja danych

Sanmargar Team 40

Jesteśmy do dyspozycji

Sanmargar Team sp. z o.o. 03-973 Warszawa , Brukselska 17a T: (22) 870 10 54; F: (22) 212 81 98

[email protected], www.sanmargar.pl

Zapraszamy do nieodpłatnych konsultacji

mailto:[email protected]

san margar mdm

Documents

produkty sanmargar team

master data management

master data

dane referencyjne

mdm

dqs

pim