Download - San margar mdm
Master Data Management Idea i praktyka
MDM
DATA QUALITY
DATA MANAGE
-MENT
MASTER DATA
ETL
Master Data Management (MDM)
Business Intelligence Nowe podejście
2
Agenda
• Wstęp – Nasze rozumienie Master Data i Master Data Management
• Jakość danych
• Wyzwania w zarządzaniu Master Data
• Rozwiązania Sanmargar Team
• Sanmargar Team o firmie
Master Data (dane referencyjne)
Master Data to „wolno zmienne dane (statyczne) , które definiują i opisują obiekty biznesowe, dla których istnieje (bądź powinna istnieć) uzgodniona definicja w skali całej organizacji”.
Dane typu Master – to cechy takie jak nazwisko, płeć, zawód …
Obiekty biznesowe (definiowane przez Master Data) to „podmioty” transakcji realizowanych w różnych procesach biznesowych. Obiekty biznesowe – odnoszą się do dobrze zdefiniowanych pojęć, których znaczenie powinno być jednoznacznie uzgodnione i współdzielone w organizacji (np. definicja produktu ubezpieczeniowego lub oferowanej przez nas usługi).
4
• Rola i cechy Master Data:
• definiują obiekty biznesowe
• zmieniają się powoli (nietransakcyjnie)
• są uzgodnione i współdzielone w skali całej organizacji
Master Data (dane referencyjne) 5
Master Data (dane referencyjne)
• Przykłady Master Data
Ludzie Rzeczy Miejsca Pojęcia
Klienci Produkty Sklepy Czas
Dostawcy Jednostki organizacyjne
Centra kosztów Umowy
Pracownicy Dokumenty Terytoria Cenniki
Pacjenci Zasoby Gwarancje
Dłużnicy Regulacje
6
Master Data (dane referencyjne)
• Master Data mogą zawierać zarówno informacje ustrukturalizowane jak i nieustrukturalizowane, takie jak dokumenty czy multimedia.
7
Master Data (dane referencyjne)
• Rodzaje danych biznesowych:
• Niezorganizowane
• Transakcyjne
• Dane podstawowe / referencyjne
• Hierarchiczne
• Główne
• Cechy takie jak nazwisko, płeć, zawód to dane typu Master, natomiast nr. wielkość rachunku to informacja transakcyjna.
8
Master Data Management (MDM)
• Master Data Management (MDM) jest zestawem procesów, systemów i rozwiązań organizacyjnych, mających na celu zapewnie scentralizowanego zarządzania Master Data w obszarach:
• zbierania,
• konsolidowania,
• zapewnienia jakości,
• przechowywania oraz dystrybucji.
• W procesach MDM biznes i IT współpracują w celu zapewnienia jednolitości, dokładności, Stewardship*, semantycznej spójności i odpowiedzialności wspólnych danych podstawowych.
• Celem Master Data jest spójny i jednolity zestaw identyfikatorów i atrybutów rozszerzonych, które opisują podstawowe dane przedsiębiorstwa, w tym klientów, potencjalnych klientów, obywateli, usługodawców, miejsca, hierarchie, plan kont i produkty.
* Stewardship - ucieleśnia odpowiedzialne planowanie i zarządzanie zasobami.
9
Procesy MDM
• Procesy MDM - określają, kto i w jaki sposób tworzy i modyfikuje obiekty biznesowe: • dane przedsiębiorstwa • plany kont • hierarchie • definicje produktów, będących w naszej ofercie handlowej • ….
Patrzymy na obiekty biznesowe, np. na produkt jako spójny zestaw
kilkudziesięciu szczegółowych atrybutów, wraz z zestawem zdjęć, instrukcji, czy filmów pokazujących sposób zastosowania. Alokowanie kosztów również wymaga zakładania i zarządzania kontami wyposażonymi w wiele atrybutów. Proces tworzenia słowników MD w takim ujęciu staje się zagadnieniem co najmniej skomplikowanym.
10
Procesy MDM
• Master Data mogą być wykorzystywane przez różne grupy użytkowników w: • procesach transakcyjnych,
• systemach analitycznych.
• Jednocześnie mogą być bardzo rozproszone i przechowywane w wielu różnych systemach informatycznych w organizacji.
Porównywarka cen
Dystrybutor/System magazynowy
Księgowość/Kontroling
E-sklep
Serwis opinii
CRM
11
Jakość danych
Jakość danych leży podstaw efektywnego działania systemów
wspierających procesy biznesowe (BI) oraz analitycznych
i raportowych.
Rozwiązania Sanmargar oferują:
• Kartoteki różnych obiektów,
• Porządkowanie „wymiarów” na potrzeby Business Intelligence,
• Integrację systemów i procesów,
• Synchronizację repozytoriów,
• Zapewniają wydajność systemów przy skokowym wzroście ilości
danych.
12
MDM – Data Quality StudioTM
• Sanmargar Team DQS pozwala efektywnie zbierać i udostępniać dane wszędzie tam gdzie są one potrzebne.
• DQS : • Zapewnia platformę przechowywania i zarządzania Master Data;
• stanowi źródło danych dla wszelkich uprawnionych systemów i użytkowników;
• konsoliduje i pozwala zarządzać danymi referencyjnymi w całym cyklu życia Master Data;
• zapewnia mechanizmy pozwalające na ciągłe zapewnienie jakości i jej kontrolę;
• Zapewnia użytkownikom biznesowym możliwość samodzielnego modelowania i zarządzania strukturą /słownikami Master Data. *Meta Studio Sanmargar Team
13
Wdrożenie MDM Wymagania wobec biznesu
• Po stronie biznesu konieczne jest wdrożenie właściwych rozwiązań organizacyjnych, wspierających realizację uzgodnionych procesów zarządzania danymi referencyjnymi.
• Przedsiębiorstwa tworzą zupełnie odrębne komórki, odpowiedzialne za wysoką jakość i dostępność danych referencyjnych.
• Odpowiedzialności za kompletność i aktualność na przykład definicji produktów biznes może przenieść na swoich dostawców bądź partnerów biznesowych.
14
Problemy z jakością danych. Przykłady
„ Dostępne za pomocą systemów raportujących analizy są nieprzydatne dla biznesu ze względu na rozproszenie danych, złe opisy i słabą klasyfikację. Nasi pracownicy wciąż ręcznie zestawiają dane dla zarządu”.
„Bazy klienckie okazały się zbyt słabej jakości, aby mogły być wykorzystane w kampaniach sprzedażowych. Bazowanie na nich naraziło firmę na utratę zaufania klientów i zbyt duże koszty realizacji”.
„Nie możemy optymalizować kosztów produkcji, ponieważ wciąż nie umiemy właściwie agregować i alokowoać danych kosztowych”.
„Mamy problemy z realizacją polityki rabatowej dla klientów z powodu błędów w danych kontrahentów”.
„Jesteśmy niezadowoleni z raportów i posiadanych systemów business intelligence z powodu zbyt słabych danych”.
15
Typowe źródła problemów związanych z jakością danych
• Technologiczne • brak jednorodnego repozytorium dla Master Data • brak scentralizowanych aplikacji do zarządzania Master Data • jednokierunkowe interfejsy pomiędzy repozytoriami • ogromna ilość historycznych, nigdy nie czyszczonych danych
• Procesowe • procesy zarządzania Master Data nie są właściwie zdefiniowane • istniejące procesy nie zapewniają właściwego zarządzania jakością • wymogi jakościowe są niejednoznaczne, bądź w ogóle nie określone • brak procesów poprawy jakości istniejacych danych historycznych
• Organizacyjne • korporacyjne fuzje i przejęcia • niewłaściwa komunikacja wewnątrz organizacji • rozproszona, bądź nie zdefiniowana odpowiedzialność • brak jednostki zajmującej się zarządzaniem Master Data w organizacji
16
Wyzwania w zarządzaniu Master Data
• Dane referencyjne są rozproszone i zduplikowane w wielu repozytoriach i systemach, część wymaganych atrybutów nie jest obecnie zbierana.
• Należy uzgodnić model danych standaryzujący strukturę informacji
• Istniejące dane należy skonsolidować i usunąć niespójności
• Należy zapewnić odpowiednie interfejsy dla użytkowników i dostawców/agentów
• Uzgodnione dane referencyjne powinny być dostępne dla systemów transakcyjnych oraz Business Intelligence
1
17
Wyzwania w zarządzaniu Master Data
• Procesy tworzenia i zarządzania danymi referencyjnymi są często niezdefiniowane i nieuporządkowane. Konieczne działania nie mogą być zrealizowane ze względu na ograniczenia systemów informatycznych. Odczuwamy brak jasno określonej odpowiedzialności oraz kontroli jakościowej: • Należy zredefiniować procesy MDM i dać kontrolę
użytkownikom biznesowym
• Procesy te powinny być w pełni wspierane przez interfejsy aplikacji MDM
• Konieczne jest gromadzenie historii Master Data (analizy trendów, audyty)
• Zapewnienie jakości danych musi być wpisane we wszystkie procesy i interfejsy 2
18
Wyzwania w zarządzaniu Master Data
• Struktura danych referencyjnych (atrybuty, hierarchie, wymagania jakościowe, etc.) jest zaszyta w systemach transakcyjnych i niedostępna dla użytkowników biznesowych
• Należy dać użytkownikom biznesowym możliwość zarządzania strukturą danych
• Konieczne jest zapewnienie możliwości tworzenia i wzajemnego mapowania różnych perspektyw patrzenia na dane (data contexts)
3
19
Wyzwania w zarządzaniu Master Data
• Procesy zbierania i modyfikowania danych referencyjnych są niezależne od procesów ich wykorzystania w systemach transakcyjnych i analitycznych. Często uczestniczą w nich inne osoby i jednostki zewnętrzne
• System zarządzania danymi referencyjnymi powinien zapewnić obsługę całości procesów związanych z ich definiowaniem, zapewnić mechanizmy publikacji uzgodnionych wersji (golden copy) dla innych systemów
• Wszelkie działania związane z tworzeniem i zarządzaniem Master Data powinny być oparte o tenże wydzielony, centralny system MDM 4
20
Wyzwania w zarządzaniu Master Data
• Znaczna część danych referencyjnych może mieć postać binarną (zdjęcia, mp3, video, playable demo) i ze względu na dużą wolumetrię nie powinny one być przechowywane w bazach danych
• Elementem systemu MDM może być zewnętrzny storage dla plików binarnych,
• Baza danych systemu przechowuje jedynie odnośniki do zewnętrznych plików, przechowywanych na odrębnej macierzy, dedykowanej do obsługi multimediów
5
21
Wyzwania w zarządzaniu Master Data
• Zarządzanie danymi referencyjnymi wymaga zdefiniowania i zapewnienia możliwości ciągłego raportowania najważniejszych wskaźników (KPI), związanych ze statystykami, jakością, działaniami użytkowników, etc.
• Główne wskaźniki KPI powinny zostać uzgodnione na poziomie managementu.
• Rozwiązanie musi zapewniać możliwość logowania wszelkich działań użytkowników i tworzenia statystyk na potrzeby raportów i analiz, wspierających całość procesu zarządzania informacjami referencyjnymi.
6
22
Master Data Management
Źródło Master Data dla wszelkich, uprawnionych systemów i użytkowników
DQS Studio – platforma przechowywania i zarządzania Master Data Meta Studio – Zarządzani słownikami danych
Konsolidacja i zarządzanie danymi referencyjnymi w całym cyklu ich życia
Modelowanie i zarządzanie strukturą Master Data
Definiowanie ról oraz odpowiedzialności W procesach zarządzania Master Data w strukturze organizacyjnej przedsiębiorstwa
Zarządzanie jakością i kontrola
23
Produkty Sanmargar Team - zastosowania
• Customer Data Integration (CDI) – jednoznaczna identyfikacja i reprezentacja klienta we wszystkich systemach, kanałach kontaktu i liniach biznesowych przedsiębiorstwa. •Uzupełnianie rekordów
o dane z systemów referencyjnych Poczty Polskiej i GUS. •Kategoryzacja semantyczna danych.
24
Produkty Sanmargar Team - zastosowania
• Product Information Management (PIM) – spójna i aktualna informacja o produktach we wszystkich wewnętrznych procesach biznesowych oraz w całym łańcuchu dostaw.
25
Produkty Sanmargar Team - zastosowania
• Product Information Management (PIM)
• Integracja i segmentacja danych na potrzeby systemów analitycznych i raportujących
1
2
3
4
5
6
7
8
9
10
11
12
13
MIESO
MLEKO
OWOCE WARZYWA
PIECZYWO SWIEZE
PIWO
SERY
WEDLINY
(puste)
26
Produkty Sanmargar Team - zastosowania
• Tworzymy kartoteki:
• Centralne – Podstawowe zbiory danych w organizacji
• Lokalne
• Korporacyjne
• Tworzenie centralnych kartotek:
• Klientów
• Produktów
• Kontrahentów
27
Działanie Data Quality Studio TM
Kontrahenci z systemu CRM
Kontrahenci z systemu ERP
Kontrola NIP Czyszczenie Deduplikacja
Centralna Baza Kontrahentów
Baza referencyjna (ulice, miasta, kody pocztowe, adresy, nazwy alternatywne)
28
Data Quality StudioTM. Efekty czyszczenia danych 29
Przed: Po:
Warszawa, Wesoła, ul. Franciszka Żwirki, kod 05-075
DataQualityStudioTM Rola słownika referencyjnego
30
Kod Miejscowość Ulica Nr. bud.
02-143 Żwirki i Wigury Warszawa 2
Kod Miejscowość Ulica Nr. bud. podobieństwo
02-143 Warszawa Żwirki i Wigury 31 98
Kod Miejscowość Ulica Nr. bud. podobieństwo
21-512 Zalesie Warszawska 31 76
05-135 Wieliszew Warszawska 31 77
...
Wyraźna różnica w propozycjach. Oczywista decyzja, która propozycja lepsza – przypadek do automatycznego wyczyszczenia.
Data Quality StudioTM
Strojenie algorytmów
31
DataQualityStudioTM
Strojenie algorytmów
Kod Miejscowość Ulica Nr. bud.
32-020 Krakow Wieliczka 31
Kod Miejscowość Ulica Nr. bud. podobieństwo
30-022 Kraków Wielicka 31 97
Kod Miejscowość Ulica Nr. bud. podobieństwo
32-020 Wieliczka Krakowska 31 98
Obie propozycje tak samo prawdopodobne Tego przypadku nie można poprawić automatycznie!!
32
Podejście do czyszczenia i kontroli jakości danych Strojenie algorytmów czyszczenia
Liczba błędnie
poprawionych adresów
na każde 1000
100%
Mniej ostre kryteria poprawności -> Większa liczba poprawionych adresów -> Coraz większa liczba błędnie poprawionych
Zasady czyszczenia danych: 1. Nie psujemy danych
2. Czyścimy jak najwięcej danych o ile nie stoi to w sprzeczności z pkt 1.
33
DataQualityStudio TM [DQS]. Przykładowy proces
34
Architektura Meta Studio TM
Master Data Management
Master Data Master Data Master Data Master Data
Meta Studio MDM
Integracja danych
35
Meta Studio MDM. Rola w architekturze BI
Słowniki instytucji zewnętrznych
XML xbrl
txt xls
MetaStudioTM
Słowniki Słowniki Reguły Słowniki
System 1
System 2
System 3
System Sprawozdawczości
System Raportowy
System Analiz Ad hoc
Procedury ETL
Repozytorium Danych
Procedury ETL
Data
Zarządzanie słownikami danych
36
Korzyści z zastosowania Data Quality Studio TM
• Czyszczenie i wzbogacanie informacji w procesach inicjalnej integracji danych referencyjnych • inicjalna walidacja reguł biznesowych (wymagalność pól, wzorce wartości,
spójność referencyjna) • analiza leksykalna i korekta automatyczna • rekordy nie spełniające wymagań nie są odrzucane a jedynie oznaczane do
ręcznej poprawy
• Zapewnienie i kontrola jakości wpisana we wszelkie procesy i interfejsy związane z Master Data • stała walidacja reguł biznesowych i leksykalnych • zaangażowanie użytkowników biznesowych i dostawców/agentów • jasno określona odpowiedzialność
• Ciągła poprawa jakości danych • Efektywne działanie systemów korzystających z danych • Poprawa jakości i wydajności w systemach raportujących
i analitycznych.
37
Kluczowe elementy stosowanego rozwiązania
• Zarządzanie regułami walidacji
• Procesy przetwarzania i czyszczenia
• Słowniki referencyjne
MetaStudioTM
•Reguły walidacji •Parametry procesów •„ręcznie” wprowadzane słowniki wartości, których może nie być w systemie, np. zawody
ETL
•Ekstrakcja •Przygotowanie danych •Wykonanie reguł walidacyjnych
DQS
•Czyszczenie danych adresowych •Czyszczenie innych pól niż adresy przy zastosowaniu podobnych algorytmów
ETL
•Przygotowanie danych zgodnie z ustalonym/wymaganym formatem
Dane źródłowe Bazy
referencyjne Dane
tymczasowe Dane wynikowe
Raporty Analityczne
Podejście do kontroli jakości danych i czyszczenia 38
Podsumowanie
• Zastosowanie czyszczenia i metadanych (słowników) znakomicie usprawnia BI i przynosi wymierne korzyści
• Dysponujemy metodyką czyszczenia danych adresowych i słownikami referencyjnymi
• Wykorzystujemy rozwiązania wspomagające zarządzanie jakością [DQS, MetaStudio]
• Posiadamy doświadczenia w projektach czyszczenia i kontroli danych
39
• Działamy od 2005r;
• Jesteśmy firmą „Business Intelligence”
• Jesteśmy producentem rozwiązań BI:
• zarządzanie metadanymi: MetaStudio
• czyszczenia i deduplikacja danych: DQS
• Produkty:
Partnerstwo technologiczne
Najważniejsi klienci: Agora SA Bank BGŻ JSW SA Energa Obrót SA BNP Paribas Fortis
*Computerworld: Raport TOP 2011
Obszary kompetencyjne:
o Hurtownie danych i systemy raportowe
o Planowanie i budżetowanie
o Optymalizacja procesów controlingowych
o Przetwarzanie i migracja danych
o Zarządzanie danymi podstawowymi / regułami
o Czyszczenie i standaryzacja danych
Sanmargar Team 40
Jesteśmy do dyspozycji
Sanmargar Team sp. z o.o. 03-973 Warszawa , Brukselska 17a T: (22) 870 10 54; F: (22) 212 81 98
[email protected], www.sanmargar.pl
Zapraszamy do nieodpłatnych konsultacji