9$/y6 ,'(- # 2'6 goldengate alapokon a magyar...
TRANSCRIPT
VvAaLlÓóSs IiıDdEeJjȷŰű OoDdSs goldengate alapokon a magyar telekomban
Pusztai Péter IT fejlesztési senior menedzser – Magyar Telekom
Medveczki György szenior IT architekt – T-Systems Magyarország
2014. március 26.
2
AaMmIiıRrŐőLl SsZzÓó LlEeSsZz…
� Siebel Replika – ODS rendszer születésének körülményei a Magyar
Telekomban � Replikáció GoldenGate-tel � Valós idejű adattörténet építés mikéntje és gyakorlati haszna � Kihívások az implementáció során � A rendszer felhasználási céljai, lehetőségei � GoldenGate működése, tapasztalatok � Technológiai jógyakorlatok
3
� Több forrásból származó, integrált adatokra épített adatszolgáltatások � Rugalmasan építhető riporting keretrendszer kialakítása
� Nagy számításigényű feladatok elvégzése � Nagy adattömegű, batch adatszolgáltatások
� Siebel audit logok biztonságos és elkülönített gyűjtése � Meghatározott tulajdonságok alapján történő adatirányítás � Érzékeny adatokhoz történő hozzáférés korlátozása
� Valós időben épülő adattörténet
Aa SsZzÜüLlEeTtÉéSs KkĸÖöRrÜüLlMmÉéNnYyEeIiı MmIiıLlYyEeNn IiıGgÉéNnYyEeKkĸ HhÍíVvTtÁáKkĸ ÉéLlEeTtRrEe Aa SsIiıEeBbEeLl RrEePpLlIiıKkĸÁáTt
Éles Siebel tehermentesítése
3
Érzékeny adatok és Siebel audit logok kezelése
2
Adattárház táplálása
1
Aa SsZzÜüLlEeTtÉéSsTt KkĸÖöVvEeTtŐőEeNn ÚúJjȷAaBbBb IiıGgÉéNnYyEeKkĸ JjȷEeLlEeNnTtEeKkĸ MmEeGg:
4
GgOoLlDdEeNnGgAaTtEe RrEePpLlIiıKkĸÁáCcIiıÓó RrEePpLlIiıKkĸÁáCcIiıÓóSs SsZzÁáLlAaKkĸ
SIBREP – DML/DDL AUDREP – DML/DDL, insert all HSTREP – csak DML SOAREP – DML/DDL
GoldenGate szálak
NG Siebel
AIA
Siebel Replika
5
AaDdAaTtTtÖöRrTtÉéNnEeTt ÉéPpÍíTtÉéSs ÉéSs AaZz AaDdAaTtTtÖöRrTtÉéNnEeTt GgYyAaKkĸOoRrLlAaTtIiı HhAaSsZzNnAa
Rugalmasan konfigurálható keretrendszer • History record előállítása 3 lépésben • Metaadatbázis használata (tábla / mező szintű konfiguráció, fázisok
definiálása, triggerek felépítése) Adattörténet felhasználási lehetőségei: • adattárház számára előkészített érvényességkezelt idősor • nyomozás (hibák, incidensek, performancia) • folyamattámogató üzleti funkciók • riportolás
6
KkĸIiıHhÍíVvÁáSsOoKkĸ
Forrás adatbázisok struktúrájának változása
Megoldás � DDL replikáció
� DDL replikáció monitorozása
Adattörténet folytonosságának fenntartása
Megoldás � Adattörténet javító eszköz
Programok fejlesztése, tesztelése
Megoldás � Adatmodell feltérképezése
� Tesztadatok előállítása a replika adatbázisban
26.03.2014 – Streng vertraulich, Vertraulich, Intern – Autor / Thema der Präsentation 7
AaRrCcHhIiıTtEeKkĸTtÚúRrAa ÁáTtTtEeKkĸIiıNnTtÉéSsEe FfOoRrRrÁáSs- ÉéSs CcÉéLlRrEeNnDdSsZzEeRrEeKkĸ, MmOoDdUuLlOoKkĸ
FfEeLlHhAaSsZzNnÁáLlÁáSsIiı CcÉéLlOoKkĸ, FfUuNnKkĸCcIiıÓóKkĸ
Számos felhasználási lehetőség: • valósidejűség kihasználása: audit logok szolgáltatása a logelemző
rendszernek akár perces gyakorisággal • kérés – válasz alapú interfész: dolgozói kedvezmény osztás • visszairányú interfészek: a forrás rendszer egyben a replikában feldolgozott
adatok fogadó rendszere • Siebel terméktörzs adatok szolgáltatása • teljes adattörténetre épülő adatszolgáltatások: hatósági adatszolgáltatás,
ahol minden változás átadása szükséges • operatív riportok: pl. vizsgálatra váró invalid címek
8
10
MmIiı AaZz OoDdSs ÉéSs MmIiıÉéRrTt JjȷÓó?
• Az Operational Data Store fogalma (Inmon) • Összeköti a nagyvállalat rendszereit, adatszolgáltatás buszként működhet • Gyorsabban és alacsonyabb költségekkel épülhet, mint egy adattárház • Valós idejű adatigények is kielégíthetők (online interface-ek, realtime
riportok) • Tehermentesíti a produktív rendszereket • Az adattárház előszobája
11
EeGgYy RrEePpLlIiıKkĸÁáCcIiıÓóSs AaDdAaTtBbÁáZzIiıSs EeLlŐőNnYyEeIiı
• Siebel Replika – A dobozos CRM rendszer lehetőségeit kiterjeszti egy valós idejű másolaton
• A replikált adatbázison közvetlenül lehet fejleszteni • Átmeneti WA megoldások gyorsan fejleszthetők – manuális munka helyett • Ütemezett batch feldolgozások • Kimball és a kések a vendéglő konyhájában vs. ügyfél igények • Többlet jogosultság lehetőségek (db szintű hozzáférés, Database Vault) • Licensz optimalizálás: pl. egy DB Vault alacsonyabb core számon
13
GgOoLlDdEeNnGgAaTtEe KkĸÉéPpEeSsSsÉéGgEeKkĸ
• ETL képességek - defgen, filter, meta adatok (pl. commit timestamp), transzformációk
• Több utas replikáció • Heterogén platformok: Oracle Database, MySQL, IBM DB2,
Microsoft SQL Server, Teradata, Sybase, SQL/MX (Nonstop SQL) – amit mi is használunk, stb.
• Logikai standby DB • Oda-vissza irányú szinkronizáció • GoldanGate 12c
14
TtEeCcHhNnOoLlÓóGgIiıAaIiı JjȷÓóGgYyAaKkĸOoRrLlAaTtOoKkĸ
• Historizációs eljárások (pl. SCD2), megőrizhető tranzakciós logok • Valós idejű adattörténet építő megoldás – minden változás megőrizhető! • GoldenGate funkciók: metaadatok, replikációs metódusok • Konfigurációs lehetőségek: SCD1, SCD2 • Külön initial load támogatás historyhoz • Adattörténet javító alkalmazás, ha hiányzó változást kell pótolnunk • Hibrid terhelés, egyszerre van OLTP és OLAP -szerű DB használat
15
ÖöSsSsZzEeGgZzÉéSs
• ODS rendszer előnyei egy nagyvállalati infrastruktúrában • Operatív rendszer terhelésének csökkentése • Az operatív rendszerbe új funkció fejlesztése kockázatos, időigényes
költséges • Adatelérés lehetősége szélesebb felhasználói körnek • ODS adattörténetre van szükség • Valós idejű kiaknázás, adatigények