pénzügyi adattárház építése az ... - bi...

Pénzügyi adattárház építése az Aegon Biztosító Zrt-nél

ELNÖK-IGAZGATÓSEBESTYÉN ZSOLT

+36-30-385-14-05

[email protected]

Mivel foglakozunk?

Üzleti folyamat

• Egyedi ügyviteli rendszerek fejlesztése

• Core biztosítói rendszer fejlesztése

• Workflow

Adat tárolás

• Adattárház építése

• Data Vault modellezés

• ETL

Üzleti előny

• BI kiaknázás

• Prediktív analízis, pénzügyi tervezés

Bemutatkozás számokban

ZRT. alakulás éve – 2011

2011 – IBM Cognos „Év üzleti partnere”



IBM Cognos BI – 10 fő (alkalmazott)(minősítés 28 db)

DWH szakértő – 13 fő (alkalmazott)

Szoftverfejlesztés – 18 fő (alkalmazott)

Referenciák

Utasbiztosítás

Életbiztosítás

Befektetési

Kockázati

Nem biztosítási termékek

LTP

Önkéntes nyugdíj Lakásbiztosítás

Az Aegon termék portfolió

Vállalati vagyon biztosításCsoportos életbiztosítás

Gépjármű biztosítások

Viszontbiztosítás

Balesetbiztosítás

Több mint fél éves előkészítés

Kiírás, több mint 30 első körös meghívott

6-os shortlist

Prezentációk, bemutatók, árak

Kiválasztási folyamat

MNB jelentések

Adattárház alapú főkönyvi feladás

Kontrolling elemzésekAktuáriusi számítások támogatása

Megrendelői siker kritériumok

Önkiszolgáló BI

Mindezt egységesített analitikával, többmint 10 forrás rendszerből

Másodlagos célok

Gyorsabb zárási folyamat

Gyorsított tartalék számítások

Egyszerűen auditálható, transzparens folyamatok

Integrált Data Governance, Data Quality Managements

Önkiszolgáló riporting, dashboarding

Adatbányászati támogatás – Data Science Experience

Aktuáriusi számítások támogatása – Beépített R támogatás

MNB jelentések

készítése, követése

Biztosítási szakma ismerete

Adattárház szaktudás

Több mint 15 éves

biztosítástechnika

rendszer fejlesztésében

szerzett tapasztalat

Mivel nyert a BPC Zrt.?

Reporting szaktudás

One more thing – És még egy dolog

A nyertes ajánlatunk nem tartalmazott hardver és adattárház adatbázis szoftver licenceket

Kiderült, hogy a szükséges licenc igen drága

Ekkor ajánlottuk az IBM appliance lehetőségét

Megcsináltunk egy proof of concept feladatot

IBNR tartalék számítás volt, amely az eredeti környezetben 6 órán keresztül futott

Az IBM appliance környezetben a kérdéses számítás 1 perc !

Az IBM appliance hardverrel együtt olcsóbb volt mint a konkurrens szoftver termék.

IBM Integrated Analytic System

Adattárház

IBM InfoSphere Information Governance Catalog

Data Governance

IBM InfoSphere Data Stage

ETL

IBM Cognos Analytics

Reporting

HW – SW környezet

Hagyományos adattárház komplexitás

Appliance – egyszerűsített adattárház

1

5

Erőmű az adattárházhozPowered by RedHat® on Power

X86-os géphez képest 4x több szál magonként, 4x

nagyobb memória sávszélesség, 4x több cache

memória

IBM Flash Storage

Az alapértelmezett Flash tároló a hardveres gyorsító

architektúrával közelít az in memory sebességhez

Designed For Massively Parallel Performance

Tiered Storage TechnologyTöbb hőmérsékletű tárolás, a forró adatok az extrém gyors Flash,

míg a hidegebb adatok a gazdaságos merevlemez alapú tárolóba

kerülnek

Memory Optimized

In memory BLU columnar technology

Data Skipping

Skips unnecessary processing of irrelevant data

Actionable Compression

Patented technique that preserves order so data can be used

without decompressin

POWER

2X - 5X

PL/SQL compatibiltity

Business Process Consulting_Pénzügyi

adattárház_Vezetői összefoglaló_2017121216

1

6

IBM Integrated Analytics System configurations

M4001-0031/3 Rack

M4001-0062/3 Rack

M4001-010Full Rack

M4001-0202 Racks

M4001-0404 Racks

Servers 3 5 7 14 28

Cores 72 120 168 336 672

Memory 1.5 TB 2.5 TB 3.5 TB 7 TB 14 TB

User

capacity(Assumes 4x

compression)

64 TB 128 TB 192 TB 384 768

IBM Power 8 S822L 24 core server 3.02GHzTMS 900 Flash systems

In-place Expansion Tiered storage

Mellanox 10G Ethernet switches Brocade SAN switches

A Db2Wh BLU gyorsítóAz IBM Research & Development páratlan innovácója

Instructions Data

Results

C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8

Next Generation In-Memory

In memory Oszlop folytonos feldolgozás és

dinamikus adatmozgatás a tároló rétegről

Analyze Compressed Data

A szabadalmazott tömörítési technika megtartja a

sorrendet, az adat a kitömörítés nélkül is

használható

CPU Acceleration

Több magos feldolgozás, egyutasítással több

adat SIMD (Single Instruction Multiple Data)

Data Skipping

Az irreleváns adatok átlépésével kihagyjuk a

szükségtelen műveleteket

Encoded

http://www-03.ibm.com/systems/power/








MACHINE LEARNING READY

Built-in RStudio with Spark embed parallelizes & accelerates data

science tasks using Sparklyr and dplyr libraries.

Self Service Data for new DiscoveriesFull Integration with InfoSphere Governance Catalog

For additionalvalue

Beépített Spark és DSX az interaktív és csoportos Data Science képességekhez

Data mining, prediction, transformations, statistics, spatial, data preparation for predictive and prescriptive in-place analytics

Built-in Jupyter Notebooks for visualizing and coding on data science

tasks using Python, R, & Scala.

Full Integration with Tools for BI & VisualizationIBM Cognos, Tableau, Microstrategy, Business Objects, SAS, MS Excel, SSRS, Kognitio, Qlikview

Full Integration with Tools for Model Building and ScoringIBM SPSS, SAS, Open Source R, Fuzzy Logix

Full Integration for Custom AnalyticsOpen Source R, Java, C, C++, Python, LUA

1

8


Adattárház


Data Governance


ETL


Reporting


InfoSphere DataStage

A beépített funkciók lehetővé teszik, hogy kódolás nélkül vizuálisan tervezzük meg az adatfolyamokat

Támogatja a batch és a valós idejű feldolgozásokat

Újra felhasználható komponenseket készíthetünk, amelyek más jobokbanismét felhasználhatunk

Teljes körű, metaadat-vezérelt ETL funkcionalitás

Teljes körű csapatmunka támogatás

Támogatja és integrálja a különböző adatforrásokat

Join

Load

Lookup

Transform

Load Dataset

Integrate, transform and

deliver data on demand across

multiple sources and targets

including databases and

enterprise applications

Transzformációs stagek

Több mint 50 előre beépített transzformációs és adatfeldolgozó stage-gel rendelkezik, elősegítve a gyors munkavégzést

Számos beépített függvénnyel rendelkezik a bonyolultabb transzformációs logika egyszerű elkészítéséhez

Az egyszerűen használható stagek gyors testreszabást tesznek lehetővé

C++ és JAVA segítségével bővíthető a funkcionalitás

DataStage szekvenciák

Dinamikus munkafolyamatok is definiálhatóak

Külső folyamatokat indíthatunk és komplex kiértékeléseket is végezhetünk

Haladó funkciók, mint például a ciklusok készítése is támogatott

Párhuzamosítás

A végrehajtás során pedig a több példányban futó job

A fejlesztő által készített job

Folyamat szintű párhuzamosítás

Partíció szintű párhuzamosítás

InfoSphere QualityStage

Adatminőség ellenőrző folyamat a tiszta, szabványosított és egyedi információkhoz

Vizuális eszközök segítenek az egyes szabályok és a hozzájuk tartozó logika kialakításához

Intuitív felhasználói felület a gyorsabb fejlesztésért és karbantartásért

Zökkenőmentes integráció az DataStage programmal

Rules Development Toolkit

Visual Match Rule Design

Summary Reporting on

Data Standardization


Adattárház


Data Governance


ETL


Reporting


A komponensek mély integrációja

Hozzáférés a központi „tudástárhoz”

IT és az üzlet együttműködését segítő eszközök

A gyors élesítést segítő funkciók

Az InfoSphere portfólió egyedülálló szinergikus értékkel rendelkezik,

melynek köszönhetően vállalkozás hatékonyabbá és gyorsabbá válik.

Költségei és kockázatai csökkennek, így javítva üzleti eredményességét.

Information Server

Segíti a gyorsabb értékteremtést:



Information serverA teljes adatintegrációs folyamat támogatása

Import Industry Data Models

Search and Profile Source Data

Information AnalyzerInformation

Governance Catalog

DataStage and QualityStage

Transform and Cleanse

Map Sources to Target Model

FastTrack

Services Oriented Architecture

Information Services Director

Populate

Share

Deploy

Share Share Share

Metadata Server

Active Cross-Platform Administration, Management and Reporting

Exchange Data Structures

Link

Common Enterprise Vocabulary

InfoSphere Data Architect

Elősegíti az üzlet és informatika hatékonyabb kommunikációját egy közös üzleti szótár létrehozásával

Rálátást biztosít az üzletiösszefüggésekre

Nagyobb bizalom és elfogadottság az információk kontextusba helyezése révén

Összekapcsolja az üzleti fogalmakat a technikai eszközökkel

Adatszótárhoz való hozzáférhetőség számos eszköz segítségével

Information Governance Catalog Browser

InfoSphere Glossary Anywhere

REST API (bármely alkalmazásba történő integráció)

Blueprints

Business Terms

Taxonomy

Glossary Anywhere

Smart Hover

Information Governance Catalog



Segít a változáskezelésikockázat felmérésében és enyhítésében

Támogatja a vállalati információk hatékony kezelését az adatok, adatmodellek és a BI tartalom változásainak nyomon követhetősége révén

Vizsgálhatóak az Information Server és a nem IBM eszközökközötti függőségek

Testreszabott lekérdezésekkészíthetőek

Queries

Lineage

Policies and Rules

Information Governance Catalog

Az Information Governance Catalog segítségével...

Függőségeket és kapcsolatokat vizsgálhatunk:

Nyomon követhető az információ áramlása az adatbázisoktól

az ETL folyamatokon keresztül a BI riportokig

Megérthetjük az adatbázis táblák és oszlopok tartalmát

A lineage (származás) segítségével meghatározható, hogy az

adatok honnan származnak, vagy hova tartanak.

Az impact (behatás) analízis segít megérthatjük a

függőségeket, valamint a töltési folyamatok, vagy oszlopok

változtatásának hatásait

A futáskori meta adatok vizsgálatával megtudjuk, hogy egy

folyamat futtatása hány sort érintett és sikeres volt-e


Adattárház


Data Governance


ETL


Reporting


Történelem…

Kvíz – I.

Cognos

Kvíz – II.

Cognos

Kvíz – III.

Cognos

Köszönöm a figyelmet!

36

SEBESTYÉN ZSOLT

ELNÖK - IGAZGATÓ

+36-30-385-14-05

[email protected]

pénzügyi adattárház építése az ... - bi...

Documents