oracle day 2011 · Élet a warehouse builder után, avagy mit hoz a data integrator? oracle day...
TRANSCRIPT
Élet a Warehouse Builder után, avagy mit hoz a Data Integrator?
Oracle Day 2011
2011. november 8.
Szabó Gábor Csoportvezető, Vezető tanácsadó
Üzleti Intelligencia
R&R Software Zrt.
© R&R Software Zrt. 2011
Miért az R&R Software?
• ODI projekt: T-Com Hyperion Planning bevezetés
• Oracle University oktatások megtartása • Magyarország
• Skócia
• Szlovákia
• USA
R&R Software’s trainer „spoke clearly and confidently about the subject. He demonstrated a clear understanding about the tool
and was able to explain the concepts well."
© R&R Software Zrt. 2011
Tartalom
• Oracle adatintegrációs eszközök
• Oracle Data Integrator architektúra, működési elv
• Az ODI és • a GoldenGate
• az Oracle BIEE Suite Plus
• a SOA
• a Hyperion
• az adatminőség
• Mikor válasszuk az ODI-t?
© R&R Software Zrt. 2011
Adatintegáció Oracle módra
MDM Applications
SOA Platforms
Oracle Applications
Business Intelligence
Activity Monitoring
Custom Applications
Oracle GoldenGate
Log-based CDC
Data Replication
Real-time Data
SOA Abstraction Layer
Service Bus Process Manager Data Services
Oracle Data Integrator
ELT/ETL
Data Transformation
Bulk Data Movement
OLTP System
Flat Files Data Warehouse/ Data Mart
OLAP Cube Web 2.0 Web and Event Services, SOA Exadata
Data Verification
Oracle Data Quality
Data Profiling
Data Parsing
Data Cleansing
Data Federation
Data Lineage Match and Merge
Comprehensive Data Integration Solution
© R&R Software Zrt. 2011
Bármilyen adattárház
Bármilyen OLAP, tervező rendszer Tranzakciós
adatbázisok
Alkalmazások
Legacy rendszerek
Platformfüggetlen
Nyílt rendszer, standardokra épül
Egyszerű használat
Nagy teljesítmény és skálázhatóság
Alacsony üzemeltetési költség
Oracle Data Integrator
© R&R Software Zrt. 2011
Desktop
Repositories
ODI Studio
Operator
Designer
Topology
Security
ODI Master
Repository ODI Work
Repository
Sources and Targets
Legacy Applications
ERP/CRM/PLM/SCM
Files / XML DBMS DW / BI / EPM
JVM
Java EE
Application
ODI SDK
WebLogic 11g / Application Server
Data Sources Connection Pool
Web Service Container
Public WS Data
Services
FMW Console
ODI Plug-in
Servlet Container
ODI Console
Java EE
Application
ODI SDK
Runtime WS
Java EE
Agent
JVM
Run-time WS
Standalone
Agent
Open Web Services for
decoupled invocation of
any ODI jobs
Heterogeneous access
SDK APIs for Java
generation of any
ODI system
metadata
Metadata is an open
relational model
with built-in Flex
Fields
OpenTools for
adding OS
functionality to any
ELT/ETL job
ODI architektúra
© R&R Software Zrt. 2011
Tradicionális ETL architektúra
Extract Load Transform
ODI megközelítés
“E-LT”
Load Extract
Transform Transform
E-LT kontra ETL
• Teljesítmény-optimalizálás
• Az adatbázis képességeinek kihasználása
• Nincs szükség transzformációs szerverre
• Meglévő hardver infrastruktúra használata
• Hálózati forgalom optimalizálása
© R&R Software Zrt. 2011
D A
B
File
C
C$_0
C$_1
LKM
LKM
IKM
I$ E$ (Errors)
CKM IKM
RKM
JKM
Check-Load Transform Extract-Load
ODI
Agent
Apps Business Intelligence
Az ODI Agent bárhova
telepíthető Natívan támogatja a
legismertebb adattárház
platformokat.
E-LT architektúra Data Integrator-al
• 100% Java • Adatbázis CPU használat, alkalmazás CPU helyett
© R&R Software Zrt. 2011
Hagyományos ETL fejlesztés • Minden egyes lépés megadása fejlesztéskor • Rendkívül erőforrás igényes mind a
fejlesztés mind a karbantartás során
ODI Declarative Design megközelítés • Automatikusan generálja a töltési folyamatot • Csökkenti a fejlesztési lépések számát • Egyszerűsíti a folyamatot
Előnyök Csökken a betanulási idő Rövidebb fejlesztési szakasz Nem IT szakemberek számára is érthető
Hagyományos ETL fejlesztés
ODI Declarative Design
Hogyan: Beépített sablonok
Mit akarunk
Automatikusan legenerálja a
folyamatot
1 2
„Declarative Design”
© R&R Software Zrt. 2011
ODI Knowledge Modules
Staging Area
Extract/Join/Transform
Extract/Transform
Join/Transform Mapping - SALES = SUM(LINES.AMOUNT) +
CORRECTION.VALUE.
- SALES_REP = ORDERS.SALES_REP_ID
…
Filter - ORDERS.STATUS=CLOSED
…
Constraints
-ID is flagged not null in the model.
-Unique index UK_ID is declared on
table SALES.
…
Join - ORDERS.ORDER_ID = LINES.ORDER_ID
…
KM
TEMP_1
TEMP_2
TEMP_
SALES
1
2
3
4
5
Transform and integrate
© R&R Software Zrt. 2011
Kódgenerálás
Generated code Truncate Table SCOTT.EMP
Insert into SCOTT.EMP
Select Round(Sum(Sal*Coeff)) …
Begin … If .. Then … Else
ftp ...
Implemented business
rules Inc_net = Round
(Sum(Inc * coeff))
Knowledge module Truncate Table <%=odiRef.getTable(« »)%>
Insert into <%=odiRef.getColList(…)%>
Select <%=odiRef.getFrom()%> …
Begin … If .. Then … Else
ftp ...
Fejlesztés
ODI Agent
runs the generated code
Futtatás Truncate Table SCOTT.EMP
Insert into SCOTT.EMP
…
Other metadata
- Topology of your
servers
- Models in servers
- Technology, and
so on
Targets
Sources
plus
© R&R Software Zrt. 2011
Beépített modul minden platformhoz
• Application Adapters for Oracle E-Business Suite, PeopleSoft, Siebel, JD Edwards, SAP ERP and SAP BW.
• Oracle OLAP, Oracle CDC
• Hyperion Planning, Financial Management and Essbase
• Real-Time CDC with GoldenGate
• Optimizations for Teradata and multi-statements
• Oracle DB multi-table insert
• ADF-View Objects via OBI-EE
OLTP, OLAP Sources
Application Sources
Legacy Sources
Oracle Data Integrator
Enterprise Edition
KMs
KMs
KMs
SAP ERP
Siebel
SAP BW
eBusiness Suite
Oracle Datapump
Oracle DBLink
DB2 Exp/Imp
JMS Queues External Tables
J.D Edwards Oracle
SQL*Loader
TPump/ Multiload
Type II SCD
Oracle Merge
Siebel EIM Schema
Oracle Web Services
DB2 Web Services
© R&R Software Zrt. 2011
Changed Data Capture (CDC)
• Csak a változott rekordok áttöltése
• Teljesítményoptimalizálás
• Valós idejű adattárház
• Szeparált riport adatbázis
• Adatbázis replika magas rendelkezésre álláshoz
© R&R Software Zrt. 2011
ODI CDC vagy ODI + GoldenGate?
ODI CDC Triggerekkel Adatbázis log alapú ODI CDC
vagy IBM AS/400
ODI + GoldenGate
Nem terheli a forrásadatbázist
© R&R Software Zrt. 2011
Az ODI és az Oracle BIEE Suite Plus
• Kész Oracle BI repository és riportok
• Riporton megjelenő adatok nyomon követése
• Futtatási statisztikák
© R&R Software Zrt. 2011
Any Data Source Data Warehouse
& OLAP
• Oracle Business Intelligence
• Oracle Performance Management
• Oracle Database, Essbase & Tools
• Oracle Fusion Applications
• Oracle Fusion AIA
• Oracle Fusion Middleware
High Performance
ETL & Replication
Az ODI és a SOA
• Data Service elérés az adatokhoz
• ODI folyamat indítása Web service-ként
• Web service hívása ODI folyamatból
© R&R Software Zrt. 2011
Oracle Hyperion
Planning
Oracle Hyperion
Financial Mgt
Oracle Hyperion
Essbase
Planning API HFM API Essbase API
Oracle | Hyperion Data Access
Data Services Authentication Logging Services
API Layer
Hyperion
Planning
Hyperion
Financial
Management
Hyperion
Essbase
Metadata Discovery
& Model Creation
Extract Data Use
Essbase KM
Extracts Dimension
Members Use
Essbase KM
Loads Data
Loads Dimension
Members
Other Features Cube Refresh Consolidate Calculate
Oracle Hyperion Application Adapters
Oracle Data Integration Suite
Metadata
Lineage
Data Distribution & Delivery APIs
Bulk/Trickle
Loading
Changed Data
Capture
Master
Data
Data Quality
& Profiling
ODI Knowledge Module Framework
Oracle
EBS
PeopleSoft
SAP/R3
Other
Sources
Data
Warehouse
CDC
Message
Queues
Information Assets
Bulk and Real-Time Data Processing
Az ODI és az Oracle EPM (Hyperion)
© R&R Software Zrt. 2011
ODI EE
Oracle Data Profiling
Better Data Visibility
Tighter Data Control
Greater Data Accuracy
Metadata Profiling of Source & Target
Visual Data Quality Tools
Oracle Data Quality
Duplicate Detection, Matching & Merging
Adatminőség
© R&R Software Zrt. 2011
Mikor válasszuk az ODI-t?
Új, „zöldmezős” adattárház projekt
Új, nagyobb fejlesztés meglévő adattárházban
Alkalmazás integráció
Valós idejű adatintegráció
+ Tervezni a meglévő OWB környezetek leváltását
© R&R Software Zrt. 2011
Miben tud segíteni az R&R Software?
• Megvalósíthatósági tanulmány • „Zöldmezős” • Migráció (OWB, egyéb)
• Megvalósítás • Teljes körű projektvezetéssel • Alvállalkozóként
• Oktatás
• Oracle University
• Személyre szabott
• Hot-line, support
© R&R Software Zrt. 2011
Melléklet
• R&R Software Zrt. cégbemutató
• Megoldások és szolgáltatások
• Iparágak, referenciák
• Üzleti intelligencia és vállalati teljesítmény menedzsment üzletág
© R&R Software Zrt. 2011
R&R Software Zrt. Vezető hazai üzleti alkalmazás szállító
• Alapítva 1991
• Management tulajdonosi kör
• 130+ foglalkoztatott szakértő
• Árbevétel 2010: 1,38 milliárd Ft.
• 1,28 milliárd Ft saját tőke
• Kiemelkedő ügyfél-elégedettség
• ISO 9001:2000 (DNV)
© R&R Software Zrt. 2011
Megoldások és szolgáltatások
Vállalatirányítási rendszerek (ERP)
Ügyfélszolgálati és Számlázási rendszerek
(BSS, Utility)
Ügyfélkapcsolat-kezelési rendszerek (CRM)
Üzleti Intelligencia, Vállalati Teljesítmény Menedzsment (BI – EPM)
Rendszerintegráció és Tanácsadás
© R&R Software Zrt. 2011
Iparágak, referenciák
• Autókereskedések
• Bank
• Élelmiszeripar
• Gyártás
• Kereskedelem
• Közmű
• Telekom
• Egyéb…
…és még sokan mások: http://www.rrsoftware.hu/wps/wcm/connect/rrhu/rr/referenciak/