Download - TURKISH ORACLE USER GROUP
![Page 1: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/1.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
TURKISH ORACLE USER GROUP
Gürcan ORHANTurkcell Teknoloji Ar. Ge. A.Ş.Yazılım Mimarı ve Deneyimli Yazılım Mühendisi
http://gurcanorhan.wordpress.com
http://www.twitter.com/gurcan_orhan
http://tr.linkedin.com/in/gurcanorhan
![Page 2: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/2.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
BEN KİMİM ?
Uludağ Üniversitesi Endüstri Mühendisliği 1992 - 2000
İlk DWH projesi Altınyıldız DWH - 2003
Önemli DWH projeleri ;
Aktif iş hayatı - 1994
AVEA DWH Yeniden Yapılandırma Projesi
Tekstilbank DWH ve Siebel CRM Marketing Automation
Turkcell NODI (Network Operations Data Infrastructure)
2008’den itibaren Turkcell, 2010’dan itibaren Turkcell Teknoloji
Oracle Bilgisayar Programı Kullanıcılar Derneği Genel Sekreteri
NODI projesinin Customer Snapshot’ı Oracle.com’da yayınlandı
![Page 3: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/3.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
NERELERDEYDİM ?
Önemli sunumlar ;
Oracle Open World 2010 – San Francisco (22.10.2010)
UKOUG Technology & E-Business Suite Conference – Birmingham (29.11.2010)
Sakarya Üniversitesi Bilişim ve Teknoloji Şöleni – Sakarya (24.03.2011)
ODTUG KScope ’11 – Long Beach, California (28.06.2011)
OPN – BI Day – LinkPlus (29.09.2011)
Oracle Open World 2011 - San Francisco (03.10.2011)
Oracle Day ‘11 - İstanbul (01.11.2011)
Fırat Üniversitesi Geleceğine Yön Ver - Elazığ (12.12.2011)
![Page 4: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/4.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
NELER YAPTIM ?
http://www.oracle.com/oraclemagazinehttp://www.oracle.com/technetwork/issue-archive/2012/12-jan/index.html
![Page 5: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/5.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
NE KULLANIRIM ?
Oracle
Microsoft SQL Server
Veri tabanı yönetim sistemleri
Sybase ASE
Sybase IQ
MySQL
Oracle Data Integrator
Oracle Warehouse Builder
ETL
Informatica
Business Objects Data Integrator
Sybase Power Designer
CA ERWIN
Model Tasarım Oracle Business Intelligence
Cognos
İş Zekası
Business Objects
Microstrategy
Herhangi bir ANSI database
![Page 6: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/6.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
GLOSSARY
• DWH : Datawarehouse – Veri Ambarı• DM : Data Mart – Veri Kümeleri• BI : Business Intelligence – İş Zekası
• ETL : Extract – Transform – Load• IK : Incremental Update – Artımsal Güncelleme• SCD : Slowly Changing Dimension – Yavaş Değişen Boyutlar• CDC : Change Data Capture – Değişen Veriyi Yakala
• OLTP : Online Transactional Processing – Operasyonel Sistemler• OLAP : Online Analytical Processing – Küpler• SA : Subject Area – Konu Alanı• STG : Staging Area – Kademe Alanı• DQ : Data Quality – Veri Kalitesi
• FACT : Fact (TRX) – Gerçekleşen (Hareket)• DIM : Dimension – Boyut
![Page 7: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/7.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
HERŞEY NASIL BAŞLADI ?
![Page 8: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/8.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
Veri Ambarı nedir, ne demektir?
Veri Kalitesi nedir, nasıl sağlanır?
DWH & OLTP farkı nedir?
DWH bileşenleri nelerdir?
ETL ne demektir?
ETL tipleri nelerdir?
DWH & DM farkı nedir?
Modelleme nedir, nasıl yapılmalıdır?
Veri Tabanı fiziksel yaklaşımları nelerdir?
GÜNÜN AJANDASI
![Page 9: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/9.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
DATAWAREHOUSE (DWH) NEDİR ?
DWH tarihi• EIS (Enterprise Information Systems)• DSS (Decision Support Systems)• Data Warehousing and Business Intelligence (DWH / BI)
Bir veri ambarı; yönetim kararlarını destekleyici, konu yönelimli, entegre, uçucu olmayan ve zaman değişkenli veri kümesidir. (Bill Inmon - 1990)
Teknik Avantajları• Paralel kullanımı (Parallelism)• Veri Kümelemesi (Partitioning)• Veri Sıkıştırması (Compressing)
İş Zekası, verinin bilgiye dönüşümü işlemidir. (Gartner Group)
DATA
INFORMATION
KNOWLEDGE
DECISION
![Page 10: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/10.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
DWH & DM farkı nedir?
Veri Ambarı nedir, ne demektir?
Veri Kalitesi nedir, nasıl sağlanır?
DWH bileşenleri nelerdir?
ETL ne demektir?
ETL tipleri nelerdir?
Modelleme nedir, nasıl yapılmalıdır?
Veri Tabanı fiziksel yaklaşımları nelerdir?
DWH & OLTP farkı nedir?
GÜNÜN AJANDASI
![Page 11: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/11.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
DATAMART (DM) NEDİR ?
Datamartlar• Konu yönelimli• Tümleşik• Genellikle tek kaynak sistemden beslenir
ÖZELİK DATA WAREHOUSE DATAMART
İçerik Kurumsal Departmansal
Konu Çok Tek özne, iş birimi odaklı
Veri Kaynağı Çoğul Tekil
Implementasyon Ay – Yıl Ay
Bağımlı veya bağımsız olabilirler.• Bağımlı DM : DWH’tan beslenen, kolay ETL, kurumsal planın parçası• Bağımsız DM : Ayrık, operasyonel maliyeti yüksek, harici veri
kaynaklarından beslenen, analitik ihtiyaçlara yönelik hazırlanan
![Page 12: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/12.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
Veri Ambarı nedir, ne demektir?
Veri Kalitesi nedir, nasıl sağlanır?
DWH bileşenleri nelerdir?
ETL ne demektir?
DWH & OLTP farkı nedir?
ETL tipleri nelerdir?
Modelleme nedir, nasıl yapılmalıdır?
Veri Tabanı fiziksel yaklaşımları nelerdir?
DWH & DM farkı nedir?
GÜNÜN AJANDASI
![Page 13: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/13.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
DWH & OLTP
ÖZELİK OPERASYONEL SİSTEM DATA WAREHOUSE
Yanıt Süresi Milisaniye / Saniye Saniye / Saat
Operasyon DML (Data Manipulation Language)
Öncelikli olarak salt-okunur
Veri doğası 30 – 60 gün Zamansal enstantane
Veri Organizasyonu Uygulama Öznel, zamansal
Veri Miktarı Küçük / Büyük Büyük / Çok Büyük
Veri Kaynağı Operasyonel, Dahili Operasyonel, Dahili, Harici
Aktiviteler Proses bazlı Analiz Bazlı
![Page 14: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/14.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
Veri Ambarı nedir, ne demektir?
Veri Kalitesi nedir, nasıl sağlanır?
DWH bileşenleri nelerdir?
ETL ne demektir?
ETL tipleri nelerdir?
Modelleme nedir, nasıl yapılmalıdır?
Veri Tabanı fiziksel yaklaşımları nelerdir?
DWH & OLTP farkı nedir?
DWH & DM farkı nedir?
GÜNÜN AJANDASI
![Page 15: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/15.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
DATAWAREHOUSE BİLEŞENLERİ
OPERASYONEL KAYITLAR
ARŞİV KAYITLARIDOSYALAR
OPERATIONAL DATA STORE
(ODS)DWH DM
METADATA REPOSITORY
KAYNAKSİSTEMLER
STAGINGKATMAN
KURUMSALKATMAN
SUNUMKATMANI
DWH Yazılım Yaklaşımları• Bing Bang Yaklaşımı• Artımsal Yaklaşım
• Yukarıdan aşağıya artımsal (top-down incremental)• Aşağıdan yukarıya artımsal (bottom-up incremental)
![Page 16: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/16.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
Veri Ambarı nedir, ne demektir?
Veri Kalitesi nedir, nasıl sağlanır?
DWH bileşenleri nelerdir?
ETL ne demektir?
ETL tipleri nelerdir?
Modelleme nedir, nasıl yapılmalıdır?
Veri Tabanı fiziksel yaklaşımları nelerdir?
DWH & OLTP farkı nedir?
DWH & DM farkı nedir?
GÜNÜN AJANDASI
![Page 17: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/17.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
ETL NE DEMEKTİR?
E-T-L (Extract – Transform – Load)
Extraction• Farklı kaynak sistemden, veri tabanından farklı formatlarla elde edilir.• Kaynak sistemlerin canlı, arşiv, dahili ve harici verilerine erişebilir.
Transform• Veri hataları düzeltilir.• Genellikle staging area (remote/on site) kullanılır• Veri entegrasyonu sağlanır• İş kuralları verilere uygulanarak veri doğrulaması gerçekleştirilir• Veriler onaylanır• Verilere zaman entegre edilir.
Load• Elde edilen temizlenmiş veri DWH ortamına yazılır
![Page 18: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/18.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
Veri Ambarı nedir, ne demektir?
Veri Kalitesi nedir, nasıl sağlanır?
DWH bileşenleri nelerdir?
ETL ne demektir?
ETL tipleri nelerdir?
Modelleme nedir, nasıl yapılmalıdır?
Veri Tabanı fiziksel yaklaşımları nelerdir?
DWH & OLTP farkı nedir?
DWH & DM farkı nedir?
GÜNÜN AJANDASI
![Page 19: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/19.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
ETL ÇEŞİTLERİ
Incremental Update
• Kaynak sistemden elde edilen birincil anahtarlar (Primary Key) yardımı ile «yeni geleni ekle, mevcut olanı güncelle, silineni işaretle» yaklaşımı.
• Change Data Capture (CDC)
Slowly Changing Dimensions Type II (SCD)
Truncate & Load
• Kaynak sistemden elde edilen verilerin tümünün silinerek yeniden yapılandırılması.
• Kaynak sistemden elde edilen veriler tarihsel olarak saklanarak hiçbir veri silinmez. Tarihsel yaklaşım.
![Page 20: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/20.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
ETL PROBLEMLERİ
• Kaynak sistemdeki tablonun unusable olması
• Kaynak sistemdeki dosyaya erişilememe
• Yetersiz metadata
• Zayıf veya yetersiz analiz süreci
• Yetersiz yer (storage) planlama
• Kaynak sistemde yapısal değişiklikler
• Yetersiz veri validasyonu
• Hatalı mantıksal / fiziksel model dizaynı
• Veri tipi uyumsuzlukları
![Page 21: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/21.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
Veri Ambarı nedir, ne demektir?
Veri Kalitesi nedir, nasıl sağlanır?
DWH bileşenleri nelerdir?
ETL ne demektir?
ETL tipleri nelerdir?
Modelleme nedir, nasıl yapılmalıdır?
Veri Tabanı fiziksel yaklaşımları nelerdir?
DWH & OLTP farkı nedir?
DWH & DM farkı nedir?
GÜNÜN AJANDASI
![Page 22: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/22.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
MODELLEME
İş modelinin oluşturulması (Business Model)• Strateji analizinin yapılması• İş birimi tanımlarının ve kurallarının belirlenmesi• İş ihtiyaçlarının belirlenmesi
Mantıksal modelin oluşturulması (Logical Model)• İlişki ve ilişki tiplerinin belirlenmesi• Fact ve Dimension’ların tespit edilmesi• Sonuçların mantıksal olarak üretilerek konu alanlarının tespit edilmesi• Nesnelerin isim ve renk standartlarının belirlenmesi
Fiziksel modelin oluşturulması (Physical Model)• Donanım ihtiyaçlarının tespit edilmesi• Tablo ve index için disk kapasitesi ihtiyacının belirlenmesi• Partition stratejisinin belirlenmesi• Güvenlik stratejisinin belirlenmesi
![Page 23: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/23.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
MODELLEME
Third Normal Form (3NF)
![Page 24: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/24.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
MODELLEME
Star Schema
![Page 25: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/25.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
MODELLEME
Snowflake Schema
![Page 26: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/26.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
Veri Ambarı nedir, ne demektir?
Veri Kalitesi nedir, nasıl sağlanır?
DWH bileşenleri nelerdir?
ETL ne demektir?
ETL tipleri nelerdir?
Modelleme nedir, nasıl yapılmalıdır?
Veri Tabanı fiziksel yaklaşımları nelerdir?
DWH & OLTP farkı nedir?
DWH & DM farkı nedir?
GÜNÜN AJANDASI
![Page 27: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/27.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
VERİ KALİTESİ NEDİR?
• Beklenen veri, beklenen yerde, beklenen şekilde bulunmaz ise veri kalitesi problemi ortaya çıkar.
• Farklı anlama gelen data
• Eksik bilgi, verinin farklı alanda olması
• Veri tipi farklılığı
• Veri boyutu farklılığı
• Veri doğrulama kurallarının olmaması
• Drill-Down olmaması
• İlişkisel bütünlüğün olmaması, öksüz kayıtların varlığı
• Veri duplikasyonu
![Page 28: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/28.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
Veri Ambarı nedir, ne demektir?
Veri Kalitesi nedir, nasıl sağlanır?
DWH bileşenleri nelerdir?
ETL ne demektir?
ETL tipleri nelerdir?
Modelleme nedir, nasıl yapılmalıdır?
Veri Tabanı fiziksel yaklaşımları nelerdir?
DWH & OLTP farkı nedir?
DWH & DM farkı nedir?
GÜNÜN AJANDASI
![Page 29: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/29.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
FİZİKSEL ORTAM
Fact tablo karakteristikleri• İş birimlerinin kullanacağı nümerik metrik değerleri içerir• Büyük miktarda veri içerir• Çabuk büyür, çok hızlı genişler• Stabil, Türetilmiş veya Özetlenmiş veri içerir• Genellikle ekleme yapılır• Genellikle dimension tablolarla foreign key ile ilişkilidir
Dimension tablo karakteristikleri• İş birimlerinin görmek istedikleri metin tipteki veriyi içerirler• Genellikle statik veri içerirler• Boyutları küçüktür• Truncate Load mekanizmasına uygundur
Slowly Changing Dimensions tablo karakteristikleri• Genellikle link tablolarıdır (Fact – Dimension linki)• Fact üzerindeki dimension’ın tarihçe bilgilerini tutarlar
![Page 30: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/30.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
FİZİKSEL ORTAM
Partitioning• Range Partition• Hash Partition• List Partition• Index Partition• Composite Partition
Indexing• B-Tree Index• Bitmap Index• Function Based Index• Partitioned Index
Star • Genellikle link tablolarıdır (Fact – Dimension linki)• Fact üzerindeki dimension’ın tarihçe bilgilerini tutarlar
Materialized View• Fiziksel yer kaplayan, istendiği zaman refresh edilebilen view yapısı
![Page 31: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/31.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
SONUÇ
![Page 32: TURKISH ORACLE USER GROUP](https://reader036.vdocuments.site/reader036/viewer/2022062409/56814781550346895db4b3db/html5/thumbnails/32.jpg)
11.05.2012 – Gürcan Orhan @ π-TEK – Kocaeli Üniversitesi
TEŞEKKÜRLER
Gürcan ORHANhttp://gurcanorhan.wordpress.com
http://www.twitter.com/gurcan_orhan
http://tr.linkedin.com/in/gurcanorhan