pt14 data warehouse

Pustaka Data (Data Warehouse) menyimpan, mengelola dan memberikan data untuk mendukung pengambilan keputusan strategis.

Data Warehouse bersifat informasional: bertujuan untuk menyampaikan informasi untuk keperluan analisa.FAKULTAS TEKNOLOGI INFORMASI*PERANCANGAN BASISDATA - 3 SKSData Warehouse

PERANCANGAN BASISDATA - 3 SKS

Data proses-bisnis harian (order, inventory, payroll, account) dari aplikasi OLTP: OnLine Transaction Processing

Karakteristik:Sebagian besar operasi adalah update - berupa transaksi per satuan data (record)Bersifat rekaman sesaat (snapshot)Orientasi ke aplikasiHanya data rinci (transaction level)*PERANCANGAN BASISDATA - 3 SKSTransactional (vs Informational) DataFAKULTAS TEKNOLOGI INFORMASI


Data tentang bisnis - data untuk perencanaan dan analisa (aplikasi OLAP: OnLine Analysis Processing)Karakteristik:Sebagian besar operasi adalah simpan dan bacaQuery relatif panjang dan kompleks, melibatkan banyak satuan dataBersifat historisBerorientasi topik bisnis (subject oriented)Juga berisi rangkuman/gabungan dataMencakup sumber data lain yang berhubungan dengan manajemen dan perencanaan *PERANCANGAN BASISDATA - 3 SKSInformational (vs Transactional) DataFAKULTAS TEKNOLOGI INFORMASI


TransaksionalUntuk otomasi proses bisnisSasaran: efisiensi Menentukan proses bisnisDigerakkan oleh event transaksiOptimasi proses transaksi*PERANCANGAN BASISDATA - 3 SKSTransactional vs Informational DesignInformasionalMendukung pengambilan keputusanSasaran: keefektifanDisesuaikan dengan situasi bisnisMengantisipasi event transaksiOptimasi query (pengambilan data)FAKULTAS TEKNOLOGI INFORMASI


2009 Fakultas Teknologi Informasi Universitas Budi LuhurJl. Ciledug Raya Petukangan Utara Jakarta Selatan 12260Website: http://fti.bl.ac.id Email: [email protected]

Data Warehouse:Pusat koleksi yang lengkap dan konsisten data perusahaan yang dikumpulkan dari berbagai sumber untuk memberikan informasi yang dapat dipahami dan dipergunakan dalam konteks bisnis --Barry Devlin, IBM.PERANCANGAN BASISDATA - 3 SKS*DW DefinitionFAKULTAS TEKNOLOGI INFORMASI


2009 Fakultas Teknologi Informasi Universitas Budi LuhurJl. Ciledug Raya Petukangan Utara Jakarta Selatan 12260Website: http://fti.bl.ac.id Email: [email protected]

Data Warehouse:

Sistem terstruktur berskala besar untuk meng-analisa data statis yang telah ditransformasikan dari berbagai aplikasi asalnya agar sesuai dengan struktur bisnis, terkumpul dalam waktu yang lama, direpresentasikan dalam terminologi bisnis, dan terangkum untuk memudahkan analisa.--Vivek Gupta, System Services Corp.PERANCANGAN BASISDATA - 3 SKS*DW Definition (2)FAKULTAS TEKNOLOGI INFORMASI


Karakteristik Data Warehouse:Menyeluruh dan terangkum (integrated)Historis (time varying)Statis (non-volatile)Terorganisasi menurut topik analisa (subject oriented)Ditujukan untuk pemakai bisnis sebagai pendukung pengambilan keputusan.*PERANCANGAN BASISDATA - 3 SKSDW CharacteristicsFAKULTAS TEKNOLOGI INFORMASI


Update secara append onlyVolume data amat besar (terakumulasi)Periode update yang terjadwal sesuai dengan siklus bisnisHarus dipisahkan dari data operasional:Alasan skema: Struktur dan definisi data berbeda dengan OLTP.Alasan kinerja: Pemrosesan query OLAP yang intensif dapat membebani OLTP.*PERANCANGAN BASISDATA - 3 SKSDW Characteristics (2)FAKULTAS TEKNOLOGI INFORMASI


*PERANCANGAN BASISDATA - 3 SKSBI Component FrameworkORDERSSHIPPINGINVENTORYDATAWAREHOUSEData Warehouse EnvironmentAnalytical EnvironmentExtractCleanTransformTransferLoadQueryReportAnalyzeMineVisualizeFAKULTAS TEKNOLOGI INFORMASI


Proses-proses, alat-alat bantu, dan teknologi untuk mengubah data menjadi informasi, dan informasi menjadi pemahaman serta rencana untuk menggerakkan aktivitas bisnis yang efektif -- The Data Warehouse Institute

*PERANCANGAN BASISDATA - 3 SKSBI DefinitionBI Learning Cycle:FAKULTAS TEKNOLOGI INFORMASI


ArsitekturVirtual (query driven)Terpusat (centralized)Tersebar (federated)*PERANCANGAN BASISDATA - 3 SKSData Warehouse ArchitectureFAKULTAS TEKNOLOGI INFORMASI


Akses langsung ke basis data OLTP*PERANCANGAN BASISDATA - 3 SKSvirtual DWOLTP systemsresult setsDBMSdata accessDBMSDBMSdata accessdata accessinformation access(filtering, staging, merging)analytical toolsqueriesVirtual DWFAKULTAS TEKNOLOGI INFORMASI


Keuntungan: Murah (TCO rendah, tidak ada duplikasi data).Data selalu paling mutakhir.Data yang sangat lengkap dari berbagai sumber.Cocok untuk kebutuhan informasi yang tak terduga/terencana.*PERANCANGAN BASISDATA - 3 SKSVirtual DW AdvantagesFAKULTAS TEKNOLOGI INFORMASI


Kelemahan: Tidak memiliki data historis.Tidak efisien dan lambat (proses pembersihan, transformasi dan penggabungan untuk setiap query).Dapat menggangu kinerja OLTP: produktifitas perusahaan.*PERANCANGAN BASISDATA - 3 SKSVirtual DW DisadvantagesFAKULTAS TEKNOLOGI INFORMASI


Akses ke basis data warehouse pusat*PERANCANGAN BASISDATA - 3 SKSDBMSdata accessDBMSDBMSdata accessdata accessinformation accessETL (staging)data warehousedata accessCentralized DWOLTP systemsFAKULTAS TEKNOLOGI INFORMASI


Keuntungan:Kinerja pemrosesan query yang tinggiTidak mengganggu kinerja OLTPMemenuhi persyaratan DW

Kelemahan:Informasi yang dihasilkan belum tentu mutakhirDuplikasi data dengan OLTP*PERANCANGAN BASISDATA - 3 SKSCentralized DW TradeoffsFAKULTAS TEKNOLOGI INFORMASI


Akses ke basis data federated Data Marts.Sebagai konsekuensi dari desentralisasi dari pengambilan keputusan.Skope Data Mart (DW departmental) pendukung: personal, proyek, departemental/divisional, fungsional/perusahaan.*PERANCANGAN BASISDATA - 3 SKSinformation accessmarketingcustomer carefinanceFederated DWData MartData MartData Martdata accessFAKULTAS TEKNOLOGI INFORMASI


Keuntungan: Sama dengan DW terpusatKeandalan dan ketersediaan tinggi (basis data terdistribusi)

Kelemahan: Sama dengan DW terpusatStruktur data marts pendukung belum tentu sesuai dengan kebutuhan di tingkat pusat: Sudut pandang rancangan data mart bersifat divisional - tidak utuh.*PERANCANGAN BASISDATA - 3 SKSFederated DW TradeoffsFAKULTAS TEKNOLOGI INFORMASI


Terpusat (pendekatan Top-Down): Ideal tetapi membutuhkan waktu pengembangan yang lama dan skala proyek yang besarResiko kegagalan proyek pengambangan tinggi

Tersebar (pendekatan Bottom-Up): Memungkinkan prioritasi, pengembangan bertahap sambil mendaki learning curveDibutuhkan koordinasi melalui team yang mengatur standarisasi kode, penamaan, dan definisi data.*PERANCANGAN BASISDATA - 3 SKSCentralized vs FederatedFAKULTAS TEKNOLOGI INFORMASI


Kinerja adalah Faktor Keberhasilan DW:Kecepatan memuat data baru dalam skala giga bytes atau ratusan ribu records per jam, secara periodik.

Waktu untuk data staging: transformasi, penyaringan, konversi format, test kelengkapan data, dsb. termasuk dalam perhitungan kecepatan memuat data.*PERANCANGAN BASISDATA - 3 SKSPerformance Issue: Data LoadingFAKULTAS TEKNOLOGI INFORMASI


Query throughput adalah ukuran kesuksesan DW. Banyaknya query yang terjawab (termasuk yang ad-hoc) akan mendorong analis untuk mendapatkan query yang lebih kreatif dan jitu.Optimasi: skala response time dalam detik. Merupakan fungsi dari kompleksitas query bukan ukuran basis data.User scalability. Mampu melayani ratusan pemakai secara bersamaan tanpa perlambatan yang berarti.*PERANCANGAN BASISDATA - 3 SKSPerformance Issue: Query ProcessingFAKULTAS TEKNOLOGI INFORMASI


Media penyimpanan basis data arus mampu menyimpan data dalam skala tera bytes.

DBMS harus juga mampu menangani data dalam skala tera bytes.*PERANCANGAN BASISDATA - 3 SKSScalability Issue: Storage CapacityFAKULTAS TEKNOLOGI INFORMASI


Tujuan ETL:Mengumpulkan, menseleksi, mengolah dan menggabungkan data relevan dari berbagai sumber untuk disimpan dalam Data Warehouse.

Hasil ETL: Data yang memenuhi kriteria DWHistoris, terpadu, terangkum, statis, dan memiliki struktur yang dirancang untuk keperluan analisa.

Bagian terpenting: menyerap 50%-70% total kerja proyek Data Warehousing.*PERANCANGAN BASISDATA - 3 SKSExtraction Transformation LoadingFAKULTAS TEKNOLOGI INFORMASI


Sumber-sumber data umumnya sangat bervariasi (heterogeneous):

Platform mesin dan Operating System yang berlainanMungkin melibatkan sistem kuno dengan teknologi basis data yang sudah ketinggalan jamanMutu data yang berbeda-bedaAplikasi sumber data mungkin menggunakan nilai data (representasi) internal yang sulit dimengertiInkonsistensi definisi data, dan tidak adanya mekanisme/prosedur penyeragaman.*PERANCANGAN BASISDATA - 3 SKSETL ProblemsFAKULTAS TEKNOLOGI INFORMASI


Perencanaan ekstraksi data melibatkan identifikasi:

Sumber data: sistem OLTP, basis data eksternal, dsb.Metoda ekstraksiFrekuensi ekstraksiWaktu/penjadwalan ekstraksiTahapan proses ekstraksiPenanganan kejanggalan (anomali) dalam ekstraksi, misal: prosedur operasi manual*PERANCANGAN BASISDATA - 3 SKSData ExtractionFAKULTAS TEKNOLOGI INFORMASI


Ekstraksi Data Statis

Ekstraksi Data Terjadwal/TertundaBerdasarkan time stampBerdasarkan perbedaan antara file lama dan baru

Ekstraksi Data SeketikaDengan mekanisme log transaksiDengan mekanisme database triggerOleh aplikasi sumber*PERANCANGAN BASISDATA - 3 SKSData Extraction MethodsFAKULTAS TEKNOLOGI INFORMASI


Ekstraksi statisUmumnya dilakukan pada saat off-line: pemuatan data awal atau full refresh periodik Ekstraksi non-statisUmumnya dilakukan sering secara periodik untuk updating DW dengan data terbaruSelektif: hanya mengambil data yang telah berubah sejak ekstraksi terakhir

*PERANCANGAN BASISDATA - 3 SKSData Extraction MethodsFAKULTAS TEKNOLOGI INFORMASI


Metoda tertunda (batch):Berdasarkan perbedaan waktu time-stampBerdasarkan perbedaan image file data

Metoda seketika (real-time):Dengan mekanisme transaction logDengan mekanisme database triggerLangsung oleh aplikasi sumber*PERANCANGAN BASISDATA - 3 SKSNon-Static Data ExtractionFAKULTAS TEKNOLOGI INFORMASI


*PERANCANGAN BASISDATA - 3 SKSBatch Data Extractionsource operational systemssourcedatabasesDBMStime-stampbasedextractionprogramextractfiledatastagingareatodaysfileyesterdaysfileextractfilefilecomparisonprogramFAKULTAS TEKNOLOGI INFORMASI


*PERANCANGAN BASISDATA - 3 SKSReal-Time Data Extractionsource operational systemssourcedatabasesDBMS

applicationgeneratedextractfiledatastagingareaextractfiletransactionlog filetrigger- driven procedureFAKULTAS TEKNOLOGI INFORMASI


Dapat memakan waktu lamaDibutuhkan sistem DBMS dengan kinerja tinggi atau fasilitas bulk loading

Harus dilakukan secara otomatis Misal dengan cron jobs (Unix), job control service (Windows)*PERANCANGAN BASISDATA - 3 SKSBatch Extraction ScheduleFAKULTAS TEKNOLOGI INFORMASI


Data dari sistem-sistem OLTP perlu diproses sebelum disimpan dalam data warehouse

Langkah-langkah utama:Pembersihan dataKonversi dan pengubahan struktur dataMelengkapi kolom-kolom kosongPenggabungan dataPerangkuman data (penghitungan agregat)*PERANCANGAN BASISDATA - 3 SKSData Staging: TransformationFAKULTAS TEKNOLOGI INFORMASI


Pemeriksaan validitas dataPembuangan atau koreksi data yang invalid atau inkonsisten

Pembuangan detail yang tidak perluPembuangan duplikat-duplikat data*PERANCANGAN BASISDATA - 3 SKSData CleansingFAKULTAS TEKNOLOGI INFORMASI


Prekalkulasi:Penghitungan nilai-nilai derivatPenghitungan agregat (rangkuman)

Restrukturisasi data:Splitting: pemecahan kolom data menjadi beberapa kolomMerging: perangkuman beberapa kolom data menjadi satu kolom

Penggabungan atribut-atribut (denormalisasi):Pemberian kunci global (surrogate keys)*PERANCANGAN BASISDATA - 3 SKSTransformation TypesFAKULTAS TEKNOLOGI INFORMASI


*PERANCANGAN BASISDATA - 3 SKSDenormalizationsurrogate key

KeyNIPNamaJabatanProyek01001818283EddyPengawasP020101002818283EddyManajerP041101003818824EmmySekretarisP041101003818824EmmyStafP0201

NIPNamaAlamatKelamin818283EddyJl Duren 11L818824EmmyJl Pisang 2P818835DoddyJl Mangga 7L818812NaniJl Nangka 1P

KodeProyekNamaLokasiP0201AnalisaSistemCabangBalikpapanP0411TrainingCabangManadoR0391PerbaikanInfrastrukturPusatR0402Pengembangan JaringanPusat


Masalah penyeragaman data yang dikumpulkan dari berbagai sumber (sistem aplikasi OLTP):

Perbedaan terminologi akibat perbedaan konvensi, struktur/manajemen organisasi, dsb.Perbedaan kodifikasi nilai data. Misal: L/P atau P/W untuk jenis kelamin.Perbedaan periode siklus bisnis: mingguan, bulanan, kuartalan, dsb.*PERANCANGAN BASISDATA - 3 SKSData TranslationFAKULTAS TEKNOLOGI INFORMASI


Perbedaan nilai default untuk missing valuesDefinisi/representasi nilai data yang hanya dimengerti oleh kalangan pemakai sistem aplikasi sumber sajaPerbedaan format data, misal: jumlah digit atau huruf.*PERANCANGAN BASISDATA - 3 SKSData Translation (2)FAKULTAS TEKNOLOGI INFORMASI


Translasi data:Pengubahan format (tipe data dan panjangnya)Translasi (decoding) nilai dataKonversi character setKonversi satuan ukuranKonversi format tanggal dan jam*PERANCANGAN BASISDATA - 3 SKSTransformation Types (2)FAKULTAS TEKNOLOGI INFORMASI


Permasalahan:

Skop identitas dari entitas yang terbatas hanya selama satu transaksi, danIdentifikasi entitas yang sama dalam basis-basis data atau sistem-sistem yang berlainanDiperlukan kriteria matching

Adanya beberapa sumber untuk elemen data yang samaDiperlukan ranking prioritas sistem-sitem sumber*PERANCANGAN BASISDATA - 3 SKSIntegration & Consolidation IssuesFAKULTAS TEKNOLOGI INFORMASI


Metoda pemuatan data berdasarkan tipe:

Skala transaksiMisal: Total pembelian oleh konsumen P pada hari H di kios KDisimpan ke dalam DW dengan operasi write

Skala periodik (periodic snapshot)Misal: Saldo bulanan nasabah tabunganDisimpan ke dalam DW dengan memeriksa batas waktu periode data, operasi penjumlahan, dan operasi update*PERANCANGAN BASISDATA - 3 SKSLoading Methods by Data TypeFAKULTAS TEKNOLOGI INFORMASI


Metoda pemuatan data berdasarkan tipe:

Skala kumulatif (accumulating snapshot)Misal: Total biaya pengobatan pasien rawat jalan (periode tidak tetap/pasti)Disimpan ke dalam DW dengan operasi penjumlahan dan update*PERANCANGAN BASISDATA - 3 SKSLoading Methods by Data Type (2)FAKULTAS TEKNOLOGI INFORMASI


pt14 data warehouse

Documents