seminar datawarehouse @ universitas multimedia nusantara

Kecanduan Games Internet dan Jejaring Sosial

27 Februari 20131Seminar Datawarehouse

1

Johan Setiawan, S.Kom., M.M., M.B.AUniversitas Multimedia NusantaraEmail: [email protected]: 0817.678.0889Blog: johansetiawan.com/umn

Twitter.com/johanforumn

Invite: [email protected]


2


3

DatawarehouseJohan Setiawan, S.Kom., M.M., M.B.A.Universitas Multimedia Nusantara20 Februari 201327 Februari 20134Seminar Datawarehouse

4

Scenario 1ABC, Tbk. is a company with branches at Jakarta , Bandung, Surabaya and Medan. The Sales Manager wants quarterly sales report. Each branch has a separate operational system.

Scenario 1 : ABC , Tbk.JakartaBandungSurabayaMedanSalesManagerSales per item type per branchfor first quarter.

Solution 1:ABC, Tbk.Extract sales information from each database.Store the information in a common repository at a single site.

Solution 1:ABC, Tbk.JakartaBandungSurabayaMedanDataWarehouse

SalesManager

Query &Analysis toolsReport

Scenario 2

One Stop Shopping Super Market has hugeoperational database.

Whenever Executives wantssome report the OLTP system becomesslow and data entry operators have to wait for some time.

Scenario 2 : One Stop ShoppingOperationalDatabaseData Entry OperatorData Entry OperatorManagement

WaitReport

Solution 2Extract data needed for analysis from operational database.Store it in warehouse.Refresh warehouse at regular interval so that it contains up to date information for analysis.Warehouse will contain data with historical perspective.

Solution 2OperationaldatabaseDataWarehouseExtractdataData EntryOperatorData EntryOperatorManager

ReportTransaction

Scenario 3Cakes & Cookies is a small,new company.

President of the company wants his company should grow.

He needs information so that he can make correct decisions.

Solution 3Improve the quality of data before loading it into the warehouse.Perform data cleaning and transformation before loading the data.Use query analysis tools to support adhoc queries.

Solution 3

Query and AnalysistoolPresidentExpansionImprovement

salestimeDataWarehouse

What is Data Warehouse??

27 Februari 201317Seminar DatawarehousePengertian DatawarehouseVidette Poe (1996, p6), A data warehouse is read-only analytical database that is used as the foundation of a decision support system, dapat diartikan sebagai data warehouse merupakan database yang bersifat analisis dan hanya dapat dibaca saja yang digunakan sebagai dasar dari sistem pendukung keputusan

Trend Datawarehouse14 Oktober 2006Johan Setiawan, S.Kom.,MM17

27 Februari 201318Seminar DatawarehousePengertian Datawarehouse (contd)Jill Dyche (2000, p6), A data warehouse is a repository of information extracted from other corporate systems- be they transactional systems, departmental database or the companys intranet, and accessible to business user, yang artinya bahwa data warehouse merupakan kumpulan informasi yang diambil dari sistem yang saling berhubungan seperti sistem transaksi, bagian database, atau dari jaringan intranet perusahaan, dan memberikan akses pada pengguna bisnis.


27 Februari 201319Seminar DatawarehousePengertian Datawarehouse (contd)Paul Lane (2001, p30), A data warehouse is a relational database that is designed for query and analysis rather than for transaction processing, it usually contains historical data derived from transaction data, but it can include data from other source. It separates analysis workload and enables an organization consolidate data from several sources Dapat diartikan data warehouse adalah sebuah database yang saling berelasi yang didesain untuk query dan analisis dibandingkan dengan proses transaksi. . Biasanya mengandung data histori yang berasal dari data transaksi tetapi dapat termasuk data dari sumber-sumber lainnya. Data warehouse memisahkan beban kerja analisis dari beban kerja transaksi dan memungkinkan sebuah organisasi untuk mengkonsolidasi data dari berbagai sumber


27 Februari 201320Seminar DatawarehousePengertian Datawarehouse (contd)Inmon (2002, p31), A data warehouse is a subject oriented, integrated, non volatile and time variancy collection of data in support of managements decision making process Artinya data warehouse adalah koleksi data yang mempunyai sifat berorientasi subjek, terintegrasi, rentang waktu dan tidak mengalami perubahan dari koleksi data dan mendukung proses pengambilan keputusan dalam manajemen.


27 Februari 201321Seminar DatawarehouseKarakteristik DatawarehouseSubject Oriented (Berorientasi subjek)Integrated (Terintegrasi)Time variant (Variasi waktu)Nonvolatile (Tidak dapat diubah)


Subject-orientedData warehouse is organized around subjects such as sales, product, customer.It focuses on modeling and analysis of data for decision makers.Excludes data not useful in decision support process.

27 Februari 2013Seminar Datawarehouse23

IntegrationData Warehouse is constructed by integrating multiple heterogeneous sources.Data Preprocessing are applied to ensure consistency.RDBMS

LegacySystemDataWarehouseFlat File

Data ProcessingData Transformation

IntegrationIn terms of data.encoding structures.

Measurement ofattributes.

physical attribute. of data

naming conventions.

Data type format

remarks

25When we need to extract data from various sources, some may be manually maintained on paper, some on different legacy systems and integrating the data is a laborious work. Many systems provide some DTS systems to convert data in appropriate format and provide necessary transformations

Time-variantProvides information from historical perspective e.g. past 5-10 yearsEvery key structure contains either implicitly or explicitly an element of time

NonvolatileData once recorded cannot be updated.Data warehouse requires two operations in data accessingInitial loading of dataAccess of data

loadaccess


28


29


30

27 Februari 2013Seminar Datawarehouse31Day 1 Day n Phenomenon

31


32

27 Februari 2013Seminar Datawarehouse33GranularityThe single most important aspect of design of a data warehouse is the issue of granularityIndeed, the issue of granularity permeates the entire architecture that surrounds the data warehouse environment.Granularity refers to the level of detail or summarization of the units of data in the data warehouse.The more detail there is, the lower the level of granularityThe less detail there is, the higher the level of granularity

33


34

27 Februari 201335Seminar DatawarehousePerbedaan Data Operasional dan Data WarehouseData OperasionalBerisi current data value.Horizon waktu dalam range 60-90 hari Element waktu adalah optional sebagai key Data dapat dirubah.Data WarehouseBerisi snapshot data sesuai waktu tertentu.Horizon waktu dalam range 5-10 tahun.Element waktu memiliki key.Sekali snapshot dibuat, record tidak dapat dirubah.


27 Februari 201336Seminar DatawarehouseBentuk DatawarehouseFunctional Data WarehouseCentralized Data WarehouseDistributed Data Warehouse


Gambar Functional Datawarehouse



Gambar Centralized Datawarehouse



Gambar Distributed Datawarehouse



27 Februari 201340Seminar DatawarehouseStruktur DatawarehouseCurrent Detail Data (data detail saat ini)Old Detail Data (data detail history)Lightly Summarized Data (data ringkasan level menengah)Highly Summarized Data (data ringkasan level tinggi)Metadata


Gambar Struktur Datawarehouse



27 Februari 2013Seminar Datawarehouse42Structuring data in the Data WarehouseThere are many more ways to structure data within the data warehouse. The most common are these:Simple cumulativeRolling summarySimple directContinuous

42


43

43


44


45

Arsitektur Datawarehouse



27 Februari 201347Seminar DatawarehouseKegiatan Inti DatawarehouseMemperoleh dan menggabungkan dataMendapatkan data dari berbagai sumber dan melakukan penggabungan pada suatu tempat tertentu, data-data yang digabung adalah data-data yang akan membantu kita dalam pembuatan laporan, karena data tersebut merupakan suatu bentuk kesatuan.Transformasi dataPengolahan data dari awal ke bentuk data yang telah disepakati. Dengan mengalami pemrosesan atau pengolahan terlebih dahulu, yang sama artinya dengan pengubahan data ke bentuk yang diharapkan.Pendistribusi dataData-data yang akan kita gunakan dalam data warehouse berkaitan dengan lingkungan kerja dalam perusahaan. Bagi perusahaan yang terhubung dengan jaringan, pemakaian data warehouse mendukung kegiatan ini, dimana pengguna dapat menggunakan data warehouse ini secara lebih fleksibel dan merata pada masing-masing bagian yang ada dalam perusahaan.Penggunaan dataData yang telah disaring akan menghasilkan ringkasan-ringkasan yang dapat memudahkan pengguna dalam mengambil suatu keputusan.


27 Februari 201348Seminar DatawarehouseData Flow DatawarehouseProses ini terdiri dari :InflowBerhubungan dengan loading, pembersihan dan pembacaan data dari sumber sistem ke dalam data warehousing. UpflowProses ini berhubungan dengan penambahan nilai ke data dalam data warehousing seperti ringkasan, pengepakan, dan distribusi data. DownflowProses ini berhubungan dengan pengarsipan dan data backup dalam data warehousing.OutflowProses ini berhubungan dengan pembuatan data yang dapat dipakai oleh end-users. 2 kunci dari aktivitas ini terdiri dari :Accessing : berkonsentrasi pada kepuasan permintaan pemakai atas data yang mereka perlukan.Delivering : berkonsentrasi pada pengiriman informasi yang proaktif kepada workstation pemakai. MetaflowProses ini berhubungan dengan deskripsi isi dari data dari data warehousing


27 Februari 201349Seminar DatawarehouseETL (Extract, Transform and Loading)Karakteristik dari data ETL antara lain:DetailedData detail menyediakan fleksibilitas bagi user untuk membentuk stuktur data menjadi struktur yang paling tepat sesuai dengan yang dibutuhkan.HistoricalData periodik digunakan untuk menyediakan historical perspective.NormalizedNormalized data menyediakan integritas dan fleksibilitas yang lebih baik dibandingkan dengan denormalized data. Pada denormalisasi, data biasanya digunakan untuk mengakses secara periodik menggunakan batch process. Beberapa struktur data warehouse adalah denormalisasi.ComprehensiveReconcile data menggambarkan perspektif yang luas, yang dirancang sesuai model data perusahaan.TimelyKecuali untuk data warehousing, data tidak perlu real time, data harus lengkap sehingga pembuat keputusan dapat bertindak saat itu juga. Quality ControlKualitas data tidak diragukan dan integritas, karena data sudah diringkas ke dalam data mart dan digunakan untuk pengambilan keputusan


27 Februari 201350Seminar DatawarehouseIstilah-Istilah Lain yang Berhubungan dengan Data WarehouseData MartAdalah suatu bagian dari data warehouse yang dapat mendukung pembuatan laporan data, analisis data pada suatu unit, bagian atau operasi pada perusahaan.OLAP (Online Analytical Processing)Merupakan suatu pemrosesan database yang menggunakan tabel fakta dan dimensi untuk dapat menampilkan berbagai bentuk laporan, analisis dan query dari data yang berukuran besar.OLTP (Online Transaction Processing)Merupakan suatu pemrosesan yang menyimpan data mengenai kegiatan operasional atau transaksi perusahaan sehari-harinya.


27 Februari 201351Seminar DatawarehouseIstilah-Istilah Lain yang Berhubungan dengan Data Warehouse (contd)Dimension table (tabel dimensi)Tabel yang berisikan kategori dengan ringkasan data detail yang dapat dilaporkan, seperti laporan keuntungan pada tabel fakta yang dilaporkan sebagai dimensi waktu (berupa perbulan, perkuartal, dan pertahun).Fact Table (tabel fakta)Merupakan tabel yang pada umumya mengandung angka dan data history dimana key (kunci) yang dihasilkan sangat unik karena keynya merupakan kumpulan foreign key dari primary key yang ada pada masing-masing tabel dimensi yang berhubungan.DSS (Decision Support System)Merupakan sistem yang menyediakan informasi kepada pengguna yang menjelaskan bagaimana sistem ini dapat menganalisa situasi dan mendukung suatu keputusan yang baik.Data MiningMenurut Sid Adelman (2000, p145) data mining adalah proses pencarian pola data yang tidak diketahui atau tidak diperkirakan sebelumnya.


27 Februari 201352Seminar DatawarehousePerancangan Data Warehouse dengan Skema BintangMenurut Poe (1996, p33) metode yang digunakan untuk merancang data warehouse adalah dengan menggunakan skema bintang, yaitu metode perancangan yang dilakukan dengan struktur yang sederhana dengan menggunakan beberapa tabel atau jalur yang terhubung dengan baik dan jelas.


27 Februari 201353Seminar DatawarehouseKeuntungan dari penggunaan skema bintangRespon data lebih cepat daripada perancangan database operasional.Mempermudah dalam hal modifikasi atau pengembangan data warehouse yang terus menerus.End-user dapat menyesuaikan cara berfikir dan menggunakan data.Menyederhanakan pemahaman dan penelusuran metadata bagi pemakai dan pengembang.


27 Februari 201354Seminar DatawarehouseTabel dalam Skema BintangDalam skema bintang terdapat 2 tipe tabel yaitu tabel fakta dan tabel dimensi. Tabel fakta disebut juga tabel mayor terdiri dari data kuantitatif atau data fakta mengenai bisnis, informasi yang diquery. Informasi ini sering diukur secara numerik dan dapat mengandung banyak kolom dan baris. Tabel dimensi disebut juga tabel minor karena lebih kecil dan mencerminkan dimensi bisnis.


27 Februari 201355Seminar DatawarehouseJenis Skema BintangDalam penggunaannya terdapat 2 jenis skema bintang yang tergantung dengan kebutuhan, yaitu Skema Bintang Sederhana dan Skema Bintang Majemuk.Skema Bintang SederhanaDalam skema bintang sederhana, setiap tabel mempunyai primary key yang terdiri dari sebuah kolom atau lebih. Primary key akan membuat setiap baris menjadi unik.Primary key tersebut pada tabel fakta akan menjadi foreign key. Primary key pada tabel fakta, terdiri dari satu atau lebih foreign key


27 Februari 201356Seminar DatawarehouseGambar Skema Bintang Sederhana


27 Februari 201357Seminar DatawarehouseGambar Skema Bintang dengan beberapa Tabel Fakta


27 Februari 201358Seminar DatawarehouseGambar Skema Bintang dengan Tabel Dimensi Tambahan


27 Februari 201359Seminar DatawarehouseSkema SnowflakeMenurut Connoly (2002,p1080), Snowflake schema is a variant of the star schema where dimension table do not contain denormalized data., dapat diartikan skema snowflake adalah bentuk lain dari skema bintang dimana tabel dimensi tidak berisi data yang didenormalisasi. Suatu tabel dimensi dapat memiliki tabel dimensi lainnya.


27 Februari 201360Seminar DatawarehouseCiri-ciri SnowflakeTabel dimensi dinormalisasi dengan dekomposisi pada level atribut.Setiap dimensi mempunyai satu key untuk setiap level pada hirarki dimensi.Kunci level terendah menghubungkan tabel dimensi dengan tabel fakta dan tabel atribut berlevel rendah.


27 Februari 201361Seminar DatawarehouseGambar Skema Snowflake


Operational v/s Information SystemFeaturesOperationalInformationCharacteristicsOperational processingInformational processingOrientationTransactionAnalysisUserClerk,DBA,database professionalKnowledge workersFunctionDay to day operationDecision supportDataCurrentHistoricalViewDetailed,flat relationalSummarized, multidimensionalDB designApplication orientedSubject orientedUnit of workShort ,simple transactionComplex queryAccessRead/writeMostly read

Operational v/s Information SystemFeaturesOperationalInformationFocusData inInformation outNumber of records accessedtensmillionsNumber of usersthousandshundredsDB size100MB to GB100 GB to TBPriorityHigh performance,high availabilityHigh flexibility,end-user autonomyMetricTransaction throughputQuery througput

Building Data WarehouseData SelectionData PreprocessingFill missing valuesRemove inconsistencyData Transformation & IntegrationData Loading Data in warehouse is stored in form of fact tables and dimension tables.

Case StudyAfco Foods & Beverages is a new company which produces dairy, bread and meat products with production unit located at Bandung.There products are sold in North, North West and Western region of Indonesia.They have sales units at Jakarta, Bandung, Surabaya ,Medan and Padang.The President of the company wants sales information.

Sales InformationReport: The number of units sold.113Report: The number of units sold over timeJanuaryFebruaryMarchApril14413325

66

Sales InformationReport : The number of items sold for each product withtimeJanFebMarAprWheat Bread617Cheese61668Swiss Rolls82521

Product

Time

Sales InformationReport: The number of items sold in each City for each product with timeJanFebMarAprJakartaWheat Bread310Cheese3166Swiss Rolls4166BandungWheat Bread37Cheese38Swiss Rolls4915

Product

TimeCity

Sales InformationReport: The number of items sold and income in each region for each product with time.JanFebMarAprRpURpURpURpUJakartaWheat Bread7.44324.8010Cheese7.95342.401615.906Swiss Rolls7.32429.981610.986BandungWheat Bread7.44317.367Cheese7.95321.208Swiss Rolls7.32416.47927.4515

Sales Measures & DimensionsMeasure Units sold, Amount.Dimensions Product,Time,Region.

Sales Data Warehouse ModelCityProductMonthUnitsRupiahJakartaWheat BreadJanuary37.95JakartaCheeseJanuary47.32BandungWheat BreadJanuary37.95BandungCheeseJanuary47.32JakartaSwiss RollsFebruary1642.40

Fact Table

Sales Data Warehouse ModelCity_IDProd_IDMonthUnitsRupiah15891/1/199837.95112181/1/199847.3225891/1/199837.95212181/1/199847.3215892/1/19981642.40

Sales Data Warehouse ModelProduct Dimension TablesProd_IDProduct_NameProduct_Category_ID589Wheat Bread1590White Bread1288Coconut Cookies2

Product_Category_IdProduct_Category1Bread2Cookies

Sales Data Warehouse ModelRegion Dimension TableCity_IDCityRegionCountry1JakartaWestIndonesia2BandungWestIndonesia

Sales Data Warehouse ModelSales FactRegion

ProductProductCategory

Time

Online Analysis Processing(OLAP)It enables analysts, managers and executives to gain insight into data through fast, consistent, interactive access to a wide variety of possible views of information that has been transformed from raw data to reflect the real dimensionality of the enterprise as understood by the user.Data Warehouse

TimeProduct

Region

OLAP CubeCityProductTimeUnitsRupiahAllAllAll113251.26JakartaAllAll64146.07JakartaWhite BreadAll3898.49JakartaWheat BreadAll1332.24JakartaWheat BreadQtr137.44JakartaWheat BreadMarch37.44

OLAP OperationsDrill Down

TimeRegionProductCategory e.g Electrical ApplianceSub Category e.g Kitchen

Product e.g Toaster

OLAP OperationsDrill Up

TimeRegionProductCategory e.g Electrical ApplianceSub Category e.g Kitchen

Product e.g Toaster

OLAP OperationsSlice and Dice

TimeRegionProductProduct=ToasterTimeRegion

OLAP OperationsPivot

TimeRegionProduct

RegionTimeProduct

OLAP ServerAn OLAP Server is a high capacity,multi user data manipulation engine specifically designed to support and operate on multi-dimensional data structure.OLAP server available areMOLAP serverROLAP serverHOLAP server

Presentation

TimeRegionProduct

ReportReportingTool

Data Warehousing includesBuild Data WarehouseOnline analysis processing(OLAP).Presentation.RDBMSFlat File

PresentationCleaning ,Selection &Integration

Warehouse & OLAP serverClient

Need for Data WarehousingIndustry has huge amount of operational dataKnowledge worker wants to turn this data into useful information.This information is used by them to support strategic decision making .

Need for Data Warehousing (contd..)It is a platform for consolidated historical data for analysis.It stores data of good quality so that knowledge worker can make correct decisions.

Need for Data Warehousing (contd..)From business perspective-it is latest marketing weapon-helps to keep customers by learning more about their needs .-valuable tool in todays competitive fast evolving world.


ThankYou


QUESTIONS?27 Februari 201389Seminar Datawarehouse

89

ReferencesWilliam H Inmon, Building The Data Warehouse


DataWorkstationSourceSourceSourceData Warehouse FungsionalData Warehouse FungsionalDataWorkstationSourceSourceSourceData Warehouse TerpusatData Warehouse FungsionalData Warehouse FungsionalDataWorkstationSourceSourceSourceData Warehouse GatewayKunci 1AtributAtributAtributKunci 2AtributAtributAtributKunci 3AtributAtributAtributKunci 1AtributAtributAtributKunci 2Kunci 3Tabel Dimensi 1Tabel Dimensi 2Tabel Dimensi 3Tabel FaktaKunci 1AtributAtributAtributKunci 2AtributAtributAtributKunci 3AtributAtributAtributKunci 1AtributAtributAtributKunci 2Kunci 3Tabel Dimensi 1Tabel Dimensi 2Tabel Dimensi 3Tabel Fakta 1Kunci 1AtributAtributAtributKunci 2Kunci 3Tabel Fakta 2Kunci 1AtributAtributAtributKunci 2AtributAtributAtributKunci 3AtributAtributAtributKunci 1AtributAtributAtributKunci 2Kunci 3Tabel Dimensi 1Tabel Dimensi 2Tabel Dimensi 3Tabel FaktaKunci 5AtributAtributAtributKunci 4AtributAtributAtributKunci 4Kunci 5Tabel Dimensi 5Tabel Dimensi 4Kunci 1Atribut 4Kunci 2Atribut 7Kunci 3Atribut 1Kunci 1AtributAtributAtributKunci 2Kunci 3Tabel Dimensi 1Tabel Dimensi 2Tabel Dimensi 3Tabel FaktaKunci 5AtributAtributAtributKunci 4AtributAtributAtributKunci 4Kunci 5Tabel Dimensi 5Tabel Dimensi 4Atribut 2Atribut 3Atribut 5Atribut 6Atribut 5Tabel Atribut 5Atribut 8Kunci 6Atribut 8AtributAtributAtributKunci 6Tabel Atribut 8

seminar datawarehouse @ universitas multimedia nusantara

Education