Data Mining

Mengapa DM:Banjir Data

• Twitter: 8000an tweet per detik 600 juta tweet per hari.

• Facebook: 30 milyar item (link, status, note, foto dst) per bulan. 500 juta user menghabiskan 700 milyar menit per bulan di situs FB.

• Indomaret: 4500an gerai, asumsikan 3 transaksi per menit = 12 juta transaksi per hari se Indonesia.

• Kartu kredit visa: berlaku di 200 negara. 10 ribu transaksi per detik 850 juta transaksi per hari.

Mengapa Datamining

We are drowning in data,

but starving for

knowledge!

Mengapa data mining?

• Digitalisasi, kemajuan sistem informasidata, data, data (Tera Peta)

• Web berita, blog, twitter, forum, flickr, fb, youtube

• Streaming data twitter, sensor (satelit)

Evolusi DB

• 60-an: koleksi data (file system primitif)

• 70-80: MIS (Sistem Informasi Management)

• 80-sekarang: OO, Deductive, Spatial, Multimedia

• 90-sekarang: Web based (XML, web mining), Datawarehouse, OLAP, Text Database, Text + Data mining

• 05-sekarang: Stream data management and mining, Cloud, Web

Apa Data Mining?

• Data mining (pencarian pengetahuan dari

data)

– Mengekstrak secara otomatis pola atau

pengetahuan yang menarik (tidak sederhana,

tersembunyi, tidak diketahui sebelumnya,

berpotensi berguna) dari data dalam jumlah

sangat besar.

Apa Datamining? (lanj)

• Nama alternatif: Knowledge discovery

(mining) in databases (KDD), knowledge

extraction, data/pattern analysis, data

archeology, data dredging, information

harvesting, business intelligence dsb

• Keuntungan bagi organisasi yang menerapkan

data mining?

Keuntungan Datamining

• Perusahaan fokus ke informasi yg berharga di datawarehouse/databasenya.

• Meramalkan masa depan perusahaan dapat mempersiapkan diri

Contoh:Midwest grocery chain menggunakan DM untuk menganalisisi pola pembelian: saat pria membeli popok di hari Kamis dan Sabtu, mereka juga membeli minuman.

Analisis lebih lanjut: pembeli ini belanja di hari kamis dan sabtu, tapi di hari kamis jumlah item lebih sedikit. Kesimpulan yang diambil: pembeli membeli minuman untuk dihabiskan saat weekend.

Tindak lanjut: menjual minuman dengan harga full di hari Kamis dan Sabtu. Mendekatkan posisi popok dan minuman.

Contoh AplikasiBank me-mining transaksi customer untuk mengidentifikasi customer yang kemungkinan besar tertarik terhadap produk baru.

Setelah teknik ini digunakan, terjadi peningkatan 20 kali lipat penurunan biaya dibandingkan dengan cara biaya.

Contoh Aplikasi

Perusahaan kartu kredit meminingdata customer untuk mengelompokancustomer yang memiliki nilai tinggiyang perlu diprioritaskan.

Proses Datamining

Pembersihan Data

Data Integration

Databases

Data Warehouse

Task-relevant Data

Selection

Data Mining

Pattern Evaluation

Diambil dari www.cs.uiuc.edu/~hanj

Data Mining dan Business Intelligence

Semakin mendukung

pengambilan keputusanEnd User

Business

Analyst

Data

Analyst

DBA

Pengambilan

Keputusan

Presentasi Data

Teknik Visualiasi

Data MiningPenemuan Informasi

Eksplorasi Data

Statistical Summary, Querying, and Reporting

Data Preprocessing/Integrasi, Data Warehouses

Sumber Data

Database, Web, Paper, Files, Web, eksperimen

Diambil dari www.cs.uiuc.edu/~hanj

Data Mining: Multi Disiplin Ilmu

Data Mining

Teknologi DB Statistik

MachineLearning

PatternRecognition

AlgoritmaIlmu Lain

Visualisasi

Mengapa tidak analisis data biasa?• Jumlah data yang sangat besar

– Algoritma harus scalable untuk menangani data yang sangat besar (tera)

• Dimensi yang sangat besar: ribuan field

• Data Kompleks

– Aliran data dan sensor

– Data terstruktur, graph, social networdk, multi-linked data

– Database dari berbagai sumber, database lama

– Spasial (peta), multimedia, text, web

– Software Simulator

Tugas (task) dari Data Mining

Prediksi: Bagaimana perilaku atribut tertentu dalamdata dimasa datang? (predictive) Time series Pattern Sequence Independent-dependent relation

Klasifikasi: mengelompokkan data ke dalam kategoriberdasarkan sampel yang ada (label diskrit) Feature selection

Clustering: mengklasterkan obyek tanpa ada sampelsebagai contoh (descriptive)

Association: object association

Association Rules• Tujuan

Memberikan aturan yang berkaitan dengankehadiran set item dengan set item yang lain

Contoh:

Association Rules

Market-basket model

Mencari kombinasi beberapa produk

Letakkan SHOES dekat dengan SOCK sehingga jika seorangcustomer membeli satu dia akan membeli yang lain

Transaksi: seseorang membeli beberapaitems dalam itemset di supermarket

Klasifikasi

married

salary Acct balance

age

Yes

<20k

Poor risk

>=20k<50k

Fair risk

>=50

Good risk

no

<5k

Poor risk>=25<25

>5k

Fair risk Good risk

12/30/2011

RID Married Salary Acct balance Age Loanworthy

1 No >=50 <5k >=25 Yes

2 Yes >=50 >=5k >=25 Yes

3 Yes 20k..50k <5k <25 No

4 No <20k >=5k <25 No

5 No <20k <5k >=25 No

6 Yes 20k..50k >=5k >=25 Yes

Class attribute

Expected information

),...,(*...

)( 1

1

1

jnj

n

j

jnjSSI

S

SSAE

Salary

I(3,3)=1

Information gain

Gain(A) = I-E(A)

E(Married)=0.92

Gain(Married)=0.08

E(Salary)=0.33

Gain(Salary)=0.67

E(A.balance)=0.82

Gain(A.balance)=0.18

E(Age)=0.81

Gain(Age)=0.19

age

Class is “no” {4,5}

>=50k20k..50k<20k

Class is “no” {3} Class is “yes” {6}

Class is “yes” {1,2}

Entropy<25 >=25

n

i

iin ppSSSI1

221 log),...,(

Klasifikasi

Ex# Country Marital Status

Income hooligan

1 England Single 125K Yes

2 England Married Yes

3 England Single 70K Yes

4 Italy Married 40K No

5 USA Divorced 95K No

6 England Married 60K Yes

7 England 20K Yes

8 Italy Single 85K Yes

9 France Married 75K No

10 Denmark Single 50K No 10

Training

SetModel

Learn

Classifier

Country Marital Status

Income Hooligan

England Single 75K ?

Turkey Married 50K ?

England Married 150K ?

Divorced 90K ?

Single 40K ?

Itlay Married 80K ? 10

Test

Set

Text Classification

Ex# Hooligan

1 An English football fan …

Yes

2 During a game in Italy …

Yes

3 England has been beating France …

Yes

4 Italian football fans were cheering …

No

5 An average USA salesman earns 75K

No

6 The game in London was horrific

Yes

7 Manchester city is likely to win the championship

Yes

8 Rome is taking the lead in the football league

Yes 10

Training

SetModel

Learn

Classifier

Test

Set

Hooligan

A Danish football fan ?

Turkey is playing vs. France. The Turkish fans …

? 10

Klastering

Klastering adalah proses mengelompokkanobyek-obyek yang mirip ke dalam satu klaster.

Obyek bisa berasal dari data base customer,produk, gen, mahasiswa, dsb.

Klastering

Berapa KonsepSalah satu hal yang sangat penting adalah

penggunaan ukuran kemiripan (similarity)Jika datanya numerik, fungsi kemiripan (

similarity function) berdasarkan jarak sering digunakan

Euclidean metric (Euclidean distance), Minkowsky metric, Manhattan metric.

Korelasi, cosinus, kovarianceHiraki, Kmeans, Fuzzy, SOM, Support Vector

Clustering

Market Basket Analysis

3.1 Ide Dasar

Aturan yang menyatakan asosiasi antara beberapa atribut seringdisebut Affinity Analysis atau Market Basket Anaysis.

Analisis asosiasi (Association Rule) merupakan salah satu teknikyang digunakan untuk menemukan aturan asosiatif antara suatukombinasi item.

Misalnya aturan asosiatif dari analisis pembelian di suatu pasarswalayan adalah dapat diketahuinya berapa besar kemungkinanseorang pelanggan membeli roti bersamaan dengan susu, pastagigi dengan sikat gigi, bir dengan pampers, dsb.

Dengan pengetahuan tsb pemilik pasar swalayan dapat mengaturpenempatan barangnya atau merancang kampanye pemasaranterkait dengan pengetahuan yang didapat.

3.1 Ide Dasar (cont’d)

Aturan asosiasi biasanya dinyatakan dalam bentuk:

1. “50% dari transaksi yang memuat item roti dan mentega juga memuat susu.Sedangkan 40% dari seluruh transaksi memuat ketiga item itu”.

2. “Seorang konsumen yang membeli roti dan mentega punya kemungkinan50% juga membeli susu. Aturan ini cukup signifikan karena mewakili 40%dari transaksi yg ada”.

{roti, mentega} {susu} (support=40%, confidence=50%)

Aturan tersebut dapat berarti:

3.1 Ide Dasar (cont’d)

Support = P (A B) =∑ Transaksi yang mengandung A dan B

∑ Transaksi

Nilai confidence dari aturan A B diperoleh dengan:

Confidence = P (B | A) = ∑ Transaksi yang mengandung A dan B

∑ Transaksi yang mengandung A

Nilai support dari aturan A B diperoleh dengan:

3.2 Rumus Dasar

Misalkan dari suatu database transaksi didapatkan data sbb:

Transaksi Dalam bentuk tabular

3.3 Contoh Kasus

Beberapa pengertian:

Sebuah itemset merupakan himpunan item-item yang beradadalam himpunan item yang dijual, yaitu {teh, gula, kopi, susu, roti}.

k-itemset adalah itemset yang berisi k item. Misalnya {teh, gula}adalah 2-itemset, {teh, gula, roti} adalah 3-itemset.

Frequent itemset menunjukkan itemset yang memiliki frekuensikemunculan lebih dari minimum yang ditentukan ().

Himpunan dari frequent k-itemset dilambangkan dengan Fk.

3.3 Definisi

Calon 2-itemset Calon 3-itemset

Jika = 2, maka:

F2= { {teh, gula}, {gula, kopi}, {gula, susu}, {gula, roti}, {kopi, susu}, {susu, roti}}

F3= { {gula, susu, kopi} }

5C2 = 10

5C3 = 10

3.3 Definisi (cont’d)

Ingat!, nilai confidence dari aturan A B diperoleh dengan:

Confidence = P (B | A) =

Calon aturan asosiasi dari F3

Jika ditetapkan nilai confidence minimal adalah 60%, maka aturan yg bisaterbentuk adalah aturan 2 dan 3.

3.3 Definisi (cont’d)

Berdasarkan contoh transaksi yang diberikan, hitunglah!

3.4 Latihan

Jawaban:

3.4 Latihan (cont’d)