CLASSIFICATION & PREDICTIONK-NEAREST NEIGHBORS

Ericks

Universitas Gunadarma – Konsep Data Mining

ALGORITMA KNN CLASSIFICATION

Tentukan K (Jumlah tetangga terdekat).

Hitung Jarak antara data yang diuji dengan data training.

Ranking berdasarkan jarak terdekat dan tentukan apakah termasuk dalam K (jumlah tetangga terdekat).

Ambil Class dalam K, dan pilih Class dengan data terbanyak.

DATA

Mahasiswa EIPK = 3TEMPAT TINGGAL = 2 Grup ?

K = 3

Object Attribute 1 (X)

IPKAttribute 2 (Y)

TEMPAT TINGGAL Group

Mahasiswa A 1 1 1Mahasiswa B 2 1 1Mahasiswa C 4 3 2Mahasiswa D 5 4 2

3 2 ?

HITUNG JARAK

Object (X) (Y) Group Jarak ke Data (3,2)

Mahasiswa A 1 1 1 (1-3)2 + (1-2)2 = 5

Mahasiswa B 2 1 1 (2-3)2 + (1-2)2 = 2

Mahasiswa C 4 3 2 (4-3)2 + (3-2)2 = 2

Mahasiswa D 5 4 2 (5-3)2 + (4-2)2 = 8

RANKING

Object (X) (Y) Group Jarak ke Data (3,2) Rank

Mahasiswa A 1 1 1 (1-3)2 + (1-2)2 = 5 2

Mahasiswa B 2 1 1 (2-3)2 + (1-2)2 = 2 1

Mahasiswa C 4 3 2 (4-3)2 + (3-2)2 = 2 1

Mahasiswa D 5 4 2 (5-3)2 + (4-2)2 = 8 3

DATA YANG TERMASUK DALAM K

Object (X) (Y) GroupJarak ke Data

(3,2) Rank Termasuk dalam K

Mahasiswa A 1 1 1 (1-3)2 + (1-2)2 = 5 2 Y

Mahasiswa B 2 1 1 (2-3)2 + (1-2)2 = 2 1 Y

Mahasiswa C 4 3 2 (4-3)2 + (3-2)2 = 2 1 Y

Mahasiswa D 5 4 2 (5-3)2 + (4-2)2 = 8 3 T

HASIL

Termasuk dalam K, A Grup 1, B Grup 1, C Grup 2

Gunakan data terbanyak untuk memilih grupKarena jumlah grup 1 (A dan B) lebih banyak dari grup 2 (C), maka data Mahasiswa E (3,2) masuk ke grup 1.

Object (X) (Y) GroupJarak ke Data

(3,2) Rank Termasuk dalam K ?

Mahasiswa A 1 1 1 (1-3)2 + (1-2)2 = 5 2 Y

Mahasiswa B 2 1 1 (2-3)2 + (1-2)2 = 2 1 Y

Mahasiswa C 4 3 2 (4-3)2 + (3-2)2 = 2 1 YMahasiswa D 5 4 2 (5-3)2 + (4-2)2 = 8 3 T

ALGORITMA KNN PREDICTION

Tentukan K (Jumlah tetangga terdekat).

Hitung Jarak antara data yang diuji dengan data training.

Urutkan berdasarkan jarak terdekat dan tentukan apakah termasuk dalam K (jumlah tetangga terdekat).

Ambil Class dalam K, dan pilih Class dengan data terbanyak.

Hitung Rata-rata dari data terbanyak.

DATA

Data X (5.0) berapa Y ?

K = 3

(X) (Y)

1.0 18

4.0 12

2.8 17

2.5 27

3.5 8

1.1 22

4.7 24

2.3 15

5.0 ?

HITUNG JARAK

(X) (Y) Jarak

1.0 18 (5.0 – 1.0)2 = 16

4.0 12 (5.0 – 4.0)2 = 1

2.8 17 (5.0 – 2.8)2 = 4.84

2.5 27 (5.0 – 2.5)2 = 6.25

3.5 8 (5.0 – 3.5)2 = 2.25

1.1 22 (5.0 – 1.1)2 = 15.21

4.7 24 (5.0 – 4.7)2 = 0.09

2.3 15 (5.0 – 2.3)2 = 7.29

5.0 ?

URUTKAN JARAK

(X) (Y) Jarak #

1.0 18 (5.0 – 1.0)2 = 16 7

4.0 12 (5.0 – 4.0)2 = 1 2

2.8 17 (5.0 – 2.8)2 = 4.84 4

2.5 27 (5.0 – 2.5)2 = 6.25 5

3.5 8 (5.0 – 3.5)2 = 2.25 3

1.1 22 (5.0 – 1.1)2 = 15.21 6

4.7 24 (5.0 – 4.7)2 = 0.09 1

2.3 15 (5.0 – 2.3)2 = 7.29 8

5.0 ?

DATA YANG TERMASUK DALAM K

(X) (Y) Jarak # Termasuk dalam K

1.0 18 (5.0 – 1.0)2 = 16 7 T

4.0 12 (5.0 – 4.0)2 = 1 2 Y

2.8 17 (5.0 – 2.8)2 = 4.84 4 T

2.5 27 (5.0 – 2.5)2 = 6.25 5 T

3.5 8 (5.0 – 3.5)2 = 2.25 3 Y

1.1 22 (5.0 – 1.1)2 = 15.21 6 T

4.7 24 (5.0 – 4.7)2 = 0.09 1 Y

2.3 15 (5.0 – 2.3)2 = 7.29 8 T

5.0 ?

1. Metode Simple UnweightedVoting (Menghitung Rata-Rata)Data X (5.0)

2. Metode Weighted Voting (Menghitung Bobot)

Data X (5.0)

HASIL(X) (Y) Jarak # Termasuk dalam K4.0 12 (5.0 – 4.0)2 = 1 2 Y3.5 8 (5.0 – 3.5)2 = 2.25 3 Y4.7 24 (5.0 – 4.7)2 = 0.09 1 Y

5.0 ?

FUZZY KNN

(X) (Y) Kelas Jarak

1.0 18 1 (5.0 – 1.0)2 = 16

4.0 12 1 (5.0 – 4.0)2 = 1

2.8 17 2 (5.0 – 2.8)2 = 4.84

2.5 27 2 (5.0 – 2.5)2 = 6.25

3.5 8 1 (5.0 – 3.5)2 = 2.25

1.1 22 2 (5.0 – 1.1)2 = 15.21

4.7 24 2 (5.0 – 4.7)2 = 0.09

2.3 15 1 (5.0 – 2.3)2 = 7.29

5.0 ? 1

FUZZY KNN

HASIL(X) (Y) Kelas Jarak # Termasuk dalam K4.0 12 1 (5.0 – 4.0)2 = 1 2 Y3.5 8 1 (5.0 – 3.5)2 = 2.25 3 Y4.7 24 2 (5.0 – 4.7)2 = 0.09 1 Y

5.0 ?

Discovering Knowledge in Data (Introduction to Data Mining), Chapter 5, Daniel T. Larose, Wiley, 2004

REFERENCES