z00870000120154029pertemuan 17 revisi 2013
DESCRIPTION
pembahasan decision treeTRANSCRIPT
Learning from Examples ISession 17
Subject : T0264 – Artificial Intelligence Year : April 2013
Learning OutcomesLearning Outcomes
Pada akhirPada akhir sesi sesi ini ini mahasiswamahasiswa akanakan dapatdapat::» LO5: MengaLO5: Mengaplplikasikanikasikan berbagaiberbagai te tekkninikk keke agen agen
ketikaketika berberaaksksi i dibawahdibawah ketidak-pastianketidak-pastian » LO6: MengaLO6: Mengaplplikasikanikasikan bagaimanabagaimana memmemproprosseses
bahasabahasa natural natural ddan an tandatanda per persseptual eptual lainnyalainnya bagaimanabagaimana agen agen beriberinteranterakasi secarakasi secara inteli intelijjen en dengandengan dunia nyatadunia nyata
22/04/23 3T0264 - Artificial Intelligence
OutlineOutline
1.1. BentukBentuk Learning Learning2.2. InduIndukktitiff Learning Learning3.3. Learning Decision TreeLearning Decision Tree4.4. Teori KTeori Komputaomputassi Learning i Learning 5.5. RRingkasaningkasan
22/04/23 4T0264 - Artificial Intelligence
Bentuk Bentuk LearningLearning (Pembelajaran)(Pembelajaran)
• Learning Learning adalahadalah perlu untukperlu untuk lingkungan yang lingkungan yang tidak diketahuitidak diketahui,,– yaituyaitu, , ketikaketika perancangperancang ketiadaanketiadaan ilmu serba tahuilmu serba tahu
• Learning Learning sangat bergunasangat berguna sebagai metodasebagai metoda kkonstruonstruksksi si siistem,stem,– yaituyaitu, , menyingkapmenyingkap agen agen keke realit realitasas daridari padapada
mencobamencoba menuliskannyamenuliskannya
• Learning Learning mememodifimodifikasikasi me mekkanismanisme keputusane keputusan agen agen untuk meningkatkanuntuk meningkatkan performan performansisi
22/04/23 5T0264 - Artificial Intelligence
AAgen Learninggen Learning
22/04/23 6T0264 - Artificial Intelligence
Bentuk Bentuk LearningLearning (Pembelajaran)(Pembelajaran)
Supevised Supevised LearningLearning• RancanganRancangan elemen learning elemen learning dipengaruhi olehdipengaruhi oleh
– KKomponenomponen mana mana daridari elemen performan elemen performansisi yang akanyang akan dipelajaridipelajari
– FFeedbackeedback apakah apakah yang tersediayang tersedia untukuntuk mempelajarimempelajari kkomponenomponen tstsbb
– RRepresentaepresentassii apa apa yang digunakanyang digunakan kkomponenomponen
• TTiipe feedback:pe feedback:– Supervised learningSupervised learning: : jawaban benar untuk setiap jawaban benar untuk setiap
contohcontoh ((exampleexample))– Unsupervised learningUnsupervised learning: : jawaban benar tidakjawaban benar tidak diberikandiberikan– Reinforcement learningReinforcement learning: : kadang-kadangkadang-kadang
menguntungkanmenguntungkan
22/04/23 7T0264 - Artificial Intelligence
Induktif learning• Bentuk paling sederhanaBentuk paling sederhana: : mempelajarimempelajari fu fungsngsi i dari dari
contohcontoh ((exampleexample))
ff adalahadalah fun fungsgsii targettarget
Contoh (eContoh (examplexample)) adadaalahlah pa pasangansangan ( (xx, , f(x)f(x)))
MasalahMasalah: : mendapatkanmendapatkan hypothesishypothesis hhsedemikian rupasedemikian rupa h ≈ fh ≈ fdiberikandiberikan training set training set dari contohdari contoh ((exampleexample))
((IniIni adalah modeladalah model sangatsangat disederhanakandisederhanakan daridari learning learning riil riil::– MengabaikanMengabaikan penpengegetahuan sebelumnyatahuan sebelumnya– AsumsAsumsikanikan example example diberikandiberikan))
22/04/23 8T0264 - Artificial Intelligence
Supevised Supevised LearningLearning
Metoda Induktif learning• KonstruksikanKonstruksikan/a/attuurr h h agagaarr cocok cocok dngdng ff padapada training set training set• ((hh adalahadalah kkonsistenonsisten jikajika cocokcocok dngdng ff utkutk semuasemua example) example)• MisMis.,., mecocokkan mecocokkan kkurvurvaa::
22/04/23 9T0264 - Artificial Intelligence
Supevised Supevised LearningLearning
22/04/23 10T0264 - Artificial Intelligence
Metoda Induktif learning• KonstruksikanKonstruksikan/a/attuurr h h agagaarr cocok cocok dngdng ff padapada training set training set• ((hh adalahadalah kkonsistenonsisten jikajika cocokcocok dngdng ff utkutk semuasemua example) example)• MisMis.,., mecocokkan mecocokkan kkurvurvaa::
Supevised Supevised LearningLearning
22/04/23 11T0264 - Artificial Intelligence
Metoda Induktif learning• KonstruksikanKonstruksikan/a/attuurr h h agagaarr cocok cocok dngdng ff padapada training set training set• ((hh adalahadalah kkonsistenonsisten jikajika cocokcocok dngdng ff utkutk semuasemua example) example)• MisMis.,., mecocokkan mecocokkan kkurvurvaa::
Supevised Supevised LearningLearning
22/04/23 12T0264 - Artificial Intelligence
Metoda Induktif learning• KonstruksikanKonstruksikan/a/attuurr h h agagaarr cocok cocok dngdng ff padapada training set training set• ((hh adalahadalah kkonsistenonsisten jikajika cocokcocok dngdng ff utkutk semuasemua example) example)• MisMis.,., mecocokkan mecocokkan kkurvurvaa::
Supevised Supevised LearningLearning
22/04/23 13T0264 - Artificial Intelligence
Metoda Induktif learning• KonstruksikanKonstruksikan/a/attuurr h h agagaarr cocok cocok dngdng ff padapada training set training set• ((hh adalahadalah kkonsistenonsisten jikajika cocokcocok dngdng ff utkutk semuasemua example) example)• MisMis.,., mecocokkan mecocokkan kkurvurvaa::
Supevised Supevised LearningLearning
• Ockham’s razor: Ockham’s razor: Lebih baikLebih baik hypothesis hypothesis paling paling sederhanasederhana kkonsisten onsisten dengandengan data data
22/04/23 14T0264 - Artificial Intelligence
Metoda Induktif learning• KonstruksikanKonstruksikan/a/attuurr h h agagaarr cocok cocok dngdng ff padapada training set training set• ((hh adalahadalah kkonsistenonsisten jikajika cocokcocok dngdng ff utkutk semuasemua example) example)• MisMis.,., mecocokkan mecocokkan kkurvurvaa::
Supevised Supevised LearningLearning
Learning decision trees (pohon keputusan)
MasalahMasalah: : menentukanmenentukan apakahapakah menunggumenunggu mejameja pada suatupada suatu restauran, restauran, berberbasbasisis atribut atribut berikut berikut::1.1. PenggantiPengganti: : apakah adaapakah ada alternati alternatiff restauran restauran di dekatnyadi dekatnya??2.2. Bar: Bar: apakahapakah a adada areaarea bar bar yang nyamanyang nyaman untuk menungguuntuk menunggu??3.3. JumatJumat/Sa/Sabbttuu: : apakah hari iniapakah hari ini JumatJumat atauatau Sa Sabbtu?tu?4.4. LaparLapar: a: apakah sudahpakah sudah laparlapar??5.5. LanggananLangganan: : jumlahjumlah orangorang dalamdalam restaurant ( restaurant (KosongKosong, , BeberapaBeberapa, ,
PenuhPenuh))6.6. HargaHarga: : jjangangkauan hargakauan harga ($, $$, $$$) ($, $$, $$$)7.7. HujanHujan: : apakah hujanapakah hujan di luardi luar??8.8. PemesananPemesanan: : apakah sudahapakah sudah me membumbuaatt pesanan (reservasi)pesanan (reservasi)??9.9. TTiipe: pe: macammacam restauran ( restauran (PerancisPerancis, Italia, Thai, Burger), Italia, Thai, Burger)10.10. EstimaEstimasiTunggusiTunggu: estima: estimasisi wa wakkttuu t tungguunggu (0-10, 10-30, 30-60, >60) (0-10, 10-30, 30-60, >60)
22/04/23 15T0264 - Artificial Intelligence
Learning Decision tree (pohon keputusan)
• Salah satuSalah satu kemungkinankemungkinan representa representassii utk utk hypothes hypothesiiss• MisMis., ., disini pohondisini pohon “true” “true” ((treetree)) untukuntuk menentukan menentukan
apakahapakah menunggumenunggu::
22/04/23 16T0264 - Artificial Intelligence
Induksi decision tree dari contoh
• Examples Examples dididdiisskkribribsikansikan dngdng nilai nilai atribut atribut (Boolean, dis(Boolean, diskkrrrrt, t, kkontinontinyyu)u)• MisMis., situa., situassi i dimanadimana maumau menunggumenunggu//tidaktidak untukuntuk mejameja::
• KKlasifilasifikkaassii daridari example example adalahadalah positipositiff (T) (T) atauatau negatinegatiff (F)(F)
22/04/23 17T0264 - Artificial Intelligence
Representasi berbasis-atribut
Learning Decision tree (pohon keputusan)
Sifat Sifat EEkskspresipresiff• Pohon keputusanPohon keputusan dapatdapat mengmengeeksksprespresikan banyakikan banyak fun fungsgsi i dari atributdari atribut input. input.• MisMis., ., untuk fungsiuntuk fungsi Boolean, Boolean, baris baris tab tabeell kebenaran kebenaran → path → path keke leaf leaf (daun) (daun)::
• Secara sedehanaSecara sedehana, , adadaa pohon keputusan pohon keputusan kkonsisten onsisten untuk banyakuntuk banyak training set training set dengandengan satusatu path path keke leaf leaf untukuntuk setiapsetiap example ( example (kecualikecuali ff nondeterministi nondeterministikk dalamdalam xx) ) tetapi ini mungkintetapi ini mungkin tidak akantidak akan mengmenggeneraligeneralisasikan sasikan exampleexample baru baru
• Lebih baikLebih baik mendapatkan pohon keputusan yangmendapatkan pohon keputusan yang lebihlebih rapi (krapi (kompaompak)k)22/04/23 18T0264 - Artificial Intelligence
Learning Decision tree (pohon keputusan)
22/04/23 19T0264 - Artificial Intelligence
SSpaspasi hii hipotesispotesisBerapa banyak pohon keputusan dengan n Boolean atribut?= jumlah dari fungsi Boolean= jumlah dari tabel kebenaran yang berbeda dng 2n baris = 22n
• Mis., dengan 6 atribut Boolean, akan ada 18,446,744,073,709,551,616 pohon
BerapaBerapa banbanyyakak kkonjunonjunggtitiff h hiipotespotesiiss murni murni ( (mismis., ., LaparLapar HujanHujan)?)?• SetiapSetiap atribut atribut bisabisa (positi (positiff), (negati), (negatiff), ), atauatau out out
33nn kkonjunonjunggtitiff h hiipotespotesiiss berbeda berbeda• LebihLebih e ekskspresipresif spasif spasi h hiipotesispotesis
−menambahmenambah kemungkinan fungsikemungkinan fungsi target target dapatdapat didieeksksprespresikanikan−menambahmenambah jumlahjumlah h hiipotespotesiis s kkonsisten onsisten dengandengan training set training set
bisabisa mendapatkanmendapatkan predi prediksksii lebih jelek lebih jelek
Learning Decision tree (pohon keputusan)
Learning dng Decision tree • SasaranSasaran: : mendapatkanmendapatkan tree tree kecil yang kecil yang kkonsisten onsisten ddeenganngan training training
exampleexample• Ide: (Ide: (secara secara rerekkursiursiff) ) pilihpilih "most significant" atribut "most significant" atribut sebagaisebagai root root
(sub)tree(sub)tree
22/04/23 20T0264 - Artificial Intelligence
Learning Decision tree (pohon keputusan)
Test pemilihanTest pemilihan atribut atribut• Ide: atributIde: atribut yang bagus yang bagus memisahkanmemisahkan example example kedalamkedalam
subset subset yangyang (ideal (idealnnyyaa) “) “semuasemua positi positiff" " atauatau “ “semuasemua negatinegatiff""
• PatronsPatrons (langganan) (langganan)?? adalahadalah pilihanpilihan lleebih baikbih baik•
22/04/23 21T0264 - Artificial Intelligence
Learning Decision tree (pohon keputusan)
Test pemilihan atribut• MengMengimplementimplementasikanasikan Choose-AttributeChoose-Attribute
kkee dalam dalam algoritm algoritmaa DTL DTL• IIsi isi informanformassi (Entropy):i (Entropy):
I(P(vI(P(v11), … , P(v), … , P(vnn)) = )) = ΣΣi=1i=1 -P(v -P(vii) log) log22 P(v P(vii))• UntukUntuk training set training set berisiberisi pp example positi example positiff
ddan an nn example negati example negatiff::
npn
npn
npp
npp
npn
nppI
22 loglog),(
22/04/23 22T0264 - Artificial Intelligence
Learning Decision tree (pohon keputusan)
Information gainInformation gain (Penguatan informasi) (Penguatan informasi)• AtributAtribut pilihan pilihan AA membagimembagi training set training set EE menjadimenjadi
subset subset EE11, … , , … , EEvv sesuaisesuai nilainyanilainya untukuntuk AA, , dimanadimana AA memilikimemiliki vv nilai berbedanilai berbeda..
• Information Gain (IG) Information Gain (IG) atauatau redu reduksksi i dalamdalam entropy entropy daridari atribut test: atribut test:
• PilihPilih atribut atribut dengandengan IG IG terbesar terbesar
v
i ii
i
ii
iii
npn
nppI
npnpAremainder
1
),()(
)(),()( Aremaindernpn
nppIAIG
22/04/23 23T0264 - Artificial Intelligence
Learning Decision tree (pohon keputusan)
Information gainInformation gainUntukUntuk training set, training set, p = n = 6, I(6/12, 6/12) = 1p = n = 6, I(6/12, 6/12) = 1 bit bit
PerhatikanPerhatikan atribut atribut PatronsPatrons (langganan) (langganan) ddan an TTiipepe ( (juga yang lainjuga yang lain):):
PatronsPatrons memilikimemiliki IG IG terbesar terbesar dari semuadari semua atribut atribut sehinggasehingga dipiihdipiih oleholeh algoritmalgoritmaa DTL DTL sebagaisebagai root root
bits 0)]42,
42(
124)
42,
42(
124)
21,
21(
122)
21,
21(
122[1)(
bits 0541.)]64,
62(
126)0,1(
124)1,0(
122[1)(
IIIITypeIG
IIIPatronsIG
22/04/23 24T0264 - Artificial Intelligence
Learning Decision tree (pohon keputusan)
ContohContoh lalannjjt.t.• Pohon keputusanPohon keputusan belajarbelajar daridari 12 example: 12 example:
• SSecara secara substantial ubstantial lebih sederhanalebih sederhana dari padadari pada “true” tree--- “true” tree--- hhiipotesispotesis lebih lebih kkompleompleksks tidaktidak dibenarkandibenarkan oleholeh sejumlah sejumlah kecilkecil data data
22/04/23 25T0264 - Artificial Intelligence
Learning Decision tree (pohon keputusan)
Pengukuran performansi Teori Komputasi Learning• Bagaimana diketahui bahwaBagaimana diketahui bahwa h ≈ f h ≈ f ??
1.1. GunakanGunakan teorem teoremaa kkomputaomputassional/statistiional/statistik darik dari teor teorii learning learning2.2. CobaCoba hh padapada test settest set baru baru daridari example example
((gunakangunakan distribudistribussii ya yanngg samsamaa dengan spasidengan spasi example example sebagaisebagai training set) training set)KKurvurvaa Learning Learning = % = % benarbenar padapada test set test set sebagisebagi fun fungsgsi i dari ukurandari ukuran
training set training set
22/04/23 26T0264 - Artificial Intelligence
Learning Decision tree (pohon keputusan)
• AAsumsumssi i stationerstationer: : bahwabahwa adaada distribu distribussi probabiliti probabilitasas padapada example example yangyang dibiarkandibiarkan station stationeer r seluruh waktuseluruh waktu..
• Setiap titikSetiap titik example data example data adalahadalah variab variabeell acak acak EEjj dimana dimana nilainilai observ observasiasi eejj = = (x(xjj, y, yjj) adalah) adalah sample distribu sample distribussi, i, ddan an independen independen daridari example example ssebelumnyaebelumnya: :
• DaDan n setiapsetiap example example memiliki distribusimemiliki distribusi probabilit probabilitasas prior prior yang yang identiidentikk::
T0264 - Artificial Intelligence 27
EvaluaEvaluassi i ddan an MemilihMemilihHHiipotesispotesis Terbaik Terbaik
Kompleksitas vs Kebaikan Fit
x
y
x
y
x
y
x
y
Terlalu sederhana?
Terlalu rumit? Mendekati benar ?
Training data
28T0264 - Artificial Intelligence
EvaluaEvaluassi i ddan an MemilihMemilihHHiipotesispotesis Terbaik Terbaik
Kompleksitas dan Generalisasi
Strain(q)
Stest(q)
KKompleompleksksititasas = de = derajadrajadkebebasan kebebasan modelmodel ((mismis, , jumlahjumlah variab variabeel)l)
Fungsi penilaianmis, pangkat dua error
KKompleompleksksititasasmodelmodel ooptimalptimal
29T0264 - Artificial Intelligence
EvaluaEvaluassi i ddan an MemilihMemilihHHiipotesispotesis Terbaik Terbaik
Strain(q)
Stest(q)
BBiasias tinggi tinggivvarianceariance rendah rendah
BBiasias rendah rendahVVarianceariance tinggi tinggi
30T0264 - Artificial Intelligence
Kompleksitas dan Generalisasi
EvaluaEvaluassi i ddan an MemilihMemilihHHiipotesispotesis Terbaik Terbaik
Fungsi penilaianmis, pangkat dua error
RingkasanRingkasan• Learning Learning dibutuhkandibutuhkan untuk lingkungan yang untuk lingkungan yang
tidaktidak diketahuidiketahui, , perancang malasperancang malas• Agen Agen Learning =Learning = elemen elemen performan performansisi + + elemen elemen
learninglearning• UntukUntuk learning learning dng dng supervis supervisii, , sasaranyasasaranya
mendapatkanmendapatkan h hiipotesispotesis sederhana yang kira- sederhana yang kira-kirakira kkonsisten onsisten dengandengan training example training example
• Decision tree learning Decision tree learning menggunakanmenggunakan information gain information gain
• PPerformanerformansisi Learning Learning = predi= prediksksi i ketelitianketelitian diukurdiukur padapada test set test set
22/04/23 31T0264 - Artificial Intelligence
T0264 - Artificial Intelligence
• Stuart Russell, Peter Norvig,. 2010. Artificial intelligence : Stuart Russell, Peter Norvig,. 2010. Artificial intelligence : a modern approach. PE. New Jersey. ISBN:9780132071482, a modern approach. PE. New Jersey. ISBN:9780132071482, Chapter Chapter 1818
• Elaine Rich, Kevin Knight, Shivashankar B. Nair. 2010. Elaine Rich, Kevin Knight, Shivashankar B. Nair. 2010. Artificial Intelligence. MHE. New York. , Chapter Artificial Intelligence. MHE. New York. , Chapter 1717
• Learning System: Learning System: http://www.myreaders.info/06_Learning_Systems.pdf
• Machine Learning:Machine Learning:http://www.langbein.org/publish/ai/V/AI-18-V_1.pdf
32
ReferensReferensii
<< CLOSSING >><< CLOSSING >>
End of Session End of Session 1717
Good Luck Good Luck
22/04/23 33T0264 - Artificial Intelligence