bab5 beberapa model belajar 3
TRANSCRIPT
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 1/39
BabS
Beberapa Mode l B e la ia r
11 2
5 . 1 Pendahuluan
5.2 Model BelaJar Kompetitij
5 . 3 Model Linsker: Suatu Contoh Metode Belaiar
Kompetitij
5.4 Model Fukushima: Contoh Lain dan MetodeBelaiar Kompetitij
5.5 Model Aktivasi Interakti!
5.6 Perbandingan antara Metode Belajar Kompetiti!
dan Model Aktivasi Interaktij
5 . 7 Teori Resonansi Adapti!: Suatu Versi Metode
Belaiar Kompetiti! yang telah Distabilkan
5.8 Perbandingan antara Resonansi Adapti! dan Mo el
Belaiar Propagasi Balik
5.9 Tinjauart Pustaka
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 2/39
Beberapa Model Be/ajar 113
5.1 Pendahuluan
Bah ini dimaksudkan untuk pembahasan beberapa model utama yang ba-
nyak digunakan dalam berbagai literatur di bidang ini dalam tahun-tahun
terakhir: metode belajar kornpetitif, aktivasi interaktif, dan model resonansi
adaptif - serta hubungannya satu dengan yang lain. Jika dalam Bab 2 dan
3 pembahasan ditekankan pada metode belajar dengan pengawasan (super-
vised learning) .maka pembahasan dalam bab ini ditekankan pada metodebelajar tanpa pengawasan (unsupervised learning). Pertama-tama a ka n
dibahas metode belajar kompetitif dan aktivasi interaktif serta mempeiajari
perbedaan mendasar antara keduanya. Selanjutnya dibahas model resonan-
si adaptif yang merupakan suatu upaya menghilangkan beberapa ketaksta-
bilan temporal yang terdapat pada metode belajar kompetitif. Juga akan
ditunjukkan hubungan antara metode belajar dengan propagasi balik yang
telah dibahas dalam Bab 4, dengan paradigrna resonansi adaptif.
Dalam pembahasan ini, pernbaca sangat dianjurkan untuk mengingat -ingatberbagai model jaringan yang mencerminkan intuisi dari berbagai peneliti
rnengenai cara kerja otak. Dua model yang memiliki aturan mekanis yang
berbeda mungkin memiliki kesamaan dalam sifat fungsional yang muncul
(emergen t) dan kolektif. Hubungan antara sifat ini bertanggung jawab dalam
menentukan keberhasilan dalarn perilaku; meskipun dernikian, mekanisme
yang menghasilkan stfat ini masih belum jelas. Sifat ini seringkali lebih
kompleks daripada komponen jaringan yang mendasarinya sehingga perlu
digunakan pendekatan rnatematis yang dapat menganalisis interaksi non-
linear pada berjuta-juta komponen, karena sifat terse but tidak statis jika
diperhadapkan dengan strategi belajar. Grossberg (1987a) menyentuh suatu
titik yang penting ketika menunjukkan bahwa adalah perlu untuk bergerak
lebih jauh dari detail mekanis suatu model jaringan kepada tingkat arsitektu-
ral yang lebih dalam untuk.benar-benar memahami hubungannya satu sarna
lain.
5.2 Metode Belajar Kompetitij
Metode belajar kompetttif pada dasamya adalah suatu pola belajar secara
statistik non-asosiatif. Rumelhart (1985) menunjukkan bagaimana jaringan
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 3/39
adaptif sederhana dapat mengungkapkan sifat yang penting dalarn me -deskripsikan lingkungan yang memberikan stimulus pada sistem. Sifat y
didapat dalarn lapis pertama dari jaringan dapat digunakan dalam lapis
berikutnya dalarn suatu sistem jaringan dengan banyak lapisan, un
melakukan klasifikasi terhadap kelompok pola yang tidak mudah diklasi '-
kasikan oleh sistem jaringan dengan lapisan tunggal.
Untuk dapat memahami metoele belajar kompetitif secara menyelu
perlu diingat pula beberapa karya dari Rosenblatt mengenai metode belaj r
spontan (spontaneous learning). Semua model eara belajar dari jaring
memerlukan aturan yang menjelaskan bagaimana memberikan stimul
serta mengubah nilai bobot interkoneksi dalam kaitannya dengan resp n
dari model tersebut. Pada salah satu sisi dari aturan ini terdapat met e
belajar dengan suatu 'pengajar' yang melakukan koreksi terhadap galat y 9
terjadi, dan pada sisi lain terdapat metoda belajar yang sepenuhnya spont
dan tanpa pengawasan sarna sekali. Metode belajar dengan tekanan (fore d
learning) mengacu kepada sekumpulan aturan yang didasarkan pada m -nipulasi isi stimulus masukan untuk mewujudkan suatu eara belajar. Dari
muanya itu, metode belajar kompetitif berada dalam kategori 'tanpa pe -
gawas'.
Penelitian awal yang dilakukan oleh Rosenblatt antara lain adalah un
menghasilkan suatu perseptron dari suatu jaringan. Perseptron ini akan me -
beda-bedakan pola (masukan) ke dalam dua kelompok, di mana kelom
pertama akan menghasilkan respon 'l' pada keluaran, dan kelompok ked
akan menghasilkan respon '0'. Bobot pada jalur yang aktif saat sistem di
pola dari kelompok 'L' dinaikkan, sedangkan bobot pada jalur yang aktif
sistem diberi pola dari kelompok '0' diturunkan. Kenyataan bahwa bobot
dapat bertambah tanpa batas berakibat kelompok yang sejak awal mem
oleh pola mayoritas akan mendapat penguatan (reinforcement) terbany ,
dan cepat atau lambat semua pola pada akhimya akan terklasifikasidalam
kelompok. Untuk menjaga agar keterpisahan (dikotomi) pola ini stabil, i-
lakukan modifikasi terhadap aturan yang digunakan. Dalam modifikasi ini, .
tiap bobot dibuat lebih keeil dari nilai sebenarnya menggunakan suatu per
dingan tertentu yang tetap, sebelum dilakukan peningkatan terhadap n
sebagian bobot berdasarkan respons terhadap suatu pola masukan. Rosenbl tt
menyatakan bahwa perseptron tersebut, dengan memperlihatkan prin lp
separabilitas statistik, merupakan pendekatan yang paling mirip deng
sistern saraf.
11 4 Pengantar Jaringan Neural
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 4/39
Beberapa Model Belajar 115
Hasil yang diperoleh Rosenblatt, di mana suatu perseptron dna-lapis
mampu melakukan 22N klasiftkasi yang mungkin dari N pola masukan biner,
belum dapat dikatakan praktis karena dalam keadaan umum diperlukan 2 N
unit untuk melakukan pekerjaan tersebut. Masalah ukuran tampaknya tidak
hanya muncul dalam pengenal pola serial saja, tetapi juga dalam elemen
pengenal paralel. Jaringan saraf secara arsitektural merniliki sifat sangat
sensitif, sehingga suatu perubahan keeil - misalnya dalam tatanan sirn-
pul/node - dapat menyebabkan perubahan fungsi secara drastis. Hal inimenunjukkan bahwa penyusunan suatu jaringan saraf yang multi-guna
bukan merupakan hal yang mudah; bahkan, usaha menyusun suatu jaringan
untuk melaksanakan suatu pekerjaan khusus Iebih banyak berada dalam
tahap percobaan. Secara prinsip, tidak ada jaringan yang dapat mempela-
jari sesuatu yang tidak dapat dilakukan oleh jaringan tersebut; kapabili-
tas/tingkat kemampuan suatu janngan sendiri bergantung pada struktur
jaringan tersebut serta sifat penghitungan yang dimiliki oleh elemen kompo-
nennya.
5.2.1 Posisi Metode Belajar Kompetiti/ di antara Model
Belajar lainnya
Rumelhart (1985) membuat klasifikasi model jaringan berdasarkan metode
belajamya:
1. Auto Associator Suatu pola yang rusak dapat digunakan oleh mo-
del ini untuk mengembalikan pola ash.
2. Pattern Associator Sekelompok pasangan pola diberikan secara
berulang-ulang. Sistem ini belajar untuk mengeluarkan salah satu
anggota dart suatu pasangan jika diberikan anggota lainnya dari
pasangan tersebut.
3. Classification Paradigm Sekumpulan pola stimulus beserta katego-
rinya diberikan, dan sistem ini belajar untuk merespon suatu stimu-
lus (dalam keadaan baik maupun terdistorsi) dengan kategort yangbenar.
4. Regularity Detector Tiap pola stimulus dibertkan denqan disertai
suatu probabilitas. Sistem kemudian mengungkapkan secara statistik
sifat yang menonjol dan populasi masukan. Tidak ada kelompok
kategori ke dalam mana pola akan diklasifikasikan; sistem ini me-
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 5/39
ngembangkan sendiri suatu bentuk representasi sifat darl stimul
masukan.
Metode belajar kompetitif termasuk dalam kategori terakhir.
116 Pengantar Jaringan Neural
5.2.2 Kerangka Kerja Arsitektural
Rumelhart (1985) membuat deskripsi kerangka kerja dari suatu siste
dengan metode belajar kompetitif (Gambar 5.1) sebagai suatu arsitekyang terdiri dari sekelompok unit yang tersusun atas lapisan secara hirar . ,
di mana tiap lapisan terhubung melalui hubungan pembangkit (excitato )
dengan lapisan yang tepat berada di atasnya. Unit dalam suatu lapis
dibagi menjadi gugus yang saling menghambat (inhibitory). Tiap elem n
dalam suatu gugus menerima masukan melalui jalur yang sarna dari lapis
yang lebih rendah. Suatu unit belajar jika dan hanya jika unit terseb t
memenangkan kompetisi dengan unit lain dalam gugusnya - jadi, elem n
dalam suatu gugus bersaing satu sarna lain untuk memberikan resp n
terhadap pola yang muncul pada lapisan di bawahnya.
Unit pemenang dalam suatu gugus memberikan nilai maksimumn ,
sedangkan unit lainnya ditekan ke nilai minimum masing-masing. U it
pemenang melakukan proses belajar dengan menggeser bobot dari jal r
masukan inaktif ke jalur masukan aktifnya. Jalur aktif adalah jalur y 9
terhubung ke elemen pola masukan biner yang aktif (berada dalam kelo -
pok ' l ').
(J)ij = bobot jalur yang menghubungkan unit j pada lapisan yang Ie
rendah dengan unit j pada lapisan yang lebih tinggi
I w , , : : : 1 .
Tiap jalur masukan ke unit pemenang membuang suatu bagian g dari bob t-
nya, dan bobot tersebut kemudian didistribusikan sama besar ke jalur a-
sukan aktif
jika unit jkalah pada stimulus k
jika unit j menang pada stimulus k.
di mana
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 6/39
Beberapa Model Be/ajar 117
Unit yang tersusun atas lapisan sscara hirarkis terbagi atas unit akt if (bulatan) atau inakt if ( Iingkaran). Suatu unit
pada lapisan tertentu dapat menerima masukan dari semua unit pada lapisan yang tepat di bawahnya dan da-
pat memberikan keluaran ke semua unit pada laplsan yang tepat di atasnya. Hubungan-hubungan antar lapisan
bersifat membangkitkan (excitatory') sedangkan hubungan dalam satu lapisan bers ifat menghambat (inhibitory').
Tiap lapisan tersusun atas sekumpulan gugus-gugus yang masing-masing terdiri dari unit yang saling mengham-
bat, sedemikian sehingga pada satu saat dalam satu gugus hanya ada satu unit yang akti f. Kontigurasi unit akti f
dalam suatu lapisan merepresentasikan pola masukan bagi lapisan yang tepat di atasnya,
Dari Rume/hart, David, dan Zipser, David, "Feature Discovery by Competi ti ve Learning, • Cognit ive Science 9,
75-112, 1985. Dicetak u/ang seijin penerbit.
Gambar 5.1 Arsitektur mekanisme be/ajar kompetitif.
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 7/39
n
118 Pengantar Jaringan Neural
jika dalam pola S, unit idalam lapisan yang lebih rendah berada dal
keadaan aktif, dan 0 jika tidak, dan
nk "" L Cik = = jumlah unit aktif dalam pola Ss,
Rumelhart {1985} memherikan suatu interpretasi geometris yang bJika tiap pola stimulus dipandang sebagai suatu vektor berdimensi N, m
tiap pola dapat direpresentasikan dengan suatu titik pada suatu perrnuk
bola (sphere) herdimensi N. Bobot hubungan yang mengarah ke unit p a
lapisan berikutnya dapat pula dipandang sebagai suatu vektor berdimensi N
(karena tiap unit dalam lapisan berikutnya menerima N masukan) sehin a
terletak pula pada perrnukaan bola tersebut. Unit yang memberikan res
paling kuat pada suatu stimulus adalah unit yang vektor bobotnya pal'
mendekati pola stimulus tersebut. H91 ini terjadi dengan suatu pergerdengan persentase g dari lokasi awalnya menuju ke lokasi di mana
stimulus tersebut berada pada perrnukaan bola tadi.
Dengan demikian kita temukan bahwa tiap gugus berurusan den
suatu sifat tersendiri dari pola masukan. (Model seperti dideskripsikan ti ak
menjamin bahwa gugus yang berbeda akan mengungkapkan sifat yang
heda. Diperlukan sedikit modifikasi pada sistem, di mana gugus 'berpera
satu sama lain). Jika suatu gugus mempunyai M unit di dalamnya, da a
dikatakanbahwa gugus tersehut memhentuk suatu sifat ke-M (M-ary
ture) di mana tiap pola stimulus diklasifikasikan memiliki tepat satu da .
nilai yang mungkin dari sifat ini.
Semakin terstruktur suatu stimulus, semakin stabil klasifikasinya. Pen e
lompokan yang dilakukan oleh suatu gugus tertentu bergantung pada I
awal dari bobot dan urutan pemberian pola stimulus.
5.3 Model Linsker: Suatu Contoh Metode
Belajar Kompetiti/
Unsker (1988) memherikan suatu contoh mengenai pengungkapan fa
dengan metode belajar kompetitif. Contoh yang diberikan dimotivasi le
• I . , '
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 8/39
Beberapa Model Belajar 119
sifat yang ditemukan pada sel-sel dalam tahap pengolahan awal sistem
penglihatan mamalia. Karena pada beberapa binatang sifat ini berkembang
sebelum kelahiran, maka sifat tersebut bukan merupakan hasil dari suatu
, pengalaman yang terstruktur. Dalemjarirqen Unsker, sifat yang berhubungan
hanya merupakan hasil dari pemberian sinyaJ acak pada Japisan masukan
jaringan.
Mekanisme visual memberikan suatu contoh yang tepat dari deteksi
feature. Aspek yang sederhana dari bentuk, seperti kekontrasan dan orien-tasi sisi, dianalisis dalam lapis tahap awal, yang kemudian digabungkan
untuk membentuk feature yang lebih kompleks dalam lapis berikutnya.
Dalam tiap lapis retinal maupun cortical dapat ditemukan kelompok sel yang
melakukan fungsi yang sarna., Tiap sel mengolah masukan dari bidang
penerimaannya ( re ce ptiv e fie ld ) yaitu suatu daerah visual yang terbatas.
Meskipun fungsi respons dari suatu sel umumnya nonlinear, suatu aproksi-
masi dengan penjumlahan linear adalah cukup memadai karena pemben-
tukan feature juga terjadi dalam hal ini.Dalam model Linsker, masukan eksternal tiba pada lapis A. Sel-sel
diorganisasikan ke dalam lapis berdimensi dua A, B, C, dan seterusnya
dengan hubungan umpan-maju ke tiap sel dari sekelompok sel-sel tetangga
pada lapis sebelumnya (Gambar 5.2), Untuk penyederhanaan diasumsikan
bahwa hubunqan antar sel bersifat tetap. Hubungan ini ditentukan, misal-
nya, berdasarkan suatu distribusi Gauss, sehingga sebagian besar hubungan
pada suatu sel terarah ke posisi yang dekat dengan posisi sel tersebut pada
lapis tetangganya.
5.3.1 Pemodelan Matematis
Dimisalkan sel L1, L2, .. " L N memberikan masukan kepada sel M. Suatu
himpunan nilai aktivitas, dinyatakan dengan (Li, L2 , ... , L~ ), diberikan pada
sel M sehingga menghasilkan suatu nilai aktivitas keluaran M '" Maka aturan
respons linear adalah:
A,t" = 0] + LL/,cl•
di man?
Cj = kekuatan (bobot) dari hubungan antara masukan ke-j dengan sel M.
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 9/39
120 Pengasiar Jaringan Neural
! !asukan dari lingkungan Oikaada)
Lapis A
!Lapis B
!lapis C
!Lapis D
!Diambi l dari Linsker, ·Self -Organizat ion in a Perceptual Network: Computer, Maret 1988, 105-117. (c) 1988
IEEE. Oecetak u{ang seijin penerbit.
Gambar 5.2 Suatu jaringan self-adaptive berlapis dengan hubungan u -
pan-maju lokal.
Di sini, superskrip :It semata-mata merupakan suatu pengenal {identifi
untuk suatu snapshot dalam pengembangan sistem. Model ini mengkan variasi dari aturan Hebb, sebagai berikut:
di mana batasan satu-satunya bagi konstanta dalam rumus tersebut ad
a2> 0 (aturan Hebb).
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 10/39
Beberapa Model Belajar 121
Jika hasil ini dirata-ratakan terhadap suatu kelompok yang terditi dati
beberapa presentasi dan digunakan ekspresi awal untuk MPi/, dengan rna-
nipulasi aljabar akan kita peroleh:
di mana
k1,2 = kombinasi tertentu dati onstanta 01-5, dan
Q 'i = ( ( L , ' C - L) X ( L 1 ' C - L» .
Di sini, Qij adalah kovariansi dari aktivitas sel masukan j dan j (suatu elemen
tertentu dari matriks ini dapat saja tidak nol, meskipun neuron yang berko-
respondensi dengannya tidak terhubung secara langsung, disebabkankaren a cara pendefinisian dari aturan Hebb yang dimodifikesi), dan operator
<.. cdot» menyatakan rata-rata kelompok (ekspektansi), L- adalah rata-rata
kelompok dari aktivitas masukan pada suatu sinapsis dan diasumsikan sarna
untuk semua sinapsis. Perlu diperhatikan bahwa untuk menghindari satu-
rasi, tiap nilai c dianggap berada di antara dua nilai, c. dan c..
Penghitungan kekuatan (bobot) hubungan untuk lapis yang berurutan
dilakukan secara rekursif. Oengan menggunakan matriks Qi} untuk lapis
masukan A, dihitung kekuatan hubungan dari lapis A ke lapis B. Ke-
mudian dengan menggunakan nilai ini dan menggunakan matriks Qij
untuk lapis B, dihitung kekuatan hubungan dari lapis B ke lapis C,
demikian seterusnya. Linsker (1988) menunjukkan bahwa terdapat se-
jumlah terbatas cara di mana suatu lapis dapat berkembang, karena
hanya sedikit parameter yang menentukan nilai 'akhir' c dari sel tersebut.
Parameter ini meliputi k1,2 dan ukuran bidang penerimaan (receptive field)
dari sel dalam lapis yang berkembang tersebut.Oengan cara seperti ini, muncul jenis sel baru dalam lapisan. Jika
masukan ke A acak, maka jenis sel yang mengelilingi pusat (center-sur-
round) yang berperilaku sebagai filter contrast-sensitive (yang memberi-
kan respon maksimum pada suatu bintik terang pada pusat dari suatu
latar belakang yang gelap, atau suatu bintik gelap pada pusat dari suatu
latar belakang yang terang) akan muncul pada lapis C. Lebih jauh lagi, sel
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 11/39
122 Pengantar Jaringan Neural
yang selektif terhadap orientasi (orientation-selective) akan muncul padlapis D (sel ini memberikan respon maksimum terhadap suatu sisi teran
pada suatu latar belakang gelap atau sebaliknya, jika bangun persegi
balok tersebut mempunyai orientasi tertentu). Dengan memasukkan se
cara cermat hubungan lateral penghambat, orientasi yang menimbulka
respon dari sellapis D dapat dikendalikan. Dengan demikian, sedereta
jenis sel penqanalisis-sifat yang jauh lebih kompleks akan muncul data
lapis yang berurutan.Pembaca sangat dianjurkan untuk memperhatikan penjelasan secar
statistik atas aturan Hebb. Asumsi dalam model di atas bahwa kelompo
sifat statistik dan aktivitas sel L tidak bergantung pada pemilihan nilai
adalah benar jika tidak ada umpan-balik dan M atau dan sel yang dipenga
ruhinya, ke sel L. Jika fungsi E didefinisikan sebagai:
di mana
1= = - - ; 2 : LQ:,c,c,
- , I
dan
Ini memenuhi:
a E
- - = = c,aCt 'r / i.
Dengan berubahnya nilai c terhadap waktu, E (sebagai suatu fungsi dari nil .
c) menurun sepanjang suatu jalur penurunan yang terdalam secara 1 0
(atau gradien). Nilai E mencapai suatu minimum lokal pada kedewasaan s I
{cell maturity}; hal ini, untuk dua macam sel pendeteksi sifat yang tela
disebutkan di atas, adalah hampir merupakan suatu minimum global. Jela
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 12/39
Beberapa Model Be/ajar 123
nya, E diminimisasi saat van ansi statistik dan aktivitas M dimakslmumkan,yaitu saat «(M ' - M}) dimaksimumkan,
Linsker (1988) mendemonstrasikan bagaimana jaringan ini dapat digu-
nakan untuk ,pengingatan , asosiatif. Jika sedikit pola memori akan disim-
pan, maka minimum lokal dan fungsi EQ akan berada pada {e;} yang
berkorespondensi dengan memori tersebut. Keadaan memori yang diak-
tifkan bergantung pada keadaan awal dari hubungan c. 'Terpilih' berarti
bahwa hirnpunan akhir dari nilai c akan menyebabkan sel M menjadi suatu
matched filter untuk satu dan memori ini. Kemampuan dari fungsi EQ
untuk memperoleh detail dari pola menurun dengan bertambahnya jumlah
pola. Dengan bertambahnya nilai ini, sel M yang dewasa (mature) menjadi
suatu sel penganaJisis sifat, bukannya suatu matched filter untuk suatu
memori tertentu. Jelas bahwa sifat (feature) sebenamya yang menimbulkan
respon bahkan tidak perlu ada dalam salah satu dari pola yang diberikan.
Dalam kasus khusus di mana jumlah kuadrat dan nilai c sarna dengan
satu, maksimisasi variansi dicapai dengan bentuk (ekivalen)dari aturan Hebb
berikut ini:
c, x (,\. ["(L," - ,\l"c,)}.
Di sini, M" = L Late, dan aktivitas didefinisikan sedemikian sehingga (Li) =
o untuk semua i.
5.3.2 Analisis Komponen Mendasar
Analisis Komponen Mendasar (Principal Component Analysis/PCA)
adalah suatu metode untuk mengidentifikasikan struktur yang menarik na-
mun tidak terantisipasi (misalnya penggugusan/clustering) dalam kelompok
data dimensi tinggi (Gambar 5.3). Misalkan suatu kelompok titik data Llt
mempunyai koordinat (LIlt, L 2lt, ... , L Nlt
). UntukPCA, kita menghitung suatu
vektor c di mana proyeksi kelompok titik data tadi ke sumbu yang sejajar
dengan c mempunyai variansi maksimum.Proyeksi dari L It terhadap c adalah:
,\1" =It:c,
jika
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 13/39
12 4 Pengantar Jaringan Neural
dan dengan demikian variansi dari distribusi terproyeksi ini sarna deng
yang dimilikioleh M '. Karena metode PCA berhubungan dengan pemilihan c
sedemikian untuk memaksimumkan variansi dari M", aturan Hebb y
dinyatakan di atas melakukan PCA pada kelompok masukannya.
Sekarang temyata bahwa kondisi yang perlu dipenuhi oleh c unt
melakukan PCA terhadap masukan ini adalah sarna dengan yang diperluuntuk memenuhi prinsip inferensi optimaL Hal ini dinyatakan sebag
berikut. Misalkan kita mengetahui nilai c, dan kita diberikan suatu nil
keluaran tertentu, M'. Kita diminta untuk mengestimasi aktivitas masuk
(Ll, L z , . . ., e ) dan kualitas estimasi yang kita lakukan dinilai deng
2
Kurva kerapatan (densitas) yang dibentuk dengan memproyeksikan gugusan tit ik-titik data pada tiap sumbu, -tunjukkan dalam gambar. Proyeksi pada sumbu 1 memilik i variansi maksimum dan dengan jelas menunjukka
karakter bimodal atau tergugus (clustered) dari data.
Diambil dar! Unsker, "Self-Organization in a Perceptual Network," Computer, Maret 1988, 105 - 117. (c) 1988
IEEE. Dicetak ulang seijin penetbi:
Gambar 5.3 lIustrasi dari Analisis Komponen Mendasar (Principal Com a-
nent AnalysiS/PCA)
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 14/39
Beberapa Model Be/ajar 125
menghitung rata-rata galat kuadrat (Mean Square Error/MSE) sebagaibenkut:
MSE = L ( [ L i " " - L,"{est)J~).
di mana
U' = nilai sebenarnya, dan
U'(est) = nilai yang diperoleh dari estimasi.
Inferensi optimal dan nilai aktivitas masukan akan tercapai jika MSE dimin-
imisasi.
Linsker (1988) menegaskan bahwa hasil tersebut menyatakan, setidak-
nya secara intuitif, bahwa suatu aturan Hebb dapat bertindak untuk
menghasilkan suatu sel M yang aktivitas keluarannya menyimpan informasi
maksimum mengenai aktivitas masukan, dengan menghadapi batasan(constraint). Tampak bahwa gagasan dan penyimpanan maksimal ini
berlaku pada perkembangan tiap lapis dari suatu sistem perseptual de-
ngan metode belajar kompetitif. Beberapa latar belakang yang diperlukan
untuk memahami prinsip ini (iuqa disebut prinsip infomax}, diberikan di
bawah ini.
5.3.3 lnformasi Shannon dan Prinsip Infomax
Setiap presentasi dari L = (L1, L2, .'" LN) adalah suatu 'pesan' di mana L;
menyatakan aktivitas dan sel L ke-i dalam Iapisan. Kita dapat menganggap
ruang berdimensi N dari vektor L ini dibagi menjadi kotak kecil yang
masing-masing dilabeli dengan Iokasinya, L Dua 'pesan' dianggap identik jika
keduanya berada dalarn kotak yang sarna. Lebih jauh lagi, misalkan P(L)
adalah probabilitas suatu 'pesan' berada dalam kotak L. Jika I(L) menyata-
kan informasi dalam suatu 'pesan', make:
I(L) = -In P(L).
Informasi rata-rata per 'pesan' adalah
([+In P(L)]) = - L P(L) In P(L).L
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 15/39
126 Pengantar Jaringan Neural
Jika kita mengetahui dt dalam kotak yang mana suatu vektor M berad ,maka jumlah informasi tambahan yang kita perlukan untuk merekonst
'pesan' masukan L yang menimbulkan M diberikan oleh.
T .~ ,(L );; [ +In p L ~ ) ]
di mana:
p ( ~ ) ;; probabilitas kondisional bahwa masukan berada dalam kotak L ji
diketahui bahwa keluaran berada dalam kotak M.
Jumlah informasi di mana mengetahui M akan membawa kita untuk meng -
tahui L adalah:
[PfLI.\f) ]
[(L) - J\,(L) ;; In peL) .
dan rata-rata dari nilai ini adalah laju per 'pesan' R dari transmisi inform
dari masukan sel ke keluarannya:
Dengan menggunakan identitas probabilistik sederhana, P(L/M) . P(M) =
p(L . M) ;; P (M /L) . P (L), R dapat ditulis sebagai:
R ; ; \ In[ P ~ ~ ; ~ ) ] ) .
: : : }R = -(In P(JI)) + \ In p ( ' ~ ) ) , and
:::} R :::: ([(A I)) - (ll(A f)).
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 16/39
Beberapa Model Be/ajar 127
Ini adalah rata-rata dari informasi total yang dibawa oleh M, dikurangi infor-
masi yang dibawa oleh Mke tujuan yang sudah mengetahui L Dengan
demikian, <h{M» adalah infonnasi yang dibawa M mengenai derau pengo-
lahan dan bukan mengenai sinyal L.
Jika sellapis L akan memberikan masukan ke sellain pada lapis M,maka
cara penyaluran masukan tersebut adalah sedemikian sehingga laju trans-
misi infonnasi (Shannon) R dari L ke M dimaksimumkan. Ini merupakan
pemyataan prinsip infomax.Untuk menghubungkan in i dengan hastl bervariansi maksimal untuk sel
tunggal, Unsker (1988) menurunkan suatu ekspresi (dengan asumsi yang
beralasan) untuk laju informasi dalam suatu sel tunggaI, sebagai berikut:
1R = -In(Det QJf) - InB .
?
di mana
v = variansi keluaran dari sel tersebut, dan
B = variansi derau.
Jika B tetap, memaksimumkan informasi Shannon berhubungan dengan
memaksimumkan variansi keluaran.
Misalkan suatu sistem dengan jumlah sel L sebarang dan hanya dua sel
Myang bergandengan,
for j = 1,2.
D i bawah asumsi standard, R dihitung dengan:
R = ~ In{Oet if) -in B,
di mana if adalah suatu matriks kovariansi 2 x 2 sedemikian sehingga:
dan
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 17/39
Det Q \f = 82 + 8(Wl + H - ' ; ) + W I W~(1 - pf~)
Di sini,
12 8 Pengantar Jaringan Neural
Wk adalah variansi keluaran dari sel M k , dan
p12 adalah koefisien korelasi aktivitas keluaran se!.
Memaksimumkan R berarti memaksimumkan Det if. Jika terdap t
suatu tingkat derau tinggi (B besar), memaksimumkan Det c t t beramemaksimumkan jumlah dari W. Hal ini dapat dieapai jika tiap sel mema
simumkan variansi ke!uarannya seeara terpisah. Jika hanya terdapat sa
kombinasi masukan yang menghasilkan variansi keluaran maksimum, kedu
sel akan menghitungnya seeara independen. Dengan demikian, sua
tingkat derau yang tinggi mendukung redundansi, karena ini melemahka
efek penghancuran-informasi dari derau. Di pihak lain, suatu tingkat dera
yang rendah (B kecil) berakibat bahwa Det ifdimaksimumkan denga
membuat suatu tradeoff optimal antara menjaga agar W besar dan me
buat respon dari kedua sel M tak berkorelasi. Suatu tingkat derau yan
rendah menghasilkan keberagaman respon karena nilai informasional da
sel yang mengekstrak kombinasi masukan yang berbeda mengalahka
kerugian karena variansi keluaran tiap set menjadi sedikit lebih kecil,
Hasil ini berlaku pada sistem yang rnemilikijauh lebih banyak dari dua s
M. Jika variansi derau B besar, dan jika sedikit sel M 'melihat' himpunan se
L yang sarna, kita mengharapkan sel M tersebut berkembang sedemikiuntuk memaksimisasi variansi aktivitas individualdan dengan demikian meng
hasilkan redundansi untuk melawan tingkat derau yang fuggi. Sebaliknya ji
B keeil dan banyak sel M yang 'melihat' daerah L yang sama, maka sel
terse but tidak melakukan fungsi pengolahan yang sarna terhadap mas
lapis L. Sel ini pada kenyataannya dapat saja merniliki sejumlah sifat penga
nallsis feature.
lnfomax dictum bahwa informasi yang meneapai suatu lapis diola
sehingga jumlah maksimum dipertahankan secara umum tidak berarti suatpemetaan satu-ke-satu dalam mana tiap set M menerima masukan dar'
hanya satu sel L. Derau menghalangi pemetaan identitas dalam memperta
hankan informasi secara maksima!. Sebaliknya, tiap sel memberikan respo
pada feature-feature yang siqnifikan secara statistik dan secara teori infer-
masi, mirip dengan cara kerja analisis komponen mendasar (principal
component analysis). Suatu analogi dapat diarnbil dari manajemen, di
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 18/39
Beberapa Model Belajar 129
mana sel dalam lapis yang beragam tersebut berkorespondensi denganbirokrat dan beragam tingkatan. Sel-sel tingkat terendah hanya mengum-
pulkan infonnasi, dan jika bergerak semakin ke atas tiap tingkat merangkurn
infonnasi yang diterima dari tingkat-tingkat sebelumnya. Kompleksitas rang-
kuman meningkat jika kita bergerak naik dalam hirarki tersebut. Karena
pekerja tingkat rendah tidak perlu mengetahui apa tujuan keseluruhan dari
organisasi dan sel manajemen tertinggi tidak memerlukan data tak penting
yang disarinq oleh tingkat yang lebih rendah, maka prinsip optimisasi lokal
dapat diterapkan.
5.4 Model Fukushima: Contoh Lain dari Metode
Belajar KompetitiJ
Fukushima (1975) juga menerapkan metoda belajar kompetitif dalam jaringan
neuralnya yang berlapis banyak, yang disebut kognitron. Kognitron dikem-
bangkan sebagai tanggapan terhadap pengamatan bahwa jaringan neural
dalam pusat penglihatan pada otak berkembang seclemikian rupa untuk
mengenali feature dalam pola masukan yang diberikan kepadanya.
5.4.1 lmplikasi dari suatuAturan Hebb yang Dimodifikasi
Suatu Aturan Hebb yang diaugmentasi digunakan d t sini, clan clapat dinya-
takan sebagai berikut:
Hubungan sinapsis dari sel x ke sel y diperkuat jika dan hanya jika kedua
kondisi berikut ini dipenuhi bersama-sama: (1) sel presinapsis x mela-
kukan penembakan, dan (2) tidak ada sel postsinapsis lain di dekat set y
yang melakukan penembakan lebih kuat dari y.
Daerah dan mana suatu set dapat memiliki sinapsis afferent (masukan-
nya), disebut daerah connectable dan sel tersebut, sedangkan daerah ke
mana sinapsis efferent (keluarannya) terhubung disebut daerah vicinity
(sekeliling). Plastisitas berakibat bahwa semua sinapsis dalam daerah con-
nectable tidak periu muneul seeara sirnultan. Kondisi 2 menyatakan bahwa
sel y melakukan penembakan terkuat di antara sel lain dalam daerah
vicinity-nya. Perlu diperhatikan bahwa jika tidak ada seI vicinity yang
melakukan penembakan, semua sinapsis efferent diperkuat. Dalam kondisi
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 19/39
130 Pengantar Jaringan Neural
seperti ini, penguatan terse but masih lebih keeil daripada jika setidak-·-daknya satu sel oicinity melakukan penembakan. Suatu alasan bioi
memperkuat hasil intuitif ini, Penguatan sinapsis memerlukan suatu sekr
dari suatu sel glia; penyebaran dari satu sel glia berimpitan dengan sua
daerah oicinity. Bahan penguatan tersedia dalam jumlah yang terbat
sehingga harus didistribusikan pada sinapsis yang perlu diperkuat saj
Semakin besar jumlah sinapsis ini, semakin kecil penguatan yang dihasilk
Lebih jauh lagi, karena Kondisi 2, perbedaan kecil dalam karakteris
antara sel tersebut akan berkembang menjadi semakin kentara. Ini ta
paknya menghasilkan pengembangan dari sel pendeteksi feature. Suatu
yang rusak akan digantikan oleh sel yang lain. Jika kerusakan menyebab
suatu sel dengan karakteristik tertentu berhenti memberikan respon, te
patnya akan diisi oleh sel dengan respon terkuat berikutnya untuk karakt
istik tersebut, yang selanjutnya berkembang menjadi lebih kuat. Deng
demikian, suatu fungsi memperbaiki-sendiri terbentuk.
5.4.2 Kognitron
Elemen neural dalam kognitron Fukushima memakai nilai keluaran anal
tak-negatif yang diberikan oleh hubungan:
_ [ I+ ~ a(lI) . U (II) _ ]
w-¢ .\1 1.
I+ L b(p.) . v(/L},,~I
di mana
q ,[x ] ~ {~(x 2: 0)
(x < O).
Di sini u(l}, u(2} , ... , u(N) adalah masukan dari sinapsis afferent pe -
bangkit, dan v(l), 0(2} , ... , v(N) adalah masukan dari sinapsis affere t
penghambat. Juga,
a([v} = konduktansi analog tak-negatif dari sinapsis pembangkit, dan
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 20/39
Beberapa Model Belajar 13 1
b(u) = konduktansi analog tak-negatif dari sinapsis penghambat.
Selanjutnya jika e dan h masing-masing adalah jumlah dari efek pembang-
kitan dan penghambatan, yaitu:
v
e = 2 : a(v) " u(v).'-1
\I
h = L b(j.L) " v ( J . L )
maka kita dapat menulis ulang ekspresi untuk keluaran sebagai berikut:
[l+e ] [ e - h ]lV=w1+h-1 =(P}+h"
Perhatikan bahwa untuk suatu sistern mirip kognitron di mana sinapsissecara kontinu diperkuat, kita tak dapat mempunyai elemen penyulutan
analog (analog-threshold) karena masalah saturasi. Karena untuk h kecil
ekspresi di atas dapat dituliskan sebagai w=(e-h), ini tidak tepat. Meskipun
demikian, jika e : > > 1 dan h >> 1, maka didapat pendekatan W= (e/h-l) clan
keluaran sel mendekati suatu nilai tertentu selama konduktansi sinapsis pem-
bangkit dan penghambat meningkat dengan lajuyang sarna.
Elemen neural yang memenuhi sifat ini membentuk lapisan dalam kogni-
tron. Sel pembangkit dalam suatu lapis / menerima dua macam masukan,yaitu masukan pembangkit dari sel pembangkit dalam lapis ke-(l-l) sebelum-
nya dan masukan penghambat dari sel penghambat dalam lapis ke-{/-l).
Selanjutnya, sel penghambat dalam lapis ke-(/-l) menerima masukan dari sel
pembangkit dalam lapis yang sarna (yaitu bahwa daerah connectable dari
suatu sel pembangkit sarna dengan pada sel penghambat dalam lapis se-
belumnya) dan mengeluarkan nila rata-rata dan nilai ini kepada sel pembangkit
dalam lapis ke-l. Pengaturan seperti ini secara rekursifmendefinisiken struktur
dart kognitron (lihatGambar 5.4).Hasil Fukushima (1975) pada dasamya menegaskan prinsip belajar kompe-
titif. Hubungan pembangkit lebih banyak mengalami penguatan daripada
hubungan penghambat jika sel tersebut memberikan suatu keluaran tinggi;
sebaliknya, hubungan penghambat lebih banyak mengalarni penguatan (dibuat
menjadi lebih menghambat) jika sel tersebut memberikan keluaran rendah.
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 21/39
13 2 Pengantar Jaringan Neural
Lapis u( I " 1)~.-,------, .. .-----------.--~~- Lapis u{l)
Pembangkit
C)
IPenghambatIo
nV
o
Gambar ini men unjukkan bahwa daerah connectable dari suatu sel pembangkit sarna dengan daerah connect-
able dari sel penghambat dalam lapis sebelumnya.
Diambil dari Fukushima, Kunihiko, "Cognitron: A Self-Organizing Multi layered Neural Network," Biological
Cybernetics 20, 121-136, 1975. Dicetak ulang seijin penerbit.
Gambar 5.4 Dua lapis yang berurutan da/am suatu kognitron.
Selanjutnya, kemampuan kognitron untuk membedakan suatu pola dan pollain yang mirip timbul sebagai hasildan tingkat penguatan yang tinggi terhac:la
hubunqan penghambat (iika suatu sel memberikan keluaran rendah), yan
menyebabkan sel postsinapsis menjadi lambat untuk memberikan respo
terhadap pola stimulusselain dan pola yang menyebabkan sel tersebut mend
pat penguatan.
5.4.3 Neokognitron
Fukushima (1980) melakukan modifikasi terhadap kognitron untuk meng
tasi kelemahan utamanya {yaitubahwa respon kognitron sangat dipengaru
oleh pergeseran posisi dan/atau distorsi dalam bentuk pola masukan, s -
hingga membatasi kegunaannya sebagai suatu peranti pengenal pola.
Dalam model hirarkis teraugmentasi yang dihasilkan (disebut neokognitro )
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 22/39
Beberapa Model Belajar 133
sel dalam tingkat tertinggi diharapkan memberikan respon secara invarian-posisi kepada pola stimulus yang spesifik.
Dalam neokognitron terdapat susunan struktur modular yang masing-
masing tersusun dari dua lapis terkaskade yang berisikan: (1) sel 5 yang
berkorespondensi dengan sel sir:nple/sederhana, dan (2) sel C yang berkore-
spondensi dengan sel complexlkompleks. Hanya sinapsis masukan ke sel 5
saja yang diharapkan bersifat plastis dan dapat dimodifikasi. Dalam tiap
lapis (5 maupun q beberapa sel dikelompokkan bersama-sama untuk
membentuk bidang sel. Karena semua sel dalam suatu bidang sel tunggal
mempunyai sinapsis masukan dari distribusi spatial yang sarna, maka field
reseptif dari sel tersebut secara fungsional adalah ekuivalen. Meskipun
demikian, posisi dari set presinapsis dapat berbeda-beda untuk tiap sel dalam
suatu field sel tertentu. Karena itu, field reseptif dari sel dalam suatu field sel
terdapat pada posisi yang berbeda-beda.
Prosedur belajar neokognitron secara kasamya adalah sebagai berikut.
Seperti dalam semua sistem dengan metode belajar kompetitif, proses imbersifat unsupervised (tanpa pengawasan). Pada awalnya, sinapsis yang
dapat dimodifikasi diberikan nilai positif kecil sehingga sel 5 menunjukkan
selektivitas orientasi yang sangat lemah, dan kecenderungan orientasi dari
sel 5 ini berbeda-beda antara bidang-5 yang satu dengan yang lainnya.
Bayangkan bahwa semua bidang-5 dalam suatu lapis-S ditumpuk satu di atas
yang lain untuk membentuk suatu kolom-S. Sekarang, jika suatu pola
stimulus diberikan pada kolom ini, sel 5 dengan keluaran terbesar dipilih
sebagai calon untuk diperkuat. Dalam semua event di mana terdapat palingsedikit satu respon maksimal, hanya satu sel calon yang dipilih dari tiap
bidang-5. Pada suatu saat, tiap bidang-S menjadi sensitif selektif terhadap
beberapa feature dalam pola masukan. Dua bidang-S tidak akan mende-
teksi feature yang sarna.
Dengan demikian, sejumlah sel pengekstrak feature dengan fungsi yang
sarna dibentuk secara paralel dalam Hap bidang-5, dengan perbedaan hanya
pada posisi field reseptifnya. Hal ini mendasari sifat invariansi posisi dari
neokognitron. Jika dilakukan pergeseran terhadap suatu pola stimulus yang
menimbulkan respon dari suatu sel 5, sel S yang lain dalam bidang-S yang
sarna akan memberikan respon terhadap pola tersebut. Karena sel C mem-
berikan respon kuat jika sekurang-kurangnya satu set S dalam daerah con-
nected-nya memberikan keluaran besar, pergeseran dari pola stimulus tidak
akan mempengaruhi respon dari sel C. Ada cara yang sederhana untuk
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 23/39
134 Pengantar Jaringan Neural
menghubungkan kognitron dengan neokognitron yang merupakan modteraugmentasinya: jika suatu bidang-S tunggal dalam neokognitron berk
respondensi dengan suatu sel pembangkit tunggal dalam kognitron, ma
prosedur penguatan (reenforcement) dapat dipandang mempunyai bany
kesamaan dalam kedua sistem tersebut.
5.5 Model Aktivasi Interaktif
Model aktivasi interaktif dinyatakan mampu menjelaskan fakta mendas
mengenai persepsi kata (word perception). Versi yang sangat disederh
nakan membatasi pengolahan hingga tinggal tiga tingkat hirarkis, yai
tingkat feature, tingkat huruf, dan tingkat kata. Dasar dari model ini adala
sebagai berikut: suatu masukan visual mengaktifkan detektor dati featur
visual dalam tampilan. Ini kemudian mengaktifkan detektor dati huruf yankonsisten dengan feature aktif tersebut, yang selanjutnya mengakti
detektor untuk kata-kata yang konsisten. Detektor kata aktif ini salin
menghambat satu sama lain dan mengirimkan umpan-balik ke tingkat kat
memperkuat aktivasi serta perseptibilitas dari huruf yang dideteksinya.
McClelland (1981) menyatakan bahwa hingga sekarang ini dapat dib
yangkan bahwa konteks di mana suatu huruf diberikan hanya mempeng
ruhi ketepatan proses post-perseptual, bukannya proses persepsi itu sendi .
Meskipun demikian, penemuan Reicher (1969) menunjukkan bahwa subye
sebenamya terdapat bersama dengan lebih banyak informasi yang releva
untuk suatu pilihan antara altematif tersebut jika huruf yang dituju merup
kan bagian dati suatu kata. Huruf-huruf dalam suatu kata bersifat lebi
persepsibel karena menerima lebih banyak aktivasi daripada representa
suatu huruf tunggal ataupun huruf-huruf dalam konteks yang tidak berh
bungan. Beberapa hasil lain dalam kaitan dengan ini adalah: efek terseb
tidak bergantung pada familiaritas kata tersebut sebagai suatu konfiguravisual Cbentuk' kate): keunggulan ini ditingkatkan jika sasaran muncul dala
suatu tampilan dengan tingkat kekontrasan yang tinggi; keunggulan ini jug
terdapat pada frasa-frasa bukan kata yang dapat diucapkan, seperti re
atau mave; huruf dalam konteks kata dengan batasan sangat ketat hampi
tidak memiliki keunggulan terhadap huruf dalam konteks kata denga
batasan longgar.
t I
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 24/39
Beberapa Model Be/ajar 135
Asumsi yang menonjol dari model aktivasi interaktif (Gambar 5.5) adalahsebagai berikut:
1. Tiap tingkat pengolahan melakukan pembentukan suatu represen-
tasi masukan pada suatu tingkat abstraksi yang berbeda.
2. Terdapat dua jenis paralelisme inheren dalam model tersebut; para-
lelisme spatialtimbul dati kemampuan mengolah beberapa huruf
dalam satu kata sekaligus. Selain itu, berbagai proses bekerja secara
simultan pada beberapa tingkat yang berbeda.
3. Persepsi merupakan suatu proses interaktif. Pengolahan top-
down/diaktifkan secara konseptual bekerja bersama-sama dengan
pengolahan bottom-up/digerakkan oleh data, untuk menghasilkan
suatu pelipatgandaan batasan yang secara bersama-sama menentu-
kan persepsL
4. Model interaksi ini menggunakan aktivasi pembangkit dan penq-hambat sederhana dari suatu jenis neural.
Komunikasi yang terdiri dari pesan pembangkit dan penghambat ber-
langsung melalui suatu mekanisme aktivasi tersebar di mana aktivasi pada
suatu tingkat menyebar ke tingkat tetangganya dan mempengaruhi tingkat
aktivasi dati penerima. Hubungan dapat terbentuk dalam tingkat atau di
antara tingkat yang berurutan, tetapi tidak pemah terbentuk antara tingkat
yang tidak berurutan. Untai//oop penghambat dalam suatu tingkat (in-
tra/eve/) merepresentasikan sejenis penghambatan lateral di mana unit yang
tak kompatibel dalam tingkat yang sarna saling bersaing. Hubungan intra-
level dapat bersifat membangkitkan atau menghambat.
Suatu simpul aktif jika nilai aktivasinya positif. Tanpa ada masukan,
simpul akan mengalami 'peluruhan' menuju suatu keadaan tak-aktif (yaitu
menuju suatu nilai aktivasi di bawah nol):
a;{t} = nilai aktivasi untuk simpul ipada waktu t,
ri = tingkat istirahat ( resting level) untuk simpul i (r; ekivalen dengan
frekuensi kemunculan kata), dan
O i (t) =laju peluruhan ke re sting le ve l.
Jika ni(t) menyatakan masukan netto ke unit i, maka:
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 25/39
136 Pengantar Jaringan Neural
Masukan tingkat yang lebih tinggi
U !
U1ingkat feature": :','1ingkatf~ture ')1, akustik "~
nasukanvisual Masukan akustik
Diambil dari McClel land, Interact ive Act ivat ion Model of Context Ef fects in let ter Perception: Part 1: An Account
of Basic Findings,' Psychological Review,58, No.5, 375-407. (c) 1981, the American Psychological Association.
Dicetak ulang seijin peneroit.
Gambar 5.5 Penggunaan model aldivasi interaldif da/am persepsi kat
visual dan auditorial.
di mana
ej{t) = aktivasi dari suatu tetangga pembangkit aktif dari simpul i,
i k ( t ) = aktivasi dari suatu tetangga penghambat aktif dari simpul i, dan
aij,Yik adalah konstanta bobot.
Tingkat pengaruh dari masukan pada simpul tersehut dimodulasi oleh tin
kat aktivitas simpul pada saat itu, untuk menjaga agar masukan ke simp
tadi tidak mendorongnya melampaui suatu bates maksimum dan minimu
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 26/39
Beberapa Model Be/ajar 137
Untuk eksitasi (pembangkitan) netto, jika Ei(t) adalah pengaruh padasimpul, maka:
Ei(t) = ni(t)(M-ai(t)),
di mana
M = tingkat aktivasi maksimum dari unit tersebut.
Untuk inhlbisi (penghambatan) netto:
Ei(t) = ni(t)(ai(t)-m),
di mana
m = aktivasi minimum dari unit tersebut.
Dengan memasukkan faktor peluruhan simpul, maka aktivasi yang baru
menjadi:
ai(t+LH) = a i(t) - EMa,(t)-r,) + EM).
Masukan ke jaringan memberikan suatu himpunan feature biner (biner
di sini berarti ada atau tidak), yang masing-masing akan dideteksi dengan
probabilitas p (diasumsikan bahwa deteksi terjadi secara instant). Simpul
pada tingkat huruf yang tidak berisi feature yang terekstrak, akan menga-
lami penghambatan. Pemberian suatu tampilan baru menggantikan yanglamaakan menyebabkan ekstraksi probabilistik terhadap himpunan fea-
ture yang terdapat dalam tampilan baru tersebut.
Diasumsikan bahwa respons - dan mungkin juga isi dari perceptual
experience - bergantung pada integrasi temporal dari pola aktivasi untuk
seluruh simpul. Proses integrasi ini menggunakan suatu rataan-berjalan
(running average) dari aktivasi simpul terhadap waktu sebelumnya:
I,- . -it-'I!lr
a ,(t) = -za ,(x)e dx .
di mana
r = pembobotan relatif yang diberikan pada informasi lama dan baru.
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 27/39
138 Pengantar Jaringan Neural
Kekuatan respon merupakan suatu fungsi eksponensial dari aktivasi ru -ning average tersebut:
Probabilitas pembentukan suatu respon didasarkan pada simpul iadalah:
s,(t)p(R"t) = - - ,
L s/(t)iEL
di mana L menyatakan himpunan simpul yang berkompetisi pada tingk t
yang sarna dengan i.
Jika tampilan (display) yang dituju dibuat on dan dibiarkan dalam kead -an demikian hingga subyek memberikan respon dan tidak ada keharus
(tekanan) untuk memberikan respon secepatnya, maka diasumsikan bah
subyek akan menunggu hingga kekuatan keluaran telah mencapai nil i
asimptotisnya. Jika suatu tampilan yang dituju diberikan dengan diikuti ole
suatu cadar berpola (patterned mask), maka aktivasi yang dihasilkan ber -
fat transien.
Model aktivasi interaktif yang dijelaskan di atas dapat dipandang sebag i
suatu model relaksasi yang berusaha untuk menterjemahkan suatu ka
masukan secara optimal dengan memanipulasi tingkat aktivasi dari t
hidden. Jika model sebelumnya mendukung pendekatan hirarkis y
serupa untuk pengolahan masukan, hal menarik dari model ini adalah ca
di mana pengolahan pada semua tingkat dalam hirarkinya terjadi seca
paralel. Keluaran parsial secara kontinu selalu tersedia untuk pengolah
pada tiap tahap, dan informasi mengalir dalam kedua arah secara simult
Perhatikan suatu tugas yang sederhana, yaitu membaca. Persepsi te -hadap sebarang huruf secara individual terjadi selama persepsi simult
dari beberapa huruf lain di sekelilingnya, yang membantu membent
konteks bagi huruf tersebut. Rumelhart (1982) melakukan serentet
eksperimen untuk menunjukkan alur temporal dari fasilitas yang disedi -
kan konteks tersebut untuk persepsi dari huruf sasaran. Sebagai conto ,
diperlihatkan bahwa durasi dan pewaktuan (timing) dari presentasi info -
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 28/39
Beberapa Model Belajar 139
masi kontekstuaJ sangat mempengaruhi persepsi dari huruf sasaran. B e -berapa eksperimen yang dilakukan meliputi penentuan apakah perseptibili-
tas suatu huruf dalam suatu kata bergantung pada durasi huruf-huruf
konteks dalam tampilan, menunjukkan bahwa tibanya infonnasi kontekstual
secara dini mempersiapkan simpul pada tujuan dan memudahkan persepsi
sasaran, sedangkan presentasi konteks yang mengikuti sasaran kurang
berarti. Eksperimen lain juga meliputi pemeriksaan kepentingan relatif dari
infonnasi kontekstual tambahan lawan bukti langsung tambahan.
Kesimpulan yang diperoleh dari eksperimen dengan model aktivasi
interaktif ini adalah sebagai berikut. Semakin panjang durasi konteks dan
semakin besar jumlah huruf konteks yang diperjelas, semakin akurat ki-
nerja pemilihan-terdesak (forced-choice) pada huruf sasaran. Pengaruh
jelas dari konteks terhadap persepsi dipertegas oleh fakta bahwa huruf
dalam frasa bukan kata yang mirip dengan kata adalah lebih mudah
dipersepsikan daripada huruf yang terletak misalnya dalam sekumpulan
karakter atau dalam suatu himpunan huruf yang dikelornpokkan secaratidak konsisten terhadap regularitas statistik untai huruf dalam bahasa
Inggris.
5.6 Perbandingan antara Metode Belajar Kompetitif
dan Model Aktivasi Interaktif
Grossberg (1987a) menunjukkan bahwa baik tingkatan maupun interaksi
antara kedua paradigma tersebut adalah tak kompatibel. Perbedaan utama
yang pertama adalah bahwa interaksi antar tingkat (interlevel) yang dite-
mukan dalam model aktivasi interaktif tidak dapat ditirukan dalam model
belajar kompetitif. Dalam model belajar kompetitif, semua hubungan antar
tingkat bersifat membangkitkan (excitatory) sedangkan dalam model akti-
vasi interaktif hubungan antar tingkat secara selektif bersifat membangkit-
kan atau menghambat. Sifat selektif ini merupakan sesuatu yang perlu
dipelajari, dan Grossberg (1987a) menunjukkan bahwa proses belajar yang
dernikian tidak clapat terjadi dalam model belajar kompetitif.
Perbedaan kedua adalah bahwa tingkat huruf dan tingkat kata dari model
aktivasi interaktif tidak terdapat dalam suatu model belajar bahasa yang
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 29/39
140 Pengantar Jaringan Neural
didasarkan pada model belajar kompetitif. Untuk itu, perhatikan argumeyang diberikan oleh Grossberg (1987a). McClelland (1981) mensyaratka
bahwa suatu tahap yang terdiri dari simpul huruf mendahului pengolaha
huruf yang muncui sebagai kata-kata dalam lapis berikutnya. Meskip
McClelland (1981) menggunakan contoh spesifik dari kata dengan empa
huruf dalam lapis kata, konsep aktivasi interaktifnya harus digeneralisasi
untuk kata dengan panjang sebarang, khususnya kata dengan huruf tunggal
Ini berarti bahwa huruf yang juga adalah kata (misalnya "A" dan H[" dala
bahasa [nggris) akan muncul pada lapis huruf dan juga pada lapis kata
sedangkan huruf yang bukan merupakan kata hanya akan muncul dala
lapis huruf. Pembedaan ini tak dapat dipelajari oleh suatu metode be
lajar tanpa pengawasan (unsupervised) seperti metode belajar kompetitif
Lebih jauh lagi, Grossberg (1987a) memberikan pertanyaan beriku
mengenai model aktivasi interaktif. Apa yang diepresentasikan oleh sim
put (yang seharusnya merepresentasikan huruf atau kata tertentu) sebelu
huruf atau kata tersebut dipelajari? Juga, bagaimana caranya simpul tersebumerepresentasikan huruf atau kata yang belum dipelajari? Kenyataan bahw
kata berhuruf tunggal terdapat secara terpisah dalam tingkat huruf da
tingkat kata menunjukkan bahwa tingkat ini seharusnya mampu mempe
kuat satu sarna lain sehingga menjadi lebih mudah mengenali kata berhu
tunggal daripada kata lainnya. Grossberg (1987a) menyatakan bahwa liter
tur lainnya menunjukkan bahwa ini bukanlah masalahnya.
5.7 Teori Resonansi Adapti/: Suatu Versi Metode
Belajar Kompetiti/ yang telah Distabilkan
Sejauh ini kita telah memperkenalkan metode belajar kompetitif dan mod
aktivasi interaktif. Paradigma ini, bersama-sama dengan paradigma lainny
dengan cara belajar tanpa pengawasan, merepresentasikan usaha unmemenuhi salah satu tujuan utama dari ilmu komputer, yaitu untuk m
ngembangkan suatu mesin cerdas yang dapat berfungsi secara memuaska
tanpa bantuan dalam suatu Iingkungan yang kompleks. Sayang sekal
masalah stabilitas tertentu menghalangi paradigma di atas untuk mencap .
tujuan terse but atas. Selebihnya dari bab ini membahas paradigma belaj
adaptif yang merupakan suatu usaha untuk memperlengkapi metode bel
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 30/39
Beberapa Model Belajar 141
jar kompetitif dengan stabilitas. Akhimya kita akan membahas bagaimanaparadigma ini berhubungan dengan paradigma propagasi balik. Paradigma
propagasi batik yang juga disebut dengan aturan delta yang diperumum
(generalized delta rule) telah dibahas secara cukup terpetinci dalam Bab
4.
Telah dibuktikan bahwa dalam lingkungan masukan tertentu, jika jumlah
pola yang diberikan pada lapis masukan dati suatu sistem dengan metode
belajar kornpetitif tidak terlalu besar relatif terhadap jumlah simpul peng-
kode dalam lapis keluaran, maka kode pengenalan yang dipelajari akan
menjadi stabil dan dihasilkan best distribution dari jalur memori jangka
panjang//ong-time memory/LTM (sejauh ini disebut sebagai bobot adap-
tif). Meskipun demikian, dalam Iingkungan dengan masukan sebarang,
metode belajar kompetitif mungkin tak dapat mempelajari suatu kode yang
stabil secara temporal. Karena itu, pemberian suatu pola stimulus yang
sama kepada sistem secara berulang-ulang dapat menghasilkan respon yang
berbeda-beda; lebih jauh lagi, perilaku ini mungkin tidak akan pemah selesaidalam proses belajar. Pada dasamya, tiap masukan menyebabkan modifi-
kasi terhadap jalur LTM sehingga presentasi masukan yang sarna secara
berturutan akan mengkasilkan reaksi yang berbeda. Hal ini disebut sebagai
dilema stabilitas-plastisitas, Grossberg (1987a) menyatakan ini sebagai
berikut:
Bagaimana suatu sistem belajar dirancang untuk tetap plastis atau adaptif
terhadap event-event signifikan namun tetap stabil terhadap event-event
yang tak relevan? Bagaimana sistem tersebut mengetahui bagaimana
ber-ubah antara modus stabil dan modus plastis untuk mencapai kestabi-
Ian tanpa menjadi kaku dan plastisitas tanpa kekacauan (chaos)? Secara
khusus, bagaimana sistem itu mempertahankan pengetahuan yang dipe-
lajarinya sebelumnya sarnbil tetap mempelajari hal-hal baru? Apa yang
menjaga agar pelajaran yang barn tidak menggusur ingatan akan pelajar-
an sebelumnya?
Maksud dari teoti resonansi adaptif (adaptive resonance theory - ARn
adalah untuk menunjukkan bagaimana menerapkan suatu model belajar
kompetitif ke dalam suatu struktur kontrol pengaturan-sendiri (self-regulat-
ing) dengan proses belajar otonom dan proses pengenalan berlangsung
secara stabil dalam respon terhadap suatu urutan pola masukan sebarang.
Pada kenyataannya, jalur LTM dati suatu model ART berosilasi paling tidak
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 31/39
142 Pengantar Jaringan Neural
sekali dalarn proses belajar jika dihadapkan pada suatu urutan masukasebarang.
Model ART mempunyai suatu penyaring/filter yang terletak pada jalu
antara field representasi feature awal F : menuju ke field representasi katego
F2, sebagaimana dalarn model belajar kompetitif, serta suatu filter adapti
top-down yang terletak pada jalur dati F2 ke F l. Adanya jalur ini membed
ART dati model belajar kompetitif secara arsitektur, dan peranan jalur .
dalarn menghasilkan penstabilan-senditi (sel!-stabili-zing) membedakan kedu
model ini secara fungsional.Jika simpul pada Fl diaktifkan oleh suatu pola masukan I, suatu pol
aktivasi X dibentuk melintasi simpul F l. Pola X dikatakan mewakili I dala
memoti jangka-pendek (short-term memory - STM). Aktivasi ini ke
mudian melalui bobot (jalur LTM) dalam jalur dati Fl ke F2 dan mengha
silkan tingkat aktivasi lain T melintasi simpul F2. Proses ini dalam Grossber
(1987a) disebut sebagai penyaringan adaptif bottom-up. Sekarang, miri
dengan cara kerja model belajar kompetitif, dipilih salah satu simpul dati F
yang merepresentasikan suatu kategoti tertentu. Simpul (kategoti) ini me
ngetahui aktivasi apa yang direpresentasikannya, dan selanjutnya kita sebu
Y. Grossberg (1987 a) menyebut ini sebagai pola peningkat kekontrasa
(contrast-enhanced pattern). Kita dapat mengatakan bahwa Y merepre
sentasikan T dalam STM. Sekarang, Y menghasilkan suatu pola aktivitas
yang di-gate oleh jalur LTM dalam jalur umpan-balik dati F2 ke Fl. I
menimbulkan pola aktivasi V pada simpul Fl. Proses ini disebut sebag
pencocokan template secara top-down, dan V berperan sebagai ekspektyang dipelajati. Sekarang, pola masukan bottom-up I yang memulai selu
proses ini serta pola top-down V keduanya membetikan usikan pada simp
dalam F l. Fl berusaha untuk mencocokkan V terhadap I dan menghasi
pola aktivitas baru X*. Perhatikan bahwa rantai aktivasi keseluruh
I~X~S~T~Y~U~V~x* berlangsung sangat cepat relatif terhadap laj
perubahan yang mungkin dati bobot GalurLTM)dalarn filteradaptif top-dow
maupun bottom-up.
Sistem yang dijelaskan di atas sebenamya hanya merupakan salah sa
bagian dati arsitektur ART. Terdapat pula suatu subsistem orienting A yan
fungsinya pada dasamya adalah untuk menembakkan suatu reset-burs
pada simpul F2 dalam keadaan tertentu (akan dibahas di bawah im), Pol
masukan I juga mengaktifkan A, tetapi jalur STM X menghambat Aunt
melakukan penembakan. Sekarang jumlah peredarnan terhadap pola
I II ,
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 32/39
Beberapa Model Belajar 143
untuk menghasilkan X*bergantung pada seberapa banyakJ
yang ada dalampola template V (semakin besar jumlah ketidakcocokan, semakin besar
peredamannya). Jika X diredam, pengaruh penghambatannya pada sub-
sistem orienting diperlemah. Ini kemudian melakukan penembakan reset
burst ke simpul F2 yang menghasilkan penyingkiran pola top-down tem-
plate V dan berhentinya ketidakcocokan antara V dan I pada simpul Fl.
Pola yang membawa kepada rantai aktivasi sekarang mengulangi dirinya
sendiri untuk menghasilkan top-down template lain untuk dibandingkan
dengan J pada simpul Fl. Pola template Vdijaga agar tidak terpilih lagi olehsifat jangka panjang dari reset burst yang ditembakkan oleh subsistem
orienting.
Siklus penyaringan adaptif bottom-up dari F t ke F2, pemilihan template
pada F 2, pengkomunikasian template dati F2 ke F i, pencocokan pada F i,
dan reset pada F2 beruIang dengan laju tinggi hingga terjadi salah satu dati
ketiga kemungkinan berikut:
1. Ditemukan suatu template yang kira-kira coeok dengan pola rna-sukan J .
2. Ditemukan suatu simpul F2 yang sebelumnya uncommitted (yang
kernudian akan mengambil pola J sebagai template).
3. Kapasitas sistem terlampaui dan tak dapat menampung I.
Modifikasi terhadap jalur (bobot) LTM hanya terjadi dalam yang pertama
dari ketiga kejadian tersebut. Pola gabungan X (yang terjadi jika masukan Jdibandingkan terhadap suatu template V yang cukup mirip) merepresenta-
sikan fokus 'perhatian' sistem. Pola sinyal bottom-up dan top-down meng-
alami penguncian dalam suatu keadaan resonansi dari aktivasi STM. Pada
saat itu jalur LTM 'mempelajari' tiap informasi baru mengenai pola masukan
yang direpresentasikan dalam pola aktivasi gabungan pada Fl. Istilah teori
resonansi adapts] mencerminkan kenyataan bahwa proses belajar terjadi
hanya dalam keadaan resonansi.
Aturan dua-pertiga yang dijelaskan oleh Grossberg (1987 a) digunakanuntuk mengatur interaksi antara pola masukan dan pola template pada
tingkat simpu Fl. Aktivasi supraliminal dari simpul F ; yang terjadi sebagai
respon terhadap suatu pola masukan bottom-up sebarang, cukup untuk
menghasilkan sinyal keluaran menuju bagian lainnya dari jaringan tersebut.
Aktivasi subliminal dan simpul Fl sebagai respon terhadap ekspektasi top-
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 33/39
14 4 Pengantar Jaringan Neural
down sebarang mempersiapkan simpul F : untuk pola masukan yang
datang yang boleh jadi merupakan tanding an yang mendekati ekspekt
tersebut, tetapi tidak dapat dengan sendirinya menghasilkan suatu siny
keluaran. Suatu sumber masukan ketiga untuk F i yang disebut salur
pengendali penguatan atensional (attentional gain control channel) digu
nakan untuk membedakan antara masukan top-down dan bottom-up
Dengan aturan dua-pertiga, aktivasi supraliminal dari suatu simpul FJ men
syaratkan bahwa paling sedikit dua dari tiga masukan (bottom-up, to
down, dan pengendali penguatan/gain control) ke simpul F i tersebut aktifSelama pengolahan top-down, tiap simpul Fl menerima suatu sinyal da
hanya satu sumber sehingga hanya dapat diaktifkan secara subliminal
Selama pengolahan bottom-up, tiap jalur bottom-up aktif dapat 'menyala
kan' simpul pengendali penguatan (yang memberikan masukan pada semu
sirnpul Fl). Dengan demikian, simpul bottom-up yang tidak aktif hany
menerima masukan dari simpul pengendali penguatan. Pada sisilain, simp
bottom-up aktif menerima masukan dari simpul pengendali penguatan da
dari pola bottom-up, dan diaktifkan secara supraliminal. Akhimya, pad
saat peneocokan temp/ate dan pola masukan terjadi, pengendali penguata
dimatikan. Jadi hanya simpul F : yang meneTima konfirmasi dati masuka
bottom-up yang diaktifkan secara supraliminal. Dengan demikian adala
mung kin bahwa pada saat terjadi ketidakeocokan, lebih sedikit simpul f
yang aktif selama tahap pencocokan pola daripada selama presentasi pad
tahap masukan. In i menyatakan suatu penurunan aktivitas dalam Fi, da
dengan demikian berarti juga suatu penurunan efek penghambatan dasimpul FJ terhadap subsistem orienting yang disebutkan sebelumnya. Deng
demikian, suatu ketidakcocokan memungkinkan subsistem orienting menem
bakkan reset burst pada simpul F2.
Banyaknya ketidakcoeokan yang dapat ditolerir sebelum suatu temp/at
dianggap tidak coeok dengan pola masukan ditentukan oleh paramete
tingkat kewaspadaan. Suatu sistem ART dengan tingkat kewaspadaan ren
dah akan mengijinkan sejumlah besar ketidakeocokan, sehingga terja
pengelompokan pola aktivitas yang hanya mirip secara kasar. Ini berlawanan dengan sistem dengan tingkat kewaspadaan tinggi yang meneob
dan membentuk kategori terpisah untuk sistem yang hanya memiliki perbe
daan kecil. Perubahan tingkat kewaspadaan dapat diinterpretasikan sebag
suatu perubahan dalam keadaan atensional sistem yang meningkatka
sensitivitasnya terhadap ketidakeocokan.
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 34/39
Beberapa Model Be/ajar 145
Grossberg (1987a) merangkum pembahasan di atas dengan memberikanempat sifat yang dinyatakan esensial bagi suatu jaringan ART, yaitu:
1. Pengenalan p ola feature kntis. ART mampu menyatukan gagasan
dari konteks pola ke dalam proses penentuan apakah suatu feature
masukan tertentu adalah suatu sinyal atau hanya derau saja. Suatu
feature tertentu mungkin merupakan suatu sinyal suatu konteks ter-
tentu, dan merupakan derau dalam konteks yang lain. Pola feature
kritismeliputi unit komputasional dari proses mempelajari kode, danunit yang dipelajarimerupakan pola feature kritis.
2. Pencarian memori dengan penyesuaian sendiri (self-adjusting me-
mory search). Dengan adanya kemungkinan untuk berubah menjadi
suatu struktur kompleks acak dalam proses belajar yang kontinu,
adalah tidak mungkin untuk memakai suatu algoritma pencarian
yang telah ditentukan sebelumnya/predetermined yang senantiasa
merupakan yang paling efisien. Pencarian memori (memory search)dari suatu sistem ART seeara adaptif memperbarui urutan peneari-
annya untuk mempertahankan efisiensi.
3. Akses langsung kepada kode yang dipelajari. Dalam arsitektur ART,
dengan semakin akuratnya kode-kode yang dipelajari (secara pre-
diktif), mekanisme pencarian seeara otomatis dibebaskan. Dengan
demikian, event-event yang tidak menimbulkan ambigu dideteksi
dengan pesat. Jelasnya, waktu untuk pencarian dalam tree dan
algoritma serial lainnya meningkat dengan semakin besamya kode
pengenalan yang dipelajari.
4. Ungkungan sebagai pengajar. Meskipun sistem ART merepresenta-
sikan suatu paradigrna belajar tanpa pengawasan, Iingkungan dapat
mengatur proses pengajaran dengan mengubah parameter tingkat
kewaspadaan. Jadi, jika suatu pola masukan tertentu dianggap coeok
dengan suatu template tertentu tetapi Iingkungan menolaknya,
maka suatu faktor pengajar luar dapat meningkatkan faktor kewas-padaan dan menjamin bahwa ketidakeoeokan yang menyebabkan
kesalahan tadi tidak terjadi lagi.
Model ART paling coeok digunakan untuk belajar dan memberikan
respon dalam waktu nyata (real-time) terhadap suatu 'dunia' tak stasioner
dengan jumlah masukan tak terbatas hingga model tersebut memanfaatkan
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 35/39
146 Pengantar Jaringan Neural
seluruh kapasitas memorinya. Dalam sistem belajar dengan pengawasa(pengajar), proses belajar sering digerakkan oleh ketidakcocokan antar
keluaran yang diinginkan dan yang sebenamya/yang diperoleh. Intera
dengan pengajar memperlambat sistem. Faktor pengajar luar dibutuhka
bukan hanya untuk memberikan keluaran yang diinginkan sebagai perb
dingan dengan yang dihasilkan, tetapi juga untuk menghindarkan 'bencan
kapasitas' (capacity catastrophe) yang terjadi dalam sistem tanpa penstabi
an sendiri (non self-stabilizing) jika suatu arus masukan tanpa batas terja
dalam memori dan pelajaran sebelumnya terhapus. Untuk mencegah hal i
maka arus masukan harus dikurangi atau proses belajar harus dihentik
Pengajar menentukan kapan tindakan preventif tersebut harus dilakuk
Selanjutnya, dalam beberapa sistem belajar lainnya (misalnya simulate
annealing dan mesin Boltzmann) terdapat kemungkinan untuk terperan
kap dalam minimum lokal atau dalam solusi yang salah secara glob
Karena ART menggunakan kecocokan pendekatan (approximate matche
dan bukannya ketidakcocokan untuk meningkatkan belajamya dan melakkan proses ini tanpa adanya faktor pengajar luar dan faktor pengendali lu
seperti suhu, maka proses dapat terjadi secara stabil seiring dengan peng
manan (buffering) memori sistem terhadap derau ekstemal.
5.S Perbandingan antara Resonansi Adapti/ dan
Model Belajar Propagasi Balik
Perbedaan utama antara model ART dan model propagasi balik (bac
propagation - BP) adalah bahwa model ART mendemonstrasikan prose
belajar tanpa pengawasan, sedangkan model BP melakukan proses belaj
dengan pengajar. Sebagian besar literatur yang mereferensi model B
menekankan bahwa tingkat unit hidden yaitu F2 bertanggung jawab unt
mempelajari suatu peta asosiatif antara tingkat masukan Fl dan tingkkeluaran F3. Sifat terdistribusi dari peta ini memungkinkannya untu
menampung perubahan dalam lapis masukan dan mempengaruhi lapi
keluaran dengan tepat. Kritik dari Grossberg (1987a) terhadap model B
adalah bahwa cara model tersebut melakukan proses belajar membuatny
tidak coeok menjadi model dari otak. Argumen yang diberikan ialah bahw
pengorganisasian sendiri (self-organization) dari suatu peta asosiatif pad
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 36/39
Beberapa Model Belajar 147
Proses
belajar
pola
paralelr------'-----,
Proses
belajar kode
bottom-up 1Prosesbelajar
ekspentansi
top-down
Dlambil dar i Grossberg, S. (1967). ·Competit ive Learning: From Interact ive Activation to Adaptive Resonance,"Cognitive Science, 11,23-63. Dicefak ulang seijin Ablex Publishing Corporation.
Gambar 5.6 Arsitektur model ART.
dasamya dapat dicapai dengan suatu jaringan tiga tingkat. Gambar 5.6
merupakan suatu skernatik arsitektur model ART. Di sini, kedua tingkat
pertama mengatur proses belajar antara jalur bottom-up dan top-down-
nya, dan dengan begitu mengungkapkan kode dengan sifat invarian dalarnhimpunan pola masukan yang diberikan pada tingkat terendah. Aktivasi
kode ini pada F2 menyebabkan terjadinya proses belajar pola keluaran pada
F3 .
Skematik untuk arsitektur model propagasi batik pada Gambar 5.7
menunjukkan kompleksitasnya yang relatif lebih besar. Proses belajar secara
kasarnya berlangsung sebagai berikut. Masukan pada F, bergerak melalui F2
dan menghasilkan keluaran pada F3. Secara simultan, keluaran yang di-
inginkan diberikan sebagai masukan (oleh suatu faktor pengajar ekstemal)ke F4, di mana perbedaan antara keluaran yang diinginkan dan yang se-
benamya ini dikalikan dengan turunan dan keluaran yang dihasilkan, mem-
berikan suatu sinyal galat/error. Sinyal galat ini digunakan untuk mengubah
bobot pada jalur F2 - F3. Bobot ini kemudian diberikan kepada jalur top-
down F 4 - Fs untuk dikalikan dengan sinyai galat F 4 untuk membentuk sinyal
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 37/39
148 Pengantar Jaringan Neural
K e lua r a n
y a ng d ii ng in k an
Di f e r e n si a t or
D if e re n sia to r
F,
Diambll dari Grossberg, S. (1987). "Competit ive Learning: From Interactive Activation to Adaptive Resonance,"
Cognitive Science, 11, 23-63. Dicetak ulang seijin Ablex Publishing Corporation.
Gambar 5.7 Arsitektur model propagasi balik.
galat terbobot (weighted) pada Fs yang selanjutnya digunakan untuk men -
ubah bobot dalam jalur Fl - F2. Perhatikan bahwa perlunya keluar
dikonversikan ke turunannya pada tiap lapis [lni menyebabkan adanya lap s
F6 dan F7) menambah kompleksitas model secara keseluruhan. Selanjutny ,perhatikan bahwa seluruh proses ini diulang pada tiap tahapan unit hidd
dalam model SP.
Beberapa titik perbedaan kritis antara model ART dan BP adalah
1. Stabilitas dari kode yang dipelajari. Berbeda dengan sifat penst -
bilan-sendiri (self-stabilizing) dari kode yang dipelajari di dalam m -
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 38/39
Beberapa Model Belajar 149
del ART, dalam model BP tetjadi pengawasan terhadap keluaran
yang diinginkan yang diberikan oleh pengajar, sehingga dapat men-
jadi tak stabil dalam suatu lingkungan kompleks.
2. Ekspektasi sebagai prototip. Ketiadaan sifat penyekalaan-sendiri
(self-scaling) dalam model BP menyebabkan model tersebut tak
dapat mempengaruhi tingkat kepentingan dari tiap komponen yang
diharapkan jika berada di dalam keluaran yang diharapkan dengan
kompleksitas variabel. Karena itu model mernperlakukan tiap ek-
semplar sebagai prototip, bukannya mengungkapkan secara bertahap
sifat karakteristik invarian dari semua eksemplar yang diberikan
oleh pengajar dan dengan demikian membentuk suatu prototip.
Jelasnya, model ART dapat mgnungkapkan pola feature kritis.
3. Transpor bobot. Seperti dijelaskan di atas, jalur (bobot) LTM top-
down dalam model BP merupakan transpor formal dari jalur LTM
bottom-up yang dipeiajari, berlawanan dengan model ART di mana
bobot top-down dipelajari dengan suatu proses asosiatif waktu-nya-
ta dan bukannya hasil transpor dari bobot bottom-up.
4. Pencocokan untuk mengatur proses belajar. Aturan dua-pertiga
dalam model ART memungkinkan pemekaan subliminal terhadap
jaringan sebagai persiapan untuk suatu eksemplar dari suatu kelas
pola masukan yang diinginkan. Ini membantu mengatur proses
belajar yang diperlukan untuk menghasilkan suatu kode pengenalan
yang self-consistent. Meskipun demikian, dalam model BP, proses
pencocokan hanya mengubah bobot tanpa mempengaruhi pengo-
lahan informasi secara cepat yang menyertai tiap masukan.
5.9 Tinjauan Pustaka
Proses di mana suatu mekanisme kompetisi sederhana digunakan untuk
mengekstrak feature menonjol dalam suatu himpunan pola masukan diba-
has dalam Rumelhart (1985). Bahan dalam Sub bab 5.2 diambil dari sumber
ini, yang juga memberikan suatu pembahasan historis mengenai faktor-fak-
tor yang mendorong pengembangan mekanisme belajar kompetitif. Sedere-
5/16/2018 Bab5 Beberapa Model Belajar 3 - slidepdf.com
http://slidepdf.com/reader/full/bab5-beberapa-model-belajar-3 39/39
tan hasil eksperimen memberikan gambaran yang berguna mengenai apl
kasi dari paradigma ini.
Unsker (1986) menggunakan pendekatan bahwa prinsip pengorg
sasian yang mengatur proses perseptual manusia seharusnya dapat di
hami tanpa perlu menunggu pengungkapan sejumlah detail eksperiment
Ia mengambil sebagai contoh suatu fakta bahwa pemahaman terhada
prinsip komputer mungkin dilakukan tanpa perlu mengerti cara kerja da .
tiap komponennya. Dengan patokan ini, kertas karyanya membahas evol .
sifat pengorganisasian sendiri (sel/-organization) dalam suatu jaringan belapis banyak di mana sel beroperasi berdasarkan suatu variasi dari atu
Hebb. Bahan dalam Sub bab 5.3 diambil dari sumber ini. Detail materna'
yang lebih jelas dapat diperoleh dari Unsker (1986).
Fukushima (1975), Fukushima (1980) dan Fukushima (1986) membe
kan lebih banyak detail matematik serta beberapa hasil eksperimen yan
berhubungan dengan kognitron dan neokognitron. Kertas karya ini merup
kan sumber bahan dalam Sub bab 5.4. Sub bab 5.5 hanya memberika
pengantar pada padracligma aktivasi Interaktif. Dasar-dasar model terseb
sebagaimana diberikan oleh McClelland dan Rumelhart dibahas dala
McClelland (1981). Artikel ini aclalah sumber dari bahan dalam Sub bab 5.
dan dapat digunakan untuk memperoleh detail eksperimen yang tela
digunakan untuk menguji paradigma tersebut. Perluasan selanjutnya da '
model aktivasi interaktif clapat diperoleh dalam Rumelhart (1982) yan
merupakan kelanjutan kertas karya tersebut.
Grossberg (1987a) memberikan suatu analisis komparatif terhadaparadigma-paradigma yang telah kita bahas dalam bab ini, dan juga sua
perbandingan dengan proses belajar dengan propagasi batik yang kita bah
dalam Bab 4. Kertas karya ini juga berisi suatu pembahasan mengen
paradigm a resonansi adaptif yang diusulkan sebagai suatu altematif penst
bilan terhadap metode belajar kompetitif. Pembahasan lebih dalam meng
nai ART dapat ditemukan dalam Carpenter (1988). Kertas-kertas karya i
merupakan sumber pembahasan dalam Sub bah 5.7 dan 5.8.
150 Pengantar Jaringan Neural