0 * 0 7 6 7 6 ˘ ˘ 6ˇ8 6 7 7 7ˇ8 7 7 6 9 7ˇ8: 6ˇ8 7 ˇ 9 6 7ˇ8: 7 9 7 7 : ;

Download 0 * 0 7 6 7 6 ˘ ˘ 6ˇ8 6 7 7 7ˇ8 7 7 6 9 7ˇ8: 6ˇ8 7 ˇ 9 6 7ˇ8: 7 9 7 7 : ;

Post on 27-Feb-2019

212 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

Jacek Bartman

Uczenie sieci neuronowych

Jacek Bartman

Etapy ycia SSN

Uczenie sieci neuronowej

Testowanie SSN

Wykorzystanie SSN do rozwizywania nauczonego zadania

Jacek Bartman

Metody uczenia sieci neuronowych

Rozrnia si dwa rodzaje uczenia: nadzorowane (z nauczycielem), nienadzorowane (bez nauczyciela).

Wagi zawieraj ca wiedz jako posiada neuron (sie neuronowa)

Oglna zasada nauki przyjta dla sieci neuronowych brzmi: wektor wag w ronie proporcjonalnie do iloczynu sygnau wejciowego xi uczcego r

Uczenie sieci polega na automatycznym (wedug odpowiedniego algorytmu) dobraniu takich wartoci wag, przy ktrych sie bdzie moliwie najlepiej rozwizywaa dane zadanie.

Jacek Bartman

Uczenie nadzoworwane

Uczenie nadzorowane stosuje si tylko wwczas, gdy istnieje moliwo zweryfikowania poprawnoci odpowiedzi udzielanych przez sie; oznacza to, e dla kadego wektora wejciowego musi by znana dokadna posta wektora wyjciowego (podana odpowied) .

Schemat postpowania podaj na wejcie sieci

wektor wejciowy wyznacz bd popeniany

przez sie wykorzystaj wyznaczony

bd do korekty wag sieci.

Jacek Bartman

Uczenie nienadzorowane

Uczenie nienadzorowane stosuje si wwczas gdy nie znamy oczekiwanych odpowiedzi na zadany wzorzec

Warunki samouczenia

Sygnay wejciowe musz si da jako sklasyfikowa, zaszufladkowa (musz by "podobne" do pewnych wzorcw tzw. atraktorw)

Neuronw musi by wyranie wicej, ni atraktorw. Znaczy to, e sie musi by dostatecznie "mdra", by zaabsorbowa pewn dawk wiedzy.

Rnorodne pocztkowe preferencje poszczeglnych neuronw. Jeli sie ma si nauczy rozpoznawania rnych obiektw, musi mie takie neurony, ktre maj rne "upodobania".

Jacek Bartman

Kolejno prezentacji wzorcw uczcych

Jak ustali kolejno prezentacji wzorcw? Prezentowa dany wzorzec, a do uzyskania stabilnego wektora wag i nastpnie

przej do kolejnego wzorca. Prezentowa wzorce cyklicznie, w tej samej kolejnoci. Do kadej prezentacji losowa wzorzec - wszystkie wzorce s jednakowo

prawdopodobne do wylosowania

Najodpowiedniejsza jest metoda trzecia (losowego prezentowania wzorcw), gdy: pierwsza metoda powoduje, i sie po wyodrbnieniu danego wzorca traci

zdolno rozpoznawania wzorca nauczonego wczeniej, druga metoda moe powodowa wpadanie sieci w cykl, ktry nie prowadzi do

zbienoci.

Jacek Bartman

Reguy uczenia sieci neuronowychWektor wag wwwwiiii = [w= [w= [w= [wi1 i1 i1 i1 wwwwi2i2i2i2 ... w... w... w... winininin]]]]tttt ronie proporcjonalnie do iloczynu sygnaw wejciowego xxxx i uczcego rrrr

( ) )()(),(),()( ttdttrct iii xxww =

i-ty neuron

Generator sygnau uczcego

yi

di

wi

r

c

x

x1x2

xj

xn

...

...

x

wi1

wij

win

Sygna uczcy r jest w ogl-noci funkcj wi , x i czasami sygnau nauczyciela d

x wektor wejciowywi wektor wag i-tego neuronuyi odpowied i-tego neuronu

di oczekiwana odpowied i-tego neuronur sygna uczcyc staa uczenia

Jacek Bartman

Regua Heba

Odnosi si do uczenia bez nauczyciela

Sygnaem uczcym jest sygna wyjciowy neuronu

Przyrost wektora wag wynosi:

Pojedyncza skadowa wektora wg zmienia si o:

Wymaga wstpnego ustawienia wag na wartoci przypadkowe z otoczenia 0 (zera)

( )xw tif== iyr

jiij xcyw =

( )xxwxw tiii ccy f==

x wektor wejciowywi wektor wag i-tego neuronuyi odpowied i-tego neuronu

di oczekiwana odpowied i-tego neuronur sygna uczcyc staa uczenia

Jacek Bartman

Regua Heba - interpretacja reguy

Wzmocnieniu ulegaj te wagi, ktrych wejcia s aktywne (maj due x) w sytuacji gdy due jest wzbudzenie neuronu (y).

Sie autoasocjacyjna: jeeli pewien wzr wzbudzenia jest sygnalizowany przez pewne wyjcie y, to w miar upywu czasu ta sygnalizacja staje si coraz wyraniejsza.

Regua prowadzi do uzyskania najlepszej korelacji pomidzy sygnaami wejciowymi, a zapamitanym w wagach wzorcem.

Regua stanowi praktyczn realizacj stwierdzenia z zakresu neurologii (Hebb, 1949): Jeeli akson komrki A bierze syste-matycznie udzia w pobudzaniu komrki B powodujcym jej aktywacj, to wywouje to zmian metaboliczn w jednej lub w obu komrkach, prowadzc do wzrostu skutecznoci pobudzania komrki B przez komrk A

Jacek Bartman

Regua Heba przykad

yx1

x4

w1

w4

Jacek Bartman

-

====

---

-

====++++====

25,35,2

1

5,125,0

1

5,05,132

2223 xcyww

[ ] 25,05,125,0

1

5,05,132xwu 2T22 =

==

1)25,0sgn()u(fy 22 ===

Krok2: Na wejcie podajemy wektor x2

yx1

x4

w1

w4

Jacek Bartman

=

=+=

5,05,45,3

1

5,1110

25,35,2

1

xcyww 3334

[ ] 35,1110

25,35,21xwu 3T33 =

==

1)3sgn()u(fy 33 ===

Krok3: Na wejcie podajemy wektor x2

Dla dyskretnej (bipolarnej) funkcji aktywacji i c=1 uczenie metod Hebba sprowadza si do dodania lub odjcia wektora wejciowego do (od) wektora wag

yx1

x4

w1

w4

Jacek Bartman

Regua Heba - przykad

yx1

x4

w1

w4

1)uexp(1

2)u(f

5,0011

w

5,1110

x

5,125,0

1

x,

05,121

x 1321 +=

=

=

=

=

C=1 wektory wejciowe wagi pocztkowe funkcja aktywacji

Krok1:Wektor x1 daje czne pobudzeni u1 o wartoci

Krok2: Na wejcie podajemy wektor x2

Krok3: Na wejcie podajemy wektor x2

[ ] 305,121

5,0011xwu 1T11 =

== 905,01

e12)u(fy 3

11 =+

==

=

+

=+=

5,0357,181,2

905,1

05,121

*905,0

5,0011

xcyww 1112

077,0)u(fy 22 ==

=+=

616,0512,1772,2828,1

xcyww 2223

905,0)u(fy 33 ==

=+=

783,044,270,3

828,1

xcyww 3334

Dla cigej funkcji aktywacji tylko uamek wzorca wejciowego zwiksza lub zmniejsza wektor wag. Korekcja wag jest wic agodniejsza, ale zachodzi zasadniczo w tym samym kierunku.

Jacek Bartman

Regua Heba cechy, wady i zalety

SN skutecznie sama organizuje sygnay wejciowe w klastry.

Silnie zaley od wylosowanych na pocztku procesu uczenia wag. Wartoci te wpyn na podzia na klasy. (Jeeli pocztkowe wartoci wag oznaczaj wrodzone skonnoci sieci, to bd si one pogbiay podczas uczenia.)

Liczba neuronw w warstwie wyjciowej powinna by wiksza od liczby klas.

Nie wiemy, ktry neuron bdzie odpowiedzialny za rozpoznanie konkretnej klasy (np.. przy rozpoznawaniu liter).

Moe si zdarzy, e aden neuron nie nauczy si rozpoznawania jednej z klas.

Wagi rosn bez ograniczenia.

Dua wraliwo na szumy.

Jacek Bartman

Regua perceptronowa

Dotyczy nauki z nauczycielem i odnosi si do sieci z neuronami dyskretnymi

Sygnaem uczcym jest popeniany bd

Korekcja wag odbywa si wg zalenoci

Wartoci pocztkowe wag powinny by losowe.

ii ydr =

( )xxww )sgn( tii idc =

Rosenblat 1958

x wektor wejciowywi wektor wag i-tego neuronuyi odpowied i-tego neuronu

di oczekiwana odpowied i-tego neuronur sygna uczcyc staa uczenia

Jacek Bartman

Regua delta

Odnosi si do uczenia nadzorowanego i obowizuje dla neuronw z cigymi funkcjami aktywacji

Sygna uczcy jest zdefiniowany jako:

Wzr na korekcj wag ma posta:

Wartoci pocztkowe wag powinny by losowe.

( )[ ] ( )xwxw titi ff == idef dr

( ) ( )xxww tiiii ydc f =

Regua delty jest wynikiem minimalizacji sumy kwadratw bdw

McClelland, Rumelhart, 1986

Regu mona uoglni na przypadek sieci wielowarstwowych

x wektor wejciowywi wektor wag i-tego neuronuyi odpowied i-tego neuronu

di oczekiwana odpowied i-tego neuronur sygna uczcyc staa uczenia

Jacek Bartman

Regua Widrowa-Hoffa (regua LMS)

Odnosi si do uczenia z nauczycielem sieci o neuronach z dowolnfunkcj aktywacji

Sygna uczcy jest zdefiniowany jako:

Korekta wektora wag ma posta

Wartoci pocztkowe wag powinny by losowe.

xw ti= idefdr

( )xxww tiii dc =

Widrow, 1962

Regua Widrowa-Hoffa jest wynikiem minimalizacji bdu redniokwadratowego

ii udr =

( )xw iii udc =

x wektor wejciowywi wektor wag i-tego neuronuui potencja i-tego neuronu

di oczekiwana odpowied i-tego neuronur sygna uczcyc staa uczenia

Jacek Bartman

Regua korelacyjna

Odnosi si do uczenia z nauczycielem sieci o neuronach z dowoln funkcj aktywacji

Sygna uczcy jest zdefiniowany jako:

Korekta wektora wag ma posta

Regua jest analogi do reguy Hebba (uczenia nienadzorowanego di=yi)

idr =

xw ii cd=

x wektor wejciowywi wektor wag i-tego neuronuyi odpowied i-tego neuronu

di oczekiwana odpowied i-tego neuronur sygna uczcyc staa uczenia

Jacek Bartman

Regua wygrywajcy bierze wszystko (WTA)

Odnosi si do uczenia bez nauczyciela (grupa uczenia z rywalizacj)

Korekta wektora wag ma posta

>0 wspczynnik malejcy w miarpostpu uczeniai numer wygrywajcego neuronu ustalony z kryterium

Neuron wygrywajcy moe by rozszerzony na ssiadw.

W

Recommended

View more >