mesterséges neurális hálózatok tematika
DESCRIPTION
Mesterséges Neurális Hálózatok Tematika. Póczos Barnabás NIPG ELTE-IK. Tematika. Bevezetés Óra célja NIPG csoport MI helyzete ANN definíció ANN felhasználási lehetőségei ANN története Hilbert 13. problémája Univerzális approximátorok reprezentációs tételek. - PowerPoint PPT PresentationTRANSCRIPT
Mesterséges Neurális HálózatokTematika
Póczos Barnabás
NIPG
ELTE-IK
Tematika
Bevezetés– Óra célja– NIPG csoport– MI helyzete– ANN definíció– ANN felhasználási lehetőségei– ANN története– Hilbert 13. problémája– Univerzális approximátorok– reprezentációs tételek
Az első neurális hálókŐskori algoritmusok
Perceptron– perceptron
– Adaline
– LMS
– Hebb szabály
– Widrow
Többrétegű perceptron– backpropagation
Alkalmazás– osztályozási feladatok
– univerzális függvény-approximátor
Mintavételezések, és alkalmazásaik
Mintavételezés– Hasting– Gibbs
• nagy dimenziós terek mintavételezése
Szimulált kihűtés (SA)– Globális optimalizálás
Monte Carló Trajektória Mintavételezés (MCTS), ConDensation– Objektum követés– Hepatitis B elleni oltások vizsgálata
MCTS alkalmazások
Expectation-Maximisation (EM)MoG hálózat paraméter becslésHMM paraméter becslésLDS paraméterbecslés
Alkalmazás:– Positron Emission Tomography (PET)
képfeldolgozás– AIDS fertőzöttek számának becslése
Kalman Filter (KF)Kiterjesztett Kalman Filter (EKF)KF, EKF alkalmazások
– Tengerészeti navigáció– Rakéta elhárítás– Arckövetés– Robot irányítás– Látókéreg modellezés
Változatok:– Unscented KF– Sigma point KF
Neurális megvalósítás:– Rekurzív Predikciós Hibamódszer (RPE)
„Matematikus kalandorok paradicsoma” (Ljung)
Tematika, Szabó Zoltán
Kernel módszerekSVM Alkalmazás
– osztályozási feladatok
Főkomponens Analízis (PCA)Független komponens Analízis (ICA) PCA, ICA, MICA Ritka kódolás ICA, SVM, Sparse coding kapcsolata Kernel módszerek
– PCA
– ICA
– MICA Alkalmazás
– Koktélparti probléma
– EEG adatok feldolgozása
– Látókérgi sejtek modellezése
Bayes hálók
Vélekedés propagálás (BP)– Várható érték propagálás (EP)
Alkalmazás– Orvosi diagnózis– Szakértő rendszerek– Hibajavító kódolás
Markov dinamika
Markov modellekRejtett Markov modellek (HMM)
– Folytonos – diszkrét
Viterbi algoritmusBaum Welch algoritmus
HMM alkalmazások
Alkalmazás– Dasher szövegbevitel– Hang feldolgozás– DNA elemzés– Arckifejezés felismerés– Országúti forgalom modellezés– Viselkedési formák elemzése
• Dasher adatok• Irodai tevékenység• Otthoni tevékenység
Topológiát tanuló neurális hálók
Lokálisan Lineáris Beágyazás (LLE)Általános Topografikus Leképezés (GTM)Önszervező hálózatok (SOM)Kohonen hálózatok
Topológiát tanuló neurális hálók
Arcképek feldolgozása
NMF– Arcrészletek keresése
ADABOOST– Arc detektálás, követés– Szem detektálás, követés
Arc detektálás
Szemdetektálás
Statisztikus fizikán alapuló hálózatok
Hopfield hálózatBoltzmann hálózatMeanfield hálózatAlkalmazás
– globális minimalizálás– NP nehéz kombinatorikus problémák
• utazó ügynök• 8 királynő
Rekurrens Neurális Hálózatok(Szita István)
Rekurrens Neurális Hálózatok (RNN)Echo State Network (ESN)PIRANHA algoritmusAlkalmazás
– Kaotikus sorozatok megtanulása
EC-HC modellezés (Lőrincz András)
Biológiai relevanciaAz értelmezés kérdése és a homunculus
paradoxon feloldása mesterséges neuronhálókkal
Az architektúra származtatásaAz architektúra jóslatai, kísérleti
eredmények
Felhasznált irodalomHorváth Gábor: Neurális hálók és műszaki
alkalmazásaik, Műegyetemi Kiadó 1995Simon Haykin: Neural Networks: A Comprehensive
Foundation (2nd Edition)Howard Demuth, Mark Beale: Neural Network
ToolboxL. Ljung, T. Soderstrom: Theory and Practice of
Recursive Identification, MIT Press, 1983N. Cristianini and J. Shawe-Taylor: An
introduction to support vector machines (and other kernel-based learning methods) Cambridge University Press
Felhasznált irodalomMichael I. Jordan: Learning in graphical models
2000 ISBN: 0 521 78019 5A. Hyvarinen, J. Karhunen, E. Oja: Independent
Component Analysis G. J. McLachlan and T. Krishnan: The EM
Algorithm and ExtensionsT.M. Cover and J.A. Thomas: Elements of
Information TheoryBrendan Frey: Graphical Models for Machine
Learning and Digital CommunicationDavid J.C. MacKay: Information Theory, Inference,
and Learning Algorithms
Felhasznált irodalom
Jegyzetek: Jaakkola, Tommi:
http://ocw.mit.edu/OcwWeb/Electrical-Engineering-and-Computer-Science/6-867Machine-LearningFall2002/LectureNotes/index.htm
Levendowszky János: http://www.hit.bme.hu/people/levendov/Neuralis/
Lőrincz András: http://people.inf.elte.hu/lorincz/scripts/Eloadas/ANN_Word_v_0.9.zip
Peng, Yun: http://www.csee.umbc.edu/~ypeng/#PTR0
Welling, Max: http://www.vision.caltech.edu/welling/class/LearningSystems156B.html