![Page 1: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/1.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
1/19
Introduction aux réseaux de neuronesartificiels
Wilfried Segretier
LAboratoire de Mathématiques, Informatique et Applications (LAMIA)Université des Antilles et de la Guyane
Campus de Fouillole, Guadeloupe24 mai 2018
![Page 2: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/2.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
2/19 Plan
1 Introduction
2 Neurone Formel
3 Fonction d’activation
4 Définitions
5 Perceptron
6 Perceptron Multicouches
![Page 3: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/3.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
3/19 Introduction
Réseaux de neurones artificiels (ANN)
I Modèles inspirés par lefonctionnement du cerveau humain
I interconnexion d’unitésélémentaires : les neurones
I utilisés en IA/apprentissageautomatique pour la résolution deproblèmes complexes
I en particulier classification(supervisée ou non), régression, ...
I ex : reconnaissance de caractèresmanuscrits, guidage de véhiculesautonomes, reconnaissance deformes, ...
![Page 4: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/4.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
4/19 Modèle biologique
Neurone
I cellule cérébrale
I collecte, traite, transmet des signaux électriques
I fonctionnement non linéaire (effet de seuil)
I postulat : les performances du cerveau emergent del’interconnexion de neurones
![Page 5: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/5.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
5/19 Historique
I 1943 - McCulloch et Pitts : définition d’un neurone formelI 1958 - Rosenblatt : modèles avec processus
d’apprentissage, perceptronI 1974 - 1986 Werbos, Rumelhart, Le Cun : perceptron
multicouche, retropropagation du gradientI De nos jours : Deep Learning
![Page 6: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/6.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
6/19 Neurone Formel
Modélisation mathématique d’un neurone
I signaux d’entrée
I coefficients synaptiques(poids)
I somme pondérées
I
I fonction d’activation
I
![Page 7: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/7.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
7/19 Fonction d’activation
Exemples de fonctions d’activation
I fonction à seuil : renvoie 1 quand l’entrée est positive, 0sinon
I fonction logistique (sigmoide) : 1/(1+ e−λx)
![Page 8: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/8.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
8/19 Exemple : fonctions booléenes
I Fonction d’activation : seuilI Il est possible de combiner ces neurones pour créer
n’importe quelle fonction booléenne.
![Page 9: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/9.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
9/19 Réseau de neurones
DéfinitionUn réseau de neurones est un graphe valué orienté, constitué d’unensemble d’unités, réalisant des calculs élémentaires, structurées encouches successives capables d’échanger des informations au moyende connexions qui les relient.
Un réseau de neurone se caractérisenotamment par :
I son architecture
I les fonctions de ses éléments
Deux grandes catégories :
I acycliques (feed-forward)
I cycliques (récurrents)
![Page 10: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/10.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
10/19 Perceptron
I Rosenblatt 1958
I Réseau feed-forwardmonocouche
I Les entrées sont directementreliées aux sorties
I séparateur linéaire carW .x = 0 défini un hyperplandans l’espace des entrées
![Page 11: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/11.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
11/19 Algorithme d’apprentissage du perceptron
![Page 12: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/12.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
12/19 Remarques
I Si fonction d’activation différentiable (differentes de fct seuil) :multiplication de l’erreur par la dérivée
I Choix de ε arbitraire
I trop grand : oscillation autour du minimum
I trop petit : nombre élevé d’itérations
I échantillon non linéairement séparable : l’algorithme neconverge pas
I solutions différentes en fonction de poids initiaux
I manque de robustesse (nouvel exemple d’apprentissage)
![Page 13: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/13.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
13/19 Exemple application perceptron
![Page 14: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/14.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
14/19 Perceptron : Exercice
Considérez l’ensemble d’exemples suivants,chacun ayant six entrées et une sortie cible :
1 Exécutez la règle d’apprentissage du perceptron sur ces donnéeset montrez les poids finaux
2 Exécutez la règle d’apprentissage d’un arbre de décision sur cesdonnées et montrez l’arbre obtenu
3 Comparez les résultats
![Page 15: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/15.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
15/19 Perceptron Multicouches introduction
I Permet de pallier le principal désavantage des perceptronssimplerightarrow la niéarité
I Modèle très précis si bien paramétréI Possibilité de surapprentissageI Modèle Boîte noire : non explicite, causalité entre le
phénomène modélisé et les poids définis pas toujoursévidente
![Page 16: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/16.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
16/19 Perceptron Multicouches (MLP)
I Réseau feed-forward avec couchesintermédiaires
I Chaque neurones d’une couche estrelié à l’ensemble des neurones dela couche suivantes
I Résolution de problèmesnon-linéaires grâce auxcombinaisons de neurones
I Fct activation : fct logistique(sigmoide)
I Cybenko (1989) Toute fonctioncontinue sur Rp peut êtreapproximée avec une précisionarbitraire avec un MLP à unecouche intermédiaire
![Page 17: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/17.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
17/19 Apprentissage d’un MLP
I Principe similaire à l’apprentissage du perceptron simpleI ajout d’un mécanisme de rétropropagation de l’erreurI permet d’ajuster les poids en faisant remonter l’erreur des
sorties vers les différentes couchesI 2 phases s’alternent jusqu’a la convergence
1 Feed-forward : calcul des sorties, les signaux transitentpar les différentes couches
2 Backpropagation : les sorties obtenues sont comparéesaux sorties attenduesune erreur est calculée pour chaque sortieles poids des liens ayant contribué a chaque erreur sontajustés de la fin vers le début
I on cherche à minimiser les erreurs au fur et à mesure(descente de gradient)
![Page 18: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/18.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
18/19 Apprentissage d’un MLP
![Page 19: Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et Applications (LAMIA) Université des Antilles et de la Guyane Campus de Fouillole,](https://reader033.vdocuments.site/reader033/viewer/2022050612/5fb33a77f7ab9b14405fa362/html5/thumbnails/19.jpg)
Introduction
NeuroneFormel
Fonctiond’activation
Définitions
Perceptron
PerceptronMulticouches
19/19 Apprentissage d’un MLP