12011/2012

2

• Idée générale• Définition• Le principe de boosting• Historique• AdaBoost

–L'Algorithme de AdaBoost– ILLUSTRATION–Les avantages et les inconvénients

pratiques de AdaBoost• Conclusion

3

Exemple: détecter des mots au pluriel

Règle faible 1Règle faible 2

Règle Forte

• Le mot boosting s’applique à des méthodesgénérales capables de produire des décisionstrès précises à partir d’un ensemble de règlesde décision « faibles ».

« Le boosting combine des hypothèses dites

faibles en une hypothèse dite forte »

4

• Faire simple pour faire compliqué

il est facile de trouver des règles simples,

généralement justes.

il est très difficile de trouver une règle "fortes" qui

est vérifiée dans tous les cas.

• Le principe est issu de la combinaison de classifieurs (appelés également hypothèses).

5

• La catégorisation

• Détection et classement d’objet dans des images

• Le filtrage de texte

• Bioinformatique

6

7

1989 1990 1992 1996

Schapirealgorithme de weaklearner

FreundAlgorithmeoptimal par

votes pondérés

Drucker & al Premières mises en

œuvres réellesFreund & Schapire

Adaboost

• Adaboost (Adaptive Boosting, R.Scharpire,Y.Freund, 1996) est une méthode deboosting (intelligence artificielle,apprentissage automatique) introduite parYoav Freund et Robert Schapire.

• Adaboost consiste à transformer, d’une manièreefficace, un classifieur «faible» en un classifieur«fort» en réduisant les taux d’erreur.

8

9

10

Exemple

Initialisation

11

:

:

:

:

Étape 1

12

Étape 2

Z = 0.827

13

Étape 3

14

==

15

Les avantages:• très rapide.

• Simple et facile à programmer.

• Une seul paramètre à régler.

• Permet de trouver les exemples aberrants.

Les inconvénients:Les performances d’ADABOOST sont influencées par :

• Le choix du weak learner.

• La nature des données d’apprentissage.

16

Le boosting est un outil efficace expérimentalement Basé sur une théorie mathématique et trois principes essentiels:

1- Combiner les estimations de différents experts.

2- Modifier, avant chaque ajout d’un expert, la distribution des exemples.

3- Au final, utiliser une moyenne des « votes » des experts, pondérée par leurs fiabilités respectives.

• Permet d’obtenir un très bon classifieur en associant des classifieurs « faibles »

17

Merci de votre attention

18