arbres de décision - université de strasbourg - ufr...
TRANSCRIPT
![Page 1: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/1.jpg)
Apprentissage automatique
Arbres de décision
![Page 2: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/2.jpg)
N. Lachiche, 2008
Intérêts des arbres de décision
Expressivité approximation de fonctions à valeurs discrètes capable d’apprendre des expressions
disjonctivesLisibilité
peut être traduit sous la forme de règlesBeaucoup d’applications
![Page 3: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/3.jpg)
N. Lachiche, 2008 3N. Lachiche, 2008
Plan
Représentation ID3Espace des hypothèses et biais inductifExtensions
![Page 4: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/4.jpg)
N. Lachiche, 2008
Exemple d’arbre de décisionCiel
Humidité Oui Vent
Soleil Couvert Pluie
Oui OuiNonNon
Elevée Normale Fort Faible
Attribut
Valeur
Classe
![Page 5: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/5.jpg)
N. Lachiche, 2008
Classification d’une instance<Ciel = Soleil, Température = Chaud, Humidité = Elevée, Vent = Fort>
Ciel
Humidité Oui Vent
Soleil Couvert Pluie
Oui OuiNonNon
Elevée Normale Fort Faible
Ciel
Soleil
Humidité
Elevée
Non
![Page 6: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/6.jpg)
N. Lachiche, 2008
Exemple d’arbre de décisionCiel
Humidité Oui Vent
Soleil Couvert Pluie
Oui OuiNonNon
Elevée Normale Fort Faible
![Page 7: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/7.jpg)
N. Lachiche, 2008
Expression sous forme logique
(Ciel = Soleil et Humidité = Normale)ou (Ciel = Couvert)ou (Ciel = Pluie et Vent = Faible)
![Page 8: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/8.jpg)
N. Lachiche, 2008
Domaines d’application
Instances représentées par des couples attribut-valeur
Fonction cible à valeurs discrètesExpression disjonctive vraisemblableErreurs possibles dans les exemplesValeurs manquantesMédical, financier,...
![Page 9: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/9.jpg)
N. Lachiche, 2008
Algorithme de base
A= MeilleurAttribut(Exemples)Affecter A à la racinePour chaque valeur de A, créer un nouveau
nœud fils de la racineClasser les exemples dans les nœuds filsSi tous les exemples d’un nœud fils sont
homogènes, affecter leur classe au nœud, sinon recommencer à partir de ce nœud
![Page 10: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/10.jpg)
N. Lachiche, 2008
Ensemble d’apprentissageJour Ciel Température Humidité Vent JouerJ1 Soleil Chaud Elevée Faible NonJ2 Soleil Chaud Elevée Fort NonJ3 Couvert Chaud Elevée Faible OuiJ4 Pluie Doux Elevée Faible OuiJ5 Pluie Froid Normale Faible OuiJ6 Pluie Froid Normale Fort NonJ7 Couvert Froid Normale Fort OuiJ8 Soleil Doux Elevée Faible NonJ9 Soleil Froid Normale Faible OuiJ10 Pluie Doux Normale Faible OuiJ11 Soleil Doux Normale Fort OuiJ12 Couvert Doux Elevée Fort OuiJ13 Couvert Chaud Normale Faible OuiJ14 Pluie Doux Elevée Fort Non
![Page 11: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/11.jpg)
N. Lachiche, 2008
Choix de l’attribut
[9+,5-]
[6+,2-] [3+,3-]
[9+,5-]
[3+,4-] [6+,1-]
A1 A2
V V FF
![Page 12: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/12.jpg)
N. Lachiche, 2008
Entropie
S est un ensemble d’exemplesp+ est la proportion d’exemples positifsp- est la proportion d’exemples négatifsMesure l’homogénéité des exemples
Entropie S ≡−p log2 p− p− log 2 p−
Entropie [9,5−] =−9
14log 2
914
−5
14log 2
514
=0.940
![Page 13: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/13.jpg)
N. Lachiche, 2008
Entropie
![Page 14: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/14.jpg)
N. Lachiche, 2008
Interprétation de l’entropie
Nombre minimum de bits nécessaires pour coder la classe d’un élément quelconque de S
Théorie de l’information : un code de longueur optimale utilise -log2p bits à un message de probabilité p.
Entropie S ≡ p−log2 p +p− −log2 p−
![Page 15: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/15.jpg)
N. Lachiche, 2008
Gain d’information
Gain(S,A)=Réduction d’entropie due à un tri suivant les valeurs de A
Gain S,A≡Entropie S − ∑v∈Valeurs A
∣S v∣∣S∣
Entropie S v
![Page 16: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/16.jpg)
N. Lachiche, 2008
Choix de l’attribut[9+,5-]
[3+,4-] [6+,1-]
Humidité
Elevée Normale
E=0,940
E=0,985 E=0,592
Gain(S, Humidité)= 0,940-(7/14)0,985-(7/14)0,592= 0,151
![Page 17: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/17.jpg)
N. Lachiche, 2008
Choix de l’attribut[9+,5-]
[6+,2-] [3+,3-]
Vent
Faible Fort
E=0,940
E=0,811 E=1
Gain(S, Vent)= 0,940 - (8/14)0,811 - (6/14) 1= 0,048
![Page 18: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/18.jpg)
N. Lachiche, 2008
Choix de l’attribut[9+,5-]
[2+,3-] [3+,2-]
Ciel
Soleil Pluie
E=0,940
E=0,971 E=0,971
Gain(S, Ciel)= 0,940-(5/14)0,971-(5/14)0,971-0= 0,246
[4+,0-]
E=0
Couvert
![Page 19: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/19.jpg)
N. Lachiche, 2008
Choix de l’attribut[9+,5-]
[2+,2-] [3+,1-]
Température
Chaud Froid
E=0,940
E=1 E=0,811
Gain(S, Température)= 0,940-(4/14)1-(6/14)0,918- (4/14)0,811= 0,029
[4+,2-]
E=0,918
Doux
![Page 20: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/20.jpg)
N. Lachiche, 2008
Choix de l’attribut
Humidité Vent
Elevée Faible FortNormale
Gain(S, Humidité) = 0,151 Gain(S, Vent) = 0,048
![Page 21: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/21.jpg)
N. Lachiche, 2008
Choix de l’attribut
Gain(S, Ciel) = 0,246 Gain(S, Température) = 0,029
Ciel
Soleil PluieCouvert
Température
Chaud FroidDoux
![Page 22: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/22.jpg)
N. Lachiche, 2008
Choix du prochain attributCiel
? Oui
Soleil Couvert Pluie
?
{J1, J2, …, J14}[9+,5-]
{J1, J2, J8, J9, J11}[2+,3-]
{J3, J7, J12, J13}[4+,0-]
{J4, J5, J6, J10, J14}[3+,2-]
Gain(SSoleil,Humidité) = 0,970 - (3/5) 0 - (2/5) 0 = 0,970Gain(SSoleil,Température) = 0,970 - (2/5) 0 - (2/5) 1 - (1/5) 0 = 0,570Gain(SSoleil,Vent) = 0,970 - (2/5) 1 -(3/5) 0,918 = 0,019
![Page 23: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/23.jpg)
N. Lachiche, 2008
Exemple d’arbre de décisionCiel
Humidité Oui
Soleil Couvert Pluie
OuiNon
Elevée Normale
{J1, J2, J8}[0+,3-]
{J9, J11}[2+,0-]
?{J4, J5, J6, J10, J14}
[3+,2-]
![Page 24: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/24.jpg)
N. Lachiche, 2008
Choix du prochain attributCiel
Oui
Soleil Couvert Pluie
?
{J1, J2, …, J14}[9+,5-]
{J4, J5, J6, J10, J14}[3+,2-]
Gain(SPluie,Humidité) = 0,970 - (2/5) 1 - (3/5) 0,918 = 0,019Gain(SPluie,Température) = 0,970 - (0/5) - (3/5) 0,918 - (2/5) 1 = 0,019Gain(SPluie,Vent) = 0,970 - (2/5) 0 -(3/5) 0= 0,970
Humidité
![Page 25: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/25.jpg)
N. Lachiche, 2008
Exemple d’arbre de décisionCiel
Humidité Oui Vent
Soleil Couvert Pluie
Oui OuiNonNon
Elevée Normale Fort Faible
{J1, J2, J8}[0+,3-]
{J9, J11}[2+,0-]
{J6, J14}[0+,2-]
{J4, J5, J10}[3+,0-]
![Page 26: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/26.jpg)
N. Lachiche, 2008
Espace des hypothèses d’ID3
Apprentissage vu comme une recherche dans un espace d’hypothèses
« Hill-climbing » à partir de l’arbre vide, guidé par le gain d’information
![Page 27: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/27.jpg)
N. Lachiche, 2008
Espace des hypothèses d’ID3
![Page 28: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/28.jpg)
N. Lachiche, 2008
Espace des hypothèses d’ID3
Espace des hypothèses est completRend une seule solution, pas toutes…Pas de retour en arrièreChoix faits sur des critères statistiques
![Page 29: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/29.jpg)
N. Lachiche, 2008
Biais inductif d’ID3
« préfère les arbres les plus courts »ceux qui placent les attributs de meilleurs
gains d’information près de la racineApproche heuristique d’une recherche en
largeur d’abord
![Page 30: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/30.jpg)
N. Lachiche, 2008
Types de biais
Biais de restriction biais de langage
Biais de préférence biais de recherche
![Page 31: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/31.jpg)
N. Lachiche, 2008
Pourquoi préférer les hypothèses les plus courtes ?
Rasoir d’Occam Préférer les hypothèses les plus simples qui
expliquent les donnéesPlus générale, plus de chances d’être réfutéeTaille de l’hypothèse dépend du langage
![Page 32: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/32.jpg)
N. Lachiche, 2008
Extensions
Sur-apprentissageAttributs continusRatio du gain d’informationValeurs manquantesCoût des attributs
![Page 33: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/33.jpg)
N. Lachiche, 2008
Sur-apprentissage
Effet des exemples bruités : J15 <Soleil, Chaud, Normale, Fort, Non>
![Page 34: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/34.jpg)
N. Lachiche, 2008
Chaud Doux Froid
Sur-apprentissageCiel
Humidité Oui Vent
Soleil Couvert Pluie
Température
OuiNonNon
Elevée
Normale
Fort Faible
Non Oui Oui
![Page 35: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/35.jpg)
N. Lachiche, 2008
Sur-apprentissage
Erreur expérimentale : erreurexp(h)Erreur réelle sur la distribution D des
instances : erreurD(h)Sur-apprentissage :
erreurexp(h) < erreurexp(h’) erreurD(h) > erreurD(h’)
![Page 36: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/36.jpg)
N. Lachiche, 2008
Exemple de sur-apprentissage
![Page 37: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/37.jpg)
N. Lachiche, 2008
Eviter le sur-apprentissage
Arrêter la croissance de l’arbre quand la division des données n’est plus statistiquement significative
Générer l’arbre entier, puis élaguer
![Page 38: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/38.jpg)
N. Lachiche, 2008
Sélection du « meilleur » arbre
Mesurer les performances sur un ensemble distinct de données de validation
Mesurer les performances sur l’ensemble d’apprentissage et effectuer test statistique
MDL : minimiser taille(arbre) + taille(erreurs de classification(arbre))
![Page 39: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/39.jpg)
N. Lachiche, 2008
Elagage basé sur l’erreur
Diviser les données en ensembles d’apprentissage et de validation
Tant que l’élagage réduit l’erreur Evaluer sur l’ensemble de validation l’influence
d’un élagage à partir de chaque nœud Effectuer le meilleur élagage
![Page 40: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/40.jpg)
N. Lachiche, 2008
Effet de l’élagage basé sur l’erreur
![Page 41: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/41.jpg)
N. Lachiche, 2008
Post-élagage des règles
Convertir l’arbre en un ensemble de règlesElaguer chaque règle indépendammentOrdonner les règles obtenues en fonction de
leur précision
Estimation de la précision d’une règle ensemble de validation estimation pessimiste (C4.5)
![Page 42: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/42.jpg)
N. Lachiche, 2008
Intérêts de la conversion en règles
Supprime la distinction entre les nœudsPlus flexible que l’élagage de l’arbreAméliore la lisibilité
![Page 43: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/43.jpg)
N. Lachiche, 2008
Estimation pessimiste C4.5
Ciel=couvertHumidité=normaleOui n=40, r=12, erreurS=12/40=0,3 σ=[r/n(1-r/n)/n]1/2=[0,30,7/40]1/2=0,07 erreurS+zN σ = 0,3+1,960,07=0,437
Humidité=normaleOui n=160, r=56, erreurS=56/160=0,35 σ =[r/n(1-r/n)/n]1/2=[0,350,65/160]1/2=0,04 erreurS+zN σ = 0,35+1,960,04=0,424
![Page 44: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/44.jpg)
N. Lachiche, 2008
Attributs continus
Créer un attribut discret (Température > 25) = V, F
Température 5 9 15 20 30 35Jouer Non Non Oui Oui Non Non
![Page 45: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/45.jpg)
N. Lachiche, 2008
Choix du seuil
Entropie [2+,4-] = 0,918Gain1 = 0,918-(1/6)0-(5/6)0,970 = 0,109Gain2 = 0,918-(2/6)0-(4/6)1 = 0,251Gain3 = 0,918-(3/6)0,918*2 = 0 !Gain4 = 0,918-(4/6)1-(2/6)0 = 0,251Gain5 = 0,918-(5/6)0,970-(1/6)0 = 0,109
![Page 46: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/46.jpg)
N. Lachiche, 2008
Ratio du gain d’information
Si un attribut a beaucoup de valeurs, le gain d’information le sélectionnera Plus les ensembles sont petits, plus ils sont purs
GainRatioG,A ≡ GainS,A SplitInformation S,A
SplitInformationS,A ≡−∑i=1
c ∣S i∣∣S∣
log 2
∣S i∣∣S∣
![Page 47: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/47.jpg)
N. Lachiche, 2008
Valeurs manquantes
Si un exemple n’a pas de valeur pour A si un nœud teste A, utiliser la valeur la plus
commune parmi les exemples de ce nœud utiliser la valeur la plus fréquente parmi les
exemples de la même classe affecter une probabilité à chaque valeur de A
![Page 48: Arbres de décision - Université De Strasbourg - UFR ...dpt-info.u-strasbg.fr/~nicolas.lachiche/ILC_FD/arbresDecision.pdf · Exemple d’arbre de décision Ciel Humidité Oui Vent](https://reader031.vdocuments.site/reader031/viewer/2022022020/5b9d0eb609d3f2443d8b6409/html5/thumbnails/48.jpg)
N. Lachiche, 2008
Coût des attributs
Exemples diagnostic médical robotique
Heuristiques
Gain2 S,A Coût A
2Gain S,A −1Coût A 1 w
,w∈[ 0 ;1 ]