5.model evaluation - cnrstaff.icar.cnr.it/manco/teaching/2006/datamining/lezioni/lezione9bis… ·...
TRANSCRIPT
![Page 1: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/1.jpg)
Model evaluation
venerdì, 03 Novembre 2006
Giuseppe Manco
References:Chapter 3, Mitchell
Chapters 4.5, 5.7, Tan, Steinbach, Kumar
Valutazione di modelli
![Page 2: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/2.jpg)
Model evaluation
UnderfittingUnderfitting, , OverfittingOverfitting
500 cerchi, 500 triangoli.
Cerchi:
0.5 ≤ sqrt(x12+x2
2) ≤ 1
Triangoli:
sqrt(x12+x2
2) > 0.5 o
sqrt(x12+x2
2) < 1
![Page 3: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/3.jpg)
Model evaluation
UnderfittingUnderfitting, , OverfittingOverfitting
Overfitting
Underfitting: modello stroppo semplice -> errori su training e test grandi
![Page 4: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/4.jpg)
Model evaluation
OverfittingOverfitting dovutodovuto al al rumorerumore
Il decision boundary è distorto a causa del rumore
![Page 5: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/5.jpg)
Model evaluation
OverfittingOverfitting dovutodovuto a un training set a un training set ridottoridotto
La mancanza di dati nella metà inferiore del grafico rendedifficoltosa la predizione dell’etichetta di classe in quella regione
La mancanza di dati sul training set causa la predizione del test set sulla base di dati irrilevanti
![Page 6: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/6.jpg)
Model evaluation
CommentiCommenti sullsull’’OverfittingOverfitting
• Overfitting rende i modelli più complessi del necessario
• L’errore sul training set non fornisce una stimaappropriata di come il modello si comporterà sui dati non visti
• Need new ways for estimating errors
![Page 7: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/7.jpg)
Model evaluation
ErroreErrore
• Si possono ottenere ipotesi consistenti?– È auspicabile?– errorD(h)=|{x|h(x) ≠ c(x), <x,c(x)> ∈ D}|
• È sempre possibile ottenere un modello con l’errore minimale– Perché?– È auspicabile?
![Page 8: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/8.jpg)
Model evaluation
OverfittingOverfitting
• Definizione– h presenta overfitting su D se ∃ un’ipotesi alternativa h’ per la quale
– errorD(h) < errorD(h’) but errortest(h) > errortest(h’)– Cause tipiche: traiing set troppo piccolo (le decisioni sono basate su pochi dati);
rumore• Come si allevia l’overfitting?
– Prevenzione• Selezionare solo gli attributi rilevanti (utili nel modello)• Richiede una misura della rilevanza
– aggiramento• Schivare il problema quando c’è sentore che sta per avvenire• Valutare h su un insieme di test e fermare la costruzione del modello quando
le performances scadono– Riabilitazione
• “terapia di recupero”• Costruzione del modello, eliminazione degli elementi che contribuiscono
all’overfitting
![Page 9: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/9.jpg)
Model evaluation
Due definizioni di erroreDue definizioni di errore
• Errore “vero”– Visione probabilistica
• Errore sul campione– Visione frequentistica
• Quanto errorS(h) approssima errorD(h)?
))()(()( xhxcPherrorDxD ≠=
∈
∑∈
≠=Sx
s xhxcn
herror ))()((1)( δ
![Page 10: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/10.jpg)
Model evaluation
EsempioEsempio
• h misclassifica 12 esempi su 40 S
• Qual’è errorD(h) ?
30.4012)( ==herrorS
![Page 11: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/11.jpg)
Model evaluation
Stime, PrevisioniStime, Previsioni
• Dato S di dimensione n• Si valuti errorS(h)
– errorS(h) è una variabile casuale• Cosa possiamo concludere?
![Page 12: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/12.jpg)
Model evaluation
Intervalli di confidenza [1]Intervalli di confidenza [1]
• Se– S contiene n istanza– n>30
• allora – Con probabilità 95%, errorD(h) si trova
nell’intervallo
nherrorherrorherror SS
S))(1)((96.1)( −
±
![Page 13: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/13.jpg)
Model evaluation
Intervalli di confidenza [2]Intervalli di confidenza [2]
• Se– S contiene n istanza– n>30
• allora – Con probabilità N%, errorD(h) si trova
nell’intervallo
nherrorherrorzherror SS
NS))(1)(()( −
±
2.3398%
1.9695%
1.6490%
2.581.281.000.67zN
99%80%68%50%N%
![Page 14: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/14.jpg)
Model evaluation
• La probabilità di osservare r misclassificazioni:
rnD
rD herrorherror
rnrnrP −−−
= ))(1()()!(!
!)(
errorerrorSS(h) (h) èè una variabile casualeuna variabile casuale
![Page 15: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/15.jpg)
Model evaluation
ProbabilitProbabilitàà BinomialeBinomiale
• P(r) = probabilità di avere r teste nel lancio della monetina– P(head) = p
• Media
• Varianza
• Devianza
∑ ==i
npiPXE )(][
( )[ ] )1(][][ 2 pnpXEXEXVar −=−=
)1(][ pnpXVarX −==σ
![Page 16: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/16.jpg)
Model evaluation
errorerrorSS(h)(h)• errorS(h) segue una
distribuzione binomiale– Per definizione,
– Assumendo
– Otteniamo
⎩⎨⎧ =
=
== ∑=
altrimenti1)()( se0
1)(1
iii
n
iiS
xhxcX
Xn
Xherror
2][
][
σ
μ
=
=
i
i
XVar
XE
nXVar
XE2
][
][σ
μ
=
=
![Page 17: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/17.jpg)
Model evaluation
Approssimiamo Approssimiamo errorerrorSS(h)(h)• Media
• devianza
• Utilizzando la distribuzione normale– media
– varianza
)()( herrorDherrorS=μ
nherrorherror DD
herrorS
))(1)(()(
−=σ
)()( herrorDherrorS=μ
nherrorherror SS
herrorS
))(1)(()(
−≈σ
![Page 18: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/18.jpg)
Model evaluation
Distribuzione NormaleDistribuzione Normale
• densità
• distribuzione
• media
• varianza
2
2
2)(
221)( σ
μ
πσ
−−
=x
exp
μ=][XE2][ σ=XVar
∫=<≤b
a
xxpbXaP d)()(
![Page 19: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/19.jpg)
Model evaluation
Distribuzione NormaleDistribuzione Normale
• 80% dell’area (probabilità) si trova in μ+1.28σ
• N% dell’area (probabilità) si trova in μ+zNσ
2.33
98%
1.96
95%
1.64
90%
2.581.281.000.67zN
99%80%68%50%N%
![Page 20: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/20.jpg)
Model evaluation
Intervalli di confidenzaIntervalli di confidenza
• Se S contiene n istanze, n>30• allora
– Con probabilità N%, errorS(h) si trova nell’intervallo
– equivalentemente, errorD(h) si trova nell’intervallo
– In base al teorema del Limite Centrale,
nherrorherrorzherror DD
ND))(1)(()( −
±
nherrorherrorzherror DD
NS))(1)(()( −
±
nherrorherrorzherror SS
NS))(1)(()( −
±
![Page 21: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/21.jpg)
Model evaluation
Calcolo degli intervalli di confidenzaCalcolo degli intervalli di confidenza
• Si sceglie il parametro da stimare– errorD(h)
• Si sceglie un’approssimazione– errorS(h)
• Si determina la probabilità che governa l’approssimazione– errorS(h) è binomiale, approssimata dalla distribuzione
normale per n>30• Si trovano gli intervalli (L,U) per cui N% della
probabilità ricade in [L,U]– Si usa la tabella dei valori zN
![Page 22: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/22.jpg)
Model evaluation
Test Test didi significativitsignificativitàà
• Dati due modelli:– M1: accuratezza = 85%, test su 30 instanze– M2: accuratezza = 75%, test 5000 instanze
• Possiamo dire che M1 è migliore di M2?– Con che confidenza possiamo affidarci alle relative
accuratezze?– Potrebbe la differenza nelle performance essere
spiegata come un risultato delle fluttuazioni random neltest set?
![Page 23: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/23.jpg)
Model evaluation
ConfrontareConfrontare due due modellimodelli
• Qual’è il migliore tra M1 e M2?– M1 testato su D1 (size=n1), error = e1– M2 testato su D2 (size=n2), error = e2– Assumendo D1 e D2 indipendenti,– If n1 and n2 are sufficiently large, then
– Con
( )( )222
111
,~,~σμσμ
NeNe
i
ii
i nee )1(ˆ −
=σ
![Page 24: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/24.jpg)
Model evaluation
ConfrontareConfrontare due due modellimodelli
• Misura: d = e1 – e2– d ~ NN(dt,σt), dove dt è la differenza effettiva– Poiché D1 e D2 sono indipendenti, la loro varianza si somma:
– Al livello di confidenza (1-α), 2
)21(21
)11(1ˆˆ 2
2
2
1
2
2
2
1
2
nee
nee
t
−+
−=
+≅+= σσσσσ
ttZdd σ
αˆ
2/±=
![Page 25: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/25.jpg)
Model evaluation
Un Un esempioesempio
• Dati: M1: n1 = 30, e1 = 0.15M2: n2 = 5000, e2 = 0.25
• d = |e2 – e1| = 0.1
• Al 95% confidence level, Zα/2=1.96
=> L’intervallo contiene 0 => la diffierenza non èsignificativa dal punto di vista statistico
0043.05000
)25.01(25.030
)15.01(15.0ˆ =−
+−
=d
σ
128.0100.00043.096.1100.0 ±=×±=t
d
![Page 26: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/26.jpg)
Model evaluation
MetodiMetodi per per valutarevalutare le performancele performance
• L’efficacia di un modello può dipendere da piùfattori indipendenti dall’algoritmo di learning– Distribuzione di Classe– Costo della misclassificazione– Dimensione di training e test set
![Page 27: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/27.jpg)
Model evaluation
La La curvacurva didi learninglearning
Mostra come l’accuratezza cambia con campioni di dimensionidifferentiGenerabile tramitemeccanismi di sampling:
Arithmetic sampling(Langley, et al)Geometric sampling(Provost et al)
Gli effetti di campionipiccoli:
- Bias nella stima- Varianza alta
![Page 28: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/28.jpg)
Model evaluation
StimaStima del del modellomodello• Holdout
– 2/3 per il training, 1/3 per il test• Random subsampling
– Holdout ripetuto• Cross validation
– Partizioniamo i dati in k sottoinsiemi disgiunti– k-fold: apprendi su k-1 partizioni, valuta sulla partizione
rimanente– Leave-one-out: k=n
• Stratified sampling – oversampling vs undersampling
• Bootstrap– Sampling con rimpiazzamento
![Page 29: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/29.jpg)
Model evaluation
MetricheMetriche per la per la valutazionevalutazione didi modellimodelli
• Il focus è sulla capacità predittiva di un modello– Piuttosto che su velocità, scalabilità, ecc.
• Matrice di confusione:
dcClass=No
baClass=Yes
Class=NoClass=Yes
CLASSEATTUALE
CLASSE PREDETTA
a: TP (true positive)
b: FN (false negative)
c: FP (false positive)
d: TN (true negative)
![Page 30: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/30.jpg)
Model evaluation
MetricheMetriche per la per la valutazionevalutazione didi modellimodelli ……
• La metrica d’uso comune:
d(TN)
c(FP)
Class=No
b(FN)
a(TP)
Class=Yes
Class=NoClass=Yes
CLASSEATTUALE
CLASSE PREDETTA
FNFPTNTPTNTP
dcbada
++++
=+++
+= aAccuratezz
![Page 31: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/31.jpg)
Model evaluation
LimitiLimiti delldell’’accuratezzaaccuratezza
• Classificazione binaria– Numero di esempi in classe 0 = 9990– Numero di esempi in classe 1 = 10
• Se il modello predice ogni cosa in classe 0, l’accuratezza è 9990/10000 = 99.9 %– L’accuratezza è fuorviante perché il modello non
predice nessun esempio di clase 1
![Page 32: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/32.jpg)
Model evaluation
La La matricematrice didi costocosto
C(No|No)C(Yes|No)Class=No
C(No|Yes)C(Yes|Yes)Class=Yes
Class=NoClass=YesC(i|j)
ACTUALCLASS
PREDICTED CLASS
C(i|j): Quanto mi costa misclassificare un esempio diclasse j in classe i
![Page 33: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/33.jpg)
Model evaluation
I I costicosti delladella classificazioneclassificazione
01-100-1+
-+C(i|j)ACTUALCLASS
PREDICTED CLASSCost Matrix
25060-40150+-+
ACTUALCLASS
PREDICTED CLASSModel M1
2005-45250+-+
ACTUALCLASS
PREDICTED CLASSModel M2
Accuratezza = 80%Costo = 3910
Accuratezza = 90%Costo = 4255
![Page 34: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/34.jpg)
Model evaluation
CostoCosto vsvs accuratezzaaccuratezza
dcClass=No
baClass=Yes
Class=NoClass=Yes
ACTUALCLASS
PREDICTED CLASSCount
pqClass=No
qpClass=Yes
Class=NoClass=Yes
ACTUAL
CLASS
PREDICTED CLASSCost
N = a + b + c + d
Accuratezza = (a + d)/N
Costo = p (a + d) + q (b + c)
= p (a + d) + q (N – a – d)
= q N – (q – p)(a + d)
= N [q – (q-p) × Accuratezza]
L’accuratezza è proporzionale al costo se 1. C(Yes|No)=C(No|Yes) = q 2. C(Yes|Yes)=C(No|No) = p
![Page 35: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/35.jpg)
Model evaluation
MisureMisure CostCost--SensitiveSensitive
cbaa
prrp
baa
caa
++=
+=
+=
+=
222(F) measure-F
(r) Recall
(p)Precision
Precision sbilanciata verso C(Yes|Yes) & C(Yes|No)Recall sbilanciata verso C(Yes|Yes) & C(No|Yes)F-measure sbilanciata verso tutto tranne che C(No|No)
dwcwbwawdwaw
4321
41 pesata aAccuratezz+++
+=
![Page 36: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/36.jpg)
Model evaluation
ROC (Receiver Operating Characteristic)ROC (Receiver Operating Characteristic)
• Sviluppata negli anni ’50 per l’analisi dei segnali– Caratterizza il trade-off tra classificazioni positive e
falsi allarmi• La curva traccia TP (sull’asse y) e FP (sull’asse x)• La performance di un classificatore è
rappresentata come un punto sulla curva di ROC– Le variazioni del threshold (in classificazioni con
soglia), la distribuzione del campione o la matrice dicosto cambia la collocazione del punto– Traccia la curva
![Page 37: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/37.jpg)
Model evaluation
ROC CurveROC Curve
Al threshold t:
TP=0.5, FN=0.5, FP=0.12, FN=0.88
- 1-dimensional data set contenente 2 classi (positiva and negativa)
- Ogni punto x > t è classificato come positivo
![Page 38: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/38.jpg)
Model evaluation
ROC CurveROC Curve
(TP,FP):• (0,0): ogni elemento
di classe negativa• (1,1): ogni elemento
di classe positiva• (1,0): classificazione
ideale
• Linea diagonale:– Scelta casuale– Sotto la linea diagonale:
– predizione oppostaalla classe effettiva
![Page 39: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/39.jpg)
Model evaluation
Confronto di ModelliConfronto di Modelli
• Contesto applicativo 1
• FPCost/FNCost= ½
• Neg/Pos=2
• Slope = 4/2=2
![Page 40: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/40.jpg)
Model evaluation
Confronto di ModelliConfronto di Modelli
• Contesto applicativo 2
• FPCost/FNCost= 1/8
• Neg/Pos=4
• Slope = 4/8=.5
![Page 41: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/41.jpg)
Model evaluation
UtilizzoUtilizzo didi ROC per ROC per ilil confrontoconfronto didi modellimodelli
Nessun modello ha ilsopravvento
M1 migliore suFPR bassiM2 migliore suFPR alti
Area Under the ROC curve
Ideale: Area = 1
Classificazione a caso:Area = 0.5
![Page 42: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/42.jpg)
Model evaluation
Come Come costruirecostruire unauna ROC curveROC curve
+0.2510-0.439+0.538-0.767+0.856-0.855-0.854-0.873+0.932+0.951
True Class
P(+|x)Instance• Assunzione: un classificatoreproduce una posterior probability P(+|x) per ogniistanza di test x
• Ordiniamo le istanze in base per valori decrescenti di P(+|x)
•Applichiamo un threshold per ogni valore di P(+|x)
• Contiamo il numero di TP, FP, TN, FN per ogni threshold
• TP rate, TPR = TP/(TP+FN)
• FP rate, FPR = FP/(FP + TN)
![Page 43: 5.Model Evaluation - CNRstaff.icar.cnr.it/manco/Teaching/2006/datamining/lezioni/Lezione9bis… · Title: Microsoft PowerPoint - 5.Model Evaluation Author: Giuseppe Manco Created](https://reader033.vdocuments.site/reader033/viewer/2022052016/602e1fd78ef31517b724fe99/html5/thumbnails/43.jpg)
Model evaluation
Come Come costruirecostruire unauna roc curveroc curveClass + - + - - - + - + +
0.25 0.43 0.53 0.76 0.85 0.85 0.85 0.87 0.93 0.95 1.00
TP 5 4 4 3 3 3 3 2 2 1 0
FP 5 5 4 4 3 2 1 1 0 0 0
TN 0 0 1 1 2 3 4 4 5 5 5
FN 0 1 1 2 2 2 2 3 3 4 5
TPR 1 0.8 0.8 0.6 0.6 0.6 0.6 0.4 0.4 0.2 0
FPR 1 1 0.8 0.8 0.6 0.4 0.2 0.2 0 0 0
Threshold >=
ROC Curve: