analisi statistiche multivariate con il pacchetto tmvaagarfa/didattica/met_comp/appunti/mc... ·...

Analisi Statistiche Multivariate con ilpacchetto TMVA

Università degli studi di Padova

21 Gennaio 2014

Credits

Il materiale utilizzato per la presentazione proviene da:

• Andreas Hoecker (CERN), "Multivariate Data AnalysisTechniques", presentazione al Workshop on Statistics, Karlsruhe,Germany, 12-14 Ottobre 2009

• Helge Voss (MPI-K, Heidelberg), "Data Analysis with TMVA",Seminario a Lausanne, 12 Aprile 2010

• A. Hoecker et al, "TMVA - Toolkit for Multivariate Data Analysis",User Guide, arXiv:physics/0703039

Classificazione di Eventi• La separazione di segnale dal fondo è uno dei tipici problemi che si

presentano nell’analisi dei dati sperimentali

• Supponiamo di avere due categorie di eventi H0 e H1

• Si sono individuate osservabili che permettono la discriminazione x1,X2, . . ., xn

• Studiamo dei "tagli" nello spazio dei parametri per separarli

• Qual’è il criterio migliore per isolare il segnale ?

6 6 Top Workshop, LPSC, Oct 18–20, 2007 A. Hoecker: Multivariate Analysis with TMVA 6 A. Hoecker ! Multivariate Data Analysis Karlsruhe, Oct 12, 2009

Event Classification

!   We have found discriminating input variables x1, x2, …

!   What decision boundary should we use to select events of type H1 ?

!   How can we decide this in an optimal way ? ! Let the machine learn it !

!   Suppose data sample with two types of events: H0, H1

A linear boundary? A nonlinear one? Rectangular cuts?

H1

H0

x1

x2 H1

H0

x1

x2 H1

H0

x1

x2

Regressione• Un altro problema ricorrente è la ricerca di un modello funzionale che

descriva i dati

• Il problema è tutt’altro che banale specialmente se lo spazio degliosservabili è multidimensionale 7 7 Top Workshop, LPSC, Oct 18–20, 2007 A. Hoecker: Multivariate Analysis with TMVA 7 A. Hoecker ! Multivariate Data Analysis Karlsruhe, Oct 12, 2009

Regression

!   Energy deposit in a the calorimeter, distance between overlapping photons, …

!   Entry location of the particle in the calorimeter or on a silicon pad, …

!   How to estimate a “functional behaviour” from a set of measurements?

x

f(x)

x

f(x)

x

f(x)

!   Seems trivial? What if we have many input variables?

Linear function ? Nonlinear ? Constant ?

La classificazione degli eventi in N-dim• Per ogni evento (segnale o background) vengono

misurate N variabili

• Si cerca un mapping dallo spazio dei parametri aN-dimensioni ad una variabile di output

y(x) : RN → R


Multivariate Event Classification

Each event, Signal or Background, has “D” measured variables.

!D “feature space”

y(x)

!

Most general form y = y(x); x in !D x={x1,….,xD}: input variables

y(x): Rn!R:

Plotting the resulting y(x) values:

Find a mapping from D-dimensional input-observable = ”feature” space to one dimensional output ! class labels





y(x)

!


y(x): Rn!R:



La classificazione degli eventi in N-dim

• y(x) rappresenta una variabile statistica di test nellospazio a N-dim dei parametri

• Le distribuzioni di y , PDFsignal (y) e PDFbackground (y)vengono utilizzate per definire tagli di selezione

• I parametri importanti per decidere il taglio sono:• efficienza : frazione di eventi di segnale accettato sul

totale degli eventi di segnale Ns(y > cut)/Ns

• purezza : frazione di eventi segnali presenti nelcampione selezionato Ns(y > cut)/N(y > cut)





y(x)

!


y(x): Rn!R:




Multivariate Event Classification Each event, Signal or Background, has “D” measured variables.


! y(x): Rn!R:

y(x)

y(x): “test statistic” in D-dimensional space of input variables

Distributions of y(x): PDFS(y) and PDFB(y)

Overlap of PDFS(y) and PDFB(y) affects separation power, purity

> cut: signal = cut: decision boundary < cut: background

y(x): Used to set the selection cut!

y(x) = const: surface defining the decision boundary.

!  Efficiency and purity

Classificazione di Eventi

• P(classe = C|x) è la probabilità che un evento sia di classe C, date

un insieme di osservabili misurate ~x = {x1, x2, . . . , xN}

P(classe = C|y) =P(y |C)P(C)

P(y)

Densità di Probabilità dipendente dallemisure ~x e dalla funzione di mapping

Probabilità Priori di osservare unevento di classe-C (equivale allafrazione di eventi di segnale sultotale signal+background)

Probabilità a posterioriDensità di probabilità globale di effettuare lamisura y(x)P(y) =

∑classi P(y |Classe)P(Classe)

Esempio di classificazione• PDFbackground (y) e PDFsignal (y)

rappresentano le distribuzioni diprobabilità normalizzate per gli eventi difondo e di segnale

• Supponiamo di avere un eventosconosciuto per il quale si misuray(x) = 0.2

• calcoliamo PDFbackground (y) = 1.5 e PDFsignal (y) = 0.45• supponendo che fS e fB siano le frazioni si segnale e di fondo nel

campione, possiamo scrivere

P(signal |y) =fSPDFsignal(y)

fSPDFsignal(y) + fBPDFbackground(y)

• P(signal |y) è la probabilità che un evento sia di segnale, dati gliosservabili misurati ~x = {x1, x2, . . . , nN}


Multivariate Event Classification Each event, Signal or Background, has “D” measured variables.


! y(x): Rn!R:

y(x)

y(x): “test statistic” in D-dimensional space of input variables

Distributions of y(x): PDFS(y) and PDFB(y)

Overlap of PDFS(y) and PDFB(y) affects separation power, purity

> cut: signal = cut: decision boundary < cut: background

y(x): Used to set the selection cut!

y(x) = const: surface defining the decision boundary.

!  Efficiency and purity

1.5 0.45

Bayes Optimal Classification

P(classe = C|y) =P(y |C)P(C)

P(y)

• Per separare il Segnale rispetto al Background, si sceglie comecriterio di selezione

P(S|y)

P(B|y)=

P(y |S)

P(y |B)· P(S)

P(B)> cPosterior odd ratio

Likelihood ratio comefunzione discrimi-nante in y(x)

Prior odds ratio di selezionareun evento di segnale (probabil-ità relativa del segnale versusfondo)

c ∝ efficienzae purezza

Errori di classificazione• Nella selezione di eventi di Segnale su

eventi di Background si può incorrere in

• errori di I tipo :• si classifica un evento di classe C ma non

lo è:(si rigetta l’ipotesi nulla sebbene sarebbestata quella corretta)

→ perdita di purezza

• errori di II tipo :• non si classifica un evento che sarebbe

stato di classe C:(si rigetta un’ipotesi che sarebbe stataquella vera)

→ perdita di efficienza

• se A = regione nella quale si accettano gli eventi come segnale:• α =

∫A P(x |B)dx , α = background selection efficiency

• β =∫

A P(x |S)dx , 1− β = signal selection efficiency


Trying to select signal events: (i.e. try to disprove the null-hypothesis stating it were “only” a background event)

Type-2 error: fail to identify an event from Class C as such (reject a hypothesis although it would have been true) (fail to reject the null-hypothesis/accept null hypothesis although it is false)

!  loss of efficiency (in selecting signal events)

Decide to treat an event as “Signal” or “Background”

Signal Back-ground

Signal " Type-2 error

Back-ground

Type-1 error "

Significance ": Type-1 error rate: (=p-value): " = background selection “efficiency”

Size #: Type-2 error rate: Power: 1- # = signal selection efficiency

! = P(x | S!A" )dx

“A”: region of the outcome of the test where you accept the event as signal:

should be small

! = P(x |B

A" )dx

should be small

Type-1 error: classify event as Class C even though it is not (accept a hypothesis although it is not true) (reject the null-hypothesis although it would have been the correct one)

!  loss of purity (in the selection of signal events)

Any Decision Involves a Risk

Lemma di Neyman-Pearson• Rapporto di verosimiglianza

(Likelihood):

y(x) =P(x |S)

P(x |B)

• Neyman-Pearson :

Il rapporto di verosimiglianza usatocome criterio di selezione fornisce perogni efficienza di selezione la migliorereiezione di background possibile

• Spostando il taglio si y(x) si muove il punto di lavoro (cambiandoefficienza e purezza) lungo la curva denominata "Receiver OperationCharacteristics"

• Come scegliere il taglio ? Occorre conoscere le probabilità a priori(Priors), cioè le abbondanze di Segnale e Background


Neyman-Pearson Lemma

Neyman-Peason: The Likelihood ratio used as “selection criterion” y(x) gives for each selection efficiency the best possible background rejection.

i.e. it maximises the area under the “Receiver Operation Characteristics” (ROC) curve

Varying y(x)>“cut” moves the working point (efficiency and purity) along the ROC curve

How to choose “cut”? ! need to know prior probabilities (S, B abundances) •  Measurement of signal cross section: maximum of S/"(S+B) or equiv. "(!#p) •  Discovery of a signal : maximum of S/"(B) •  Precision measurement: high purity (p) •  Trigger selection: high efficiency (!)

0 1

1

0

1- !

back

gr.

!signal

Type-1 error small Type-2 error large

Type-1 error large Type-2 error small

La Classificazione di Eventi nella Realtà• Sfortunatamente non sempre si conoscono le densità di probabilità del

Segnale e del Background

• Spesso si utilizza la generazione Monte Carlo per avere una stima delSegnale e del Fondo

• Altre volte si riescono a trovare campioni di eventi di dati reali cherappresentano il segnale e il fondo

• Utilizziamo gli eventi di "training" per

• Dare una stima della forma funzionale per P(x |C) dalla quale si puòricavare il rapporto di verosimiglianza

• Determinare una funzione di discriminazione y(x) ed una regione dovetagliare per ottimizzare la separazione del Segnale dal Background

• anche se non esiste una prescrizione magica che vada bene ingenerale

• ⇒ supervised (machine) learning

Metodi di Analisi Multivariata• Alcune tecniche di analisi

• Rectangular Cut optimization (binary splits)• Projective and multidimensional likelihood estimation• Linear and nonlinear discriminant analysis ((H-Matrix, Fisher, FDA)• Artificial Neural Networks• Boosted/Bagged decision trees• Predictive learning via rule ensambles (RuleFit)• Support Vector Machine

• TMVA è un ambiente di lavoro per Analisi Multivariata e MachineLearning (diponibile in ROOT) che fornisce

• Una interfaccia comune per svariati metodi di classificazione eregressione

• Home Page: http://tmva.sourceforge.net• Tutorial Wiki: https://twiki.cern.ch/twiki/bin/view/TMVA/WebHome• User Guide: http://tmva.sourceforge.net/docu/TMVAUsersGuide.pdf

Artificial Neural Networks• tecnica Multivariata nonlineare: permette di ottenere una

classificazione "attivando" specifici nodi di output tramitepesi nonineari

Reti Neurali disponibili in TMVA:• TMlpANN: Interface to ROOT MLP implementation• MLP: TMVA own MLP implementation for increased speed and flexibility• CFMlpANN: ALEPH Higgs search ANN, translated from FORTRAN


Nonlinear Analysis: Artificial Neural Networks

!   Achieve nonlinear classifier response by “activating” output nodes using nonlinear weights

1

i

...N

1 input layer k hidden layers 1 ouput layer

1

j

M1

...

. . . 1

...Mk

2 output classes (signal and background)

Nvar discriminating input variables

......

(“Activation” function)

with:

Feed

-forw

ard

Mul

tilay

er P

erce

ptro

n

Weight adjustment using analytical back-propagation

!   TMlpANN: Interface to ROOT’s MLP implementation !   MLP: TMVA’s own MLP implementation for increased speed and flexibility !   CFMlpANN: ALEPH’s Higgs search ANN, translated from FORTRAN

!   Three different implementations in TMVA (all are Multilayer Perceptrons)


Nonlinear Analysis: Artificial Neural Networks

!   Achieve nonlinear classifier response by “activating” output nodes using nonlinear weights

1

i

...N

1 input layer k hidden layers 1 ouput layer

1

j

M1

...

. . . 1

...Mk

2 output classes (signal and background)

Nvar discriminating input variables

......

(“Activation” function)

with:

Feed

-forw

ard

Mul

tilay

er P

erce

ptro

n

Weight adjustment using analytical back-propagation

!   TMlpANN: Interface to ROOT’s MLP implementation !   MLP: TMVA’s own MLP implementation for increased speed and flexibility !   CFMlpANN: ALEPH’s Higgs search ANN, translated from FORTRAN

!   Three different implementations in TMVA (all are Multilayer Perceptrons)

!"!!"#$" %&''( )*%+(,"-./012(304'0//"2((567(+81.#(6959(( :0;0(+/0#<'.'(=.;>()*%+(

?('(.(/($(((T *(%(+?('(.(/($(((T *(%(++(;<8.@0#(T*%+(0/0#<'.'(@&/'.';'(&A(;B&(-0./(';"8'C

1. Training phaseC(;10././$2(;"';./$(0/D("E0#40;.&/(&A(@#0''.A."1'(4'./$(D0;0('0-8#"'(B.;>(F/&B/('.$/0#(0/D(G0@F$1&4/D(@&-8&'.;.&/(

2. Application phaseC(4'./$('"#"@;"D(;10./"D(@#0''.A."1'(;&(@#0''.A<(4/F/&B/(D0;0('0-8#"'

H##4';10;.&/(&A(;>"'"(';"8'(B.;>(;&<(D0;0('0-8#"'

!"#$ %&%'()*+

Helge Voss

!"#!"#$" %&''( )*%+(,"-./012(304'0//"2((567(+81.#(6959(( :0;0(+/0#<'.'(=.;>()*%+(

?&@"(A#&B(C&1(Training 0/@(Application D>0'"'

!"#$ %&%'()*+

Helge Voss

!"#!"#$" %&''( )*%+(,"-./012(304'0//"2((567(+81.#(6959(( :0;0(+/0#<'.'(=.;>()*%+(

+(,.-8#"(?@0-8#"(A&1(Training

$%&'()*+,-.//&0&1.2&%34(5(6)B.#"C(&4;84;B.#" D()B.#"EEF8"/G(H)*%+71&&;H2(HI?JI?+)?H(KL

)*+7889.12%:; <0.12%:;(=(3>?()*+7889.12%:;4(@*+73.-;/&/@A(%B2CB29&->A@D+@5E(

)B.#" C./84;(D()B.#"EEF8"/GH;-M0N"@0-8#"71&&;HKL

0.12%:;FG7''H&I3.-):>> 4(4)):>><5&3CB2FGJ>24@):>>H@5A(!K"(5E0.12%:;FG7''L.1MI:%B3'):>> 4(4)):>><5&3CB2FGJ>24@):>>L@5A(!K"(5E

0.12%:;FG7''+.:&.N->4@$.:!O$.:P@A(Q9Q5E0.12%:;FG7''+.:&.N->4@$.:!F$.:P@A(Q9Q5E0.12%:;FG7''+.:&.N->4@$.:#@A(Q9Q5E0.12%:;FG7''+.:&.N->4@$.:R@A(Q9Q5E

A0O;&1<PQR1"801")10././$+/S)"';)1""GHH2(HT,.$)10./DU999ETVW$)10./DU999E,8#.;*&S"DI0/S&-EX%H(KL

0.12%:;FGL%%M*>2S%'4()*+788);C>/88MT&M>-&S%%'A(@T&M>-&S%%'@A(@D+8D):.3/0%:UVB2CB28HC-&3>=P8WHU%%2S=X8W7$Y$2Z>:L&3=X"@(5E(

0.12%:;FGL%%M*>2S%'4()*+788);C>/88M*TZA(@*TZ@A(@D+8W,;1->/=P""8[&''>3T.;>:/=WO!AW8)>/2\.2>=X@(5E

0.12%:;FG):.&37--*>2S%'/45E0.12%:;FG)>/27--*>2S%'/45E0.12%:;FGY$.-B.2>7--*>2S%'/45E((((

&4;84;B.#"PQJ#&'"GKL

S"#";"(A0O;&1<L

]

O1"0;"(Factory

$.M"(;10././$Y;"';(;1""'

1"$.';"1(./84;(M01.0Z#"'

;10./2(;"';(0/S("M0#40;"

'"#"O;(*%+(

-";>&S'((

!"#$ %&%'()*+

Helge Voss

!"#!"#$" %&''( )*%+(,"-./012(304'0//"2((567(+81.#(6959(( :0;0(+/0#<'.'(=.;>()*%+(

+(,.-8#"(?@0-8#"(A&1(0/(Application

$%&'()*+,-.//&0&1.2&%3455-&1.2&%36(7(8

)*+499:;.';< =<;.';<(>(3;?()*+499:;.';<6@A,%-%<@7B((((

B#&0;C; D0152(D0162(D01E2(D01FG

<;.';<CD4''+.<&.E-;6(@$.<!F$.<G@H(I$.<!(7B<;.';<CD4''+.<&.E-;6(@$.<!C$.<G@H((I$.<G(7B<;.';<CD4''+.<&.E-;6(@$.<J@H(I$.<J(7B<;.';<CD4''+.<&.E-;6(@$.<#@H(I$.<#(7B

<;.';<CDK%%L*+46(@*MN(1-.//&0&;<@H((@?;&OP2/Q*+43.-R/&/S*MNT?;&OP2/T2U2@(7B

)B.#" H./84;(I()B.#"JJK8"/LM;-D0C"@0-8#"71&&;MNG

))1""H(;>")1"" I(L))1""HN./84;OPQ";LM)1"",MNG

RR(S '";(T10/U>(0VV1"''"'(A&1(4'"1())1""

A&1(L3&/$WFC;(."D;IE999G(."D;X;>")1""OPQ";?/;1."'LNG."D;YYN(Z

;>")1""OPQ";?/;1<L."D;NG

$.<!(>(V/;<+.<!(F(V/;<+.<GB$.<G(>(V/;<+.<!(C V/;<+.<GB$.<J(>(V/;<+.<JB$.<#(>(V/;<+.<#B

W%VE-;S2 %V2(>((<;.';<CDX$.-V.2;*+46((@*MN(1-.//&0&;<@((7B

QQ(V&('&-";>./$([.;>(.;(S\

V"#";"(1"0V"1G

Y(

1"$.';"1(;>"(D01.0T#"'

T&&](U#0''.A."1L'N

81"801"("D"/;(#&&8(

U&-84;"(./84;(D01.0T#"'

U0#U4#0;"(U#0''.A."1(&4;84;

U1"0;"(Reader

!"#$ %&%'()*+

Helge Voss

!"#!"#$" %&''( )*%+(,"-./012(304'0//"2((567(+81.#(6959(( :0;0(+/0#<'.'(=.;>()*%+(

:0;0(?1"8010;.&/

:0;0(./84;(@&1-0;A(BCC)())1"" &1(+,DEE

,"#"F;.&/(0/<('4G'";(&1(F&-G./0;.&/(&1(@4/F;.&/(&@(0H0.#0G#"(H01.0G#"'(

+88#<(81"I'"#"F;.&/(F4;'(J8&''.G#<(./K"8"/K"/;(@&1('.$/0#(0/K(GL$M

:"@./"($#&G0#("H"/;(N".$>;'(@&1('.$/0#(&1(G0FL$1&4/K(./84;(@.#"'

:"@./"(./K.H.K40#("H"/;(N".$>;(J4'"(&@(0/<(./84;(H01.0G#"(81"'"/;(./(;10././$(K0;0M

D>&&'"(&/"(&4;(&@((H01.&4'(-";>&K'(@&1('8#.;;./$(./;&(;10././$(0/K(;"';('0-8#"'A

O#&FL(N.'"

B0/K&-#<

?"1.&K.F0##<(Ji7e7(8"1.&K.F0##<(P(;"';./$("H72(6(;10././$("H72(P(;"';./$("H2(6(;10././$("H7(Q7M

R'"1(K"@./"K(;10././$(0/K(;"';(;1""'(

D>&&'"(81"81&F"''./$(&@(./84;(H01.0G#"'(Je.g., K"F&11"#0;.&/M

Helge Voss

!"#!"#$" %&''( )*%+(,"-./012(304'0//"2((567(+81.#(6959(( :0;0(+/0#<'.'(=.;>()*%+(

*%+(?@0#40;.&/(A10-"B&1C(

)*%+(.'(/&;(&/#<(0(D&##"D;.&/(&E(D#0''.E."1'2(F4;(0/(*%+(E10-"B&1C(

+E;"1(;10././$2()*%+(81&@.G"'(HII)("@0#40;.&/('D1.8;'(J;>1&4$>(KLMN

O#&;(0##('.$/0#(J,N(0/G(F0DC$1&4/G(JPN(./84;(@01.0F#"'(B.;>(0/G(B.;>&4;(81"Q81&D"''./$

R&11"#0;.&/('D0;;"1'(0/G(#./"01(D&"EE.D."/;'(E&1(,(S(P

R#0''.E."1(&4;84;'(J,(S(PN(E&1(;"';(0/G(;10././$('0-8#"'(J'8&;(&@"1;10././$N

R#0''.E."1(Rarity G.';1.F4;.&/

R#0''.E."1('.$/.E.D0/D"(B.;>(&8;.-0#(D4;'

P(1"T"D;.&/(@"1'4'(,("EE.D."/D<

R#0''.E."1Q'8"D.E.D(8#&;'UV 3.C"#.>&&G 1"E"1"/D" G.';1.F4;.&/'V R#0''.E."1(O:A' JE&1(81&F0F.#.;< &4;84;(0/G(H01.;<NV W";B&1C(01D>.;"D;41"2(B".$>;' 0/G(D&/@"1$"/D"V H4#" A.;;./$ 0/0#<'.' 8#&;'

V %.'40#.'" G"D.'.&/(;1""'

Helge Voss

analisi statistiche multivariate con il pacchetto tmvaagarfa/didattica/met_comp/appunti/mc... ·...

Documents