La misura e la statistica (1)
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 2
La misura e la statistica (1)
Ricapitoliamo la situazione dal ‘700 in poi
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 3
La misura e la statistica (1)
Gauss verso la fine del 1700
scopre un fatto nuovo
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 4
La misura e la statistica (1)
La posizione angolare di una stella non
viene mai riprodotta esattamente
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 5
La misura e la statistica (1)• Nasce una nuova visione della
misura• I dati sperimentali non sono certi, ma
approssimati• Più tardi ci si accorgerà che ciò
accade anche per le previsioni teoriche– Sia per imprecisioni di calcolo– Sia per imprecisioni di metodo
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 6
La misura e la statistica (1)• Più tardi ci si accorgerà che ciò accade
anche per colpa del metodo• Scarsa conoscenza dello strumento
– Ed impossibilità di andare oltre a certi limiti
• Più tardi ci si accorgerà che ciò accade anche per colpa della Natura
• Impossibilità fisica di misurare certe zone della Natura (energia-tempo, momento-posizione, etc.)
• Impossibilità pratica di prevedere fenomeni iterati
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 7
La misura e la statistica (1)• Ciò che riusciamo a dominare (entro
certi limiti) sonoL’imprecisione casuale
• ERRORI CASUALI
L’imprecisione strumentale• ERRORI SISTEMATICI
L’imprecisione teorica• ERRORI DI FORMALISMO E DI CALCOLO
NUMERICO
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 8
La misura e la statistica (1)• Con Gauss il caso entra nella Scienza
• ... è la fine dell’epoca della Dea Ragione?
Oggi senza la statistica
non esiste metodo sperimentale
La probabilità e le sue leggi
Gli inizi
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 10
La probabilità e le sue leggi• La definizione astratta di probabilità
è praticamente inutile• Petizione di principio
Rapporto fra i casi favorevoli ad un evento ed i casi possibili, quando
questi siano equiprobabili• È la probabilità a priori
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 11
La probabilità e le sue leggi• La difficoltà concettuale è solo
apparente– Si tratta di una sistemazione di fatti empirici
• Il dado ed i suoi rimbalzi• I fenomeni complessi ed iterati
La statistica è al confine fra Empiria (= Natura) ed
Astrazione
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 12
La probabilità e le sue leggi• Definizione
casi favorevoli
casi possibili
NP
N
0 1impossibilità certezzaP
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 13
La probabilità e le sue leggi• In generale, per un evento ripetuto
volte, definiremo– Frequenza assoluta: numero di casi
favorevoli
– Frequenza relativa: di solito semplicemente frequenza
totN
ass favf N
favrel
tot
Nf f
N
0 1f
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 14
La probabilità e le sue leggi
LEGGE DEI GRANDI NUMERI
Per la frequenza tende
alla probabilità (a priori)Attenzione: in senso statistico o stocastico
Non è la solita tendenza al limite
totN
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 15
La probabilità e le sue leggi• Tendenza al limite stocastica
– Diverse sequenze danno diversi percorsi– Non si può stabilire un “N talmente
grande che...”• Sono sempre possibili scostamenti molto
grandi• ...solo che divengono sempre più rari
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 16
La probabilità e le sue leggi• Facciamo l’esempio del solito dado
– Uscita di una faccia
10.16 0.167
6P
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 17
La probabilità e le sue leggi
Legge della somma• Due eventi mutuamente esclusivi A e
B• Uscita del 2 o del 4
• Si considera evento favorevole il verificarsi del primo o del secondo
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 18
La probabilità e le sue leggi• I casi favorevoli si sommano
Quindi si sommano le probabilità
– Per un or ( +) di eventi mutuamente esclusivi
P A B P A P B
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 19
La probabilità e le sue leggi
Legge del prodotto• Due eventi indipendenti A e B
• Uscita del 2 su un dado e del 4 sull’altro
• Si considera evento favorevole il verificarsi del primo e del secondo
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 20
La probabilità e le sue leggi• I casi favorevoli e possibili si
combinano, e quindi si moltiplicano
Quindi si moltiplicano le probabilità
– Per un and ( ) di eventi indipendenti
P A B P A P B
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 21
La probabilità e le sue leggi• Se A a B non sono indipendenti
definiremo le probabilità condizionali
– Probabilità che avvenga A dopo che si è verificato B, etc.
• Evidentemente...
P A B P B A
P A B P B P A B P A P B A
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 22
La probabilità e le sue leggi• La formula di Bayes:• Partiamo da una serie di eventi
mutuamente esclusivi – La scelta di un cassetto in cui siano contenuti
diversi miscugli di palle bianche e nere
• Un evento E può accadere solo se è accaduto un evento B
– Estrazione di una palla bianca o nera
kB
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 23
La probabilità e le sue leggi
• Probabilità che avendo estratto una palla nera il cassetto da cui è stata estratta sia il secondo
• Praticamente mai usata in fisica, e difatti...
k k
k
j jj
P B P E BP B E
P B P E B
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 24
ATTENZIONESiamo sicuri che siano rispettate
teoricamente le ipotesi?» La scelta dei cassetti è veramente equiprobabile?
Siamo sicuri che siano rispettate in pratica le ipotesi?
» La scelta dei cassetti è stata fatta effettivamente in modo equiprobabile?
» Non ci sono bias? Non ci sono errori sistematici?
• Questioni molto sottili e molto difficili da controllare...
La probabilità e le sue leggi
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 25
La probabilità e le sue leggi• Se A e B non sono mutuamente
esclusivi otteniamo
P A P B
P A B P A B P B A
P A B P A P B P
P B A
P A B P A B
A B
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 26
La probabilità e le sue leggi• Se la probabilità di un evento è p, la
probabilità che esso avvenga k volte in n tentativi vale
, 1n kkk
P k n p pn
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 27
La probabilità e le sue leggi• Il calcolo delle probabilità è
essenzialmente un gioco di calcolo combinatorio
• Il calcolo può divenire anche molto complicato
• Esempio: il terno al Lotto
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 28
La probabilità e le sue leggi
87
2 87 86 1 2 3 4 5 3 4 590 1 2 90 89 88 87 86 90 89 8
1
117
8
4
5
8
P
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 29
La probabilità e le sue leggi• Quindi se io gioco tutti i terni ad 1€
per terno spendo 11748 €– Uno esce
• Per la vincita mi pagano 5000 €– Ed i rimanenti 6748 €?
......
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 30
La probabilità e le sue leggi
• Attenzione alle
leggende metropolitane– I numeri che ritardano
– ...e che quindi scientificamente debbono uscire– (Se no che figura ci farebbero?)
In realtà l’evento raro è già accaduto
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 31
La probabilità e le sue leggi• Importante il calcolo dei fattoriali• Formula di Stirling
21 1 1
2 112 2 12
!
2n
nn
ne
n
e
n n
nn
Elementi di statistica
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 33
Elementi di statistica• La statistica è un’estensione del
calcolo delle probabilità– Si parte dai concetti fondamentali– Si estende la definizione di probabilità– Si introducono delle nuove variabili
Estensione del concetto di probabilità
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 35
Estensione del concetto di probabilità
• La probabilità viene fatta passare – da un numero razionale ...– ... ad un numero reale
• La probabilità può essere infinitesima– Anche se poi si darà significato sempre
all probabilità finita– Tramite integrazioni
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 36
Estensione del concetto di probabilità
• Si suppongono valide tutte le leggi delle probabilità già stabilite
• Non si può più definire la probabilità come rapporto fra casi favorevoli e casi possibili
Le variate
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 38
Le variate• Una variata è una variabile...
– ... reale– ... discreta o continua– ... associata ad una probabilità
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 39
Le variate• Una variata discreta
– Assume i valori ...
– ... con probabilità 1 2, , , Nx x x
1 2, , , 1N kk
p p p p
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 40
Le variate• Esempio classico: il dado
– Variata: un numero da 1 a 6– Probabilità associata: 1/6
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 41
Le variate• Si definisce
– Valore atteso– Speranza matematica– Valore medio
k kk
E x x x x p
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 42
Le variate• La variata discreta può essere
definita da una tabella• Esempio:
– I numeri riportati sulle facce di un dado• Attenzione: i numeri potrebbero essere
diversi– Anche le probabilità se il dado fosse truccato...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 43
Le variate
1 0.167
2 0.167
3 0.167
4 0.167
5 0.167
6 0.167
kx kp
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 44
Le variate• Ed ecco una rappresentazione
grafica– Distribuzione– Spettro
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 45
2 3 4 5 6
0.05
0.1
0.15
0.2
0.25
0.3
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 46
Le variate• Se si conoscono solo valori
proporzionali alle probabilità occorrerà normalizzarli
kk
kk
Ap
A
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 47
Le variate• Una variata continua
– Assume valori reali in un dominio D con probabilità infinitesima
– La è la funzione di distribuzione (spettro)
• Funzione densità
dp f x dx f x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 48
Le variate• Il dominio D sarà per noi,
praticamente sempre, uno dei seguenti insiemi– Tutto l’asse reale– Il semiasse reale positivo– Un intervallo (e di solito chiuso)
• Indicheremo in ogni caso l’estremo inferiore con low e quello superiore con high
• Ecco degli esempi
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 49
0 0.5 1 1.5 2 2.5 3
0
0.2
0.4
0.6
0.8
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 50
2 1 0 1 2
0
0.2
0.4
0.6
0.8
1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 51
2.5 0 2.5 5 7.5 10
0
0.02
0.04
0.06
0.08
0.1
0.12
0.14
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 52
0 2 4 6 8 10 12 14
0
0.1
0.2
0.3
0.4
0.5
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 53
Le variate• In ogni caso vale la condizione di
normalizzazione
• ...ed in generale un valore atteso (“speranza matematica”) vale...
1kkD
f x dx p
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 54
Le variate
k kkD
G x f x dx G x p
E G x G x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 55
Le variate• Una distribuzione si può descrivere
– Con la funzione di distribuzione stessa – Con la distribuzione cumulativa
– Con la trasformata di Fourier della– Funzione caratteristica– Funzione generatrice dei momenti
f x
x
low
F x f t dt
f x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 56
Le variate• Attenzione alle funzioni cumulative
– Sono più simili delle funzioni di distribuzione!
• Solo un paio di esempi– Hanno molta importanza quando si
simulano dei dati • MonteCarli
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 57
0 0.5 1 1.5 2 2.5 3
0
0.2
0.4
0.6
0.8
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 58
0 0.5 1 1.5 2 2.5 3
0
0.2
0.4
0.6
0.8
1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 59
Le variate• ...è sempre il solito passaggio dalle
derivate agli integrali e viceversa...
Le distribuzioni in generale
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 61
Le distribuzioni in generale• Sono funzioni per cui è sempre
• Per un insieme di definizione infinito dev’essere
» Per evitare la divergenza logaritmica
0f x
lim 0x
f x
x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 62
Le distribuzioni in generale• Di solito hanno quindi dei picchi
– Il picco più alto si chiama moda della distribuzione
– Un picco: unimodale• Poi bimodale, multimodale...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 63
Le distribuzioni in generale• Si definisce la mediana
• È definita con un’equazione integrale• Non gode di proprietà di linearità• Molto utile e potente soprattutto
nell’analisi delle serie temporali
highM
Mlow
f x dx f x dx
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 64
Le distribuzioni in generale• Poi ci sono i quartili
• Mediane della mediana
• Poi i percentili ...
NON USATELI MAI
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 65
Le distribuzioni in generale• Quasi sempre di una distribuzione si
fornisce– La media– La standard deviation– La moda– A volte anche il momento secondo (o la
sua radice)» Valore quadratico medio
» È il caso delle velocità in un gas
x 2x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 66
Le distribuzioni in generale• Attenzione a non confondere
• Facili a confondere se si usa il simbolo
2
2
2
2
D
D
x f x dx
x dx
x
x fx
x x
Distribuzioni discrete e continue
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 68
Distribuzioni discrete e continue
• In molti testi sono trattate assieme• Per usare sommatorie + integrali
occorre usare gli integrali di Stjeltjes• Ma ne vale la pena?...
• Noi separeremo i due casi• Non capita mai di avere variate miste
(discrete + continue)
Le principali distribuzioni discrete
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 70
Le principali distribuzioni discrete
• Veramente importanti solamente due– Distribuzione di Bernoulli e binomiale– Distribuzione di Poisson, o degli eventi
rari
La distribuzione di Bernoulli
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 72
La distribuzione di Bernoulli• Il caso più semplice• Variata che può
assumere due valori
• SCHEMA
X Prob.
1success
op
0insuccess
oq=1-p
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 73
La distribuzione di Bernoulli• Valor medio
• Varianza
1 0 1p px p
2 2
2
2
2
1 0 1
1
1
1
1
1
p p p p
p
x
p p p
p p p
p p p p
q
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 74
La distribuzione binomiale• Estensione della distribuzione di
Bernoulli• Caso tipico:
– Estraiamo da un’urna una palla
• Bianca: probabilità p• Nera: probabilità q=1-p
– Probabilità di estrarre k palle bianche su n estrazioni, rimpiazzando ogni volta la palla
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 75
La distribuzione binomiale• Legge della distribuzione
• Introduciamo una variata che valga 1 per successo e 0 per insuccesso– Quindi– Su n prove
, 1n kk k n kn n
P k n p p p p qk k
x p
k x np
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 76
La distribuzione binomiale• Si può calcolare anche con la
funzione caratteristica• Varianza
1
2
2
2
2
n
k k
x p x p
n x p
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 77
La distribuzione binomiale
2 n p q
n p q
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 78
La distribuzione binomiale• All’aumentare della probabilità (da
0.1 a 0.3) la distribuzione diviene più simmetrica– Assomiglia ad una distribuzione
gaussiana• ...che vedremo
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 79
5 10 15 20 25 30
0.05
0.1
0.15
0.2
La distribuzione di Poisson
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 81
La distribuzione di Poisson• È la distribuzione di eventi rari• È ciò che diviene la binomiale
quando
• Legge della distribuzione
cost0
nnp
p
!
keP k
k
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 82
La distribuzione di Poisson
1 1, 1
!
1 11
!
1 2 1 11 1 1 1
!
n kk
k n k
n kk
n n n kf k n p p p
n
n n n k
n
n k mm
n n n
m
n
n n
m
n
n
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 83
La distribuzione di Poisson
1 2 1 1lim 1 1 1 1
!
1li
! !1
1m
n kk
n kk
n
k m
n
k mm
n n n k n
mm m e
kk n
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 84
La distribuzione di Poisson• Media
• Varianza
k
2
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 85
La distribuzione di Poisson
• Ed infine un grafico per e 2 5
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 86
5 10 15 20
0.05
0.1
0.15
0.2
0.25
Le principali distribuzioni continue
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 88
Le principali distribuzioni continue
• Molte hanno interesse limitato• Qui studiamo solo quelle di maggiore
interesse per la misura• Definite
– In un intervallo (solo la uniforme)– Semiasse reale positivo– Tutto l’asse reale
La distribuzione uniforme
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 90
La distribuzione uniforme
• Definita fra –1/2 e 1/2• Di solito però fra 0 e 1
– Il calcolatore estrae “numeri a caso” in questo intervallo
– In realtà i numeri sono pseudocasuali– Estratti con un formalismo causale si verifica a
posteriori che rispettino la casualità
• Il caso di
– Sono la base per simulazioni statistiche
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 91
2 1 0 1 2
0
0.2
0.4
0.6
0.8
1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 92
La distribuzione uniforme
• Definizione della distribuzione
• In generale
0 0
1 0 1
0 1
x x
x x
x x
0
1
0
x x m
x m x M
x x M
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 93
2 4 6 8 10
0.2
0.4
0.6
0.8
1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 94
La distribuzione uniforme
• Media
• Varianza
2
m M
2
2
12
1
12
M mM m
UN PROBLEMA INTERESSANTE
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 96
Un problema interessante
• Visto che il calcolatore mi dà solo numeri (pseudo)casuali fra 0 ed 1, posso (e se sì come) ottenere dei numeri distribuiti fra A e B con una distribuzione f(x) ?
• La risposta è affermativa
Metodo di reiezione
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 97
Un problema interessante
• Uno schizzo grafico...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 98
Un problema interessante
Ricetta1. Calcoliamo anzitutto il massimo
della funzione nel nostro intervallo2. Poi calcoliamo 3. Estraiamo un numero fra 0 ed 14. Calcoliamo
*X
*X a b a X
1.05 maxa b
M f x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 99
Un problema interessante
• Ora estraiamo un secondo numero fra 0 ed 1, e moltiplichiamolo per M: – Quindi una distribuzione
uniforme fra 0 ed M
• Siamo ora in possesso di due numeri (pseudo)casuali– X fra a e b– Y fra 0 ed M
Y
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 100
Un problema interessante
• Calcoliamo la• Terremo per buono il valore Xse è• Rigetteremo il valore Xse è
f X
f X Y
f X Y
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 101
Un problema interessante
• Il metodo è usatissimo e garantito• Funziona a spese di estrazioni a
vuoto– In pratica
• Si riempie uniformemente il rettangolo verde di punti
• Si tengono per buoni solo quelli sotto la curva
– Funziona anche per più dimensioni• ...e si allungano i tempi...
La distribuzione gaussiana
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 103
La distribuzione gaussiana
• Se sommiamo variabili distribuite uniformemente otteniamo
– Numero di variabili: 1, 2, 3, 4, 10
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 104
-0.4 -0.2 0 0.2 0.40
20
40
60
80
100
120
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 105
-0.4 -0.2 0 0.2 0.40
50
100
150
200
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 106
-0.4 -0.2 0 0.2 0.40
50
100
150
200
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 107
-0.4 -0.2 0 0.2 0.40
50
100
150
200
250
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 108
-0.4 -0.2 0 0.2 0.40
100
200
300
400
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 109
La distribuzione gaussiana
• Si dimostra che si tende ad una distribuzione tipica, “a campana”
La distribuzione normaleIn generale
La distribuzione gaussiana
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 110
La distribuzione gaussiana
• Dimostrazione non immediata– Bisogna lavorare sulle funzioni
caratteristiche– Passare al limite (e si tratta di
dipendenze funzionali...
• Si vede anche che il limite è lo stesso anche se le distribuzioni NON sono uniformi
• ...e difatti è MOLTO IMPORTANTE il
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 111
La distribuzione gaussiana
Teorema del limite centrale
Se una variata ha una ha una distribuzione la media di un
campione su osservazioni tende ad essere distribuita
normalmente al crescere di
X F X
X n n
n
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 112
La distribuzione gaussiana
• Quindi le
al crescere di tendono ad essere distribuite normalmente anche se non lo sono le singole variate
kk
Y X n X n n
X
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 113
La distribuzione gaussiana
• Noi ci limiteremo alle variate normali• Sono le più utili• Coprono l’assoluta maggioranza dei casi
pratici
– Quando occorre qualcosa di più si è nei guai
• In questo caso bastano due momenti– Media e SD
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 114
La distribuzione gaussiana
Caso importante “fuori dal coro”
i conteggiSeguono la statistica di Poisson
PeròRegola a spanne
Quando usate pure Gauss con 10
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 115
La distribuzione gaussiana
• Sotto a questo limite bisogna stare attenti perchè...
La distribuzione è asimmetrica
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 116
La distribuzione gaussiana
• Insomma...
TUTTO FINISCE PER ESSERE GAUSSIANO
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 117
La distribuzione gaussiana
• La funzione di distribuzione
2
2
1
2,1
2
x
G x e
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 118
La distribuzione gaussiana
• Media• Varianza
2
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 119
La distribuzione gaussiana
• Definiremo a partire da una variata normale x– La variata centrata (detta anche scarto)
– La variata ridotta (detta anche scarto ridotto)
• Vediamo degli esempi grafici
cx x x
x x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 120
-2 2 4
0.1
0.2
0.3
0.4
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 121
La distribuzione gaussiana
• Una proprietà importante:– Le probabilità di stare dentro un certo
numero N di SD sono sempre le stesse
• Attenzione: la funzione d’errore è (storicamente) definita per una gaussiana non normalizzata...
1 erf2
NP x N
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 122
La distribuzione gaussiana
• Definizione
2
0
2erf
xtx e dt
2
0
21te dt
222te dt
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 123
La distribuzione gaussiana
• In realtà a noi serve 2
21
2 2erf
x t
x
ex
dt
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 124
La distribuzione gaussiana
1
2
3
4
5
N P x N 0.317
0.045530.0027 2.7 10
56.33 107 65.73 10 0.573 10
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 125
La distribuzione maxwelliana
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 127
La distribuzione maxwelliana
• Importante per la distribuzione dei moduli delle velocità delle molecole in un gas
• Funzione di distribuzione
• Stavolta non conviene usare la funzione caratteristica...
22
4x
VxM x e
VV
V
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 128
La distribuzione maxwelliana
• Moda• Media
• Varianza
m V2
1.128V V
2 2 23 80.227
2V V
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 129
La distribuzione maxwelliana
• Standard deviation
• Velocità quadratica media
0.476V
2 2 31.225
2v x V V
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 130
La distribuzione maxwelliana
• Skewness
• Kurtosis
• Quasi una gaussiana
1 32
2 2 16 15
3 80.486
2
2 2
15 16 192
33 1 8
8. 0
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 131
1 2 3 4 5
0.2
0.4
0.6
0.8
La distribuzione del 2
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 133
La distribuzione del 2
• La funzione di distribuzione è temibile...
• Funzione caratteristica
2
12 22 2
2
1
22
F e
21 2t it
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 134
La distribuzione del 2
• Media
• Varianza
2
2 2 2
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 135
La distribuzione del 2
• Una rappresentazione grafica per
102,5,
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 136
5 10 15 20
0.1
0.2
0.3
0.4
0.5
Perché il 2?
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 138
Perché il 2?
• Prendiamo variate • Distribuite normalmente • Indipendenti
• La somma
si distribuisce come
N 1, , NX X
22
1
Nk k
k k
XZ
2 N
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 139
Perché il 2?
• La somma dei quadrati degli scarti ridotti ci dice quanto può essere buona una previsione rispetto ai dati osservati
• Dobbiamo osservare (sempre in senso stocastico!)
• Con una varianza
Z N
2 2Z N
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 140
Perché il 2?
• Che probabilità c’è di osservare un valore di 2 superiore ad un valore trovato?
• Si chiama livello di confidenza– Un grande 2 ha un basso CL– È improbabile osservarlo
– -> qualcosa sta andando male...
2
2 22CL F d
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 141
Perché il 2?
• Ecco cosa succede per N=10– Funzione CL
2
2
2 2 2
2 2
0
CL
1
F d
F d
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 142
5 10 15 20 25 30
0.2
0.4
0.6
0.8
1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 143
Perché il 2?
• C’è solo il 10% di probabilità di trovare un 2 maggiore o uguale a 15
• Se lo si trova si è di fronte ad un evento improbabile
• ...se questo deriva da un’ipotesi teorica che abbiamo fatto...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 144
Perché il 2?
• Insomma abbiamo un
Test di ipotesi
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 145
Perché il 2?
• ...ma anche se troviamo un 2 troppo piccolo qualcosa potrebbe non andar bene
• Non è che abbiamo sbagliato a calcolare le varianze?
• ...magari stimandole troppo elevate?
Le distribuzioni bivariate
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 147
Le distribuzioni bivariate
• Sono definite per due variate
– La situazione adesso è molto più complessa– Il grafico è una superficie
,f x y dx dy
, x
y
f x y dx dy X x dx C y x dy
Y y dy C x y dx
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 148
Le distribuzioni bivariate
• Si definiscono le distribuzioni marginali...
• ...e quelle condizionali
,D
X x f x y dy
,
,x
D
f x yC y x
f x y dy
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 149
Le distribuzioni bivariate
• Se la non dipende da x allora
• ...e le variabili si dicono indipendenti• Tutto simmetrico per la y
xC y x
,f x y X x Y y
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 150
Le distribuzioni bivariate
• Per ogni valore di x avremo una media
• Plottando questo verso x si ottiene la curva di regressione di y su x
• Regressione: da studi di biometria (Galton): la statura dei figli di genitori con statura superiore alla media
tende a regredire verso la statura media della razza
,x
D
y y f x y dy
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 151
Le distribuzioni bivariate
• Il caso delle distribuzioni di variate normali indipendenti:
2 2
2 21 1
2 2
x y
X x e Y y e
2 2
21
,2
x y
f x y X x Y y e
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 152
Le distribuzioni bivariate
• Se le variate non sono indipendenti
• È sempre possibile riportarsi ad una forma del tipo
» La curva di regressione di y su x è una retta
2 2
2
21,
2
ax bxy cy
f x y e
22Ax Bx Cy
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 153
Le distribuzioni bivariate
• Abbiamo una serie di osservazioni• Calcoliamo la somma dei quadrati
degli scarti
• Questa è minima per
,k kx y
21k k
k
S y r xN
10 k k
k
Sr x y
r N
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 154
Le distribuzioni bivariate
2
2 2 2
2
1
2
1 2
k kk
S y r xN
y r xy r x
r xy r
21S r
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 155
Le distribuzioni bivariate
• Questo è il coefficiente di correlazione fra le variate
• La stima teorica è
• Per variabili non ridotte
x y
x y
x x y yy x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 156
Le distribuzioni bivariate
• La varianza di Y su X è data quindi da
• Le variabili indipendenti sono• Leggi:
21S x y x
2
21
2
x
X x e
2
22 1
2
1 1
2 1
y x
xC y x e
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 157
Le distribuzioni bivariate
• Quindi la legge generale
2 2
2
1 2
2 1
2
1 1,
2 1
x xy y
f x y e
1 dipendenza funzionale (correlazione perfetta)
0 indipendenza
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 158
Le distribuzioni bivariate
• Due esempi di distribuzioni con variate indipendenti e due con variate dipendenti
• Nel caso di quelle indipendenti: – Una stella fotografata da un telescopio
• Tremolio attorno ad una posizione media» La SD misurata in secondi d’arco, prende il
nome di seeing
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 159
-20-10
0
10
20 -20
-10
0
10
20
0
0.002
0.004
0.006
-20-10
0
10
20
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 160
-20
0
20-20
0
20
0
0.001
0.002
0.003
-20
0
20
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 161
-2
0
2
-2
0
2
0
0.1
0.2
-2
0
2
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 162
-10-5
05
10-10
-5
0
5
10
0
0.005
0.01
-10-5
05
10
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 163
Le distribuzioni bivariate
• In generale...
2 2
2 22
2
21
2 1
1 1,
2 1
x yx y
x y
x x y y x x y y
f x y
e
La somma delle varianze
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 165
La somma delle varianze
• Supponiamo di avere delle variabili indipendenti
• Ora prendiamo le variate centrate
Z X Y Z X Y
2 2 2 2
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 166
La somma delle varianze
• Ora abbiamo
E quindi la legge della somma delle varianze per variate indipendenti
0
2 2 2 2 2 2Z X Y
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 167
La somma delle varianze
Per somme di variate indipendenti le varianze si
sommano quadraticamente
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 168
La somma delle varianze
• Quindi sommare direttamente le standard deviation porta ad una sovrastima della varianza finale
• A volte può essere perfino conveniente...
La misura come variata
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 170
La misura come variata
• Una qualunque misura è affetta da una serie di incertezze
• Se ripetuta non dà gli stessi risultati
• Molte (ed in numero sempre maggiore) di previsioni teoriche non possono essere fatte con mezzi formali
• Vengono fatte con mezzi o numerici o statistici
• MonteCarli
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 171
La misura come variata
In definitiva il confronto fra teoria ed esperimento è
sempre probabilistico
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 172
La misura come variata
• Il primo passo è che una misura è sempre pensata come una variata
– E di solito normale
• Questo vale sia per misure “tipiche”– Il diametro di un chiodo
• ... sia per misure di tipo statistico– Il peso medio di un pollo di un allevamento
• ...sia per misure complesse– Densitometria ossea
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 173
La misura come variata
Di norma si suppone che
• La misura di una quantità singola sia una variata normale
• Con valore atteso• Con SD• I momenti superiori sono (evidentemente)
noti
• La SD sia piccola rispetto al valore atteso
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 174
La misura come variata
SE QUESTE IPOTESI NON FUNZIONANO OCCORRE AGIRE DI CONSEGUENZA
E CAMBIARE IL FORMALISMO DI QUANTO
DIREMO
Medie ed errori
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 176
Medie ed errori
• Risultato di una misura: una variata normale
• Momenti: – Primo: -> la media– Secondo: -> la varianza
• Si fornisce la deviazione standard
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 177
Medie ed errori
• Nell’ipotesi normale è sufficiente fornire i primi due momenti
• In realtà si fornisce per convenzione media e SD
• Il risultato di una misura viene espresso in generale come
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 178
Medie ed errori
• Due tipi di errore– Assoluto
– Relativo
• Di solito misurato in % o in ppm
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 179
Medie ed errori
• Quasi sempre è espresso con una o al massimo due cifre significative
• Non si ritiene utile andare più in là
• Esempio: – Numero di Avogadro
23 1
23 17
6.022141 99 10
6.0
(47)
4.7 102214199 10
mol
mol
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 180
Medie ed errori
• La SD ha sempre il significato statistico visto nella distribuzione normale– Fuori di 1 SD -> 33 %– Fuori di 2 SD -> 4 %– Fuori di 3 SD -> 0,3 % = 3000 ppm
• Cosiddetto errore massimo
La misura diretta
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 182
La misura diretta
Il caso più semplice• Misuriamo il lato di un cubo con un
calibro– O stimiamo l’errore in base alla lettura– O ripetiamo N volte la misura
• Otteniamo un vettore 1 1, , , NX x x x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 183
La misura diretta
• Stima del valore più probabile
• Questo è il valore che si fornisce come risultato della misura
• MA: anche questa è una variata!
1k
k
x xN
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 184
La misura diretta
• Le medie hanno dispersione minore
• Attenzione: ridurre la SD costa caro!– Per ridurre la SD di un fattore 10 occorre
aumentare il campione di un fattore 100!
21 k
kx
X X
NN
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 185
La misura diretta
• ...e le fluttuazioni?• Si fa l’ipotesi (ragionevole) che la
caduta in un bin rappresenti un evento raro– Statistica di Poisson– Quindi in un bin abbiamo
bin binN N
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 186
La misura diretta
• Errore relativo...
• ...ancora la dipendenza dalla radice!
• A spanne: aumentare di 10 volte la statistica riduce l’errore di un fattore 3
1bin
bin
bin
bin bin
N
N
N
N N
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 187
La misura diretta
Un esempio pratico:• Prendiamo un campione casuale di
1000 casi, da cui traiamo una certa conclusione. Che fluttuazioni ci possiamo aspettare?
• ...e con 100 casi
10003 %
1000
10010 %
100
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 188
La misura diretta
• ...e se volessimo ottenere fluttuazioni del 3 per mille?
Dovremmo salire a 100 000 casi!
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 189
La misura diretta
Insomma: attenti ai sondaggi
ed ai risultati di medicamenti miracolosi
provati su ben 127 casi...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 190
La misura diretta
• E se non abbiamo a disposizione molte misure?
• Si stima l’errore.
CONVENZIONI ACCETTATECONVENZIONI ACCETTATE1. Per strumenti a indicatore: metà
della divisione più piccola2. Per strumenti digitali: metà
dell’ultima cifra significativa
La misura di grandezze funzioni di altre
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 192
La misura di grandezze funzioni di altre
Caso tipico • Misuriamo il diametro di una sfera
• Determiniamo l’errore di misura• Calcoliamo il volume della sfera
• Come facciamo a calcolare l’errore sul volume?
31
6V D
La propagazione degli errori
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 194
La propagazione degli errori
• Riprendiamo la formula
• Nell’ipotesi normale e di errori piccoli
31
6V D
2
2
213
6 2
2
dV D dD D d
V D D
D
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 195
La propagazione degli errori
• Errore relativo
• Più in generale
2
3
2
6
3V D
DD
D
V D
Y XYd
F XF
dX
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 196
La propagazione degli errori
• E se le variabili sono in numero maggiore?
• Dovremo tener conto – Del teorema del differenziale totale– Dell’additività quadratica delle varianze
,Z F X Y
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 197
La propagazione degli errori
• In totale...
• E l’errore relativo diviene
2 2F F
Z X YX Y
2 21 1Z F F
X YZ F X F Y
La derivata logaritmica
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 199
La derivata logaritmica
• Nel caso di una variabile...
3 31 1ln ln
6 6
1ln ln 3ln
6
3 3V
V D V D
V D
D
V D
dV dD
V D
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 200
La derivata logaritmica
• Una comoda scorciatoia– Usabile per errori piccoli– Utile se le funzioni sono di tipo algebrico– Facile da memorizzare
• … se uno non ha molte pretese …
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 201
La derivata logaritmica
• Ecco un esempio strambo3
1.5
1ln 3ln ln 1.
13 1.5
2
5ln2
Z X Y W
Z
X YZ
W
Z X Y W
X Y W
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 202
La derivata logaritmica
Attenzione:
Non è rispettata l’additività quadratica delle varianze
Si ottiene una sovrastima dell’errore complessivo
La misura statistica
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 204
La misura statistica
• Un problema: come misuriamo l’energia (o il momento) di un fascio ad es. Di elettroni?– Non c’è un’energia unica– Possiamo far passare gli elettroni in
campo magnetico e poi misurare l’intensità alle varie deflessioni
– Possiamo usare campi magnetici ed elettrici incrociati
– ...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 205
La misura statistica
• Cosa succede se gli elettroni sono pochi?
• Dobbiamo accumulare statistica– Misurare l’energia di uno alla volta– Accumulare i dati– Riportare le misure in un istogramma delle
frequenze
• A questo punto abbiamo dei conteggi ad intervalli fissati
» In conteggi sono interi (numeri esatti...)
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 206
La misura statistica
• Prenderemo – Come valori della x i centri degli
intervalli– Come valori della y i conteggi– Come errori la loro radice quadrata
– Statistica di Poisson
• Abbiamo l’approssimazione di una funzione
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 207
La misura statistica
• Da questo momento in poi le misure statistiche si trattano come le altre
Attenzione a pensare che il numero dei casi sia
“esatto”
– Cosa comune in economia e medicina...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 208
La misura statistica
• Aver osservato 100 casi vuol dire
– Altroché valore esatto...
100 100 100 10
10
101
00%
N
N
IL problema
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 210
IL problema
• Abbiamo dei dati sperimentali• DOBBIAMO avere almeno un modello
teorico• Il(-i) modell0(-i) dipende(-ono) da
alcuni parametri incogniti
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 211
IL problema
Come facciamo a determinare
le migliori stime dei parametri in
questione?
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 212
IL problema
Come facciamo a determinare
gli errori sulle stime dei suddetti parametri?
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 213
IL problema
Come facciamo a decidere se un
modello è accettabile?
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 214
IL problema
Come facciamo a decidere qual’è il
modello “migliore”?
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 215
IL problema
Come facciamo ad escludere un modello?
La stima parametrica
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 217
La stima parametrica
• Un esempio:• A vari si misurano dei valori
– Come possiamo determinare la migliore stima dei coefficienti della retta che meglio approssima i dati?
– Come possiamo determinare gli errori sui coefficienti della retta?
kx ky
y mx q
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 218
La stima parametrica
Scegliamo ora per l’approssimazione una parabola, e ripetiamo il processo
– Come possiamo decidere quale è il modello migliore (retta o parabola)?
– È possibile determinare la probabilità che sia verificato il modello?
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 219
La stima parametrica
• Il primo problema si chiama
stima parametrica• Il secondo problema si chiama
test di ipotesi
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 220
La stima parametrica
• Supponiamo ora di misurare distanze ed angoli fra tre vette di montagne.– Come possiamo determinare le migliori
stime di distanze ed angoli in modo che il triangolo chiuda?
– La somma degli angoli interni dev’essere 180°– Vera la geometria euclidea
– Come possiamo decidere se vale o no la geometria euclidea?
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 221
La stima parametrica
• Il problema si chiama
stima parametrica vincolata
• Il secondo problema è un’estensione del test di ipotesi ed è il test di una teoria
– Nessuna differenza concettuale, solo una maggiore “importanza”
La Maximum Likelihood
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 223
La Maximum Likelihood
Esempio della retta• Se conosciamo la legge di
distribuzione intorno a y, calcoliamo la probabilità di ottenere le y osservate attorno al valore previsto
– Se sono indipendenti è solo il prodotto
• Otteniamo una funzione
, ,qx y mL
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 224
La Maximum Likelihood
• Che di solito è complicatissima• Esprime la probabilità di trovare i
valori osservati nell’ipotesi del nostro modello
• Funzione delle osservazioni e dei parametri incogniti
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 225
La Maximum Likelihood
• Cercheremo i parametri in modo da renderla massima
• Siccome è un prodotto si semplifica prendendo il suo ln
• Le derivate di un prodotto...
• ...ed i prodotti divengono somme!
n , ,l mx y q L
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 226
La Maximum Likelihood
• Di questa funzione si deve cercare il massimo
– Se poi ci sono correlazioni, apriti Cielo...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 227
Questo è l’unico metodo statistico
di stima parametrica
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 228
La Maximum Likelihood
• Il calcolo delle condizioni di massimo va fatto con metodi numerici
• In giro ci sono ottimi packages• Un consiglio
USATE ALMENO DUE PACKAGES DIVERSI!
Il minimo del 2
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 230
Il minimo del 2
• Supponiamo che le osservazioni siano indipendenti e normali
• La probabilità diviene il prodotto di tante gaussiane 2
2exp
xP
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 231
Il minimo del 2
• Ed il logaritmo della funzione di likelihood diviene una somma...
• ...che dev’essere massima
22
x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 232
Il minimo del 2
• ...e quindi
dovrà essere minimo
2,22
k th k
k k
x X
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 233
Il minimo del 2
La stima dei parametri va in cerca dei valori dei parametri
che rendono minima la somma dei quadrati degli
scarti ridotti rispetto ai valori previsti dal modello scelto
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 234
Il minimo del 2
• Come si scrive una funzione di 2?• Anzitutto occorre scrivere la funzione
• Questa è il nostro modello teorico• Dipende
– dalle variabili che osserviamo– da alcuni parametri che vogliamo determinare
• Poi occorre determinare gli errori sulle • Problema non facile
– Da esso dipende non tanto la bontà della risposta, quanto il valore del minimo
thX
kx
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 235
Il minimo del 2
• Un caso eclatante– Il fit geometrico di tracce di camere a
bolle in campo magnetico (anni ’60 al CERN ed altrove)
– Supposto un modello con archi di cerchio• In realtà erano archi di spirale che si stringeva
– Ne derivava una sovrastima degli errori sui parametri
– Si traduceva in fit eccessivamente ottimistici
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 236
Il minimo del 2
• In generale la previsione è funzione di certi parametri
• Quindi
th thX X
2,22
k th k
k k
x X
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 237
Il minimo del 2
• Per trovare il minimo si possono seguire due strade
• Derivare rispetto ai parametri• Si ottiene un sistema di equazioni• Sistema normale
2
1
2
0
0K
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 238
Il minimo del 2
• Se il sistema è lineare si risolve nei parametri
• Il problema è semplice ed è trattato in tutti i testi di statistica
• Peccato che tutto ciò accada raramente:
– Regressione lineare o quadratica: retta, parabola,...
– In genere con funzioni lineari nei parametri incogniti
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 239
Il minimo del 2
Un esempio: • Dato un set di coppie nel
piano qual’è la parabola che le approssima meglio?– Problema lineare
,x y
2 cxay x b
2
2
22
, ,k k k
k k
y x xa b
a b cc
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 240
Il minimo del 2
22
22
2 0k k k
kk k
y x xbx
a
a c
2 4 3 2
20
k k k k k
k k
a bx cy x x x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 241
Il minimo del 2
• Ed analoghe per gli altri due coefficienti della parabola
2 4 3 2
2 2 2 20k k k k k
k k k kk k k k
a b cy x x x x
4 3 2 2
2 2 2 2k k k k k
k k k kk k k k
a b cx x x y x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 242
Il minimo del 2
• E se volessimo un cerchio?• Problema comune: particelle in campi
magnetici disegnano cerchi, e non parabole...
• Siamo nei guai:• Dobbiamo determinare coordinate
del centro e raggio• Di nuovo tre parametri• Solo che...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 243
Il minimo del 2
2
2 2 2
2 2 2 2 2
2
2
2 2
2
2 2 0
2 0
c c
c c c
c c
c c
c
c
x x y y R
x xx x y y
y x
y y R
x
y
yy
x
y
y R x
R
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 244
Il minimo del 2
• ...ed ora...
2
22
22
, ,c ck
k kc c
y R xx y R
y x
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 245
Il minimo del 2
• Anche ora potete calcolare le derivate...
• Auguri...
• ...ma come si risolve poi il sistema normale NON lo trovate sui testi di statistica...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 246
Il minimo del 2
• Se il sistema non è lineare si può provare a linearizzarlo
,
2 2 210
1!k in
kk k kk
k
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 247
Il minimo del 2
• Quindi
• Si calcolano le correzioni e si pone
,
22 2 2
20
k inkk k
kk
, ,k in k in k
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 248
Il minimo del 2
– Non si tratta di un problema facile– Le derivate possono diventare
facilmente formalmente molto complesse
– Si tratta di programmi non semplici da scrivere e da gestire
– Occorre scrivere dei programmi diversi per ogni problema che si affronta
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 249
Il minimo del 2
• Molti problemi pratici: – Abbiamo dei ragionevoli valori di prima
approssimazione?– Il metodo converge ?– Dopo quante iterazioni?– Con quale precisione?– Quando lo fermiamo?– Cosa facciamo se diverge?
» Se le correzioni aumentano invece di diminuire
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 250
Il minimo del 2
Ultimo sistema• Minimizzare direttamente la funzione
• Packages appositi• MINFUN• MINUIT• MATHEMATICA• MatLab• MathCad
2min , ,c cx y R
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 251
Il minimo del 2
• Strategie tipiche (MINUIT)– Si parte su una catena di montagne– Si esplorano gli incrementi
– Derivate direzionali
– Si sceglie quello più negativo– Gradiente
– Si segue la direzione del gradiente– Ad un certo punto l’incremento diviene
positivo
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 252
Il minimo del 2
• Si esplora intorno– Se è positivo dappertutto si è in fondo
ad uno stagno– Se no si riprende
• Come si fa a sapere che lo stagno è il più profondo di tutti?
• In due variabili si può visualizzare, ma in più di due?
• Problemi, problemi...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 253
Il minimo del 2
Attenzione: • Se trovate un minimo, chi vi dice che
sia quello vero?– Siete arrivati davvero nella valle più
profonda di tutte?– Potete arrangiarvi se siete in 2 variabili
con la grafica– Se no...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 254
Il minimo del 2
NESSUNA SOLUZIONE AL PROBLEMA DEI
MINIMI LOCALISOLO PAZIENZA ED
ATTENZIONE
Il test di ipotesi
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 256
Il test di ipotesi
• Torniamo al caso della retta– Una serie di punti, riportati con le loro barre
d’errore
• Ecco un esempio ed un possibile fit – Fatto ad occhio...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 257
1.5 2 2.5 3 3.51.5
2.5
3
3.5
4
4.5
5
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 258
Il test di ipotesi
• Calcoliamo il
• Ci sono 6 punti indipendenti, 2 parametri
• 4 equazioni in più
4 gradi di libertà
2
22
k k
k k
m qY X
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 259
Il test di ipotesi
• Ci aspettiamo quindi
– Attenzione alla skewness di 2!
• Supponiamo di aver misurato
2 4 4 4 2
2 C
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 260
La probabilità di osservare un 2 uguale o maggiore di C è assunta come livello di confidenza dell’ipotesi
“i punti sperimentali sono stati presi da un campione di punti
che in realtà stanno su una retta, coi coefficienti da noi
calcolati”
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 261
Il test di ipotesi
• ...ed ecco la curva per 4 gradi di libertà– Ascissa: valore del 2
– Ordinata: probabilità di osservare un 2 maggiore o uguale a quello dell’ascissa
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 262
Il test di ipotesi
5 10 15 20 25 30
0.2
0.4
0.6
0.8
1
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 263
Il test di ipotesi
• Però potremmo anche fare l’ipotesi che i punti nel nostro modello dovrebbero stare su una parabola
• E stavolta avremmo 3 gradi di libertà
22
22
k k k
k k
Y X Xa b c
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 264
Il test di ipotesi
Un problema
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 265
Il test di ipotesi
• Aumentando il numero dei parametri il CL migliora
• Se usiamo una curva di 5° grado questa passa per tutti e 6 i punti
– Il 2 diviene 0!» CL=100 %!
• Vuol dire forse che questa ipotesi è la migliore?
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 266
Il test di ipotesi
NO!
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 267
Il test di ipotesi
Vuol dire solo che noi non conosciamo il nostro mestiere...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 268
Il test di ipotesi
• Un dubbio: ma allora come facciamo a distinguere fra – una teoria che predice una retta
– (Prof.Tizio)
– Una teoria che predice una curva di 5° grado?
– (Prof.Caio)
Risposta:
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 269
Il test di ipotesi
NON CON QUESTI DATI
• Ne occorrono di più e con errori più piccoli
• Quindi più misure, e più precise ed accurate
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 270
Il test di ipotesi
• Un panico: ma allora la scelta, anche nella Scienza Esatta, è in certo modo arbitraria?
Risposta:
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 271
Il test di ipotesi
SÌ• Scienza e Tecnologia non hanno mai
preteso di dare Verità Ideologiche, Religiose, Superstiziose o alla Vanna Marchi
– È per questo che tanti ne hanno paura...
• Si procede stringendo il cerchio– Confrontandosi, e con molto buon senso
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 272
Il test di ipotesi
• Parametro importante, e molto usato il 2 diviso per il numero di gradi di libertà
• Plot: curve
parametrizzate su diversi livelli di confidenza
• Le trovate nella letteratura
2
vs
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 273
Il test di ipotesi
• Per grandi N (>10 è un buon valore)
2
2
2 21
1
2
2
CLy
t
e dt
y
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 274
Il test di ipotesi
• Quindi esplicitamente
2 21 1CL 1 erf
2 2
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 275
Il test di ipotesi
• Le approssimazioni, tabulazioni, funzioni, tabelle, routines si trovano ormai dappertutto
» Librerie IMSL (IBM)» EXCEL (MicroSoft)
» ...
• Importante è che sappiate come usarle e cosa vogliono dire...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 276
Il test di ipotesi
Approfondiamo l’argomento
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 277
Il test di ipotesi
Un altro problema
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 278
Il test di ipotesi
• Ho dei dati e faccio il fit con una retta• Il 2 è così così
• Adesso provo una parabola• Il 2 migliora (diviene più piccolo)
• Poi provo una cubica• ...va ancora meglio
DOVE MI FERMO?
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 279
Il test di ipotesi
CERTO È CHE SE HO 10 PUNTI UNA CURVA DI IX GRADO RENDE IL 2 PROPRIO 0...
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 280
Il test di ipotesi
PROCEDURA COMUNEMENTE ACCETTATA
• Si fa un grafico con– In ascissa il numero di gradi di libertà del fit
– In ordinata il valore del corrispondente 2
• Ad un certo punto si nota un brusco calo– Uno scalino
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 281
Il test di ipotesi
• Si tiene per buono il fit allo scalino– Poi aumentando i parametri il 2
continua a calare lentamente– Si considera questo calo poco
significativo
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 282
Il test di ipotesi
• Tipico il caso per i polinomi– Scarso livello di confidenza per una retta– Un po’ meglio con una parabola– Buono con una cubica– Meglio con una quartica
• Il risultato è che questi dati danno per buona l’ipotesi della cubica
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 283
Il test di ipotesi
Un panico
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 284
Il test di ipotesi
• E se il 2 cala, ma non c’è scalino?• Risposta: niente da fare
– O meglio: il tipo di curva da noi scelta non funziona
– Esempio tipico: dati su un esponenziale, fittati con polinomi
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 285
Il test di ipotesi• Anche questo è un risultato
Il modello teorico proposto non va,
Ed occorre cercarne un altro
» Naturalmente bisogna essere ben sicuri dei dati sperimentali e degli errori ad essi associati
» ...
I vincoli sui parametri
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 287
I vincoli sui parametri
• Ci possono essere delle condizioni extra sui parametri
1 1
1
, , 0
, , 0
K
M K
M K
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 288
I vincoli sui parametri
• Esempio (un po’ banale...): – Misuriamo tre angoli– Ci chiediamo la migliore stima con la
condizione che la somma dei valori finali dia 180°
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 289
I vincoli sui parametri
Ci sono varie strade
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 290
I vincoli sui parametri
• Una è quella di ridursi a soli parametri indipendenti
• Può non essere facile esplicitare un parametro
» E se sono parecchi, con equazioni non lineari...
, , 180
, ,180
F
F
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 291
I vincoli sui parametri
Provare per credere• Passate da
• Facile in linea di principio, ma nei casi pratici basta un radicale– Di solito questa strada non è quasi mai
usata
, 0
sin 0.5 0
F x y y f x
x y
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 292
I vincoli sui parametri
• L’altra strada è quella dei moltiplicatori di Lagrange
• Si minimizza
rispetto sia alle sia alle
1 12
M M
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 293
I vincoli sui parametri
• Alle derivate prime si ottengono delle equazioni
• Automaticamente soddisfatte
2
0
0k
Flavio Waldner - Dipt.di Fisica - UDINE - Italy 294
I vincoli sui parametri
• Il problema si riduce a minimizzare una funzione più complessa, con più parametri
• Di questi i moltiplicatori non entrano nelle analisi successive
• Problema sempre serio: evitare i minimi locali
• La cosa peggiora all’aumentare del numero di dimensioni...
2j k j k k j