inferenza statistica - home - people.unica.it · 2016-01-22 · stimatori – metodo dei momenti...
TRANSCRIPT
1
Inferenza Statistica
• Introduzione all’inferenza statistica• Metodo dei minimi quadratiq• Introduzione concetto Stimatori statistici• Stimatori col metodo dei momenti• Stima di parametri in modelli fisici
– Metodo dei Minimi Quadrati • Modelli Lineari• Modelli multilineari
Inferenza statistica - Introduzione
• Nelle precedenti lezioni sono stati introdotti gli strumenti matematici (teoria della probabilità e variabili aleatorie) fondamentali per affrontare il problema dell’inferenza statistica
• Ovvero, dato un campione, quali informazioni possiamo trarre sulla popolazione da cui è tratto? E con quale affidabilità?
2
Teoria della probabilità. Definizione popolazione e campione.
• Riepilogo Popolazione
P Campione
Processo deduttivo
Processo induttivo
CaratterizzazioneCampione: Statistica
descrittiva
CaratterizzazionePopolazione: Teoria dellaprobabilità e statisticaCorrente
sezione
Inferenza parametrica
• Nell’approccio classico, la caratterizzazione della popolazione incognita passa per l’ipotesi di un modello matematico per la popolazione stessa.
• Ovvero, si suppone che la casualità rispetti una legge dettata da un certo tipo di variabile aleatoria.
• Della pdf caratterizzante il processo casuale non sono noti i parametri.
• Lo scopo è determinare tali parametri dalle informazioni fornite Lo scopo è determ nare tal parametr dalle nformaz on forn te dal campione.
• Per tale motivo, tale tipo di caratterizzazione prende il nome di inferenza parametrica.
3
Inferenza parametrica
• Esempio: La popolazione genitrice il campione di dati sperimentali è descritta da una gaussiana di media μ e varianza σ2 entrambe gnon noti.
Popolazione μ
σ
• Media e varianza possono essere “ricavati” dalle caratteristiche del campione di dati disponibile.
μ = ?σ2 = ?
Inferenza parametrica
• Incominciamo a considerare il caso in cui la popolazione sia nota, (per esempio: una variabile aleatoria Y di tipo Gaussiano di media μY e varianza σY
2)
σY
• Un’osservazione proveniente da tale
variabile aleatoria può potenzialmente
assumere qualunque valore reale, ma
l ibil i
xμY
plausibilmente non si allontanerà molto dal
trend centrale
4
Inferenza statistica – Introduzione intuitiva
• Il singolo risultato del processo aleatorio può essere visto come l’estrazione di un risultato da un’ ”urna” in cui i valori più ricorrenti sono nei pressi del trend centrale
xμY
La maggior parte dei risultati che si
possono osservare è nei pressi del centro
Ma non possiamo escludere risultati che siano lontani dal centro
Inferenza statistica – Introduzione intuitiva
• Nel caso in cui si ripetono più prove, la media dei risultati “attenua” l’importanza dei valori individuali estremi
• La media del campione sarà nei pressi della media della popolazione
xμY Y
5
Inferenza parametricaMetodo dei minimi quadrati
• Nell’ipotesi di VA di tipo normale la migliore “stima” della media può essere ottenuta considerando il valore medio dei punti del campione.
• Tale stima prende il nome di MEDIA del campione di dati.Il l di di i di d ti è i f tti il l θ
N
yy
N
ii∑
== 1
• Il valore medio di un campione di dati è, infatti, il valore θ per cui la somma delle distanze dei valori osservati da esso è minima:
( ) ( )∑=
−=ΦN
iiy
1
2θθ
Inferenza parametricaMetodo dei minimi quadrati
• Infatti con alcuni banali passaggi:
( )
( )( ) 022
0
2 =+−=−∂∂
=∂Φ∂
∑∑ θθθ
θθ
Nyy ii
Ny
y i∑==θ
6
Inferenza parametricaMetodo dei minimi quadrati
• Nel caso in cui si abbiano Nosservazioni tutte provenienti dallo stessa popolazione (stessa variabile aleatoria) e indipendenti tra esse, si parla di distribuzioni indipendenti identicamente distribuite e si indica con l’acronimo i.i.d.
• Ciascun elemento del campione può essere visto come un esito di una variabile aleatoria.
• L’operazione di somma è quindi da interpretare come una operazione su VA e, in quanto tale, variabile aleatoria anche essa:
Y∑N
yy i∑= N
YY i∑=
Media aritmetica del campione Variabile aleatoria Media
Inferenza parametricaIntroduzione concetto Stimatore
• Se i dati sperimentali sono tutti caratterizzati dalla stessa distribuzione Yi~ N(μ,σ2) quali sono le caratteristiche della VA Media ?Y
[ ] ( )
[ ] [ ] [ ]( ) μμ ==+++
=⎥⎦⎤
⎢⎣⎡ +++=
NN
YEYEYEN
YYYN
EYE
N
N
1...1
...1
21
21
• La media della variabile aleatoria coincide con il parametro media della popolazione sotto esame.
• Questo risultato, nonostante sia intuitivo, non è affatto banale.
7
Inferenza parametricaIntroduzione concetto Stimatore
• Discorso analogo può essere fatto per la varianza della VA, sfruttando le proprietà incontrate nel caso di trasformazioni lineari:
• In conclusione, se Y ~ N(μ, σ2), la media aritmetica di Nprove sperimentali è una variabile aleatoria
NNY
N
N
ii
2
1
22
11var σσ ==⎟⎠⎞
⎜⎝⎛ ∑∑
=
sperimentali è una variabile aleatoria
⎟⎟⎠
⎞⎜⎜⎝
⎛N
YN
2
,~ σμ
Inferenza parametricaIntroduzione concetto Stimatore
• Riepilogo:• In termini statistici, valutare la media per un campione di dati
i li i l id il i l i di l sperimentali, equivale a considerare il singolo esito di una altra variabile aleatoria, caratterizzata dalla stessa media della singola VA e con una varianza più piccola:
• Con il cappuccio si intende “valore stimato del parametro μ”T l i di i bil l i è i di T M TORE il
nY
ZYZ
22ˆ σσμμμ ===
• Tale tipo di variabile aleatoria è un esempio di STIMATORE per il parametro media μ della VA di tipo gaussiano.
• Nella inferenza puntuale l’obbiettivo è la ricerca degli stimatori caratterizzati dalla minima varianza (e quindi la minore incertezza nel risultato).
8
Criterio della Massima VerosimiglianzaStimatore Media - Esempio
•1.40.5
0.0
0.2
0.4
0.6
0.8
1.0
1.2
0.0
0.1
0.2
0.3
0.4
σ10σ
Distribuzione densità di probabilità della VA
Y associata alla singola prova sperimentale
Distribuzione densità di probabilità della VA
stimatore media aritmetica
10Y
Inferenza statistica – Media come variabile aleatoria
• Seguendo il grafico delle “urne”, – osservare un valore di X equivale a pescare dall’urna a q p
sinistra, – calcolare la media di un campione equivale a pescare dall’urna
più stretta a destra
μ
XXX
x
Variabile aleatoria X
X X X XXXXXXX
XX
X
XVariabile aleatoria
9
Inferenza parametricaIntroduzione concetto Stimatore
• Riepilogo:• In termini statistici, valutare la media per un campione di dati
i li i l id il i l i di l sperimentali, equivale a considerare il singolo esito di una altra variabile aleatoria, caratterizzata dalla stessa media della singola VA e con una varianza più piccola:
• Tale tipo di variabile aleatoria è un esempio di STIMATORE per il p m t m di μ d ll VA di tip ssi n
22 x
X X Nσμ σ =
parametro media μ della VA di tipo gaussiano.
Inferenza parametricaIntroduzione concetto Stimatore
• Uno Stimatore è una funzione del campione di dati, non basato sui parametri della popolazione.
• Lo stimatore è una funzione nota delle variabili aleatorie
• Il valore assunto da uno stimatore è quindi l’esito di una VA• Come ogni altra VA, è possibile definire la distribuzione di uno
stimatore.
• Non esiste un unico stimatore per i parametri di una VA• Non esiste un unico stimatore per i parametri di una VA.
10
Stimatore media -
• La media aritmetica è una valida scelta per stimare il parametro μ di una Gaussiana (in genere per il trend centrale dei risultati)E i h d ll l i i di id il d • Esistono anche delle alternative per individuare il trend centrale:– La mediana – La moda
• Non tutti gli stimatori hanno le stesse “qualità”• Nella inferenza puntuale l’obbiettivo è la ricerca degli stimatori
picaratterizzati dalla minima varianza (e quindi la minore picaratterizzati dalla minima varianza (e quindi la minore incertezza nel risultato).
Inferenza parametricaIntroduzione concetto Stimatore
• Definizione:
• Una funzione di variabili aleatorie che non dipende • Una funzione di variabili aleatorie che non dipende esplicitamente da parametri incogniti è definita statistica.
• Esempio:
• È una statistica. Invece,N
XXXX N+++=
...21
( )μ−XZ• Nonè una statistica, a meno che i parametri μ e σ siano noti.
• Uno stimatore è quindi una statistica
( )σ
μ= XZ
11
Inferenza parametricaProprietà di uno Stimatore statistico
• Imparzialità: Uno stimatore si dice imparziale (unbiased) se il suo valore atteso coincide con il valore vero del parametro
• NB sebbene il valore vero non sarà mai noto è possibile valutare il verificarsi della imparzialità.
• Efficienza:E’ una misura della varianza dello stimatore Se
( ) Θ=Θ̂E
• Efficienza:E una misura della varianza dello stimatore. Se dispongo di più stimatori devo scegliere quello con varianza minima ovvero quello con la massima efficienza.
Inferenza ParametricaProprietà di uno stimatore statistico
• Esempio – Confronto Stimatori media e mediana per il parametro μ della VA Gaussiana:
[ ][ ] μ
μ==
medianaYEYE
[ ]Y2
var σ=
La media aritmetica e la mediana sono entrambi stimatori imparziali per il
parametro μ della VA Gaussiana
La varianza dello stimatore media è [ ]
[ ]N
Y
NY
mediana
N
2
2var
var
σπ=
= inferiore alla varianza della mediana
La media aritmetica è uno stimatore più efficiente della mediana
12
Proprietà di uno stimatore
• Da notare che non sempre gli stimatori imparziali sono efficienti e viceversa
• Esempio:
Stimatore U (imparziale)
p(u)
Stimatore V (il più
efficace, ma parziale)
p(v)
μ
Inferenza parametricaProprietà di uno Stimatore statistico
• Consistenza: E’ una proprietà dello stimatore al variare del numero di prove sperimentali. Uno stimatore si dice consistente se:
• Lo stimatore ideale dovrebbe essere uniforme, imparziale e a varianza minima possibile (acronimo: UMVUE, Uniform Minimum Variance Unbiased Estimator)
ˆlimN
θ θ→∞
=
• Si può dimostrare che lo stimatore media aritmetica per una popolazione di tipo gaussiano è uno stimatore UMVUE.
13
Stimatori – Metodo dei Momenti
• Il metodo dei minimi quadrati (LS: Least Squares) non è il solo modo di ottenere degli stimatori.
• Un altro metodo che può essere usato per ottenere uno stimatore è il metodo dei momenti.
• Definizione:• Momento k-esimo di un campione di dati
∑= kym 1
• Momento centrale k-esimo di un campione di dati:
∑=i
ik yN
m
( )∑ −=i
k
ik yyN
M 1
Stimatori – Metodo dei Momenti
• Il metodo dei momenti è il metodo più semplice per la determinazione dei parametri incogniti in una distribuzione
• Tale metodo ricava i valori dei parametri eguagliando i valori dei momenti del campione di dati con le espressioni matematiche relative.
• A titolo di esempio consideriamo il caso di una VA uniforme di cui non siano noti i valori a e b e che abbia riportato in 5 misure i seguenti esiti:g
– {2.44, 1.21, 2.04, 1.95, 1.82}
14
Stimatori – Metodo dei Momenti
• È possibile calcolare media e varianza per il campione di dati sperimentali osservati e metterli a sistema con i valori teorici:
• La stima di a e b sarà quindi a = 1.12 e b = 2.66• In linea di principio, è possibile ricavare i valori di a e b da una
l i di i i i i
( ) 198.012
89.12
2
2
1
=−
=
=+
=
baM
bam
qualunque coppia di momenti i-esimi.• Questo approccio è possibile per una qualunque funzione di
distribuzione.• Ovviamente, il tipo di VA deve essere nota
Stimatori – Metodo dei Momenti
• Altro esempio: Variabile aleatoria Y di tipo esponenziale.
( ) ( )
• La funzione ha un solo parametro, λ. • Media (momento primo) e varianza (momento centrale di ordine
2) sono tali che:
( ) ( )( ) ( )yyF
yyf
Y
Y
λλλ−−=
−=exp1exp
λμ 1
= 22 1
λσ =
15
Stimatori – Metodo dei Momenti
• È utile osservare in questo caso che abbiamo a disposizione, per il metodo dei momenti, due distinte formule per la valutazione del
λ d ll di ib i i lparametro λ della distribuzione esponenziale.
• Esempio: si consideri il caso di una campagna sperimentale per la caratterizzazione del tempo di resistenza di un dato materiale soggetto ad uno sforzo.
• Tale tempo è una variabile aleatoria, dato che varia da campione a campione esaminato
• Supponiamo che 5 prove abbiano riportato i seguenti risultati:Supponiamo che 5 prove abbiano riportato i seguenti risultati
{ 0.178 hr, 0.606 hr, 0.181 hr, 1.13 hr, 0.131 hr}
• Si intende valutare il parametro λ della VA in esame
Stimatori – Metodo dei Momenti VA di tipo esponenziale
• In questo caso è possibile determinare il parametro dalla media:n
• o, analogamente, dalla varianza
24.21446.01 =⇒===∑
= λλn
xy
n
ii
32.210.1861
2
2 =⇒===∑
= λx
s
n
ii
• È da notare che le due procedure portano a due stimatori differenti con due differenti valutazioni del parametro in esame.
32.20.186 2 ⇒ λλn
s
16
Metodo dei Momenti – Applicazione VA di tipo Gaussiano
• Nel caso di una VA di tipo Gaussiano l’uguaglianza tra momenti campionari e momenti della popolazione porta a risultati di facile interpretazione:
μ==∑
=
N
ym
N
ii
11
( )2∑ yyN
Il metodo dei momenti fornisce anche una
stima ragionevole del parametro varianza ( )
212 σ=
−=
∑=
N
yyM i
i della VA Gaussiana
Criterio della Massima VerosimiglianzaStimatori Varianza.
• Si sono già analizzate le proprietà dello stimatore media.• nel caso dello stimatore varianza:
• Si può innanzitutto osservare che lo stimatore è dipendente dallo stimatore
( )∑=
−=N
iiN Y
N 1
22 ˆ1ˆ μσ
2ˆNσμ̂
• L’espressione per lo stimatore suggerirebbe una relazione con una variabile aleatoria di tipo 2χ
17
Stima di parametri
• Il caso più interessante è quello in cui la relazione attesa sialineare
• N el caso dell’esperienza della caduta di un oggetto esiste unarelazione di tipo lineare che correla velocità v con il tempo di caduta t
• Più in generale possiamo considerare relazioni del seguente tipo
xy 10 ββ +=
gtvv += 0
• dove β0 (intercetta) e β1 (pendenza) sono costanti
Stima dei parametriCaso dipendenza lineare
• In assenza di incertezza nell’osservazione di yi ci aspettiamo che i punti (x,y), al variare delle condizioni operative xi si trovino tutti su una retta.
Y
15
20
25
30
35
X
0 2 4 6 8 10 120
5
10
18
Stima dei parametriCaso dipendenza lineare
• In realtà la presenza di errore impedisce che i punti siano allineati.
Y
5
10
15
20
25
30
35
40
• La procedura che si può eseguire è ricercare quale è la retta (tra le tante possibili) che approssima meglio i risultati sperimentali.
X
0 2 4 6 8 10 120
Stima di parametri in modelli fisiciMetodo dei Minimi Quadrati: Modelli lineari
• Il modo migliore per descrivere i dati consiste nel cercare la retta (di regressione) che renda minimo la somma di tutti i quadrati delle distanze
y
y = β0+β1xi
yi
di
x
y β0 β1xi
19
• Per ciascun dato sperimentale è possibile misurare la
Stima dei parametri - Caso dipendenza lineare- Metodo dei minimi quadrati
Per ciascun dato sperimentale è possibile misurare la distanza del singolo dato dalla ipotetica retta. La misura della distanza è misurata nella direzione verticale.
xi
yidi = yi-β0−β1 xi
β0+ β1 xi
• I parametri β0 e β1 della retta non sono noti a priori• È possibile calcolare quali siano i valori che minimizzano la
distanza complessiva dei punti
xi
Stima di parametri in modelli fisiciMetodo dei Minimi Quadrati: Modelli lineari
• La somma di tutte le distanze tra le prove sperimentali e la retta di equazione canonica generica y = β0+β1 x può essere scritta nella forma:forma:
• Dove θ è il vettore dei parametri ignoti {β0, β1}
Definizione• La funzione Φ(θ) è definita funzione obiettivo
La distanza
di = yi– β0 – β1 xi
( ) ( )θ210
2 Φ=−−= ∑∑i
iii
i xyd ββ
yi =a+b xi
di yi β0 β1 xi
è misurata lungo la verticale perché è l’unica sorgente di deviazioni dal valore vero
Questa distanza è funzione solo delle incognite a e b
di
xi
20
Stima dei parametriCaso dipendenza lineare
Metodo dei minimi quadrati
Gauss:
• La retta deve essere determinata dai punti sperimentali in modo tale che la somma dei quadrati delle distanze di questi punti dalla linea retta sia minima, dove la distanza è misurata nella direzione verticale.
Stima dei parametri Caso dipendenza lineareMetodo dei minimi quadrati
• La somma di tutte le distanze tra le prove sperimentali e la retta di equazione canonica generica y= β0+β1x può essere scritta nella forma:
• Dove θ è il vettore dei parametri ignoti {β0, β1}
DefinizioneLa funzione Φ(θ) è definita funzione obiettivo
( ) ( )θ210
2 Φ=−−= ∑∑i
iii
i xyd ββ
• La funzione Φ(θ) è definita funzione obiettivo
21
Stima dei parametri - Caso dipendenza lineare - Metodo dei minimi quadrati
• I valori θ che mi minimizzano la funzione Φ(θ) sono la migliore stima dei parametri per la regressione lineare
• Una determinazione puntuale dei parametri passa sempre per la ricerca dei minimi (o dei massimi) di una funzione obiettivo.
• L’operazioni di determinazione dei valori che mi minimizzano (o massimizzano) una funzione obiettivo è detta ottimizzazione
Stima dei parametri - Caso dipendenza lineare - Metodo dei minimi quadrati
• nel caso della regressione lineare, è possibile ottenere una soluzione analitica dei coefficienti β0 e β1 per cui la funzione obiettivo è minima
• Data la funzione obiettivo:
• Si può facilmente verificare che la funzione di β0 e β1 è un paraboloide e quindi ammette una (ed una sola) coppia di valori
( ) ( ) ( )∑ −−=Φ=Φi
ii xy 21010 ,θ ββββ
paraboloide e quindi ammette una (ed una sola) coppia di valori minima.
22
Stima dei parametri - Caso dipendenza lineare - Metodo dei minimi quadrati
• Il minimo della funzione obiettivo è ricercato tramite gli zeri delle derivate:delle derivate:
( ) ( )
( ) ( ) 0,
0,
210
110
1
210
010
0
=−−∂∂
=Φ∂∂
=−−∂
∂=Φ
∂∂
∑
∑
iii
iii
xy
xy
βββ
βββ
βββ
βββ
• I valori di β0 e β1 che annullano il sistema di equazioni lineari sono delle stime puntuali dei valori veri della regressione lineare.
Stima dei parametriCaso dipendenza lineare - Metodo dei minimi
quadrati• Derivando la funzione rispetto ai parametri
∂
• Con semplici passaggi si ottiene:
( ) ( )
( ) ( ) 02,
02,
10101
10100
=−−−=Φ∂∂
=−−−=Φ∂
∂
∑
∑
iiii
iii
xxy
xy
βββββ
βββββ
NN
∑
• Il sistema di equazioni precedenti è un sistema di equazioni lineari.
i
N
ii
N
ii
N
ii
ii
ii
xyxx
yxN
∑∑∑
∑∑
===
==
=+
=+
11
21
10
1110
ββ
ββ
23
Stima dei parametri – Caso dipendenza lineare – Metodo dei Minimi Quadrati
• Le due equazioni lineari sono talvolta chiamate equazioni normalie possono essere facilmente risolte per le costanti β0 e β1
d
xy 10 ββ −=2
11
2
1111 1
1
`⎟⎠⎞⎜
⎝⎛−
−=
∑∑
∑∑∑
==
===
N
ii
N
ii
N
ii
N
ii
N
iii
xN
x
yxN
xyβ
dove:
N
yy
N
ii∑
== 1
N
xx
N
ii∑
== 1
Le formule danno le miglioristime possibili per icoefficienti β0 e β1
Stima dei parametri - Caso dipendenza lineare - Metodo dei minimi quadrati
• Si definisce la somma corretta dei quadrati delle xN
• E la somma corretta dei prodotto x ed y
( )∑=
−=i
ixx xxS1
2
( )( ) ( )∑∑==
−=−−=N
iii
N
iiixy xxyyyxxS
11
• Con qualche passaggio si ottiene la formula equivalente:
( )
( )∑
∑
=
=
−
−== N
ii
N
iii
xx
xy
xx
xxy
SS
1
2
11 v
v
β
24
Stima di parametri in modelli fisiciMetodo dei Minimi Quadrati: Modelli lineari
• I valori determinati e sono delle combinazioni lineari delle variabili aleatorie yi
0β̂ 1̂β
• Sono pertanto anche esse delle variabili aleatorie.• Se si ripetono n esperimenti nelle stesse condizioni operative dei
precedenti esperimenti otterremo dei valori differenti per le stime di e
• Le stime dei parametri che tipo di variabili aleatorie sono? Sono delle variabili aleatorie indipendenti?
0β̂ 1̂β
• Le proprietà degli stimatori introdotti con il metodo dei Minimi Quadrati saranno discusse nel seguito
Criterio della Massima VerosimiglianzaModelli lineari – Proprietà stimatori
• È possibile determinare il valore atteso delle variabili aleatorie relative a β0 e β1.0 1
• Consideriamo dapprima la variabile aleatoria relativa a β1
• Possiamo scrivere:
• Dove ci è uguale a:
∑==i
iiXX
XY YcSS
1̂β
l è l ( )
XX
ii S
xxc −=
Tale termine è completamente deterministico in quanto funzione delle sole condizioni sperimentali xi (che si suppone siano note con
precisione assoluta)
25
Criterio della Massima VerosimiglianzaModelli lineari – Proprietà stimatori
• È possibile quindi calcolare il valore atteso dello stimatore:
• Passaggio 1
( ) ( )
( ) ∑ ∑∑
∑∑+=+
=⎟⎠
⎞⎜⎝
⎛=
i iiii
iii
iii
iii
xccxEc
YEcYcEE
1010
1̂
ββββ
β
Questo termine sarà valutato nel passaggio 2
Questo termine sarà valutato nel passaggio 3
Criterio della Massima VerosimiglianzaModelli lineari – Proprietà stimatori
• Passaggio 2( ) ( )∑∑∑ −i xx 01
• Passaggio 3
( )( ) ( )
( )∑∑∑ ∑∑ =−−
=−
=i
i
iii
ii
i
ii xx
xxxxc 022
( ) ( )( )1=
−−=
−=
∑∑∑
XX
iii
i XX
iii
ii S
xxxx
Sxxxxc
• In maniera analoga si dimostra che anche β0 è uno stimatore imparziale
( ) 11̂ ββ =E Lo stimatore β1 è imparziale
26
Criterio della Massima VerosimiglianzaModelli lineari – Proprietà stimatori
• Parzialità stimatore varianza• Si può dimostrare che:p
• Lo stimatore varianza è parziale. Uno stimatore imparziale è:
( )( )
2
2
102 2
ˆˆˆ σ
ββσ
nn
n
xyEE i
ii −=
⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜
⎝
⎛ −−=
∑
( )2
ˆˆ 2
102
−
−−=
∑n
xys i
ii ββ
Criterio della Massima VerosimiglianzaModelli lineari – Varianza stimatori
• Dato che e sono delle variabili aleatorie è possibile calcolare per esse la varianza.
0β̂ 1̂βp
• Per β1 è possibile scrivere:
• Dove∑
=
=n
iiiYc
11̂β
( )ii S
xxc −=
• È possibile scrivere per la varianza di :
xxS
( ) ( )∑∑==
=⎟⎠
⎞⎜⎝
⎛=
n
iii
n
iii YVcYcVV
1
2
!
β̂
27
Criterio della Massima VerosimiglianzaModelli lineari – Varianza stimatori
• Se si suppone per ciascuna yi la stessa varianza:
⎟⎞
⎜⎛
( ) ( )
( )
( )n
i
n
i n
ii
in
ii
Sxx
xx
xxcV
22
2
12
1
2
22
1
221
σ1
σσˆ
=−⎞⎛
=
⎟⎟⎟⎟⎟
⎠
⎞
⎜⎜⎜⎜⎜
⎝
⎛
⎟⎠
⎞⎜⎝
⎛−
−==
∑
∑∑
∑=
=
=
β
• Domanda: come è possibile ridurre la varianza dello stimatore(ovvero, ottenere una stima più precisa)?
( )( )
xxiin
ii
Sxx
12
1
2 ⎟⎠
⎞⎜⎝
⎛−
∑∑ =
=
Criterio della Massima VerosimiglianzaModelli lineari – Varianza stimatori
• Considerazioni analoghe possono essere fatte per la variabile aleatoria β0:
• Come è possibile ridurre l’incertezza nella stima della variabile ?
( )xxS
xn
V222
0σσˆ +=β
0β̂
28
Criterio della Massima VerosimiglianzaModelli lineari – Proprietà stimatori
• Per quanto riguarda la covarianza si può dimostrare che:
• la covarianza può essere negativa. Le varianze non possono, ovviamente, essere negative. La matrice di covarianza deve essere definita positiva.
XXSx
2
12σσ −=
• Va notato che tutte le varianze contengono il valore vero della varianza sperimentale. Per arrivare a stime bisogna sostituire la stima di tale varianza.
Metodo dei Minimi Quadrati – Leggepolinomiale
• Spesso accade che una variabiley sia esprimibile come una leggepolinomiale di una seconda variabile x
• Per esempio, ci aspettiamo che l’altezza y di un corpo che cadesia una funzione quadratica del tempo
nnxxxy ββββ ++++= ...2
210
200 2
1 gttvyy −+=
• dove y0 e v0 sono l’altezza e la velocità iniziali e g è l’accelerazionedi gravità
2
29
Metodo dei Minimi Quadrati – Legge polinomiale
• Per semplicità di trattazione ci limitiamo a considerare solo ild l d dcaso di una legge di tipo quadratico:
• Anche in questo caso è possibile determinare i valori di β0, β1e β2 che rendano minima la somma delle distanze tra i valoriosservati yi ed i valori predetti dal modello β0+β1xi
2210 xxy βββ ++=
( ) ( )∑=
−−−=ΦN
iiii xxy
1
22210210 ,, ββββββ
Metodo dei Minimi Quadrati – Legge polinomiale
• Differenziando la funzione obiettivo rispetto ai parametri A, B e C si perviene al seguente sistema di equazioni lineari che puòessere risolto sfruttando i metodi tradizionali (esempio: metododi Cramer)
∑∑∑∑∑∑∑∑∑∑∑
=++
=++
=++
iii
ii
ii
ii
iii
ii
ii
ii
ii
ii
ii
yxxxx
yxxxx
yxxN
242
21
20
32
210
2210
βββ
βββ
βββ
• Il problema può essere generalizzato per una legge polinomialequalunque (anche se i calcoli diventano sempre più complicatiall’aumentare dell’ordine)
30
Metodo dei Minimi Quadrati – Dipendenza lineare dai parametri
• In presenza di una dipendenza lineare dai parametri è possibile considerare qualunque dipendenza non lineare dalle variabili
• Esempio:
• è una legge lineare in z1=sinx e z2 = cosx• Può essere pertanto risolta con una procedura assolutamente
analoga al caso precedente
xBxAy cossin +=
Metodo dei Minimi Quadrati –Linearizzazione: Funzione esponenziale
• Una delle più importanti funzioni nella fisica è la funzione i lesponenziale
• Dove A e B sono delle costanti.• Parecchi problemi fisici sono descritti da questo semplice
modello, che è chiaramente non lineare nei parametri• L’applicazione diretta della formula per la ricerca del minimo
BxAey =
della funzione obiettivo non ammette soluzione analitica:
( ) ( )∑ −=Φi
Bxi
iAeyBA2
,
31
Metodo dei Minimi Quadrati –Linearizzazione: Funzione esponenziale
• È comunque possibile trasformare la relazione lineare tra yed xin una relazione lineare, per la quale è quindi possibile applicare la regressione lineare:
• Per ottenere la “linearizzazione” si fa semplicemente il logaritmo della dipendenza
• Si ricade quindi in un problema che può essere trattato con la classica regressione lineare
ii BxAy += lnln
class ca regress one l neare
BxAzy ii +== lnln
Metodo dei Minimi Quadrati –Linearizzazione: Funzione esponenziale
• La linearizzazione attrae per la sua semplicità ed è usato frequentemente.
• Tuttavia, il metodo non è del tutto legittimo da un punto di vista rigoroso.
• La derivazione del metodo era basata sull’ipotesi che i valori misurati y1,…, yNerano tutti ugualmente incerti.
• Ora stiamo ottenendo la regressione usando la variabile z=ln(y). Se i valori misurati yi sono tutti ugualmente incerti, i valori di zicorrispondenti non lo sonop
32
• La trasformazione altera l’errore e questo fatto ha delle
Metodo dei Minimi Quadrati –Linearizzazione: Funzione esponenziale
conseguenze
Log(r)
• L’errore si amplifica per r piccoli e si riduce per r grandi.
r
Metodo dei Minimi Quadrati –Linearizzazione
• È possibile considerare differenti linearizzazioni per differenti modelli
• etc.I i i i di i hi i h l d è
xx
B
AeByAeB
y
xBAyAxyAxA
ByXB
Axy
−−
+=⇒+
=
+=⇒=
+=⇒+
=
11lnlnln
111
• In tutti i casi non dimentichiamoci che la procedura non è perfettamente rigorosa
33
Metodo dei Minimi quadrati: Regressione Multipla
• Fin qui abbiamo discusso soltanto osservazioni di due variabili x ed y e la loro relazione.
• In molti problemi reali ci sono più di due variabili che devono essere presi in considerazione. Per esempio nello studiare la pressione P di un gas, si trova che essa dipende dal volume V e dalla temperatura T e si deve analizzare P come una funzione di V e T
• L’esempio più semplice di dipendenza da più variabili è il seguente:
( ) yxyxfz 210, θθθ ++==
Metodo dei Minimi quadrati: Regressione Multipla
• In maniera analoga al caso della regressione polinomiale, la ricerca dei parametri A, B e C passa per la risoluzione di un sistema di equazioni lineari
∑∑∑∑∑∑∑∑∑∑∑
=++
=++
=++
iii
ii
iii
ii
iii
iii
ii
ii
ii
ii
ii
zyyyxy
zxyxxx
zyxN
2210
22
10
210
θθθ
θθθ
θθθ