regressionelogistica: un modello per variabili ... · regressionelogistica: un modello per...

Regressione Logistica: un Modello per

Variabili Risposta Categoriali

Nicola Tedesco (Statistica Sociale) Regressione Logistica: un Modello per Variabili Risposta Categoriali 1 / 54

Introduzione

Premessa

I modelli di regressione hanno lo scopo di studiare le determinanti di variabilirisposta quantitative (continue)

Tuttavia e possibile costruire modelli di regressione anche per variabilirisposta categoriali e/o discrete

Il caso delle variabili discrete e particolarmente complesso

Nel caso delle variabili categoriali possiamo distinguere 3 casi:

1 Variabili risposta dicotomiche o binarie (del tipo 0− 1, V-F, Sı-No, ecc.);

2 Variabili risposta politomiche o multinomiali ordinali (almeno 3 categorie dirisposta ordinate);

3 Variabili risposta politomiche o multinomiali non ordinali o nominali (almeno3 categorie di risposta ordinate).

Introduzione

Premessa

Introduzione

Premessa

Introduzione

Premessa

Introduzione

Premessa

Regressione Logistica

Si consideri una variabile risposta dicotomica Y . Essa prende valori 0 o 1

Solitamente si parla, rispettivamente, di fallimento e successo

Ricordiamo che la µ(Y ) = E (Y ) e pari alla proporzione di soggetti per i qualisi osserva il successo (Σ1/n)

Quindi i modelli di regressione logistica stimano le proporzioni dei successi inuna popolazione

Ovviamente P(y = 1) rappresenta la probabilita di osservare un successo perciascun soggetto della popolazione

Nel caso di Y dicotomica, si assumera che la sua distribuzione sia una v.c.binomiale

La distribuzione binomiale

Per dati categoriali, possono verificarsi le seguenti condizioni:

1 Ciascuna osservazione cade in una di due categorie

2 Le probabilita per le due categorie sono le stesse per ciascuna osservazione.Indichiamo le probabilita con π per la categoria 1 e (1− π) per la categoria 2

3 I risultati di osservazioni successive sono indipendenti. Cioe, il risultato peruna osservazione non dipende dal risultato delle altre osservazioni

Un buon esempio e rappresentato dal lancio di una moneta: due possibilirisultati (T o C), probabilita costante ad ogni lancio (π = 0.50) e il risultatoad ogni lancio e indipendente dai precedenti

Definizione:

Probabilita per una Distribuzione Binomiale

Sia π la probabilita che un’osservazione assuma un valore della cate-goria 1. Nel caso di n osservazioni indipendenti, la probabilita di xsuccessi per la categoria 1 e

P(x) =n!

x!(n− x)!πx(1− π)n−x , x = 0, 1, 2, . . . , n.

Il simbolo n! e chiamato n fattoriale. Rappresenta n! = 1 × 2 ×3 · · · × n. Ad esempio, 1! = 1, 2! = 1× 2 = 2, 3! = 1 × 2 × 3 = 6,e cosı via. Per definizione, 0! e pari a 1.

Sostituendo ad x il valore del numero di successi desiderato per n e π fissati,si avra la P(x), cioe la probabilita di avere x successi in n lanci della moneta

Definizione:

P(x) =n!

x!(n− x)!πx(1− π)n−x , x = 0, 1, 2, . . . , n.

Definizione:

P(x) =n!

x!(n− x)!πx(1− π)n−x , x = 0, 1, 2, . . . , n.

Definizione:

P(x) =n!

x!(n− x)!πx(1− π)n−x , x = 0, 1, 2, . . . , n.

Definizione:

P(x) =n!

x!(n− x)!πx(1− π)n−x , x = 0, 1, 2, . . . , n.

Definizione:

P(x) =n!

x!(n− x)!πx(1− π)n−x , x = 0, 1, 2, . . . , n.

Definizione:

P(x) =n!

x!(n− x)!πx(1− π)n−x , x = 0, 1, 2, . . . , n.

Regressione Logistica Proprieta di una distribuzione binomiale

Proprieta di una distribuzione binomiale

La distribuzione binomiale tende alla simmetria per π → 0.50 ed eperfettamente simmetrica quando π = 0.50 con

µ = nπ, σ =√

nπ(1 − π).

Cio vale anche per la distribuzione campionaria di π

Inoltre tale comportamento si ha anche per valori di π vicini a 0 o a 1, mamolto piu lentamente

µ = nπ, σ =√

nπ(1 − π).

µ = nπ, σ =√

nπ(1 − π).

µ = nπ, σ =√

nπ(1 − π).

Distribuzione campionaria di π per vari valori di π e n

Probability

p 5 .1

Probability

.5 1.0

p 5 .1

Probability

0 1.0p 5 .5

p 5 .5

Probability

p 5 .1

Probability

1.00 p 5 .5

p 5 .5

Probability

1.0p 5 .5

p 5 .5

0 .5 0

n 5 10

n 5 50

n 5 100

Distribuzione campionaria di π per vari valori di π e n

Probability

p 5 .1

Probability

.5 1.0

p 5 .1

Probability

0 1.0p 5 .5

p 5 .5

Probability

p 5 .1

Probability

1.00 p 5 .5

p 5 .5

Probability

1.0p 5 .5

p 5 .5

0 .5 0

n 5 10

n 5 50

n 5 100

Esempio 6.10 — Genere e scelta degli allievi per il corso di

management

Nell’Esempio 6.1 avevamo trattato il caso di una popolazione di dipendentiper meta M e meta F

Scelti a caso n = 10 dipendenti, sia x il numero di F e π = 0.50 la probabilitadi scegliere una F

La probabilita di avere x F scegliendo n = 10 dipendenti e

P(x) =10!

x!(10− x)!(0.50)x(0.50)10−x , x = 0, 1, . . . , 10.

management

P(x) =10!

x!(10− x)!(0.50)x(0.50)10−x , x = 0, 1, . . . , 10.

management

P(x) =10!

x!(10− x)!(0.50)x(0.50)10−x , x = 0, 1, . . . , 10.

management

P(x) =10!

x!(10− x)!(0.50)x(0.50)10−x , x = 0, 1, . . . , 10.

Ad esempio, la probabilita di non avere nessuna F (x = 0) e

P(0) =10!

0!10!(0.50)0(0.50)10 = (0.50)10 = 0.001.

La probabilita che sia scelta esattamente una femmina e pari a

P(1) =10!

1!9!(0.50)1(0.50)9 = 10(0.50)(0.50)9 = 0.010.

Ad esempio, la probabilita di non avere nessuna F (x = 0) e

P(0) =10!

0!10!(0.50)0(0.50)10 = (0.50)10 = 0.001.

La probabilita che sia scelta esattamente una femmina e pari a

P(1) =10!

1!9!(0.50)1(0.50)9 = 10(0.50)(0.50)9 = 0.010.

Modello a Probabilita Lineare

Nel caso di un modello con una sola variabile esplicativa (che sara continua)avremo

P(y = 1) = α+ βx

In questo caso si suppone che la probabilita di successo sia in funzione linearecon X

Per questa ragione prende il nome di Modello a Probabilita Lineare

Tuttavia e facile mostrare come tale modello sia inadeguato per prevedere laP(y = 1)

P(y = 1) = α+ βx

Sappiamo che la P(y = 1) e un valore dell’intevallo [0, 1] e non eccede taleintervallo

La figura mostra che il Modello a Probabilita Lineare non rispetta questacondizione

Linear

Logistic (1)

Logistic (2)

P(y 5 1)

Al contrario, la funzione logistica (casi 1 e 2), si dimostra adatta allo scopo

A questo punto il problema e: come faccio a linearizzare una funzionelogistica?

Linear

Logistic (1)

Logistic (2)

P(y 5 1)

Linear

Logistic (1)

Logistic (2)

P(y 5 1)

Regressione Logistica Il Modello di Regressione Logistica per Risposte Binarie

Il Modello di Regressione Logistica per Risposte Binarie

In primo luogo scriviamo l’equazione di regressione di Y su X , utilizzando lafunzione logistica

P(y = 1) =eα+βx

1 + eα+βx.

In seguito riprenderemo questa formulazione. Per ora ci basti osservare comela relazione tra Y e X non sia lineare, bensı logistica

Per semplificare la notazione e ottenere risultati piu semplici, linearizziamoquesta espressione

Il modo piu semplice e passare al logaritmo naturale (base e) ambo i membridell’equazione e otteniamo

log [P(y = 1)] = log(eα+βx)− log(1 + eα+βx) =

= log(eα+βx)− 0− log(eα+βx) = 0

P(y = 1) =eα+βx

1 + eα+βx.

P(y = 1) =eα+βx

1 + eα+βx.

P(y = 1) =eα+βx

1 + eα+βx.

Per risolvere il problema, si costruisce il rapporto tra la probabilita di successoe la probabilita di insuccesso e lo si passa al logaritmo

P(y = 1)

1− P(y = 1)

= α+ βx .

Il rapporto di probabilita P(y = 1)/[1− P(y = 1)] e definito odds o rapporto

tra quote

Ad es., se P(y = 1) = 0.75, l’odds vale 0.75/0.25 = 3.0, cioe la probabilitadel successo e 3 volte il valore di quella dell’insuccesso

La quantita log [P(y = 1)/(1− P(y = 1))] trasformazione logistica o logit

In tal modo si avra il modello di regressione logistica

logit[P(y = 1)] = α+ βx .

P(y = 1)

1− P(y = 1)

= α+ βx .

tra quote

P(y = 1)

1− P(y = 1)

= α+ βx .

tra quote

P(y = 1)

1− P(y = 1)

= α+ βx .

tra quote

P(y = 1)

1− P(y = 1)

= α+ βx .

tra quote

Interpretazione del parametro β

Il logit[P(y = 1)] varia linearmente in funzione di X oltre l’intervallo [0, 1],mentre la [P(y = 1)] varia seguendo la funzione logistica entro l’intervallo[0, 1]

Il valore di β indica se la [P(y = 1)] cresce (β > 0) o decresce (β < 0) alcrescere di X

Nelle due curve del grafico, la (2) ha un |β| piu grande di quello della curva(1)

Linear

Logistic (1)

Logistic (2)

P(y 5 1)

Linear

Logistic (1)

Logistic (2)

P(y 5 1)

Linear

Logistic (1)

Logistic (2)

P(y 5 1)

Quando P(y = 1) = 0.50, l’odds P(y = 1)/[1− P(y = 1)] = 1,conseguentemente il log[P(y = 1)/(1− P(y = 1))] = 0

Per determinare il valore di x per il quale P(y = 1) = 0.50, eguagliamo illog(odds) pari a 0 al secondo membro dell’equazione del modello α+ βx

Risolvendo per x otteniamo P(y = 1) = 0.50 quando x = −α/β

In questo modo siamo in grado di determinare il valore di X per il quale laprobabilita di successo eguaglia quella di insuccesso

Le stime dei parametri α e β sono ottenute applicando il Metodo della

Massima Verosimiglianza e non quello dei Minimi Quadrati

Esempio 15.1 — Reddito e Possesso delle Carte di Credito

Si consideri un campione di n = 100 adulti selezionati casualmente in Italia.Si e rilevato il reddito annuale e se possedevano o meno una carta di credito

La variabile risposta e dicotomica (possesso CC: 1 = Sı, 0 = No). Ilpredittore e quantitativo

A ciascun livello di X , si puo calcolare la probabilita di possedere una CC,attraverso il rapporto tra i soggetti che posseggono una CC e il totalesoggetti per quel valore di X

Tabella: Reddito Annuale (in Migliaia di Euro) e Possesso di una Carta di Credito.

Number Credit Number Credit Number CreditIncome Cases Cards Income Cases Cards Income Cases Cards12 1 0 21 2 0 34 3 313 1 0 22 1 1 35 5 314 8 2 24 2 0 39 1 015 14 2 25 10 2 40 1 016 9 0 26 1 0 42 1 017 8 2 29 1 0 47 1 019 5 1 30 5 2 60 6 620 7 0 32 6 6 65 1 1

Fonte: Si ringrazia R. Piccarreta, Universita Bocconi University, Milano.

Il modello stimato e

logit[P(y = 1)] = −3.518 + 0.105x .

Il valore di β = 0.105 > 0, indica che al crescere del Reddito Annuale crescela probabilita di possedere una CC

Il software fornisce il seguente prospetto

Tabella: Modello di Regressione Logistica sul Possesso della Carta di Credito in Italia

B S.E. Exp(B)reddito .1054 .0262 1.111costante -3.5179 .7103

Il valore exp(B) = exp(.1054) = 1.111 consente di calcolare l’odds ratio (OR)

logit[P(y = 1)] = −3.518 + 0.105x .

Il grafico mostra la funzione di previsione per il logit

Income0 12 24 36 48 60 72

P(y 5 1)ˆ

La probabilita di successo vale 0.50 per x = −α/β = (3.518)/(0.105) = 33.5

Cioe la probabilita stimata di possedere una CC e inferiore a 0.50 per redditiinferiori a 33.5 migliaia di euro, superiore a 0.50 per redditi superiori a quellasoglia

Income0 12 24 36 48 60 72

P(y 5 1)ˆ

Income0 12 24 36 48 60 72

P(y 5 1)ˆ

Income0 12 24 36 48 60 72

P(y 5 1)ˆ

Equazione di Regressione Logistica per le Probabilita

Abbiamo visto a cosa corrisponde direttamente la P(y = 1)

Si puo, quindi, costruire un’equazione che stimi direttamente tale probabilitae non il suo logit, cioe

P(y = 1) =eα+βx

1 + eα+βx. (1)

In questa equazione la potenza di e rappresenta l’antilogaritmo

Ricordiamo che il numero di Nepero e rappresenta la base del logaritmonaturale, cioe il numero a cui bisogna elevare la base per avere l’argomento.Ad es.,

loge(1) = 0 in quanto e0 = 1

Attraverso la formula (1) e possibile determinare la probabilita di successoper qualunque valore di x

P(y = 1) =eα+βx

1 + eα+βx. (1)

P(y = 1) =eα+βx

1 + eα+βx. (1)

P(y = 1) =eα+βx

1 + eα+βx. (1)

P(y = 1) =eα+βx

1 + eα+βx. (1)

P(y = 1) =eα+βx

1 + eα+βx. (1)

Nel nostro caso, per un soggetto con Reddito Annuale x = 12 avremo

P(y = 1) =e−3.52+0.105(12)

1 + e−3.52+0.105(12)=

e−2.26

1 + e−2.26=

1.104= 0.094.

La probabilita stimata di possedere una CC e 0.094

Per redditi pari a x = 40 e x = 65 avremo, rispettivamente

P(y = 1) =e−3.52+0.105(40)

1 + e−3.52+0.105(40)=

1 + e0.68=

2.974= 0.664.

P(y = 1) =e−3.52+0.105(65)

1 + e−3.52+0.105(65)=

1 + e3.30=

27.249

28.249= 0.970.

In pratica chi ha un reddito di x = 40 ha una probabilita di possedere una CCpari a 0.664

Per chi ha un reddito pari a x = 65, tale probabilita e 0.970

P(y = 1) =e−3.52+0.105(12)

1 + e−3.52+0.105(12)=

e−2.26

1 + e−2.26=

1.104= 0.094.

P(y = 1) =e−3.52+0.105(40)

1 + e−3.52+0.105(40)=

1 + e0.68=

2.974= 0.664.

P(y = 1) =e−3.52+0.105(65)

1 + e−3.52+0.105(65)=

1 + e3.30=

27.249

28.249= 0.970.

P(y = 1) =e−3.52+0.105(12)

1 + e−3.52+0.105(12)=

e−2.26

1 + e−2.26=

1.104= 0.094.

P(y = 1) =e−3.52+0.105(40)

1 + e−3.52+0.105(40)=

1 + e0.68=

2.974= 0.664.

P(y = 1) =e−3.52+0.105(65)

1 + e−3.52+0.105(65)=

1 + e3.30=

27.249

28.249= 0.970.

P(y = 1) =e−3.52+0.105(12)

1 + e−3.52+0.105(12)=

e−2.26

1 + e−2.26=

1.104= 0.094.

P(y = 1) =e−3.52+0.105(40)

1 + e−3.52+0.105(40)=

1 + e0.68=

2.974= 0.664.

P(y = 1) =e−3.52+0.105(65)

1 + e−3.52+0.105(65)=

1 + e3.30=

27.249

28.249= 0.970.

Regressione Logistica Interpretazione del Modello di Regressione Logistica

Interpretazione del Modello di Regressione Logistica

L’interpretazione di β non e semplice. Presenteremo due approcci distinti

Abbiamo visto come il suo segno ci segnala una crescita (β > 0) o undecremento β < 0 nella P(Y = 1), all’aumentare di x

Tuttavia non siamo in grado di dire di quanto cresce/descresce P(Y = 1)

Tale difficolta deriva dalla particolare forma a S della funzione logistica

Solo nel caso del Modello a Probabilita Lineare, β viene interpretato come nelModello di Regressione Lineare. Tuttavia abbiamo gia visto che il MPL non eadeguato

Un’adeguata interpretazione di β si ottiene sfruttando il concetto di tangentedella funzione logistica. Infatti solo in questo modo siamo in grado di capiredi quanto cresce/descesce la P(Y = 1) per ogni valore di x

La Figura mostra chiaramente a cosa corrisponde l’incremento in P(Y = 1)considerando l’inclinazione della tangente pari a βP(y = 1)[1− P(y = 1)]

P(y 5 1)

Slope bP(y 5 1) [1 2 P(y 5 1)]

bP(y 5 1) [1 2 P(y 5 1)]

L’inclinazione β e massima, quando P(y = 1) = 1/2. In questo casoβ(1/2)(1/2) = β/4 rappresenta l’effetto massimo

Cosı, quando P(y = 1) e prossimo ad 1/2, un quarto dell’effetto delparametro β indica di quanto cresce la P(y = 1) in corrispondenza ad unincremento unitario in x

P(y 5 1)

Slope bP(y 5 1) [1 2 P(y 5 1)]

bP(y 5 1) [1 2 P(y 5 1)]

P(y 5 1)

Slope bP(y 5 1) [1 2 P(y 5 1)]

bP(y 5 1) [1 2 P(y 5 1)]

Riprendiamo l’esempio sulle Carte di Credito dove β = 0.105

In corrispondenza di una probabilita stimata di possesso di una CC pari aP(y = 1) =1/2,la tangente alla logistica ha un’inclinazione pari aβ/4 = 0.105/4 = 0.026

Quindi considerando un incremento di 1000 euro al reddito cui corrispondeP(Y = 1)=1/2, la P(Y = 1) cresce di β/4 = 0.026, cioe il 2,6%

L’intensita dell’effetto di X su Y non sara la stessa ∀x

Ad es., per un valore del reddito pari a x = 25, si ha P(y = 1) = 0.29, da cuiβP(y = 1)[1− P(y = 1)] = 0.105(0.29)(0.71) = 0.022

In questo caso la robabilita di possedere una CC cresce del 2.2%

Osservando la Figura, si comprende come l’effetto di X su Y sia debole pervalori bassi o alti di X , piu consistente per valori centrali, massima perx = 33.5

Ogni software e in grado di stimare il Modello a Probabilita LineareP(y = 1) = α+ βx

Nel ns esempio si ha P(y = 1) = −0.159 + 0.019x . Sostanzialmente alcrescere di 1000 euro, la P(y = 1) cresce di circa 0.02

Ovviamente per valori estremi di X , le stime di P(y = 1) possono eccederel’intervallo [0, 1]

Ad es., se x ≥ 61 allora P(y = 1) > 1

In alternativa si potrebbero confrontare i valori di P(y = 1) per alcuni valoridi x

In questo caso, in presenza di un effetto rilevante, abbiamo gia visto che laP(y = 1) varia tra 0.09 e 0.97 confrontando i valori estremi di X

Come si puo ovviare ai problemi mostrati nell’interpretare in maniera univocala stima β?

Interpretazione di β Utilizzando Odds e Odds Ratio

La soluzione che consente di interpretare adeguatamente β prevede diutilizzare l’odds ratio

Applichiamo l’antilogaritmo ad ambo i membri dell’equazione

logP(y = 1)

1− P(y = 1)= α+ βx

OtteniamoP(y = 1)

1− P(y = 1)= eα+βx = eα(eβ)x .

Si osserva chiaramente come il termine eβ indichi di quanto si modifichil’odds (il rapporto tra le probabilita) in corrispondenza ad un incrementounitario in x

logP(y = 1)

1− P(y = 1)= α+ βx

OtteniamoP(y = 1)

1− P(y = 1)= eα+βx = eα(eβ)x .

logP(y = 1)

1− P(y = 1)= α+ βx

OtteniamoP(y = 1)

1− P(y = 1)= eα+βx = eα(eβ)x .

logP(y = 1)

1− P(y = 1)= α+ βx

OtteniamoP(y = 1)

1− P(y = 1)= eα+βx = eα(eβ)x .

Sui dati dell’esempio sulle CC si ottiene e β = e0.105 = 1.11

Cioe, all’incremento di 1000 euro di reddito, l’odds cresce di un fattoremoltiplicativo pari a 1.11; in pratica cresce dell’11%

L’odds per x = 25 e

Odds Stimato =P(y = 1)

1− P(y = 1)= e−3.518+0.105(25) = 0.414

Considerando un incremento unitario in X , per x = 25 si ha

1− P(y = 1)= e−3.518+0.105(26) = 0.460,

In pratica 0.460/0.414 = 1.11 = e0.105

1− P(y = 1)= e−3.518+0.105(25) = 0.414

1− P(y = 1)= e−3.518+0.105(26) = 0.460,

In pratica 0.460/0.414 = 1.11 = e0.105

1− P(y = 1)= e−3.518+0.105(25) = 0.414

1− P(y = 1)= e−3.518+0.105(26) = 0.460,

In pratica 0.460/0.414 = 1.11 = e0.105

1− P(y = 1)= e−3.518+0.105(25) = 0.414

1− P(y = 1)= e−3.518+0.105(26) = 0.460,

In pratica 0.460/0.414 = 1.11 = e0.105

1− P(y = 1)= e−3.518+0.105(25) = 0.414

1− P(y = 1)= e−3.518+0.105(26) = 0.460,

In pratica 0.460/0.414 = 1.11 = e0.105

La quantita e0.105 non e altro che l’Odds Ratio (Rapporto tra Quote), datoappunto dal rapporto tra l’odds avendo un reddito = 26, diviso l’odds avendoun reddito = 25

L’utilizzo dell’Odds Ratio (OR) risolve i problemi di rappresentazione einterpretazione di β

Infatti, puo variare tra 0 e 1 (se l’odds a numeratore e inferiore di quello adenominatore), oppure eccedere il valore 1 indefinitamente. Cioe

0 ≤ OR ≤ +∞

Supponiamo di confrontare due individui con, rispettivamente, reddito pari ax = 20 e x = 30

Sara sufficiente calcolare

e10β = (eβ)10 = (1.11)10 = 2.9

L’odds per x = 30 e 2.9 volte l’odds per x = 20

0 ≤ OR ≤ +∞

e10β = (eβ)10 = (1.11)10 = 2.9

0 ≤ OR ≤ +∞

e10β = (eβ)10 = (1.11)10 = 2.9

0 ≤ OR ≤ +∞

e10β = (eβ)10 = (1.11)10 = 2.9

0 ≤ OR ≤ +∞

e10β = (eβ)10 = (1.11)10 = 2.9

0 ≤ OR ≤ +∞

e10β = (eβ)10 = (1.11)10 = 2.9

Regressione Logistica Regressione Logistica Multipla

Regressione Logistica Multipla

Naturalmente e possibile estendere il Modello di Regressione Logistica a k

predittorilogit[P(y = 1)] = α+ β1x1 + · · ·+ βkxk

Per calcolare la probabilita di successo avremo

P(y = 1) =eα+β1x1+···+βkxk

1 + eα+β1x1+···+βkxk.

Ciascuna stima di β rappresenta l’effetto di quel predittore sul logit,controllando per le altre variabili

Oppure indichera l’effetto moltiplicativo di quel predittore sulla probabilita disuccesso, controllando per le altre variabili

Quanto piu β > 0, tanto piu l’OR > 1 e rappresentera un effetto piu forte

P(y = 1) =eα+β1x1+···+βkxk

1 + eα+β1x1+···+βkxk.

P(y = 1) =eα+β1x1+···+βkxk

1 + eα+β1x1+···+βkxk.

P(y = 1) =eα+β1x1+···+βkxk

1 + eα+β1x1+···+βkxk.

P(y = 1) =eα+β1x1+···+βkxk

1 + eα+β1x1+···+βkxk.

Regressione Logistica Multipla con Interazioni

L’estensione al modello con interazioni e immediata e del tutto analoga aquanto visto per il Modello di Regressione Multivariato. Con due predittoriX1 e X2 avremo

logit[P(y = 1)] = α+ β1x1 + β2x2 + β3x1x2

oppurelogit[P(y = 1)] = α+ β1x1 + β2x2 + γ12x1x2

L’interpretazione dell’interazione non e semplice. L’approfondiremo in seguito

Si possono inserire predittori qualitativi utilizzando le variabili dummy

Esempio 15.2 — Pena di Morte e Influenza della Razza di

Vittime e Imputati

Si tratta di un celebre caso-studio, molto noto in bibliografia. Si vuoledeterminare se la probabilita di essere condannato a morte dipenda (o meno)dalla razza dell’accusato e/o da quella della vittima

Tabella: Verdetti di Pena di Morte secondo la Razza dell’Imputato e della Vittima,nei Casi di Omicidi Plurimi in Florida

Pena di MorteRazza Razza %imputato vittima Sı No SıBianca Bianca 53 414 11.3

Nera 0 16 0.0Nera Bianca 11 37 22.9

Nera 4 139 2.8

La variabile risposta (Y ) e la condanna (Pena di Morte Sı-No), i predittorisono la Razza della Vittima e quella dell’Imputato

I predittori sono qualitativi categorici (Bianca-Nera)

Vittime e Imputati

Nera 4 139 2.8

Vittime e Imputati

Nera 4 139 2.8

Nell’ultima colonna e riportata la percentuale di imputati per ognicombinazione, che e stata condannata a morte

Abbiamo i seguenti casi:

1 in caso di imputato bianco e vittima bianca, l’11.3% e stato condannato amorte;

2 in caso di imputato bianco e vittima nera, nessuno e stato condannato amorte;

3 in caso di imputato nero e vittima bianca, il 22.9% e stato condannato amorte;

4 in caso di imputato nero e vittima nera, il 2.8% e stato condannato a morte.

In caso di vittima e bianca

a la probabilita per un imputato bianco di essere condannato a morte e l’11.3%superiore rispetto al caso di una vittima nera

b la probabilita per un imputato nero di essere condannato a morte e il 20.1%superiore rispetto al caso di una vittima nera (22.9%− 2.8%)

In buona sostanza, controllando per la razza dell’imputato, risulta evidenteche la probabilita di essere condannato a morte e decisamente superiore se lavittima e bianca

L’analisi con il controllo secondo la razza della vittima, evidenzia chiaramentecome se la vittima e bianca, la probabilita di essere condannati a morte esuperiore

Tale probabilita e decisamente piu elevata per un imputato nero (22.9 %)rispetto ad uno bianco (11.3 %)

Quando la vittima e nera, le due probababilita sono quasi uguali (2,8% perun imputato nero, 0.0% per un imputato bianco), anche se il confrontomerita un approfondimento

Infatti, in termini relativi 2.8% rispetto a 0.0% puo essere ritenuto molto piuelevato

Costruiamo il modello. Ovviamente Y = Condanna a Morte. Se Y = 1 larisposta e Sı

I due predittori sono dicotomici, per cui sono sufficienti 2 variabili dummy, dper la razza dell’imputato e v per la razza della vittima

d = 1, defendant = white; d = 0, defendant = black,

v = 1, victims = white; v = 0, victims = black.

Il modello di regressione logistica multivariato sara

logit[P(y = 1)] = α+ β1d + β2v ,

dove β1 indica l’effetto della razza dell’imputato, controllando per quella dellavittima e β2 indica l’effetto della razza della vittima, controllando per quelladell’imputato

La quantita eβ1 e l’OR tra Y e la razza dell’imputato, controllando per quelladella vittima

La quantita eβ2 e l’OR tra Y e la razza della vittima, controllando per quelladell’imputato

logit[P(y = 1)] = α+ β1d + β2v ,

Il modello applicato ai dati e

logit[P(y = 1)] = −3.596− 0.868d + 2.404v .

La stima di β1 = −0.868 indica come essendo bianco (d = 1), si ha unaprobabilita di essere condannato a morte inferiore rispetto ad un nero (d = 0)

La stima di β2 = 2.404 indica come in caso di vittima bianca (v = 1), si hauna probabilita di essere condannato a morte superiore rispetto al caso di unavittima nera (v = 0)

Vedremo tra poco di quantificare l’intensita di questi effetti

logit[P(y = 1)] = −3.596− 0.868d + 2.404v .

Il software produce il seguente prospetto

Tabella: Stime dei Parametri del Modello Logistico sui Dati della Pena di Morte

B Std Error Exp(β)

Intercetta -3.596 .5069 .027imputato=bianco -.868 .3671 .420imputato=nero 0 .vittima=bianca 2.404 .6006 11.072vittima=nera 0 .

La stima della probabilita di essere condannati a morte e

P(y = 1) =e−3.596−0.868d+2.404v

1 + e−3.596−0.868d+2.404v

Nel caso di imputato nero (d = 0) e vittima bianca (v = 1) si ha

P(y = 1) =e−3.596−0.868(0)+2.404(1)

1 + e−3.596−0.868(0)+2.404(1)=

e−1.192

1 + e−1.192=

1.304= 0.233.

B Std Error Exp(β)

P(y = 1) =e−3.596−0.868d+2.404v

1 + e−3.596−0.868d+2.404v

P(y = 1) =e−3.596−0.868(0)+2.404(1)

1 + e−3.596−0.868(0)+2.404(1)=

e−1.192

1 + e−1.192=

1.304= 0.233.

B Std Error Exp(β)

P(y = 1) =e−3.596−0.868d+2.404v

1 + e−3.596−0.868d+2.404v

P(y = 1) =e−3.596−0.868(0)+2.404(1)

1 + e−3.596−0.868(0)+2.404(1)=

e−1.192

1 + e−1.192=

1.304= 0.233.

In pratica, se un imputato nero e riconosciuto colpevole di aver ucciso unbianco, ha il 23.3% di possibilita di essere condannato a morte

Questa stima e molto simile al valore osservato nel campione, pari a 22.9%

Proviamo a calcolare l’OR tra Y e razza dell’imputato. Si ottiene

e β1 = e−0.868 = 0.42 OR = 0.42

Un imputato bianco ha un odds pari a 0.42 volte quello di un imputato nerodi essere condannato a morte

Curiosita: se nel costruire la dummy per la razza dell’imputato invertissimo lecategorie (d = 1 per la razza nera) otterremmo

e β1 = e0.868 = 2.38 OR = 2.38

Lavorando direttamente sull’OR, basta fare il reciproco del primo per ottenereil secondo 1/0.42 = 2.38

e β1 = e−0.868 = 0.42 OR = 0.42

e β1 = e0.868 = 2.38 OR = 2.38

e β1 = e−0.868 = 0.42 OR = 0.42

e β1 = e0.868 = 2.38 OR = 2.38

e β1 = e−0.868 = 0.42 OR = 0.42

e β1 = e0.868 = 2.38 OR = 2.38

e β1 = e−0.868 = 0.42 OR = 0.42

e β1 = e0.868 = 2.38 OR = 2.38

e β1 = e−0.868 = 0.42 OR = 0.42

e β1 = e0.868 = 2.38 OR = 2.38

Studiando la relazione tra Y e razza della vittima, la stima ottenuta mostraun fortissimo effetto del predittore su Y

Infatti, e2.404 = 11.1, quindi OR=11.1

Cio sisgnifica che l’odds di essere condannato a morte in caso di vittimabianca e 11.1 volte quello nel caso di vittima nera

In termini piu semplicistici, potremmo sintetizzare i due OR ottenuti inquesto modo:

1 Si registra una propensione (tendenza) a condannare a morte inferiore allameta se l’imputato e bianco rispetto ad uno nero;

2 Si registra una propensione (tendenza) a condannare a morte pari a circa 11volte se la vittima e bianca rispetto ad una nera.

In buona sostanza esiste una discriminizione razziale nelle condanne a morte,piu forte in relazione alla razza della vittima rispetto a quella dell’imputato,pur sempre presente

Effetti sugli Odds

Possiamo rivedere alcuni aspetti dell’interpretazione dei parametri βi e dicosa comportano sugli odds

Riprendiamo il modello sulla pena di morte e la razza di imputato e vittima

log[P(y = 1)/(1− P(y = 1))] = −3.596− 0.868d + 2.404v

Calcolando l’antilogaritmo di ambo i membri otteniamo

odds = e−3.596−0.868d+2.404v = e−3.596e−0.868de2.404v .

Rapportando gli odds per imputato bianco (d = 1) e nero (d = 0) otteniamo

e−3.596e−0.868e2.404v

e−3.596e2.404v= e−0.868 = 0.42

che e proprio l’OR

Effetti sugli Odds

log[P(y = 1)/(1− P(y = 1))] = −3.596− 0.868d + 2.404v

odds = e−3.596−0.868d+2.404v = e−3.596e−0.868de2.404v .

e−3.596e−0.868e2.404v

e−3.596e2.404v= e−0.868 = 0.42

Effetti sugli Odds

log[P(y = 1)/(1− P(y = 1))] = −3.596− 0.868d + 2.404v

odds = e−3.596−0.868d+2.404v = e−3.596e−0.868de2.404v .

e−3.596e−0.868e2.404v

e−3.596e2.404v= e−0.868 = 0.42

Effetti sugli Odds

log[P(y = 1)/(1− P(y = 1))] = −3.596− 0.868d + 2.404v

odds = e−3.596−0.868d+2.404v = e−3.596e−0.868de2.404v .

e−3.596e−0.868e2.404v

e−3.596e2.404v= e−0.868 = 0.42

Allo stesso modo possiamo calcolare gli odds per qualsiasi combinazione deipredittori

Nel caso di imputato nero (d = 0) e vittima bianca (v = 1), la stimadell’odds sara

odds = e−3.596−0.868d+2.404v = e−3.596−0.868(0)+2.404(1) = e−1.192 = 0.304.

Questo risultato indica che in caso di imputato nero e vittima bianca ilrapporto tra probabilita di condanna e non condanna e 0.304

Per calcolare la P(Y = 1), avremo

P(y = 1) =e−3.596−0.868d+2.404v

1 + e−3.596−0.868d+2.404v=

1 + 0.304= 0.233

che e proprio la stima della Probabilita di Successo vista in precedenza

odds = e−3.596−0.868d+2.404v = e−3.596−0.868(0)+2.404(1) = e−1.192 = 0.304.

P(y = 1) =e−3.596−0.868d+2.404v

1 + e−3.596−0.868d+2.404v=

1 + 0.304= 0.233

odds = e−3.596−0.868d+2.404v = e−3.596−0.868(0)+2.404(1) = e−1.192 = 0.304.

P(y = 1) =e−3.596−0.868d+2.404v

1 + e−3.596−0.868d+2.404v=

1 + 0.304= 0.233

odds = e−3.596−0.868d+2.404v = e−3.596−0.868(0)+2.404(1) = e−1.192 = 0.304.

P(y = 1) =e−3.596−0.868d+2.404v

1 + e−3.596−0.868d+2.404v=

1 + 0.304= 0.233

Esempio 15.3 — Fattori Influenti l’Acquisto della Prima

In tabella e riportato il modello logistico sulle relazioni tra il Possesso dellaCasa (Sı-No) e una serie di predittori che afferiscono alle caratteristiche ed aicomportamenti familiari quali:

1 reddito percepito dal marito (incremento di $10,000 dollari)

2 reddito percepito dalla moglie (incremento di $10,000 dollari)

3 numero di anni dal matrimonio

4 status coniugale a 2 anni dal matrimonio (1=Sı)

5 moglie occupata nei primi 2 anni dal matrimonio (1=Sı)

6 numero di figli in eta 0− 17 anni

7 ulteriori figli in eta 0− 17 anni a 2 anni dall’osservazione (1=Sı)

8 anni di istruzione del capo famiglia

9 Genitori proprietari di casa nell’ultimo anno di permanenza del figlio (1=Sı)

Tabella: Risultati della Regressione Logistica sulla Probabilita del Possesso della Casa

Variable Estimate Std. Error Est./S.E.Intercept −2.870 —Husband earnings ($10,000) 0.569 0.088 6.466Wife earnings ($10,000) 0.306 0.140 2.186No. years married −0.039 0.042 −0.929Married in 2 years (1 = yes) 0.224 0.304 0.737Working wife in 2 years (1 = yes) 0.373 0.283 1.318No. children 0.220 0.101 2.178Add child in 2 years (1 = yes) 0.271 0.140 1.936Head’s education (no. years) −0.027 0.032 −0.844Parents’ home ownership (1 = yes) 0.387 0.176 2.199

Inizialmente osserviamo l’ultima colonna, soffermandoci sui valori esternil’intervallo [-2,2], poi l’entita delle stime

Tabella: Risultati della Regressione Logistica sulla Probabilita del Possesso della Casa

Variable Estimate Std. Error Est./S.E.Intercept −2.870 —Husband earnings ($10,000) 0.569 0.088 6.466Wife earnings ($10,000) 0.306 0.140 2.186No. years married −0.039 0.042 −0.929Married in 2 years (1 = yes) 0.224 0.304 0.737Working wife in 2 years (1 = yes) 0.373 0.283 1.318No. children 0.220 0.101 2.178Add child in 2 years (1 = yes) 0.271 0.140 1.936Head’s education (no. years) −0.027 0.032 −0.844Parents’ home ownership (1 = yes) 0.387 0.176 2.199

Inizialmente osserviamo l’ultima colonna, soffermandoci sui valori esternil’intervallo [-2,2], poi l’entita delle stime

Prendiamo alcune stime:

1 L’effetto di ogni figlio in piu e positivo e0.220 = 1.25. In protica la stimadell’odds cresce del 25%

2 Un incremento di $10,000 dollari all’anno ha un effetto moltiplicativosull’odds pari a e0.569 = 1.77 per il marito e e0.306 = 1.36 per la moglie

3 Avere genitori con la casa di proprieta ha un effetto moltiplicativo sull’oddspari a e0.387 = 1.47

Effetti sulle Probabilita

Abbiamo gia visto che possiamo sintetizzare la misura dell’effetto di unpredittore utilizzando l’OR

Tuttavia la sua interpretazione non e agevole, pertanto si preferisce misurarela dimensione dell’effetto su una scala di probabilita

Si possono scegliere vari approcci:

1 si riporta il valore di P(y = 1) per particolari valori del predittore di interesse.In questo caso gli altri predittori sono fissi, nel senso che assumono un valorecaratteristico (media o altro definito preliminarmente)

2 si riporta di quanto si modifica la P(y = 1) quando il predittore cresce di uncerto valore. Le scelte possono essere:

a il predittore cresce di un’unita

b il predittore cresce di un valore pari alla deviazione standard

c il predittore cresce dell’intero range di valori assunti da X

d il predittore cresce di un valore pari allo scarto interquartile

Nel caso dell’esempio sul Possesso della Casa si vuole studiare l’effetto delReddito del Marito

Gli altri predittori assumono i seguenti valori:

1 reddito percepito dalla moglie = $50,000 dollari

2 anni dal matrimonio = 3

3 moglie occupata nei primi 2 anni dal matrimonio = 1 (Sı)

4 numero di figli = 0

5 ulteriori figli = 0 (no)

6 anni di istruzione del capo famiglia = 16

7 Genitori proprietari di casa nell’ultimo anno di permanenza del figlio = 0 (No)

Nel caso di reddito del marito pari a $20.000 dollari, avremo

P(y = 1) =e−2.870+0.569(2)+0.306(5)−0.039(3)+0.373(1)−0.027(16)

1 + e−2.870+0.569(2)+0.306(5)−0.039(3)+0.373(1)−0.027(16)= 0.41.

Per un reddito di $30,000, P(y = 1)=0.55. Per un reddito di $50,000,P(y = 1)=0.79. Per un reddito di $100,000, P(y = 1)=0.98.

P(y = 1) =e−2.870+0.569(2)+0.306(5)−0.039(3)+0.373(1)−0.027(16)

1 + e−2.870+0.569(2)+0.306(5)−0.039(3)+0.373(1)−0.027(16)= 0.41.

P(y = 1) =e−2.870+0.569(2)+0.306(5)−0.039(3)+0.373(1)−0.027(16)

1 + e−2.870+0.569(2)+0.306(5)−0.039(3)+0.373(1)−0.027(16)= 0.41.

P(y = 1) =e−2.870+0.569(2)+0.306(5)−0.039(3)+0.373(1)−0.027(16)

1 + e−2.870+0.569(2)+0.306(5)−0.039(3)+0.373(1)−0.027(16)= 0.41.

Inferenza per il Modello di Regressione Logistica

Le assunzioni sono:

1 I dati sono estratti casualmente

2 La variabile risposta ha una distribuzione binomiale

Presenteremo due Test per l’Indipendenza: il Test di Wald e il Test delRapporto delle Massime Verosimiglianze

Si tratta di due tecniche che hanno lo stesso obiettivo

Tuttavia il Test di Wald puo essere applicato solo su campionisufficientemente numerosi

Il Test del rapporto delle Massime Verosimigliaze va bene anche in presenzadi campioni poco numerosi

Le assunzioni sono:

Test di Wald

Si consideri il modello

logit[P(y = 1)] = α+ βx ,

L’ipotesi di indipendenza H0: β = 0 rappresenta l’assenza di effetto di X sullogit

Nel caso di campioni sufficientemente numerosi, una buona statistica test edata dal rapporto tra β e il suo errore standard

Si tratta di una statistica che si distribuisce come una Z

In molti casi si riporta il quadrato di questa statistica, che si distribuiscecome un Chi2 con un gdl . Il P − valore corrispondente e uguale a quello diun test Z per un’alternativa bilaterale Ha: β 6= 0

Test di Wald

Test del rapporto delle Massime Verosimiglianze

In questo caso il test consente di confrontare due modelli che differiscono tradi loro per la presenza di uno o piu parametri in piu

L’ipotesi di base e che i parametri in piu presenti nel modello pieno sianouguali a zero

Nel caso del modello con un solo predittore si confrontano i modellilogit[P(y = 1)] = α+ βx e logit[P(y = 1)] = α

Il test si basa sul calcolo della funzione di verosimiglianza, indicata con ℓ

Essa fornisce la probabilita di osservare i dati del ns campione come funzionedei parametri utilizzati

Il massimo di questa funzione fornisce le stime di massima verosimiglianza

Si indichi con ℓ0 il massimo della funzione di verosimiglianza quando H0 evera e con ℓ1 il massimo della funzione di verosimiglianza quando H0 non evera

La statistica test del rapporto delle massime verosimiglianza sara

−2 log

ℓ0ℓ1

= (−2 log ℓ0)− (−2 log ℓ1).

Si fa il log del rapporto poi moltiplicato per -2, in quanto la quantita che siottiene tende a distribuirsi come una v.c. Chi2 con gdl pari al numero deiparametri che differenziano i modelli

La discussione del test avviene sempre nel medesimo modo

−2 log

ℓ0ℓ1

= (−2 log ℓ0)− (−2 log ℓ1).

−2 log

ℓ0ℓ1

= (−2 log ℓ0)− (−2 log ℓ1).

−2 log

ℓ0ℓ1

= (−2 log ℓ0)− (−2 log ℓ1).

Esempio 15.4 — Inferenza sulla Relazione Reddito e

Possesso di una Carta di Credito

In questo caso l’ipotesi H0: β = 0 indica che il Reddito non influenza laprobabilita di possedere una CC. Il modello e

Tabella: Logistic Regression Inference for Italian Credit Card Data

B S.E. Wald df Sig. 95% CI per exp(B)reddito .1054 .0262 16.24 1 .000 1.056 1.170Costante -3.5179 .7103 24.53 1 .000

Il test Z sarebbe uguale a z = 0.1054/0.0262 = 4.02. Si vede chiaramenteche 4.022 = 16.24 e il valore del test di Wald

Si puo concludere che c’e una forte evidenza contro l’ipotesi H0: β = 0, diassenza di effetto del Reddito sulla Probabilita di Possedere una CC

Il test del Rapporto delle Massime Verosimiglianze per l’ipotesi H0: β = 0,confrontera il modello pieno con il parametro β e quello ridotto con solol’intercetta

Il software (SPSS) riporta un valore −2 log ℓ = 97.23 per il modello pieno eun valore pari a −2 log ℓ = 123.82 per quello ridotto

La quantita

−2 log

ℓ0ℓ1

= (−2 log ℓ0)− (−2 log ℓ1) = 123.82− 97.23 = 26.59.

mostra come l’effetto sia fortemente significativo

Infatti, la quantita Chi2 = 26.59 con gdl = 1, ha un P − valore < 0.0001

La quantita

−2 log

ℓ0ℓ1

= (−2 log ℓ0)− (−2 log ℓ1) = 123.82− 97.23 = 26.59.

La quantita

−2 log

ℓ0ℓ1

= (−2 log ℓ0)− (−2 log ℓ1) = 123.82− 97.23 = 26.59.

La quantita

−2 log

ℓ0ℓ1

= (−2 log ℓ0)− (−2 log ℓ1) = 123.82− 97.23 = 26.59.

Inferenza per la Regressione Logistica Multivariata

Nel caso di una Regressione Logistica Multivariata, l’inferenza viene condottaallo stesso modo

Naturalmente si tratta di saggiare l’effetto di un predittore, controllando pergli altri predittori

Nel caso di predittori categoriali, che prevedono l’utilizzo di variabili dummy,piu che il test di Wald, molto utile risulta il test del Rapporto delle MassimeVerosimiglianze

Infatti, in presenza di predittori categoriali politomici, e possibile saggiarel’effetto dell’intero predittore attraverso la rimozione dal modello deiparametri delle dummy che lo caratterizzano

Esempio 15.5 — Inferenza sul Modello per la Pena di

Morte e la Razza di Imputato e Vittima

Riprendiamo il modello precedente

logit[P(y = 1)] = α+ β1d + β2v ,

Le variabili dummy d e v indicano, rispettivamente, la razza dell’imputato equella della vittima (Bianca vs Nera in entramnbi i casi)

Se β1 = 0 il verdetto di pena di morte e indipendente dalla razzadell’imputato, controllando per quella della vittima

Ne consegue che, a livello di popolazione, l’odds ratio corrispondente sarae0 = 1, per ciascuna razza della vittima

logit[P(y = 1)] = α+ β1d + β2v ,

Il software SPSS riporta il seguente prospetto

Tabella: Inferenza sul Modello di Regressione Logistica della Pena di Morte rispettoalla Razza dell’Imputato e della Vittima

B S.E. Wald χ2 Sig. 95% CI per exp(B)Intercetta -3.596 .5069 50.33 .000imputato=bianco -.868 .3671 5.59 .018 .20 .86vittima=bianca 2.404 .6006 16.03 .000 3.41 35.93

In riferimento alla razza dell’imputato il test Z per H0: β1 = 0 saraz = −0.868/0.367 = −2.36

La corrispondente statistica di Wald sara (−2.36)2 = 5.59, con un P − valore

pari a 0.018

Allo stesso modo si osserva un effetto della Razza della Vittima decisamentepiu rilevante, sia per la dimensione sia per il P − valore

pari a 0.018

Test del rapporto delle Massime Verosimiglianze per il

Confronto di Modelli di Regressione Logistica

Quando si desidera confrontare modelli che differiscono per piu di unparametro, conviene applicare il Test per il Rapporto delle MassimeVerosimiglianze

Si rammenta che la differenza tra (−2 log ℓ0 - −2 log ℓ0) e una statistca Chi2

con gdl= numero di parametri rimossi

Nel caso del ns modello abbiamo

−2 log

ℓ0ℓ1

= (−2 log ℓ0)− (−2 log ℓ1) = 440.843− 418.957 = 21.866.

I gdl = 2, per cui il P − valore sara < 0.0001

−2 log

ℓ0ℓ1

= (−2 log ℓ0)− (−2 log ℓ1) = 440.843− 418.957 = 21.866.

−2 log

ℓ0ℓ1

= (−2 log ℓ0)− (−2 log ℓ1) = 440.843− 418.957 = 21.866.

−2 log

ℓ0ℓ1

= (−2 log ℓ0)− (−2 log ℓ1) = 440.843− 418.957 = 21.866.

regressionelogistica: un modello per variabili ... · regressionelogistica: un modello per...

Documents