models avanÇats de demanda de transportmodels avanÇats de demanda de transport master de...

MODELS AVANÇATS DE DEMANDA DE TRANSPORT

MASTER DE LOGÍSTICA, TRANSPORT i MOBILITAT

MASTER D’ESTADÍSTICA i INVESTIGACIÓ OPERATIVA

APUNTS DE CLASSE PROF. LÍDIA MONTERO

TEMA 5: MODELS DE REPARTIMENT MODAL.

EXEMPLES DE LOGIT MULTINOMIAL I CONNEXIÓ ESTADÍSTICA

AUTORS:

Lídia Montero Mercadé – Esteve Codina Sancho

Departament d’Estadística i Investigació Operativa

Versió 1.0

Febrer del 2.007

FME Models Lineals Generalitzats

Prof. Lídia Montero Pàg. 5-2 Curs 2.006-2.007

TEMA 5: TABLA DE CONTENIDOS

5-1. TEMA 5: RESP. POLITÓMICA. M. MULTINOMIAL: ESCALAS NOMINALES __________________________________________________ 3

5-1.1 MODELOS PARA ESCALAS ORDINALES_______________________________________________________________________________________ 9 5-2. TEMA 5: RESP. POLITÓMICA. EJEMPLOS. _______________________________________________________________________________ 12

5-2.1 EJEMPLO 4: FOX (CONTINUACIÓN EJEMPLO 2) ______________________________________________________________________________ 12 5-2.1.1 RESOLUCIÓN POR JERARQUÍAS DE LOGITS___________________________________________________________________________________ 22 5-2.1.2 RESOLUCIÓN CON R: COMANDOS EMPLEADOS _______________________________________________________________________________ 27 5-2.2 EJEMPLO 6: CONDICIONES DE LA VIVIENDA EN COPENHAGEN__________________________________________________________________ 35 5-2.2.1 RESPUESTAS NOMINALES________________________________________________________________________________________________ 35 5-2.2.2 RESOLUCIÓN CON R: SELECCIÓN DE COMANDOS _____________________________________________________________________________ 38



5-1. RESP. POLITÓMICA MULTINOMIAL

La distribución multinomial es desde muchos puntos de vista la más natural a considerar como modelo estadístico en las respuestas politómicas.

El modo menos artificial de presentar la ley multinomial es como resultado del muestreo en una población donde cada uno de sus individuos puede ostentar uno y sólo uno de un conjunto de k atributos

kAA K1 .

Si la población tiene un tamaño infinitamente grande, entonces en un muestreo aleatorio simple de m individuos de la población, la probabilidad de seleccionar jy individuos con el atributo j, para todo j, viene modelizado por la función de probabilidad de la ley multinomial:

( ) kyk

ykk

myYyY ππ KK 1

111

===Ρ

y,,, π

donde π es el vector de frecuencias en la

población, !!!

1 kyymmK

=

y y my j ≤≤0 con my

jj =∑ .

El tratamiento de las respuestas politómicas ordinales hace conveniente, como se verá en el desarrollo del tema, trabajar con el vector de probabilidades acumuladas de π , que suele notarse como γ , es

decir, 111 =−≤≤∑= ≤ kjr rj kj γπγ .



TEMA 5: RESPUESTA POLITÓMICA. MODELO MULTINOMIAL

5-1.1 Función de log-verosimilitud para respuestas multinomiales

Se supone la existencia de n1 y,,y K observaciones n vectores multinomiales independientes, cada uno

de ellos con k categorías donde ( )iki yy K1=Tiy con ij ij my =∑ .

La contribución de cada vector de observaciones a la log-verosimilitud total en función de vector de probabilidades es directa de la expresión de su función de probabilidad, despreciando el término que no depende de los parámetros,

( ) ( )

nimy

as

y

j ij

j iij

i j ijiji i

,,.

logy,y, i

K

ll

11

==

=

==

∑∑

∑ ∑∑

π

πππ

La diferenciación de la log-verosimilitud respecto ijπ sujeto a las restricciones 1=∑ j ijπ ,

equivale a formar la función lagrangiana y diferenciar respecto ijπ , 1iλ (multiplicadores de Lagrange

del primer bloque de igualdades) y 2iλ (multiplicadores de Lagrange del segundo bloque de igualdades)

tiene por expresión:



TEMA 5-1: RESP. POLITÓMICA. MULTINOMIAL: DEVIANZA

La devianza y la devianza escalada son idénticas en este caso. La función devianza escalada toma por

valor ( ) ( ) ( ) ( )y,ˆy)(y,ˆy,'ˆy,'ˆy, µµµµ ll 22 −=== DDD φ .

El modelo maximal y)(y,l implica unas probabilidades ajustadas i

ijij m

y=π~ , notado y),~(πl .

( ) ( )

∑ ∑=∑ =−∑=

=−=

ji jiij

ijij

iji

ijijji ijijji ijij

yy

my

yyy

D

, ,,, ˆlog

ˆlogˆlog~log

y,ˆy),~(ˆy,'

µπππ 2222

22 πππ ll

Bajo condiciones restrictivas, básicamente ijµ̂ suficientemente grande y sin sobredispersión,

entonces la devianza tiende asintóticamente a una ley de 2χ .



TEMA 5-1: RESP. POLITÓMICA. MULTINOMIAL: ESCALAS DE MEDIDA

Entre los posibles tipos existentes pueden identificarse los siguientes grandes grupos:

• Escalas nominales, donde las categorías son identificadores arbitrarios, cuyo significado depende totalmente de la estructura de la experiencia.

• Escalas ordinales, donde las categorías están ordenadas y responden a una clasificación de primera, segunda, etc. No tiene sentido hablar de la distancia entre pares de categorías, únicamente tiene sentido su relación de orden.

• Escalas de intervalos, donde las categorías están ordenadas y tienen asociadas etiquetas numéricas o representantes de categoría, habitualmente son los valores medios dentro de la categoría. Las diferencias entre etiquetas se interpretan como medida de separación entre las categorías. Los modelos empleados no se detallarán en el presente curso.

• La distinción entre escalas ordinales e intervalos no es siempre evidente: por ejemplo, en un estudio de percepción de la calidad de productos alimentarios, la respuesta puede considerarse claramente ordinal si se asocia a cada producto las categorías excelente, bueno, …, malo, vomitivo, etc.



5-2. RESP. POLITÓMICA. M. MULTINOMIAL: ESCALAS NOMINALES

Los modelos que suelen resultar más interpretables si se la reparametrización base-line con categoría base ky los modelos se expresan en base a los log-odds respecto la categoría base k quedan: • Modelo sin efecto de las covariables (A):

( ) ( )( ) nikjj

ik

ijij ,,,,

xx

logxi

ii KK 111 =−=== α

ππ

η

• Modelo aditivo categoría – covariable (A+X):

( ) ( )( ) nikjj

ik

ijij ,,,,x

xx

logx iT

i

ii KK 111 =−=+== βα

ππ

η

• Modelo con interacciones entre categorías y covariable (A*X), único estimable con MINITAB:

( ) ( )( ) nikjjj

ik

ijij ,,,,x

xx

logx iT

i

ii KK 111 =−=+== βα

ππ

η



TEMA 5: RESP. POLITÓMICA. M. MULTINOMIAL: ESCALAS NOMINALES

El odds de la categoría j-ésima sobre la categoría base k-ésima tiene por expresión,

( )( ) { }iT

ji

i xexpxx

β+= jik

ij αππ

El odds de la categoría j-ésima sobre la categoría l-ésima tiene por expresión, klkj ≠≠ , ,

( )( )

( ) ( )( ) ( ) ( ) ( ){ }iT

ii

ii

i

i xexpxxxx

xx

ljljikil

ikij

il

ij ββ −+−== ααππππ

ππ

Dado el tipo de reparametrización, nikj,,

,,K

K

111

=−=

se cumple ( ) ( )( )

( )( )∑=

r iir

iijiij xexp

xexpx

ηη

π y

( ) ( )( ) ( ) ( )∑∑ ≠≠+

=+

=kr ikijkr iir

iikii xxxexp

xππη

π1

11

1



TEMA 5: RESP. POLITÓMICA. M. MULTINOMIAL: ESCALAS ORDINALES

5-2.1 Modelos para escalas ordinales

Los modelos para escalas ordinales son más frecuentes en la práctica que los modelos para escalas nominales y de ahí que merezca la pena darles un tratamiento específico. Se sigue el texto de McCullagh.

En muchas aplicaciones, la definición de las categorías de la variable de respuesta es arbitraria o subjetiva, sin embargo, resulta fundamental que las conclusiones del estudio sean válidas y no dependan ni del número ni de la definición de las categorías de la respuesta, de manera que si se forma una nueva escala en base a crear una nueva categoría combinando dos categorías adyacentes de la antigua escala, la esencia de las conclusiones debe permanecer.

Las anteriores consideraciones llevan a pensar directamente en modelos basados en las

probabilidades acumuladas de las respuestas ( )jYj ≤= Ργ , no en las probabilidades mismas

( )jYj == Ρπ .

Los dos conjuntos de probabilidades son equivalentes, pero los modelos basados en probabilidades acumuladas parece que han de tener mejores propiedades para las escalas de respuesta ordinales.

En particular, los MLGz que emplean la transformación logística sobre las probabilidades

acumuladas, ( )jj γγ −1log , han demostrado trabajar bien en la práctica.




Los modelos más simples dentro de la tipología anterior definen rectas paralelas en la escala de los log-odds acumulados, es decir añadiendo el índice de referencia del grupo para claridad posterior en la interpretación del modelo,

( )( ) 11

1−=−=

−kjT

jj

j ,,xx

xlog Kβα

γγ

(modelo A+X)

Por lo que se denomina, modelo de los odds proporcionales, ya el odds-ratio del suceso jY ≤ para

1xx = y 2xx = tiene por expresión,

( ) ( )( )( ) ( )( )

( ) 1111

21

22

11 −==−− −− kje

T

jj

jj ,,xxxx xx Kβ

γγγγ

El signo negativo en los parámetros β es un convenio para garantizar que los valores grandes de

xTβ en el predictor lineal facilitan probabilidades elevadas a las categorías de orden superior.

Los parámetros α y β son las incógnitas a estimar, con la restricción que los términos

independientes de las rectas deben ser no crececientes, es decir, 1k−≤≤≤ ααα 21 K .




Si en lugar de emplear el link logit sobre las probabilidades acumuladas se emplea el link c-log-log

(log-log complementario ( )π3g ), el modelo resultante se denomina en la literatura especializada proportional-hazards model ,

( ) 111

1−=−=

−kjT

jj

,,xx

loglog Kβαγ

(modelo A+X)

Los parámetros que deben estimarse son los mismos, sujetos a la restricción de términos

independientes no decrecientes, 1k−≤≤≤ ααα 21 K , lo que garantiza probabilidades no negativas.

Tambien es posible formular modelos más complejos de rectas no paralelas, empleando el link logit o c-log-log, según convenga a los datos, donde el resultado será la estimación de k-1 rectas de regresión no paralelas, en la escala transformada por la función de link seleccionada para las probabilidades acumuladas. Sin ninguna dificultad, el predictor lineal tomará por expresión:

( ) 11 −=−= kjjij ,,xx Tj Kβαη

(modelo A*X)



5-3. TEMA 5: RESP. POLITÓMICA. EJEMPLOS.

5-3.1 Ejemplo 4: Fox

El modelo lineal generalizado que se plantea investiga el análisis de la relación entre las mujeres jóvenes casadas que trabajan en función de la existencia de hijos en el hogar, los ingresos de sus maridos y la región del país donde residen.

• La variable de respuesta es politómica tiene 3 categorías: no trabaja (1), trabaja a tiempo parcial (2) y trabaja a tiempo completo (3). La categoría baseline es no trabaja.

• La presencia de hijos en el hogar es el factor A, que tiene 2 categorías (SI, NO). Categoría base: NO (la constante corresponde al valor medio de la categoría NO).

• La región del Canadá es un factor politómico B, con 5 categorías. Los ingresos del marido (en miles de dólares) es la covariable X.

• La intuición indica una interacción entre los ingresos de los maridos (X) y la presencia de hijos (A).



TEMA 5: RESP. POLITÓMICA. EJEMPLO 4 (FOX)

WOMEN'S LABOUR-FORCE PARTICIPATION DATASET, CANADA 1977 [1] OBSERVATION [2] LABOUR-FORCE PARTICIPATION fulltime = WORKING FULL-TIME parttime = WORKING PART-TIME not_work = NOT WORKING OUTSIDE THE HOME [3] HUSBAND'S IINCOME, $1000'S [4] PRESENCE OF CHILDREN absent present [5] REGION Atlantic = ATLANTIC CANADA Quebec Ontario Prairie = PRAIRIE PROVINCES BC = BRITISH COLUMBIA Source: Social Change in Canada Project, York Institute for Social Research. DATA: 1 not_work 15 present Ontario 2 not_work 13 present Ontario … 253 not_work 13 present Quebec 254 parttime 23 present Quebec 255 fulltime 11 absent Quebec … 263 not_work 15 present Quebec ENDDATA




La tabla contiene el análisis de la devianza para diversos modelos. El modelo más adecuado contiene X y A, cuyo coeficiente negativo indican que ante la presencia de niños y mayores ingresos masculinos es menor la incidencia del trabajo femenino.

Análisis de la Devianza

Comentarios Modelo p Devianza o Log-Verosimilitud

Devianza∆ g.l.

Contraste 0H Accept.

0 1 2 ¿? 86.439 14 0 vs 8 No

1 A 4 -219.018 15.154 2 1 vs 3 No

2 X 4 -243.220 63.558 2 2 vs 3 No

3 A+X 6 -211.441 7.416 8 3 vs 7 Si

4 A+B 12 -215.055 14.644 2 4 vs 7 No

5 B+X 12 -240.335 65.204 2 5 vs 7 No

6 A+A*X 8 -210.715 7.286 8 6 vs 8 Si

7 A+B+X 14 -207.733 1.322 2 7 vs 8 Si

8 A+B+A*X 16 -207.072 991520502 .., =χ




iii

i xAFactor 097230559298311

3 ...log −−=ππ

donde 1=iAFactor si hay presencia de niños y 0 de otro modo.

El contraste de M7 vs M8 indica que las interacciones entre los ingresos masculinos y la presencia de niños no es estadísticamente significativa (Factor A).

El contraste de M3 vs M7 indica que la región (Factor B) tampoco es estadísticamente significativa.

Sin embargo, los efectos principales del Factor A (M1 vs M3) y de la covariable (M2 vs M3) son estadísticamente significativos (se rechazan las correspondientes hipótesis nulas).

absent present

0 10 20 30 40 50

0,0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

Income-X

EP

RO

_WFT




Ante ingresos masculinos elevados y presencia de niños, la tendencia al trabajo femenino a tiempo completo desciende respecto a no trabajar (signo negativo de los coeficientes correspondientes), sin embargo el trabajo femenino a tiempo parcial respecto al no trabajo no se ve apenas afectado debido a los coeficientes cercanos a 0 que presentan los parámetros.

absent present

50403020100

0,8

0,7

0,6

0,5

0,4

0,3

0,2

0,1

Income-X

EPR

O_N

OTW




iii

i xAFactor 0069002204311

2 ...log ++−=ππ

donde 1=iAFactor si hay presencia de niños y 0

de otro modo.

El análisis de los residuos de la devianza frente a las probabilidades estimadas o el leverage no puede realizarse automáticamente por la falta de resultados facilitados por el paquete MINITAB.

absent present

50403020100

0,25

0,20

0,15

0,10

0,05

0,00

Income-X

EPR

O_W

PT




MTB > Name c7 = 'NTRI1' MTB > NLogistic 'Y_i' = 'Factor A' 'Income-X'; SUBC> Factors 'Factor A'; SUBC> Reference 'Y_i' 'not_work'; SUBC> Ntrials 'NTRI1'; SUBC> Brief 3. Nominal Logistic Regression: Y_i versus Factor A; Income-X Response Information Variable Value Count Y_i not_work 155 (Reference Event) parttime 42 fulltime 66 Total 263 Factor Information Factor Levels Values Factor A 2 absent present Logistic Regression Table Odds 95% CI Predictor Coef SE Coef Z P Ratio Lower Upper Logit 1: (parttime/not_work) Constant -1,4323 0,5925 -2,42 0,016 Factor A present 0,0215 0,4690 0,05 0,963 1,02 0,41 2,56 Income-X 0,00689 0,02345 0,29 0,769 1,01 0,96 1,05 Logit 2: (fulltime/not_work) Constant 1,9828 0,4842 4,10 0,000 Factor A present -2,5586 0,3622 -7,06 0,000 0,08 0,04 0,16 Income-X -0,09723 0,02810 -3,46 0,001 0,91 0,86 0,96




Log-likelihood = -211,441 Test that all slopes are zero: G = 77,611; DF = 4; P-Value = 0,000 Goodness-of-Fit Tests Method Chi-Square DF P Pearson 164,769 86 0,000 Deviance 138,674 86 0,000 MTB >

Es imprescindible comprobar mediante la transformación logística empírica sobre las observaciones que un modelo lineal es adecuado a los datos. Para cada categoría j: crear las variables

transformadas

+

+

2121

ik

ij

yy

log y validar su relación lineal con la/s covariable/s. La categoría de

referencia es k.



absent present

50403020100

2

1

0

-1

-2

-3

-4

Income-X

emp_

log_

FTvs

NW


➨ Se intenta ajustar un modelo lineal al log-odds de ‘Full time’ y ‘Partial time’ respecto a ‘Not_work’.

absent present

50403020100

2

1

0

-1

-2

-3

Income-X

emp_

log_

PTvs

NW

absent present

0 10 20 30 40 50

-3

-2

-1

0

1

2

Income-X

olog

PTvs

NW

ng

absent present

0 10 20 30 40 50

-5

-4

-3

-2

-1

0

1

2

Income-X

olog

FTvs

NW

ng



absent present

0 10 20 30 40 50

-5

-4

-3

-2

-1

0

1

2

C_INCOME_X

olog

FTvs

NW

4

0

0

64

6

205

10 3

0

20

0

6

4

0

06

46

205

10

3

0

2

0

0

6


➨ Modelos lineales ajustados A+X

absent present

0 10 20 30 40 50

-5

-4

-3

-2

-1

0

1

2

Income-X

log_

FTvs

NW

absent present

0 10 20 30 40 50

-1,4

-1,3

-1,2

-1,1

Income-X

log_

PTvs

NW

absent present

0 10 20 30 40 50

-2

-1

0

1

2

C_INCOME_X

olog

PTvs

NW

11 04

5

92 3

11

1

21

2

00

11 04592 3 11 121 200




5-3.1.1 Resolución por jerarquías de logits

La variable de respuesta es politómica tiene 3 categorías ordenadas: no trabaja (1), trabaja a tiempo parcial (2) y trabaja a tiempo completo (3).

El primer nivel establece la relación entre no trabaja y trabaja (a tiempo parcial más jornada completa), los resultados y discusión del modelo se realizó en el Tema 4,

iii

ii xAFactor 042310576133611

32 ...log −−=+π

ππ

donde 1=iAFactor si hay presencia de niños y 0 de otro modo.




Binary Logistic Regression: Ybin_i versus Factor A; Income-X Step Log-Likelihood 0 -178,075 1 -159,965 2 -159,866 3 -159,866 4 -159,866 Link Function: Logit Response Information Variable Value Count Ybin_i work 108 (Event) not_work 155 Total 263 Logistic Regression Table Odds 95% CI Predictor Coef SE Coef Z P Ratio Lower Upper Constant 1,3358 0,3838 3,48 0,000 Factor A present -1,5756 0,2923 -5,39 0,000 0,21 0,12 0,37 Income-X -0,04231 0,01978 -2,14 0,032 0,96 0,92 1,00 Log-Likelihood = -159,866 Test that all slopes are zero: G = 36,418; DF = 2; P-Value = 0,000 Goodness-of-Fit Tests Method Chi-Square DF P Pearson 73,229 43 0,003 Deviance 78,469 43 0,001 Hosmer-Lemeshow 5,824 7 0,560




En el segundo nivel se establece la relación entre trabajar a tiempo parcial (baseline) y trabajar a tiempo completo:

iii

i xAFactor 10730651247832

3 ...log −−=ππ

donde 1=iAFactor si hay presencia de niños y 0 de otro modo. MTB > BLogistic 'Y_i' = 'Factor A' 'Income-X'; SUBC> Factors 'Factor A'; SUBC> Logit; SUBC> Reference 'Y_i' 'fulltime'; SUBC> Brief 2. Binary Logistic Regression: Y_i versus Factor A; Income-X Link Function: Logit Response Information Variable Value Count Y_i fulltime 66 (Event) parttime 42 Total 108 Logistic Regression Table Odds 95% CI Predictor Coef SE Coef Z P Ratio Lower Upper Constant 3,4778 0,7671 4,53 0,000 Factor A present -2,6515 0,5411 -4,90 0,000 0,07 0,02 0,20 Income-X -0,10727 0,03915 -2,74 0,006 0,90 0,83 0,97 Log-Likelihood = -52,247




Test that all slopes are zero: G = 39,847; DF = 2; P-Value = 0,000 Goodness-of-Fit Tests Method Chi-Square DF P Pearson 64,392 38 0,005 Deviance 61,551 38 0,009 Hosmer-Lemeshow 14,983 8 0,059 Table of Observed and Expected Frequencies: (See Hosmer-Lemeshow Test for the Pearson Chi-Square Statistic) Group Value 1 2 3 4 5 6 7 8 9 10 Total fulltime Obs 1 6 3 1 8 7 11 8 13 8 66 Exp 2,0 3,3 3,9 4,6 5,6 6,9 10,3 8,9 11,9 8,6 parttime Obs 12 5 7 9 2 3 1 2 0 1 42 Exp 11,0 7,7 6,1 5,4 4,4 3,1 1,7 1,1 1,1 0,4 Total 13 11 10 10 10 10 12 10 13 9 108 Measures of Association: (Between the Response Variable and Predicted Probabilities) Pairs Number Percent Summary Measures Concordant 2285 82,4% Somers' D 0,66 Discordant 452 16,3% Goodman-Kruskal Gamma 0,67 Ties 35 1,3% Kendall's Tau-a 0,32 Total 2772 100,0% MTB >




Los resultados son interesantes en este ejemplo: tanto la presencia de niños, como los ingresos masculinos tienen un efecto más acusado en los odds del trabajo femenino a tiempo completo vs tiempo parcial, que no en los odds del primer nivel trabajar vs no trabajar. La estructura jerárquica enmascara los resultados obtenidos empleando el modelo de respuestas politómicas nominales: las variables explicativas tienen poco efecto en los odds del trabajo a tiempo parcial vs no trabajar.

La opción más adecuada de tratamiento: nomial, jerárquica u ordinal, se obtiene de comparar los AIC de los mejores modelos dentro de cada tratamiento. El mínimo AIC corresponde a la propuesta JERARQUICA.

o AIC Nominal: 2(219.018+6) = 450.036

o AIC Jerárquico: Suma del AIC de los dos niveles jerárquicos: 2(159.866+3) + 2(52.247+3)

o AIC Ordinal: 2(220.831 + 4 ) = 449.662




5-3.1.2 Resolución con R: comandos empleados # MODELS DE RESPOSTA POLITOMICA # Integracio laboral en dones casades # Tenim al data.frame womenlf les dades referents a la situacio # laboral, ingressos del marit, si tenen o no fills, i la regio # on viuen. # A mes, el factor resposta work, el tenim ja ordenat: # not_work < parttime < fulltime # La columna de ones ens dona la freqüencia d'observacio de # cada individu. options(contrasts=c("contr.treatment","contr.treatment")) # Model de resposta nominal: # situacio laboral = ingressos + fills> womenlf <- read.table("Womenlf.txt",header=TRUE, sep="\t", na.strings="?") > summary(womenlf) id work income sons region Min. : 1.0 fulltime: 66 Min. : 1.00 absent : 79 Atlantic: 30 1st Qu.: 66.5 not_work:155 1st Qu.:10.00 present:184 BC : 29 Median :132.0 parttime: 42 Median :14.00 Ontario :108 Mean :132.0 Mean :14.76 Prairie : 31 3rd Qu.:197.5 3rd Qu.:19.00 Quebec : 65 Max. :263.0 Max. :45.00 > > # Ordenar les categories > > womenlf$work <- ordered(womenlf$work, levels=c("not_work","parttime","fulltime")) > womenlf$sons <- ordered(womenlf$sons, levels=c("absent","present")) > > # Introduir columna d'uns



> womenlf$ones <- rep(1,length(womenlf$work)) > > summary(womenlf) id work income sons region Min. : 1.0 not_work:155 Min. : 1.00 absent : 79 Atlantic: 30 1st Qu.: 66.5 parttime: 42 1st Qu.:10.00 present:184 BC : 29 Median :132.0 fulltime: 66 Median :14.00 Ontario :108 Mean :132.0 Mean :14.76 Prairie : 31 3rd Qu.:197.5 3rd Qu.:19.00 Quebec : 65 Max. :263.0 Max. :45.00 ones Min. :1 1st Qu.:1 Median :1 Mean :1 3rd Qu.:1 Max. :1 > attach(womenlf) > library(MASS) > library(nnet) > womenlf.mult <- multinom(work~income+sons,data=womenlf,weights=ones) # weights: 12 (6 variable) initial value 288.935032 iter 10 value 211.454772 final value 211.440963 converged > summary(womenlf.mult) Call: multinom(formula = work ~ income + sons, data = womenlf, weights = ones) Coefficients: (Intercept) income sonspresent parttime -1.432321 0.006893838 0.02145558 fulltime 1.982842 -0.097232073 -2.55860537 Std. Errors: (Intercept) income sonspresent parttime 0.5924627 0.02345484 0.4690352



fulltime 0.4841789 0.02809599 0.3621999 Residual Deviance: 422.8819 AIC: 434.8819 Correlation of Coefficients: parttime:(Intercept) parttime:income parttime:sonspresent parttime:income -0.6951337 parttime:sonspresent -0.7232561 0.1013946 fulltime:(Intercept) 0.2484200 -0.1763135 -0.1779455 fulltime:income -0.1147567 0.1757442 0.0097564 fulltime:sonspresent -0.1935253 0.0265197 0.2689145 fulltime:(Intercept) fulltime:income parttime:income parttime:sonspresent fulltime:(Intercept) fulltime:income -0.8462090 fulltime:sonspresent -0.5465813 0.1989128 > > # on hem obtingut els coeficients dels models: > # logit 1: parttime vs not_work > # logit 2: fulltime vs not_work > > # Model de resposta ordinal: > # situacio laboral = ingressos + fills > > library(MASS) > womenlf.polr <- polr(work~income+sons,data=womenlf,weights=ones) > summary(womenlf.polr) Re-fitting to get Hessian Call: polr(formula = work ~ income + sons, data = womenlf, weights = ones) Coefficients: Value Std. Error t value income -0.05390064 0.01949011 -2.765538



sonspresent -1.97195697 0.28694830 -6.872168 Intercepts: Value Std. Error t value not_work|parttime -1.8520 0.3863 -4.7943 parttime|fulltime -0.9409 0.3699 -2.5435 Residual Deviance: 441.663 AIC: 449.663 > > # on observem com els coeficients de les variables explicatives > # apareixen amb el signe invertit vers els apunts. > > # Models jerarquics: > # Not Work / Work > # Fulltime / Parttime > > work.bis <- ifelse(womenlf$work=="not_work",0,1) > fulltime.bis <- ifelse(womenlf$work=="fulltime",1,0) > womenlf <- data.frame(womenlf,work.bis,fulltime.bis) > > # Model Work / Not Work: > attach(womenlf) > womenlf.work <- glm(work.bis~income+sons,data=womenlf,family=binomial) > summary(womenlf.work) Call: glm(formula = work.bis ~ income + sons, family = binomial, data = womenlf) Deviance Residuals: Min 1Q Median 3Q Max -1.6767 -0.8652 -0.7768 0.9292 1.9970 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 1.33583 0.38376 3.481 0.0005 *** income -0.04231 0.01978 -2.139 0.0324 * sonspresent -1.57565 0.29226 -5.391 7e-08 ***



--- Signif. codes: 0 `***' 0.001 `**' 0.01 `*' 0.05 `.' 0.1 ` ' 1 (Dispersion parameter for binomial family taken to be 1) Null deviance: 356.15 on 262 degrees of freedom Residual deviance: 319.73 on 260 degrees of freedom AIC: 325.73 Number of Fisher Scoring iterations: 4 > > # Model Fulltime / Parttime (dins de les que treballen): > > womenlf.fulltime <- glm(fulltime.bis~income+sons,data=womenlf,family=binomial,subset=work!="not_work") > summary(womenlf.fulltime) Call: glm(formula = fulltime.bis ~ income + sons, family = binomial, data = womenlf, subset = work != "not_work") Deviance Residuals: Min 1Q Median 3Q Max -2.4047 -0.8678 0.3949 0.6213 1.7641 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 3.47777 0.76711 4.534 5.80e-06 *** income -0.10727 0.03915 -2.740 0.00615 ** sonspresent -2.65146 0.54108 -4.900 9.57e-07 *** --- Signif. codes: 0 `***' 0.001 `**' 0.01 `*' 0.05 `.' 0.1 ` ' 1 (Dispersion parameter for binomial family taken to be 1) Null deviance: 144.34 on 107 degrees of freedom Residual deviance: 104.49 on 105 degrees of freedom AIC: 110.49



Number of Fisher Scoring iterations: 5 > # Questio: Quin tractament sembla mes adequat? > > # resposta ordinal? > # resposta nominal? > # models jerarquics? > > # Respondrem comparant les respostes observades i les esperades > > table(womenlf$work,predict(womenlf.polr)) not_work parttime fulltime not_work 133 0 22 parttime 36 0 6 fulltime 23 0 43 > table(womenlf$work,predict(womenlf.mult)) not_work parttime fulltime not_work 136 0 19 parttime 37 0 5 fulltime 25 0 41 > > table(womenlf$work,predict(womenlf.work)>0.5) FALSE TRUE not_work 136 19 parttime 37 5 fulltime 26 40 > table(womenlf$work[womenlf$work!="not_work"],predict(womenlf.fulltime)>0.5) FALSE TRUE not_work 0 0 parttime 36 6 fulltime 20 46 > > # Veiem com tractant la repsosta de manera politomica, tant > # nominal com ordinal, no aconseguim predir cap cas de dona



> # que treballi parcialment. > # En canvi amb models jerarquics predim 56 dones a temps > # parcial de les quals 36 ho fan en realment. > > # Mirem AICs > anova(womenlf.work,test="Cp") Analysis of Deviance Table Model: binomial, link: logit Response: work.bis Terms added sequentially (first to last) Df Deviance Resid. Df Resid. Dev Cp NULL 262 356.15 358.15 income 1 5.10 261 351.06 355.06 sons 1 31.32 260 319.73 325.73 > anova(womenlf.fulltime,test="Cp") Analysis of Deviance Table Model: binomial, link: logit Response: fulltime.bis Terms added sequentially (first to last) Df Deviance Resid. Df Resid. Dev Cp NULL 107 144.342 146.34 income 1 7.711 106 136.631 140.63 sons 1 32.136 105 104.495 110.49 > > # Model jeràrquic: suma d'AICs = 325.73 + 110.49 = 436.22 > # Ordinal: AIC: 449.663 > # Multinomial: AIC: 434.8819 La millor opció



TEMA 5: RESP. POLITÓMICA. EJ. 6 (MADSEN-76, AGRESTI-90)

5-3.2 Ejemplo 6: Condiciones de la Vivienda en Copenhagen

Datos relativos al nivel de satisfacción (low, medium, high - referencia low) con la vivienda según el factor A -Housing -Tipo de Vivienda (tower, apartment, atrium, terrace – referencia i=1 tower), el factor C –Influence- Sensasión de Influencia en la gestión de la comunidad de vecinos (low, medium, high - referencia j=1 low) y el Factor D –Contact- que es el grado de contacto con los otros residentes (low, high - referencia k=1 low). N=1681.

5-3.2.1 Respuestas nominales La tabla contiene el análisis de la devianza para diversos modelos: no es exhaustiva. El modelo más adecuado es el aditivo A+ C+D que emplea 14 grados de libertad y tiene una explicabilidad del 82%.

MTB > Name c7 = 'NTRI1' c8 = 'EPROB1' c9 = 'EPROB2' c10 = 'EPROB3' & CONT> c11 = 'NOCC1' c12 = 'NOCC2' c13 = 'NOCC3' MTB > NLogistic 'satisfaction' = housing influence contact ; SUBC> Frequency 'n'; SUBC> Factors 'housing' 'influence' 'contact'; SUBC> Reference 'satisfaction' 'low' & CONT> housing 'tower' influence 'low' contact 'low'; SUBC> Ntrials 'NTRI1'; SUBC> Eprobability 'EPROB1'-'EPROB3'; SUBC> Noccur 'NOCC1'-'NOCC3'; SUBC> Brief 2. Nominal Logistic Regression: satisfaction versus housing; influence; ... Response Information



TEMA 5: RESP. POLITÓMICA. EJEMPLO 6 (MADSEN-76, AGRESTI-90)

Variable Value Count satisfac low 567 (Reference Event) medium 446 high 668 Total 1681 Frequency: n Logistic Regression Table Odds 95% CI Predictor Coef SE Coef Z P Ratio Lower Upper Logit 1: (medium/low) Constant -0,4192 0,1729 -2,42 0,015 housing apartments -0,4357 0,1725 -2,53 0,012 0,65 0,46 0,91 atrium 0,1314 0,2231 0,59 0,556 1,14 0,74 1,77 terraced -0,6666 0,2063 -3,23 0,001 0,51 0,34 0,77 influenc high 0,6649 0,1863 3,57 0,000 1,94 1,35 2,80 medium 0,4464 0,1416 3,15 0,002 1,56 1,18 2,06 contact high 0,3609 0,1324 2,73 0,006 1,43 1,11 1,86 Logit 2: (high/low) Constant -0,1387 0,1592 -0,87 0,384 housing apartments -0,7356 0,1553 -4,74 0,000 0,48 0,35 0,65 atrium -0,4080 0,2115 -1,93 0,054 0,66 0,44 1,01 terraced -1,4123 0,2001 -7,06 0,000 0,24 0,16 0,36 influenc high 1,6126 0,1671 9,65 0,000 5,02 3,61 6,96 medium 0,7349 0,1369 5,37 0,000 2,09 1,59 2,73 contact high 0,4818 0,1241 3,88 0,000 1,62 1,27 2,07 Log-likelihood = -1735,042 Test that all slopes are zero: G = 178,794; DF = 12; P-Value = 0,000 Goodness-of-Fit Tests Method Chi-Square DF P Pearson 38,910 34 0,258 Deviance 38,662 34 0,267

0121212

22221

2

===

+++=

γβα

γβαθππ

kjiijk

ijklog

0131313

33331

3

===

+++=

γβα

γβαθππ

kjiijk

ijklog




Análisis de la Devianza Comentarios Modelo p Devianza o

Log-Verosimilitud

Devianza∆ g.l. Contraste 0H Accept.

0 1 2 ¿?

1 A+C 12 -1743.072 16.06 2 1 vs 4 No

2 A+D 10 -1789.601 109.118 4 2 vs 4 No

3 C+D 8 -1766.155 66.226 6 3 vs 4 No

4 A+C+D 14 -1735.042 - - -

5 D+A*C 26 -1723.764 22.556 12 4 vs 5 No estrict.

6 C+A*D 20 -1729.839 10.406 6 4 vs 6 Si

7 A+C*D 18 -1734.447 1.19 4 4 vs 7 Si




5-3.2.2 Resolución con R: selección de comandos > copen <- read.table("copenhagen.txt",header=TRUE, sep="\t", na.strings="?") > summary(copen) id housing influence contact satisfaction Min. : 1.00 apartments:18 high :24 high:36 high :24 1st Qu.:18.75 atrium :18 low :24 low :36 low :24 Median :36.50 terraced :18 medium:24 medium:24 Mean :36.50 tower :18 3rd Qu.:54.25 Max. :72.00 n Min. : 3.00 1st Qu.:10.00 Median :19.50 Mean :23.35 3rd Qu.:31.75 Max. :86.00 > # Ordenar les categories > > copen$housing <- ordered(copen$housing, levels=c("tower","apartments","atrium","terraced")) > copen$influence <- ordered(copen$influence, levels=c("low","medium","high")) > copen$contact <- ordered(copen$contact, levels=c("low","high")) > copen$satisfaction <- ordered(copen$satisfaction, levels=c("low","medium","high")) > > summary(copen) id housing influence contact satisfaction Min. : 1.00 tower :18 low :24 low :36 low :24 1st Qu.:18.75 apartments:18 medium:24 high:36 medium:24 Median :36.50 atrium :18 high :24 high :24 Mean :36.50 terraced :18 3rd Qu.:54.25 Max. :72.00 n



Min. : 3.00 1st Qu.:10.00 Median :19.50 Mean :23.35 3rd Qu.:31.75 Max. :86.00 > attach(copen) > save.image("E:/LIDIA/MLGz2000/Fox_data/copenhagen.RData") > library(MASS) > library(nnet) > copen.mult <- multinom(satisfaction~housing+influence+contact,data=copen,weights=n) # weights: 24 (14 variable) initial value 1846.767257 iter 10 value 1747.045232 final value 1735.041933 converged > summary(copen.mult) Call: multinom(formula = satisfaction ~ housing + influence + contact, data = copen, weights = n) Coefficients: (Intercept) housingapartments housingatrium housingterraced medium -0.4192316 -0.4356851 0.1313663 -0.6665728 high -0.1387453 -0.7356261 -0.4079808 -1.4123333 influencemedium influencehigh contacthigh medium 0.4464003 0.6649367 0.3608513 high 0.7348626 1.6126294 0.4818236 Std. Errors: (Intercept) housingapartments housingatrium housingterraced medium 0.1729344 0.1725327 0.2231065 0.2062532 high 0.1592295 0.1552714 0.2114965 0.2001496 influencemedium influencehigh contacthigh medium 0.1415572 0.1863374 0.1323975 high 0.1369380 0.1671316 0.1241371 Residual Deviance: 3470.084



AIC: 3498.084 Correlation of Coefficients: medium:(Intercept) medium:housingapartments medium:housingapartments -0.6278094 medium:housingatrium -0.4945782 0.5410689 medium:housingterraced -0.5234559 0.5864688 medium:influencemedium -0.4280331 -0.0075181 medium:influencehigh -0.3230414 -0.0612844 medium:contacthigh -0.3692088 -0.1183041 high:(Intercept) 0.5017068 -0.3545327 high:housingapartments -0.3650695 0.5497036 high:housingatrium -0.2786257 0.2956732 high:housingterraced -0.2782805 0.3152161 high:influencemedium -0.1712950 -0.0111931 high:influencehigh -0.1379783 -0.0389483 high:contacthigh -0.1653178 -0.0638719 medium:housingatrium medium:housingterraced medium:housingapartments medium:housingatrium medium:housingterraced 0.4585719 medium:influencemedium 0.0338840 0.0149134 medium:influencehigh -0.0192219 -0.0070747 medium:contacthigh -0.1188743 -0.1486046 high:(Intercept) -0.2793482 -0.2890365 high:housingapartments 0.3123221 0.3400314 high:housingatrium 0.5793699 0.2514582 high:housingterraced 0.2456795 0.4636825 high:influencemedium 0.0113806 -0.0059018 high:influencehigh -0.0137380 -0.0165789 high:contacthigh -0.0616409 -0.0844150 medium:influencemedium medium:influencehigh medium:housingapartments medium:housingatrium medium:housingterraced medium:influencemedium medium:influencehigh 0.3734337 medium:contacthigh 0.0599551 0.1201076



high:(Intercept) -0.1842800 -0.1391456 high:housingapartments -0.0100382 -0.0427188 high:housingatrium 0.0190241 -0.0034520 high:housingterraced -0.0021041 -0.0190204 high:influencemedium 0.4599583 0.1542386 high:influencehigh 0.1658999 0.5525026 high:contacthigh 0.0381105 0.0751120 medium:contacthigh high:(Intercept) medium:housingapartments medium:housingatrium medium:housingterraced medium:influencemedium medium:influencehigh medium:contacthigh high:(Intercept) -0.1706113 high:housingapartments -0.0644545 -0.5824301 high:housingatrium -0.0553003 -0.4361762 high:housingterraced -0.0777308 -0.4461163 high:influencemedium 0.0360953 -0.4678698 high:influencehigh 0.0702133 -0.3792747 high:contacthigh 0.4933571 -0.3791085 high:housingapartments high:housingatrium medium:housingapartments medium:housingatrium medium:housingterraced medium:influencemedium medium:influencehigh medium:contacthigh high:(Intercept) high:housingapartments high:housingatrium 0.5063605 high:housingterraced 0.5365003 0.3981812 high:influencemedium -0.0184922 0.0238983 high:influencehigh -0.0875831 -0.0322133 high:contacthigh -0.1304702 -0.1260450 high:housingterraced high:influencemedium medium:housingapartments medium:housingatrium



medium:housingterraced medium:influencemedium medium:influencehigh medium:contacthigh high:(Intercept) high:housingapartments high:housingatrium high:housingterraced high:influencemedium -0.0015500 high:influencehigh -0.0381805 0.4313330 high:contacthigh -0.1487043 0.0614352 high:influencehigh medium:housingapartments medium:housingatrium medium:housingterraced medium:influencemedium medium:influencehigh medium:contacthigh high:(Intercept) high:housingapartments high:housingatrium high:housingterraced high:influencemedium high:influencehigh high:contacthigh 0.1411102 >

models avanÇats de demanda de transportmodels avanÇats de demanda de transport master de...

Documents