presentación en el xv coneest lima - satisfacción de clientes

PeruStat

IntroducciónModelos de Respuesta Graduada

EstimaciónSimulación y Aplicación

ConclusionesReferences

XV CONEEST LIMA 2013

Estimación Bayesiana del Modelo de RespuestaGraduada con aplicaciones en la medición de la

satisfacción de clientes

Enver Gerald Tarazona [email protected]

Escuela de Posgrado

Ponti�cia Universidad Católica del Perú (PUCP)

Maestría en EstadísticaTarazona, E.G. http://www.perustat.com/1239/coneestxv/ 1 / 91

PeruStat





Organización del Trabajo

• Introducción• Formulación general para los Modelos de Respuesta Graduada(GRM): clasi�cación, características generales y cálculo de lasfunciones de información.

• De�nición y propiedades de los Modelos de RespuestaGraduada Logístico (2PL-GRM) y Logístico de ExponentePositivo (LPE-GRM).

• Estimación de los parámetros de los modelos bajo laperspectiva bayesiana usando MCMC, criterios para lacomparación de modelos e implementación computacionalusando R y WinBUGS.

• Estudio de simulación para el Modelo 2PL-GRM.• Aplicación de los modelos propuestos en el ámbito de lacalidad de servicios (análisis de la satisfacción de clientes).

Tarazona, E.G. http://www.perustat.com/1239/coneestxv/ 2 / 91

PeruStat





Objetivos I

• Presentar una formulación general para los Modelos deRespuesta Graduada para items politómicos ordinales de laTRI (Samejima, 1969), su clasi�cación, características,funciones de información, casos particulares y criterios deselección del modelo.

• Presentar el Modelo de Respuesta Graduada Logístico y elModelo de Respuesta Graduada Logístico de ExponentePositivo basado en el uso de una FREI asimétrica.

• Presentar la estimación bayesiana de los Modelos de RespuestaGraduada Logístico y Logístico de Exponente Positivo, loscriterios para la comparación de modelos así como surespectiva implementación computacional usando softwarelibre.

• Realizar estudios de simulación acerca de los modelosRespuesta Graduada.


PeruStat





Objetivos II

• Aplicar el modelo a conjunto de datos reales de calidad deservicios.


PeruStat





Enfoque de la TRI


PeruStat





Conceptos Básicos de la TRI I

• La Teoría de Respuesta al Item (TRI), también conocida comoteoría de razgos latentes, es un enfoque psicométrico modernoque se caracteriza por aplicar un fuerte modelamiento de datosbasado en el uso de funciones matemáticas, llamadas CurvasCaracterísticas de los Ítems (CCI)

• Las CCI se encargan de relacionar las respuestas de los sujetosevaluados con la habilidad o habilidades (en el caso demodelos multidimensionales) que son medidas en el test(Hambleton et al., 2010).

• Según puntualiza Ostini y Nering (2006), las CCI básicamenterelaciona la probabilidad de que un sujeto evaluado responda aun ítem de una manera determinada con la posición que tienedicho sujeto en la escala de la habilidad que el ítem estámidiendo.


PeruStat





Conceptos Básicos de la TRI II

• En otras palabras, la función describe en términosprobabilísticos como una persona con un nivel alto dehabilidad es factible que responda a diferentes categorias derespuesta de un ítem, en comparación con otra persona quetiene un nivel bajo de la misma habilidad.

• Es posible considerar a la TRI como una extensión de la TeoríaClásica de los Test (TCT), que surge de manera formal con lostrabajos iniciales de Lawley (1943) y Lord y Novick (1968),con la �nalidad de superar las limitaciones prácticas quepresenta la TCT.


PeruStat





Características de los Modelos TRI I

• La unidad de análisis en la TRI es el ítem.• Las CCI permiten: Modelo de respuesta no lineal que registrasimultáneamente las diferencias entre personas y las diferenciasentre los ítems, así como registrar la probabilidad de elegir unítem correctamente dependen (al menos) de la habilidad delsujeto y de la di�cultad del ítem.

• Los ítems tienen características distintas.• Tener ítems que di�eren en sus propiedades es algo bueno.• El error no es una característica estática de todo elinstrumento o test

• Fiabilidad varia a lo largo de la escala. Si el modelo ajusta, laescala de habilidad (Theta) es del tipo lineal/intervalar

• Da soporte para operaciones matemáticas aplicadas a escalasde medición de intervalo.


PeruStat





CCI: Curvas Características del Ítem


PeruStat







PeruStat





Consideraciones preliminares I

• Los modelos politómicos de la Teoría de Respuesta al Ítem (TRIP)asumen que la secuencia de variables aleatorias con respuestapolitómica asociada con la respuesta a j ítems de un test soncondicionalmente independientes dado ui, la variable latenterelacionada con la habilidad o rasgo latente del individuo i.

• La relación entre la probabilidad de que un sujeto evaluadoresponda a un ítem de una manera determinada con la posición quetiene dicho sujeto en la escala de la habilidad que el ítem estámidiendo es descrita a través de una función monótona decrecientellamada Función de Respuesta a las Etapas del Ítem (FREI).

• Los Modelos de Respuesta Graduada (GRM) de la TRIP, propuestospor Samejima (1969, 1972), están diseñados especialmente paraaplicarse en instrumentos con atributos politómicos ordinales.

• En los GRM tradicionalmente se utilizan FREI simétricas y que demanera particular corresponden al modelo de respuesta graduadalogístico de dos parámetros (2PL-GRM).


PeruStat





Consideraciones preliminares II

• En este estudio se propone usar FREI asimétricas considerando unnuevo parámetro de ítem que controle la forma de la curvatura demanera similar a lo planteado en modelos dicotómicos porSamejima (2000), Bazán et al. (2006) y Bolfarine y Bazán (2010).

• La aplicación práctica de los GRM en este trabajo está enfocada enel área de calidad de servicios, al ser común el uso de instrumentoscon atributos politómicos ordinales con la �nalidad de estimarvariables latentes como la satisfacción y la lealtad de clientes.

• El impacto académico es alto, ya que a nivel internacional inclusiveexisten pocas investigaciones aplicando modelos de la TRI en el áreade la calidad de servicios.


PeruStat





Justi�cación I

• En el ámbito local, la medición de la satisfacción de losclientes es algo relativamente nuevo para muchas empresasque principalmente se orientan en objetivos �nancieros,mientras que aquellas que si le dan importancia suelen aplicarmodelos estadísticos que no son los más apropiados para eltipo de escala de medición considerada.

• Al ser tanto la satisfacción como la lealtad variables latentes,estas son medidas a través de cuestionarios conformados poratributos con respuestas múltiples, por lo general del tipopolitómico (varias categorías de respuesta ordenadas o no),debido a que permiten producir mayor información sobre elnivel de actitud y percepción que tienen los clientes, adiferencia de las escalas dicotómicas (Singh et al., 1990).


PeruStat





Justi�cación II

• A pesar de las ventajas mostradas por la Teoría de Respuestaal Ítem (TRI) en psicometría para estudiar instrumentos concaracterísticas similares (Lord y Novick, 1968; Pasquali, 2009),esta no ha sido aplicada regularmente en la medición de lasatisfacción y lealtad de los clientes.

• La TRI ya es un importante área de trabajo en Estadísticacomo se puede ver en Rao y Sinharay (2007).

• Existen pocos antecedentes de la aplicación de la TRI enestudios de satisfacción de clientes. Esto es especialmenteverdadero considerando que los trabajos De Battisti et al.(2005, 2010, 2012); Nicolini (2006) se basan en la aplicacióndel modelo Rash de Crédito Parcial.


PeruStat





Justi�cación III

• Esta presentación se basa en el trabajo de tesis de maestría enEstadística de la PUCP realizado bajo la asesoría de JorgeBazán y en los trabajos recientemente presentados porTarazona y Bazán (2011, 2012) extendiéndolo para el caso deconsiderar enlaces alternativos bajo inferencia bayesiana. Paraeste propósito la implementación computacional de losmodelos a proponer será desarrollada usando programas deacceso libre como R (R Core Team, 2012) y WinBUGS (Lunnet al., 2000).


PeruStat





Presentación y Racionalidad

Sea un conjunto de i = 1, . . . , n sujetos evaluados con uninstrumento de j = 1, . . . , J ítems con m categorías de respuestapolitómica ordinal. El Modelo de Respuesta Graduada General osimplemente Modelo de Respuesta Graduada (GRM) es de�nidocomo:

Yij | ui, ξj ∼ Categórica (Pij1, . . . , Pijm)

Pijk ≡ Pjk(ui) ≡ P (Yij = k | ui, ξj) = P acijk − P acij(k−1)

P acijk ≡ P acjk (ui) ≡ P (Yij ≤ k | ui, ξj) = F (ηijk)

ηijk = aj (bjk − ui)−∞ = bj0 < bj1 < . . . < bj(m−1) < bjm =∞

i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m


PeruStat





Observaciones

• Es posible tener un modelo más general considerando un númeromj diferente de categorías para cada ítem.

• Si se considera de que P acij0 = 0 y P acijm = 1, se tiene que:

Pijk =

F (ηijk) si k = 1F (ηijk)− F

(ηij(k−1)

)si 2 < k < m

1− F(ηij(k−1)

)si k = m

• Se recomienda usar la siguiente parametrización para el predictorlatente lineal cuando se aplique la Inferencia Bayesiana debido a uncriterio de optimización computacional:

ηijk = κjk − ajui

La di�cultad puede obtenerse: bjk =κjk

aj.


PeruStat





Ejemplo de Ítem con escala gradual


PeruStat





Extensión de un modelo binario

Las respuestas de los individuos presentadas pueden ser expresadascomo:

Wijk ={

1 Yij = k0 otros casos

De lo que se sigue que es equivalente expresar:

Pijk = P (Yij = k | ui, ξj) = P (Wijk = 1 | ui, ξj)

Por lo que Wijk ∼ Bernoulli (Pijk)


PeruStat





Aumentación de DatosSea Zij una variable continua auxiliar subyacente a la variablealeatoria de respuesta ordinal Yij de tal forma que:

Yij ={k τj(k−1) < Zij < τjk0 otros casos

donde T = (τj0, τj1, . . . , τjm) son puntos de corte que limitan a Zij ,con τj0 = −∞ y τj0 =∞. Con �nes inferenciales Zij es expresadacomo una regresión en función de Ui resultando:

Zij = vj + λjui + εij

Dado lo anterior es posible demostrar que:

P (Yij = k | ui, ξj) =

∫ τjk

τj(k−1)

f (Zij | ui) dZij | ui


PeruStat





Clasi�cación de los Modelos de Respuesta Graduada

GRM simétricos1 La regresión de Zij en función de Ui es

lineal.

2 La función de densidad condicionalf(Zij | ui) puede ser cualquier distribuciónde densidad condicional simétrica oasimétrica con tal que se mantenga paratodos los valores �jos de Ui.

3 La varianza σ2εij

es la misma para todo Ui.

GRM asimétricos1 σ2

εijes heterocedástica (varía a lo largo de

Ui). Ver Figura (b)

2 La distribución de Ui es asimétrica. VerFigura (c)

3 La distribución de Zij | ui es asimétrica. VerFigura (d).


PeruStat





Supuestos del Modelo de Respuesta GraduadaDe acuerdo con Azevedo (2003):• (S1) Las respuestas provenientes de individuos distintos son

independientes entre si.

P (Y = y | ui, ξj) =

n∏i=1

P (Yi. = yi. | ui, ξj)

• (S2) Las respuestas Yi. del individuo i en los J ítems son independientes(independencia local).

P (Yi. = yi. | ui, ξj) =J∏

j=1

P (Yij = yij | ui, ξj)

• (S3) La probabilidad de la respuesta yij puede ser representada por unmodelo multivariado de Bernoulli

P (Yij = yij | ui, ξj) = P (Wij. = wij. | ui, ξj) =m∏

k=1

[Pijk]wijk


PeruStat





Características de los modelos de respuesta graduadaFunción de Respuesta a las Etapas del Ítem (FREI)

P+jk(ui) ≡ P (Yij ≥ k | ui, ξj) = 1− F (ηijk)

Función de Respuesta a las Categorías del Ítem (FRCI)

Pjk (ui) ≡ P (Yij = k | ui, ξj) = P+jk (ui)− P+

j(k+1) (ui)

Función Básica (FB)

Ajk(ui) ≡∂

∂uilogPjk(ui) = [Pjk(ui)]

−1 ∂

∂uiPjk(ui)

Función de Información de las Respuestas de los Ítems (FIRI)

Ijk(ui) = − ∂

∂uiAjk(ui) = − ∂2

∂u2i

logPjk(ui)


PeruStat





Funciones de Información de FisherSe de�ne a la Función de Información de un Ítem (FII) como:

Ij(U) =

m∑k=1

[P′

jk(u)]2

Pjk

En consecuencia, la Función de Información del Test (FIT) será:

I(U) =

K∑j=1

Ij(U)

y la función para el error estándar estará dada por:

SE (U) =

J∑j=1

Ij(U)

− 12

=1√I (U)


PeruStat





De�nición del Modelo 2PL-GRM


P acijk ≡ P (Yij ≤ k | ui, ξj) = Ψ (ηijk) =1

1 + e−ηijk

Pijk ≡ P (Yij = k | ui, ξj) =

Ψ (ηijk) si k = 1Ψ (ηijk)−Ψ

(ηij(k−1)

)si 2 < k < m

1−Ψ(ηij(k−1)

)si k = m

ηijk = aj (bjk − ui)−∞ = bj0 < bj1 < . . . < bj(m−1) < bjm =∞

i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m


PeruStat





Características del Modelo 2PL-GRM

Función de Respuesta a lasEtapas del Ítem (FREI)

P+jk(ui) = Ψ (−ηijk) =

1

1 + eηijk

ηijk = aj (bjk − ui)

i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m

En la Figura se muestra las FREI para tres ítems de5 categorías graduadas con umbrales b =(-1.5, -0.5,0.5, 1.5) para los tres casos y con tres parámetrosde discriminación distintos para cada �gura: 0.8, 1.6y 2.4 (re�ejando una discriminación baja, promedioy alta).

−4 −2 0 2 4

0.2

0.4

0.6

0.8

1.0

Habilidad (u)

Pro

babi

lidad

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

Habilidad (u)

Pro

babi

lidad

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

Habilidad (u)

Pro

babi

lidad


PeruStat





Características del Modelo 2PL-GRM II

Función de Respuesta a lasCategorías del Ítem (FRCI)

Pjk (ui) =1

1 + e−ηijk− 1

1 + e−ηij(k−1)


i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m

En la Figura se muestra las las FRCI del Modelo2PL-GRM para seis ítems de 5 categorías con dosparámetros de discriminación aj = 0.8 y 2.4, y trescon�guraciones de parámetros de di�cultadre�ejando diferentes niveles: (i)bjk=-3.0,-1.5, -0.5 y1.0 (ii)bjk=-1.5, -0.5, 0.5 y 1.5 y (iii) bjk=-1.0, 0.5,1.5 y 3.0.

−4 −2 0 2 4

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Habilidad (u)

Pro

babi

lidad

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

Habilidad (u)

Pro

babi

lidad

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

Habilidad (u)

Pro

babi

lidad

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

Habilidad (u)

Pro

babi

lidad

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

Habilidad (u)

Pro

babi

lidad

−4 −2 0 2 4

0.0

0.2

0.4

0.6

0.8

1.0

Habilidad (u)

Pro

babi

lidad


PeruStat





Función de Información del Ítem (FII)

Ij(U) = a2j

m∑k=1

{[Ψ(ηijk

)] [1 − Ψ

(ηijk

)]−[Ψ(ηij(k−1)

)] [1 − Ψ

(ηij(k−1)

)]}2Ψ(ηijk

)− Ψ

(ηij(k−1)

)

−6 −4 −2 0 2 4 6

0.0

0.5

1.0

1.5

Habilidad (u)

Info

rmac

ión

Ítem 1

Ítem 2

Ítem 3

Ítem 4

Ítem 5

Ítem 6


PeruStat





De�nición del Modelo LPE-GRM


P acijk = [Ψ (ηijk)]dj =

1

(1 + e−ηijk)dj

Pijk ≡ P (Yij = k | ui, ξj) =

[Ψ (ηijk)]

dj si k = 1

[Ψ (ηijk)]dj −

[Ψ(ηij(k−1)

)]djsi 2 < k < m

1−[Ψ(ηij(k−1)

)]djsi k = m


−∞ = bj0 < bj1 < . . . < bj(m−1) < bjm =∞

i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m


PeruStat





Interpretación del Parámetro de Asimetría dj

• Si 0 < dj < 1, para una categoría en particular, los individuos conniveles de habilidad muy bajo tienen mayor probabilidad de elegir lascategorías superiores del ítem en relación al caso simétrico.Mientras más cercano a 0 esté dj , las probabilidades de elegircategorías superiores son boni�cadas y la habilidad es penalizadarespecto al caso de ausencia de asimetría. El ítem es consideradomenos complejo.

• Si 1 < dj <∞, para una categoría en particular, los individuos conniveles de habilidad muy altos tienen una menor probabilidad deelegir las categorías superiores del ítem en relación al caso simétrico.Cuanto más sea dj > 0, las probabilidades de elegir categoríassuperiores son penalizadas y la habilidad es boni�cada respecto alcaso de ausencia de asimetría. El ítem es considerado máscomplejo.

• Si dj = 1, no se cumplen ninguno de los principios anteriores y lascaracterísticas del modelo son similares a las del caso logístico dedos parámetros.


PeruStat





Características del Modelo LPE-GRM

Función de Respuesta a las Etapas del Ítem (FREI)

P+jk(ui) = 1− [Ψ (ηijk)]

dj = 1− 1

(1 + e−ηijk)dj

ηijk = aj (bjk − ui)i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m


Pjk (ui) =1

(1 + e−ηijk)dj− 1

(1 + e−ηij(k−1))dj

ηijk = aj (bjk − ui)i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m


PeruStat





Función de Respuesta a las Etapas del Ítem (FREI)

−6 −4 −2 0 2 4 6

0.0

0.4

0.8

Item 1: a=2.4, b=(−3.0, −1.5, −0.5, 1.0) y d=0.3

Habilidad (u)

Pro

babi

lidad

−6 −4 −2 0 2 4 6

0.0

0.4

0.8

Item 2: a=2.4, b=(−1.0, 0.5, 1.5, 3.0) y d=0.3

Habilidad (u)

Pro

babi

lidad

−6 −4 −2 0 2 4 6

0.0

0.4

0.8

Item 3: a=2.4, b=(−3.0, −1.5, −0.5, 1.0) y d=1.0

Habilidad (u)

Pro

babi

lidad

−6 −4 −2 0 2 4 6

0.0

0.4

0.8

Item 4: a=2.4, b=(−1.0, 0.5, 1.5, 3.0) y d=1.0

Habilidad (u)P

roba

bilid

ad

−6 −4 −2 0 2 4 6

0.0

0.4

0.8

Item 5: a=2.4, b=(−3.0, −1.5, −0.5, 1.0) y d=8.0

Habilidad (u)

Pro

babi

lidad

−6 −4 −2 0 2 4 6

0.0

0.4

0.8

Item 6: a=2.4, b=(−1.0, 0.5, 1.5, 3.0) y d=8.0

Habilidad (u)

Pro

babi

lidad


PeruStat






−6 −4 −2 0 2 4 6

0.0

0.4

0.8

Item 1: a=2.4, b=(−3.0, −1.5, −0.5, 1.0) y d=0.3

Habilidad (u)

Pro

babi

lidad

−6 −4 −2 0 2 4 6

0.0

0.4

0.8

Item 2: a=2.4, b=(−1.0, 0.5, 1.5, 3.0) y d=0.3

Habilidad (u)

Pro

babi

lidad

−6 −4 −2 0 2 4 6

0.0

0.4

0.8

Item 3: a=2.4, b=(−3.0, −1.5, −0.5, 1.0) y d=1.0

Habilidad (u)

Pro

babi

lidad

−6 −4 −2 0 2 4 6

0.0

0.4

0.8

Item 4: a=2.4, b=(−1.0, 0.5, 1.5, 3.0) y d=1.0

Habilidad (u)P

roba

bilid

ad

−6 −4 −2 0 2 4 6

0.0

0.4

0.8

Item 5: a=2.4, b=(−3.0, −1.5, −0.5, 1.0) y d=8.0

Habilidad (u)

Pro

babi

lidad

−6 −4 −2 0 2 4 6

0.0

0.4

0.8

Item 6: a=2.4, b=(−1.0, 0.5, 1.5, 3.0) y d=8.0

Habilidad (u)

Pro

babi

lidad


PeruStat





Función de Información del Ítem (FII)

Ij(U) = (ajdj)2

m∑k=1

{[Ψ (ηijk)]dj [1−Ψ (ηijk)]−

[Ψ(ηij(k−1)

)]dj [1−Ψ(ηij(k−1)

)]}2

[Ψ (ηijk)]dj −[Ψ(ηij(k−1)

)]dj

−6 −4 −2 0 2 4 6

0.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

Habilidad (u)

Info

rmac

ión

Ítem 1

Ítem 2

Ítem 3

Ítem 4

Ítem 5

Ítem 6


PeruStat





Función de Verosimilitud

L (y | u, ξ) = f (y | u,a,b) =

n∏i=1

J∏j=1

m∏k=1

[Pijk]wijk

=

n∏i=1

J∏j=1

m∏k=1

[Ψ (ηijk)−Ψ

(ηij(k−1)

)]wijk

=

n∏i=1

J∏j=1

m∏k=1

[1

1 + e−aj(bjk−ui)− 1

1 + e−aj(bj(k−1)−ui)

]wijk

=

n∏i=1

J∏j=1

m∏k=1

[1

1 + e−(κjk−ajui)− 1

1 + e−(κj(k−1)−ajui)

]wijk


PeruStat





Especi�cación de Prioris I

Para la especi�cación de la distribución a priori conjunta de losparámetros de las personas y de los ítems se asume que existe unaestructura de prioris independientes del siguiente modo:

P (u,a, κ | y) =

n∏i=1

P (ui)

J∏j=1

P (aj)

m∏k=1

P (κjk)

donde P (ui) es la fdp de la distribución normal estándar. P (aj) yP (κjk) son las fdp de las prioris para los parámetros aj y κjkrespectivamente.

• Para el vector de parámetros de las personas (habilidades)Bazán (2005) considera una distribución normal eindependiente

ui ∼ N (0, 1)


PeruStat





Especi�cación de Prioris II

• El parámetro de discriminación tiene una distribución a priori

aj ∼ N+

(µa, σ

2a

)Sahu (2002) y Patz y Junker (1999) recomiendan usar losvalores de µa = 1 y σ2

a = 0.5 para las constantes anteriores.Con estos valores se espera obtener E [aj ] = 1.1126 yV [aj ] = 0.3747.


PeruStat





Especi�cación de Prioris III

• Las prioris para los parámetros de transición deben registrar larestricción de orden κj1 < ... < κj,m−1. Por lo anterior, estaspueden ser inducidas de�niendo parámetros auxiliares sinrestricciones κ∗j1, ..., κ

∗j,m−1 tales que:

κ∗jk ∼ N(µk, σ

2k

)para k = 1, ...,m− 1; teniendo �nalmente que κjk = κ∗j,[k]. Se

propone usar los valores de µk = 0 y σ2k = 2 siguiéndo a Sahu

(2002) y Patz y Junker (1999), con lo que se espera obtener

E[κ∗jk

]= 0 y V

[κ∗jk

]= 2


PeruStat





Estimación MCMC


PeruStat





Estimación MCMC

y | ui, ajκjk ∼ Categórica(Ψ (κjk − ajui)−Ψ

(κj(k−1) − ajui

))ui ∼ N (0, 1)

aj ∼ N+ (1, 0.5)

κ∗jk ∼ N (0, 2)

i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m


PeruStat





Función de Verosimilitud

L (y | u, ξ) = f (y | u,a,b,d) =

n∏i=1

J∏j=1

m∏k=1

[Pijk]wijk

=

n∏i=1

J∏j=1

m∏k=1

[[Ψ (ηijk)]

dj −[Ψ(ηij(k−1)

)]dj]wijk

=

n∏i=1

J∏j=1

m∏k=1

[1(

1 + e−aj(bjk−ui))dj − 1(

1 + e−aj(bj(k−1)−ui))dj]wijk

=

n∏i=1

J∏j=1

m∏k=1

[1(

1 + e−(κjk−ajui))dj − 1(

1 + e−(κj(k−1)−ajui))dj]wijk


PeruStat





Especi�cación de Prioris I

Para la especi�cación de la distribución a priori conjunta de losparámetros de las personas y de los ítems se asume que existe unaestructura de prioris independientes del siguiente modo:

P (u,a, κ |,dy) =

n∏i=1

P (ui)

J∏j=1

P (aj)P (dj)

m∏k=1

P (κjk)

donde P (ui) es la fdp de la distribución normal estándar. P (aj),P (κjk) y P (dj) son las fdp de las prioris para los parámetros aj ,κjk y dj respectivamente.Al igual que para el modelo 2PL-GRM, es recomendable de�nirprioris informativas y se usan las mismas prioris para ui, aj y κjk.


PeruStat





Especi�cación de Prioris II

Para el parámetro de asimetría se de�ne dj = egj donde

gj ∼ N(µg, σ

2g

)Usando los valores de µg = 0 y σ2

a = 0.5 se espera obtenerE [dj ] = e2×0+ 0.5

2 = 1.2840 y V [dj ] =(e0.5 − 1

)e0.5 = 1.0696


PeruStat





Estimación MCMC

y | ui, aj , κjk, dj ∼ Categórica(

[Ψ (κjk − ajui)]dj −[Ψ(κj(k−1) − ajui

)]dj)ui ∼ N (0, 1)

aj ∼ N+ (1, 0.5)

κ∗jk ∼ N (0, 2)

dj ∼ lnN (0, 0.5)

i = 1, . . . , n, j = 1, . . . , J, k = 1, . . . ,m


PeruStat





Criterios de Comparación de Modelos con resultados MCMCLos principales criterios usando en este trabajo son el criterio de información dedesvío (DIC, Deviance Information Criterion) propuesto por Spiegelhalter et al.(2002), el criterio de información bayesiana de Schhwarz (BIC, BayesianInformation Criterion) y el criterio de Akaike (AIC, Akaike InformationCriterion). El DIC puede ser hallado a través de:

DIC = Dbar −Dhat = Dbar + 2pD

donde pD es el número efectivo de parámetros, Dbar es el esperado del desvíobayesiano a posteriori (posterior mean of the deviance ) y Dhat es el desvíobayesiano de las medias (deviance of posterior mean). Los esperados del AIC ydel BIC también son posibles de hallar a través de:

EAIC = Dbar + 2p

EBIC = Dbar + plog (N)

donde p es el número de parámetros en el modelo, N = n ∗ J es el númerototal de observaciones. Valores pequeños indicarán un mejor ajuste.


PeruStat





Implementación Computacional en R y WinBUGS

Función Descripciónrgrm.pirt() Función en R para Simular respuestas aleatorias basadas en los

modelos 2PL-GRM y LPE-GRM adaptado de (Rizopoulos, 2006).pgrm.pirt() Función en R que calcula para cada categoría de un ítem las prob-

abilidades acumuladas con los Modelos de Respuesta Graduada.grmMCMC Función en R para realizar la estimación bayesiana usando MCMC

en WinBUGS.frei.grm.pirt() Función en R para grá�car la Función de Respuesta a las Etapas

del ítem (FREI) para los Modelos de Respuesta Graduada (GRM).frci.grm.pirt() Función en R para grá�car la Función de Respuesta a las Cate-

gorías del ítem (FRCI) para los Modelos de Respuesta Graduada(GRM).

fii.grm.pirt() Función en R para grá�car la Función de Información de los Ítems(FII) para los Modelos de Respuesta Graduada (GRM).

grm_l.bug Programa en BUGS para realizar la inferencia del Modelo 2PL-GRM .

grm_lpe.bug Programa en BUGS para realizar la inferencia del Modelo LPE-GRM .


PeruStat





Objetivos de la Simulación

• Simular un conjunto de datos politómicos ordinales generado apartir del Modelo de respuesta Graduada Logístico de dosparámetros (2PL-GRM).

• Evaluar la precisión del método MCMC en la recuperación delos parámetros de los ítems y las habilidades del Modelo derespuesta Graduada Logístico de dos parámetros (2PL-GRM).


PeruStat





Algoritmo para simular los datos

1 De�nir la cantidad de sujetos n, cantidad de ítems J y elnúmero de categorías de respuesta por cada ítem m.

2 Generar los parámetros del modelo: Se simulan los parámetrospara las personas tal que ui ∼ N (0, 1) y los parámetros de losítems son �jados utilizando estimaciones obtenidas en ítemscon instrumentos ya calibrados con el �n de asegurar que lasimulación sea más real (Harwell et al., 1996) y con el �n deminimizar el error experimental (Kieftenbeld y Natesan, 2012).

3 Calcular para cada uno de las P acijk y las Pijk.

4 Simular para cada uno de los n individuos la respuesta en cadaítem. Para ello se toma una muestra aleatoria simple de unaobservación para una población de m elementos conprobabilidades iguales a las calculadas en el paso anterior(Pijk).


PeruStat





Características de la SimulaciónMétodo para Estimar los parámetros

1 La estimación de los parámetros se realizó usando la inferenciabayesiana mediante la estimación MCMC con el algoritmo deMetropolis-Hastings.

Criterios para evaluar la simulación

1 La precisión en la recuperación de los parámetros fue evaluadausando el sesgo, la raíz del error cuadrático medio (RMSE) y elpromedio del error absoluto (MAE).

2 Dentro de cada réplica también se calcularon las correlaciones entrelos valores estimados y los parámetros generados.

Escenario1 Se consideraron J = 20 ítems con m = 5 categorías de respuestas

para n = 500 individuos.2 Los parámetros de los ítems fueron �jados usando los valores

obtenidos de un conjunto de ítems calibrados del MinnesotaSatisfaction Questionnaire.


PeruStat





Resultados I

Ítem b1 b2 b3 b4 a1 -0.128 -0.049 0.009 0.119 -0.0302 -0.052 0.016 0.056 0.087 -0.0523 -0.042 0.049 0.053 0.091 -0.0324 0.050 0.051 0.073 0.036 -0.0085 0.002 0.021 0.068 0.113 -0.0356 -0.066 0.006 0.067 0.171 -0.0697 0.130 0.120 0.110 0.068 0.0178 -0.060 -0.013 0.022 0.102 -0.0609 -0.004 0.060 0.077 0.071 -0.017

10 0.022 0.057 0.085 0.108 -0.07611 0.005 0.078 0.122 0.098 -0.03312 -0.043 0.021 0.047 0.148 -0.01813 0.035 0.035 0.078 0.081 -0.09814 0.027 0.037 0.032 0.061 -0.01615 0.036 0.071 0.090 0.102 -0.11116 0.033 0.060 0.083 0.090 -0.09417 0.064 0.036 0.054 0.076 -0.02818 -0.017 0.001 0.027 0.072 0.00119 0.014 0.082 0.078 0.091 -0.01020 0.001 0.015 0.059 0.087 -0.157

Table : Sesgo en la recuperación de parámetros de los ítems


PeruStat





Resultados II

Parámetro RMSE MAE rb1 0.218 0.181 0.973b2 0.152 0.123 0.984b3 0.114 0.095 0.991b4 0.194 0.155 0.937a 0.125 0.104 0.967U 0.280 0.227 0.962

Table : Resultados del promedio de la Raíz del error cuadrático medio(RSME), la Media absoluta del error (MAE) y la correlación (r) de losparámetros estimados en la simulación del Modelo de RespuestaGraduada Logístico (2PL-GRM) considerando R = 20 réplicas


PeruStat





Planteamiento I

• El estudio y la medición de la calidad es uno de los elementosmás importantes para poder determinar el valor de laspropuestas de productos y servicios.

• De este modo se hace necesario no solo el hecho de tener encuenta las expectativas de los clientes sobre la calidad, sinotambién desarrollar una forma e�ciente y precisa de podercuanti�carla.

• Lewis y Booms (1983) de�nen a la calidad de servicios como"la medida de que tan bien el nivel del servicio prestadocoincide con las expectativas del cliente".

• Como menciona Allen (2004) dentro de los esfuerzos pormejorar la calidad de servicios y alinearlos a las expectativas delos clientes, surgen dos componentes muy importantes: lamedición de la satisfacción y de la lealtad por parte de losclientes.


PeruStat





Satisfacción y Lealtad I

• La satisfacción de un cliente, un término comúnmente usadoen Marketing, puede ser de�nida como una medida de "larespuesta a la expectativa del cliente o el juicio acerca de queun rasgo del producto o servicio, o de que un producto oservicio en sí mismo, proporciona un nivel placentero derecompensa que se relaciona con el consumo" (Oliver, 1980).

• Por otro lado, la lealtad es un estado de actitud dirigida haciauna organización y los servicios o productos que esta ofrece, yque se traduce en comportamientos deseables, como larecompra o la permanencia del cliente (Allen, 2004).


PeruStat





Satisfacción: Resultado o Proceso


PeruStat





Satisfacción: Enfoques


PeruStat





Determinantes de la Satisfacción de Clientes


PeruStat





Satisfacción, Lealtad y Rentabilidad


PeruStat





Cuestionario de Satisfacción


PeruStat





Aplicación en Calidad de Servicios

• La aplicación presentada en este trabajo se encuentrarelacionada al ámbito de la calidad de servicios, y de maneramás especí�ca, a la medición de la satisfacción de clientes.

• El objetivo de la aplicación es el de estimar la habilidad latentey los parámetros de los ítems con los Modelos 2PL-GRM yLPE-GRM, en una muestra de 5354 clientes de una empresade telecomunicaciones que se comunicaron con el Call Centerde atención al cliente por algún motivo (consulta, reclamo,pedido, etc.) usando la inferencia bayesiana basada en losmétodos de MCMC.


PeruStat





Instrumento de Medición

Ítem Descripción1 Facilidad de comunicarse con la central2 Utilidad de poder seleccionar el idioma3 Sencillez del menú de opciones4 Tiempo de espera hasta que se contestó la llamada5 Amabilidad y cordialidad del asesor6 Interés y compromiso por atender la llamada7 Capacidad o nivel de conocimiento del personal

para dar una solución8 Claridad de la información brindada9 Tiempo de atención10 Tiempo hasta que terminó la gestión11 Solución brindada a la gestión

Table : Ítems considerados dentro del cuestionario de satisfacción con laatención de un Call Center


PeruStat





Análisis de los Ítems desde la perspectiva de la TCT I

Dimensión Ítem Media S CITC Alfa

Accesibilidad (Alfa = 0.7413)1 6.628 2.904 0.602 0.6412 8.146 2.473 0.473 0.7153 7.430 2.539 0.559 0.6704 6.188 2.884 0.511 0.697

Desempeño del Asesor (Alfa = 0.9186)

5 8.582 2.149 0.667 0.9156 7.605 2.654 0.798 0.9017 7.439 2.745 0.810 0.9008 7.713 2.698 0.793 0.9029 7.280 2.634 0.709 0.91010 6.558 3.013 0.729 0.90911 7.081 3.194 0.763 0.906

Table : Análisis de ítems bajo la perspectiva clásica


PeruStat





Análisis de los Ítems desde la perspectiva de la TCT II

Satisfacción con la Accesibilidad

Por

cent

aje

5 10 15 20 25 30 35 40

0.00

0.01

0.02

0.03

0.04

0.05

Satisfacción con el Desempeño del Asesor

Por

cent

aje

10 20 30 40 50 60 70

0.00

0.01

0.02

0.03

0.04

0.05


PeruStat





Estimación de los Parámetros mediante los métodosdesarrollados

• Para la implementación de los modelos se utilizó la libreríaR2WinBUGS del software R y el programa WinBUGS.

• Los códigos desarrollados en WinBUGS fueron basados en lapropuesta de Curtis (2010), pero adaptados para lasnecesidades del estudio, en especial para el caso de losmodelos con enlace asimétrico.

• Para comparar la estimación realizada por los diferentesmodelos, se ejecutó la aplicación para 1500 iteracionesefectivas con tres cadenas (9 000 iteraciones por cadena, conun burning de las 4 000 primeras y un thin de 10) para cadamodelo planteado.


PeruStat





Estimación de los Parámetros de Discriminación del Modelo2PL-GRM


PeruStat





Estimación de los Parámetros de Di�cultad del Modelo2PL-GRM


PeruStat





Convergencia en la Estimación de los Parámetros delModelo 2PL-GRM


PeruStat





Estimación de los Parámetros de Discriminación del ModeloLPE-GRM


PeruStat





Estimación de los Parámetros de Di�cultad del ModeloLPE-GRM


PeruStat





Estimación de los Parámetros de Penalización del ModeloLPE-GRM


PeruStat





Convergencia en la Estimación de los Parámetros delModelo LPE-GRM


PeruStat





Medidas de comparación de los modelos


PeruStat





Diagramas de dispersión de las habilidades estimadas

−2 −1 0 1

−2

−1

01

Accesibilidad

u (Modelo LPE−GRM)

u (M

odel

o 2P

L−G

RM

)

−2 −1 0 1

−2

−1

01

Desempeño del Asesor

u (Modelo LPE−GRM)

u (M

odel

o 2P

L−G

RM

)


PeruStat





Funciones de Información de los Ítems (FII)

−6 −4 −2 0 2 4 6

0.0

0.5

1.0

1.5

Accesibilidad (2PL−GRM)

Habilidad (u)

Info

rmac

ion

−6 −4 −2 0 2 4 6

0.0

0.5

1.0

1.5

Accesibilidad (LPE−GRM)

Habilidad (u)

Info

rmac

ion

−6 −4 −2 0 2 4 6

01

23

Desempeño del Asesor (2PL−GRM)

Habilidad (u)

Info

rmac

ion

−6 −4 −2 0 2 4 6

01

23

Desempeño del Asesor (LPE−GRM)

Habilidad (u)

Info

rmac

ion


PeruStat





Estadísticos para las Escalas Finales de Satisfacción (ModeloLPE-GRM)

Medida DimensiónAccesibilidad Desempeño del Asesor

Media 0.003 0.043Mediana 0.005 0.049Desviación Estándar 0.889 15.74Asimetría -0.017 -0.135Curtosis -0.297 -0.476


PeruStat





Distribución de los Puntajes de las escalas de satisfacción(Modelo LPE-GRM)

Accesibilidad

Habilidad (u)

Fre

cuen

cia

−2 −1 0 1 2

020

040

060

080

010

00

Desempeño del Asesor

Habilidad (u)

Fre

cuen

cia

−3 −2 −1 0 1 2

020

040

060

080

010

00


PeruStat





Conclusiones I

• Debido a que no existe una presentación adecuada del Modelode Respuesta Graduada, este fue presentado de manera generalasí como sus propiedades y características más importantes.

• Se describe el Modelo 2PL-GRM que considera un enlacesimétrico en las FREI y Se propone, describe e implementa elModelo LPE-GRM como una extensión del Modelo 2PL-GRMconsiderando un enlace asimétrico.

• Se implementa la estimación de los parámetros de los modelosa través de la inferencia bayesiana con MCMC usando elsoftware WinBUGS.

• Se realizó un estudio de simulación para evaluar la precisióndel método MCMC en la recuperación de los parámetros delModelo 2PL-GRM considerando una muestra y test de tamañomediano con ítems de 5 categorías de respuesta, pudiéndoseconcluir que los parámetros fueron recuperados de maneraadecuada al presentar medidas de precisión aceptables.


PeruStat





Conclusiones II

• La aplicación fue realizada con datos de un estudio paraevaluar la satisfacción de los clientes de una empresa detelecomunicaciones con la atención recibida al llamar a un CallCenter. De los resultados obtenidos se concluye que:• Los Modelos 2PL-GRM y LPE-GRM fueron aplicados de

manera satisfactoria en el conjunto de datos del estudio.• A través del análisis de dimensionalidad de la escala se

encontró que el cuestionario evalúa dos dimensiones de lasatisfacción con la atención al cliente: la accesibilidad (4ítems) y el desempeño del asesor (7 ítems)

• Ambos modelos estudiados permitieron un análisis aprofundidad tanto de las propiedades de los ítems como de lasescalas de habilidades que se pretendían estimar.


PeruStat





Conclusiones III

• Se obtuvo un mejor ajuste y mayor información en elcuestionario usando el Modelo LPE-GRM.

• La mayoría de los ítems mostró una asimetría d < 1, aexcepción del Ítem 10, �tiempo hasta que se terminó lagestión�, el cual suele estar asociado a una etapa complicadadel proceso de atención al cliente.


PeruStat





Sugerencias para Investigaciones futuras I

• Se sugiere evaluar en estudios futuros el impacto de estascorrelaciones considerando un número mayor de cadenas a sersimuladas.

• Realizar un estudio de simulación de recuperación deparámetros para el Modelo LPE-GRM.

• Realizar estudios de simulación para evaluar el efecto deltamaño de muestra, número de ítems y el número decategorías de respuesta en la estimación de los parámetros delos modelos estudiados.

• Implementar la estimación de los modelos estudiados usando elesquema de datos aumentados.

• Considerar otros tipos de enlace asimétrico como el deexponente positivo recíproco (RLPE) propuesto por Bazánet al. (2010).


PeruStat





Sugerencias para Investigaciones futuras II

• Extender el estudio del Modelo de Respuesta Graduada para elcaso asimétrico considerando situaciones demultidimensionalidad .

• Optimizar el tiempo de estimación de los modelosconsiderando métodos de computación paralela incluidos en elsoftware R con las librerías bugsparallel y dclone.


PeruStat





Información Adicional

Para descargar la presentación:http://www.perustat.com/1239/coneestxv/


PeruStat





Bibliografía I

Allen, D. (2004). Customer Satisfaction Research Management: acomprehensive guide to integrating customer loyalty andsatisfaction metrics, ASQ Quality Press, Milwaukee.

Azevedo, C. (2003). Métodos de estimação na teoria de respostaao item, Master's thesis, IME-USP.

Bazán, J. (2005). Uma familia de modelos de resposta ao itemnormal asimétrica, Master's thesis, IME-USP.

Bazán, J., Branco, M. D. y Bolfarine, H. (2006). A skew itemresponse model., Bayesian Analysis 1: 861�892.

Bazán, J., Calderon, A. y Valdivieso, L. (2010). Enfoque bayesianoen modelos de teoria de respuesta al item, Reporte del Minicursodesarrollado en la I Jornada Internacional de Probabilidad yEstadistica. Lima, 3-5 de febrero de 2010.


PeruStat





Bibliografía II

Bolfarine, H. y Bazán, J. (2010). Bayesian estimation of the logisticpositive exponent irt model, Journal of Educational BehavioralStatistics pp. 693�713.

Curtis, S. M. (2010). BUGS Code for Item Response Theory,Journal of Statistical Software, Code Snippets 36: 1�34.

De Battisti, F., Nicolini, G. y Salini, S. (2012). The rasch model, inR. Kenett y S. Salini (eds), Modern Analysis of CustomerSurveys: with applications using R, John Wiley & Sons, Ltd,Chichester, UK, pp. 259�281.

De Battisti, F., Nicolini, G. y Salnini, S. (2005). The rash model tomeasure service quality, Journal of Services Marketing3(3): 58�80.


PeruStat





Bibliografía III

De Battisti, F., Nicolini, G. y Salnini, S. (2010). The rash model incustomer satisfaction survey data, Quality Technology andQuantitative Management 7(1): 15�34.

Hambleton, R. K., van der Linden, W. J. y Wells, C. S. (2010).IRT models for the analysis of polytomously scored Data. Briefand selected history of model building advances, in M. Nering yR. Ostini (eds), Handbook of Polytomous Item Response TheoryModels, Routledge Academic, London, UK, pp. 21�42.

Harwell, M., Stone, C., Hsu, T. y Kirisci, L. (1996). Monte carlostudies in item response theory, Applied PsychologicalMeasurement 20: 101�125.

Kieftenbeld, V. y Natesan, P. (2012). Recovery of graded responsemodel parameters: A comparison of marginal maximumlikelihood and markov chain monte carlo estimation, AppliedPsychological Measurement 36(5): 399�419.


PeruStat





Bibliografía IV

Lawley, D. N. (1943). On problems connected with item selectionand test construction, Proceedings of the Royal Society ofEdinburgh, Series A 23: 273�287.

Lewis, R. y Booms, B. (1983). The marketing aspects of quality,Emerging perspectives of services marketing pp. 99�107.

Lord, F. y Novick, M. (1968). Statistical theories of mental testscores (with contributions by Allen Birnbaum), Addison-Wesley,Reading, MA.

Lunn, D., Thomas, A., Best, N. y Spiegelhalter, D. (2000).WinBUGS - a Bayesian modeling framework: concepts, structure,and extensibility, Statistics and Computing 10: 325�337.

Nicolini, G. y Salini, S. (2006). Customer satisfaction in the airlineindustry: The case of british airways, Quality and ReliabilityEngineering International 22: 1�9.


PeruStat





Bibliografía V

Oliver, R. (1980). A cognitive model of the antecedents andconsequences of satisfaction decisions, Journal of MarketingResearch 42: 460�469.

Ostini, R. y Nering, M. (2006). Polytomous Item Response TheoryModels, Sage Publications, Thousand Oaks CA.

Pasquali, L. (2009). Psicometría: teoria dos testes na psicologia ena educaçao, Editora Vozes Ltda., Brasil.

Patz, R. J. y Junker, B. W. (1999). A straighforward approach tomarkov chain monte carlo methods for item response models,Journal of Educactional and Behavioral Statistics 24: 146�178.

R Core Team (2012). R: A Language and Environment forStatistical Computing, R Foundation for Statistical Computing,Vienna, Austria. ISBN 3-900051-07-0.URL: http://www.R-project.org/


PeruStat





Bibliografía VI

Rao, C. R. y Sinharay, S. (2007). Handbook of Statistics, Vol. 26:Psychometrics, Elsevier Science B.V., Amsterdam, TheNetherlands.

Rizopoulos, D. (2006). ltm: An R Package for Latent VariableModeling and Item Response Theory Analyses, Journal ofStatistical Software 17(5): 1�25.URL: "http://www.jstatsoft.org/v17i05/"

Sahu, S. K. (2002). Bayesian estimation and model choice in itemresponse models, Journal Statistical Computing Simulation72: 217�232.

Samejima, F. (1969). Estimation of latent ability using a responsepattern of graded scores, Psychometrica Monograph 17: 1�100.

Samejima, F. (1972). A general model of free-response data,Psychometrika Monograph 18.


PeruStat





Bibliografía VII

Samejima, F. (2000). Logistic positive exponent family of models:Virtue of asymmetric item characteristics curves, Psychometrika65: 319�335.

Singh, J., Howell, R. D. y Rhoads, G. K. (1990). Adaptive designsfor likert-type data: An approach for implementing marketingsurveys, Journal of Marketing Research 27(3): 304�321.

Spiegelhalter, D. J., Best, N., Carlin, B. y Van der Linde, A. (2002).Bayesian measures of model complexity and �t (with discussion),Journal of the Royal Statistical Society, Series B 64: 583�640.

Tarazona, E. y Bazán, J. L. (2011). Psychometric examination of acustomer satisfaction questionnaire using polytomous itemresponse theory models, Poster. Presentado en el 2◦ CongressoBrasileiro de Teoria de Resposta ao Item (II CONBRATRI).Salvador, Bahia.


PeruStat





Bibliografía VIII

Tarazona, E. y Bazán, J. L. (2012). Evaluación psicométrica de uncuestionario de satisfacción de clientes usando modelospolitómicos de la teoría de respuesta al Ítem, Poster. Presentadoen la II Jornada Internacional de Probabilidad y Estadística (JIPEII). Ponti�cia Universidad Católica del Perú, Lima.Febrero, 1-3.
