tema 6.2 evaluación del instrumento de medida: validez ii · 2019. 9. 30. · tema 6.2 evaluación...

TEM

A 6

.2:

VA

LID

EZ

II

PSICOMETRÍAPSICOMETRÍA

Tema 6.2 Evaluación del instrumento de medida:

VALIDEZ II

Salvador Chacón MoscosoSusana Sanduvete Chaves

Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material

TEM

A 6

.2:

VA

LID

EZ

II

2

Índice

1. Validación con varios predictores y un solo indicador del criterio1.1. El coeficiente de validez múltiple1.2. El modelo de regresión lineal múltiple

1.2.1. Ecuaciones de regresión1.2.2. La varianza residual y el error típico de estimación múltiple1.2.3. Intervalos de confianza

1.3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas

1.3.1. Coeficiente de determinación múltiple1.3.2. Coeficiente de alineación múltiple1.3.3. Coeficiente de valor predictivo múltiple

1.4. Métodos para seleccionar las variables predictoras más adecuadas

2. Validez y utilidad de las decisiones2.1. Índices de validez2.2. Índices de selección2.3. ¿Dónde situar el punto de corte?2.4. Modelos de selección

3. Factores que influyen en el coeficiente de validez3.1. Variabilidad de la muestra3.2. Fiabilidad de las puntuaciones del test y del criterio3.3. Longitud del test

4. Generalización de la validez5. Bibliografía comentada

TEM

A 6

.2:

VA

LID

EZ

II

3

1. Validación con varios predictores y un solo indicador del criterio

1.1. El coeficiente de validez múltiple

2

22

21

212121

21 1

2

XX

XXYXYXYXYXXY.X r

rrrrrR

Cuando tenemos varios predictores (dos por ejemplo), el análogo es la correlación múltiple que viene dada por:

Valor máximo: 1

El modelo de regresión lineal simple en la práctica es insuficiente raramente se utiliza una única variable predictora para tomar decisiones.

TEM

A 6

.2:

VA

LID

EZ

II

4

Se quiere averiguar si la fluidez verbal y la extraversión son variables que favorecen el número de ventas en comerciales de automóviles. Se ha seleccionado a una muestra de 6 vendedores que han sido evaluados por una prueba de extraversión (X1) y una prueba de fluidez verbal (X2). Calcular el coeficiente de validez

Y X1 X2

4 2 4

8 6 5

6 5 6

6 7 6

5 4 7

7 8 8



TEM

A 6

.2:

VA

LID

EZ

II

5

Y X1 X2 Y2 X12 X2

2 YX1 YX2 X1 X2

4 2 4 16 4 16 8 16 8

8 6 5 64 36 25 48 40 30

6 5 6 36 25 36 30 36 30

6 7 6 36 49 36 42 36 42

5 4 7 25 16 49 20 35 28

7 8 8 49 64 64 56 56 64

36 32 36 226 194 226 204 219 202



84,07,0R

7,065,01

65,0*3,0*79,0*23,079,0

1

2R

21

21

212121

21

XY.X

2

22

2

222

XY.X

XX

XXYXYXYXYX

r

rrrrr

Dado que el valor máximo del coeficiente de validez es 1, se puede decir que X1 y X2 tienen una buena capacidad predictiva.

TEM

A 6

.2:

VA

LID

EZ

II

6

65,0)36226*6)(32194*6(

36*32202*6

3,0)36226*6)(36226*6(

36*36219*6

79,0)36226*6)(32194*6(

36*32204*6

22

22

22

21

2

1

XX

YX

YX

r

r

r



2222 )()( YYNXXN

YXXYNrXY

TEM

A 6

.2:

VA

LID

EZ

II

7



YX1

X2

El problema es que los predictores, además de estar relacionados con el criterio, pueden estar relacionados entre sí, lo que plantea problemas con la predicción e interpretación de resultados.

¿En qué grado la variabilidad de Y se debe a X1 o X2, o a la interacción?

TEM

A 6

.2:

VA

LID

EZ

II

8

Una forma de controlarlo es mediante la correlación parcial y semiparcial.

1. Correlación parcial: permite interpretar el grado de correlación entre la variable criterio (Y) y una de las variables predictoras (por ejemplo, X1), eliminando del modelo a la otra variable predictora (en este ejemplo, X2).

)1)(1(R

22X.YX

212

2121

21

XXYX

XXYXYX

rr

rrr



TEM

A 6

.2:

VA

LID

EZ

II

9

2. Correlación semi-parcial: permite interpretar el grado de correlación entre la variable criterio (Y) y una de las variables predictoras (en el ejemplo, X1), una vez la otra variable predictora (en este ejemplo, X2) ya está en el modelo.

Ejemplo: con los datos anteriores, calcular las correlaciones parciales y semi-parciales.

2).

21

2121

21

1 XX

XXYXYXXY(X

r

rrrR

Y

X1

X2



TEM

A 6

.2:

VA

LID

EZ

II

10

46,0)65,01)(79,01(

65,0*79,03,0

)1)(1( 222

21

2

1

2112

1.2

XXYX

XXYXYX

XYXrr

rrrr

-Correlación parcial entre extraversión (X1) y ventas (Y):

82,072,0

59,0

)65,01)(3,01(

65,0*3,079,0

1)(1( 22)

2

21

2

2

2121

2.1

XXYX

XXYXYX

XYXrr

rrrr

La correlación entre extraversión y ventas (rYX1) era 0,79.

Eliminando la influencia de fluidez verbal, es 0,82; es decir, ha aumentado la fluidez verbal podría estar afectando negativamente.

-Correlación parcial entre fluidez verbal (X2) y ventas (Y):

La correlación entre ventas y fluidez verbal (rYX2) era 0,3. Eliminando

la influencia de extraversión, ahora es –0.46 la extraversión está afectando muy positivamente en la correlación.



TEM

A 6

.2:

VA

LID

EZ

II

11

78,076,0

59,0

65,01

65,0*3,079,0

1( 2)

2

21

2121)2.1(

XX

XXYXYX

XXYr

rrrr

En la medida de lo posible, hay que evitar correlaciones altas entre predictores (extraversión con fluidez verbal, rX1X2

= 0,65).

-Correlación semi-parcial entre extraversión (X1) y ventas (Y):

28,076,0

21,0

65,01

65,0*79,03,0

)1( 22

21

2112)1.2(

XX

XXYXYX

XXYr

rrrr

La correlación entre extraversión y ventas (rYX1) era 0,79. La

correlación entre extraversión y ventas una vez fluidez verbal estaba en el modelo, apenas varía (0,78).

-Correlación semi-parcial entre fluidez verbal (X2) y ventas (Y):

La correlación entre fluidez verbal y ventas (rYX2) era 0,30. La

correlación entre fluidez verbal y ventas una vez extraversión estaba en el modelo es -0.28.



TEM

A 6

.2:

VA

LID

EZ

II

12

Es habitual trabajar con múltiples predictores se pretende obtener una ecuación de predicción que pondere adecuadamente cada uno de los predictores para pronosticar el criterio, y eliminar los predictores que aportan poca información Regresión Lineal Múltiple (generalización de la simple).

inn XbXbXbaY ...2211

Donde:

a = ordenada en el origen.

b1, , b2 ,..., bn = coeficientes de regresión

; el error aleatorio.


1.2.El modelo de regresión lineal múltiple

TEM

A 6

.2:

VA

LID

EZ

II

13

En puntuaciones directas, con dos variables predictoras (X1 y X2):

221

2112

121

2121

*1

*1

22

21

X

Y

XX

XXYXYX

X

Y

XX

XXYXYX

S

S

r

rrrb

S

S

r

rrrb

:

X

YXY S

Srb

XbYa

simpleregresión

a: ordenada en el origen

2211ˆ XbXbaY

XbXbYa

Donde

2211

:


1.2.El modelo de regresión lineal múltiple1.2.1. Ecuaciones de regresión

TEM

A 6

.2:

VA

LID

EZ

II

14

En puntuaciones diferenciales:

En puntuaciones tipificadas:

2*2

2*1

*2

*1

21

2112

21

2121

21^

1

1

XX

XXYXYX

XX

XXYXYX

XXY

r

rrrb

r

rrrb

ZbZbZ

b1 y b2 son las mismas que en la ecuación de regresión para puntuaciones directas

2211

^

xbxby



Ejemplo: con los datos anteriores, calcular la ecuación de regresión en puntuaciones directas.

b*1 y b*2 se calcula como b1 y b2, pero sin multiplicar por SY/SX

TEM

A 6

.2:

VA

LID

EZ

II

1536,03,1

3,1*

65,01

65,0*79,03,0*

1

66

36

3,166

226

33,56

32

98,133,56

194

3,166

226

66,098,1

3,1*

65,01

65,0*3,079,0

1

66

36

64,416,252,366*)36,0(33,5*66,06

36,066,064,4ˆˆ

222

22

222

22

11

221

21

222

221

2211

212211

221

2112

2

1

121

2121

X

Y

XX

XXYXYX

X

X

Y

X

Y

XX

XXYXYX

S

S

r

rrrb

N

XX

XN

XS

N

XX

XN

XS

YN

YS

S

S

r

rrrb

N

YY

XbXbYa

XXYXbXbaY



Ejemplo: Predecir cuál sería la puntuación en el criterio (Y) para cada participante y su error de estimación asociado.

TEM

A 6

.2:

VA

LID

EZ

II

16

Y X1 X2 Y´=a+b1X1+ b2X2 Y’ e = Y-Y’

4 2 4 Y´=4,64+0,66*2 –0,36*4

4,52 (4-4,52)=-0,52

8 6 5 Y´=4,64+0,66*6 –0,36*5

6,8 1,2

6 5 6 Y´=4,64+0,66*5 –0,36*6

5,78 0,22

6 7 6 Y´=4,64+0,66*7 –0,36*6

7,1 -1,1

5 4 7 Y´=4,64+0,66*4 –0,36*7

4,76 0,24

7 8 8 Y´=4,64+0,66*8 –0,36*8

7,04 -0,04

36 32 36 36 0



Así, por ejemplo, a un participante que en extraversión obtuvo 2, y 4 en fluidez verbal, se le pronostica que venda aproximadamente 5 coches.

TEM

A 6

.2:

VA

LID

EZ

II

17

El coeficiente de validez indica la eficacia del predictor para estimar el criterio el coeficiente de validez múltiple indica por tanto la eficacia del conjunto de variables predictoras para estimar el criterio.

R Y.X1X2 Mejor serán las estimaciones del criterio error (Y-Y’)

A la varianza de todos los errores de estimación (Y-Y´) se le denomina Varianza residual o varianza del error

N

YYS XXY

22.

´)(21


1.2.El modelo de regresión lineal múltiple1.2.2. La varianza residual y el error típico de

estimación múltiple

)1( 2.

22. 2121 XXYYXXY RSS

TEM

A 6

.2:

VA

LID

EZ

II

18

Al igual que en el caso de la regresión simple, la varianza total de las puntuaciones obtenidas en el criterio puede descomponerse en la varianza de las puntuaciones pronosticadas más la varianza del error: 2

.2´

2

21XXYYY SSS

Error típico de estimación:

)1( 2.

2. 2121 XXYYXXY RSS


1.2.El modelo de regresión lineal múltiple1.2.2. La varianza residual y el error típico

de estimación múltiple

Ejemplo: calcular el error típico de estimación y comprobar la igualdad: 2

.2´

2

21XXYYY SSS

TEM

A 6

.2:

VA

LID

EZ

II

19




Y X1 X2 Y’ e = Y-Y’ Y’2 (Y-Y’)2

4 2 4 4,52 0,52 20,43 0,27

8 6 5 6,8 1,2 46,24 1,44

6 5 6 5,78 0,22 33,41 0,05

6 7 6 7,1 -1,1 50,41 1,21

5 4 7 4,76 0,24 22,66 0,06

7 8 8 7,04 -0,04 49,56 0,00

36 32 36 36 0 222,71 3,03

TEM

A 6

.2:

VA

LID

EZ

II

20

- Comprobar que 51,012,169,12.

2´

2

21 XXYYY SSS

66

36''

12,166

71,222 22'2'

2´

N

YY

YN

YSY

71,051,0

51,06

03,3)'(

21

21

.

22.

XXY

XXY

S

N

YYS

- Error típico de estimación múltiple.




69,13,1 22 YS

Calculado previamente para la ecuación de regresión

TEM

A 6

.2:

VA

LID

EZ

II

21

Debido a los errores de estimación, es más conveniente hacer estimaciones por intervalos que puntuales.

Ejemplo: con los datos anteriores, calcular en qué intervalo se estima se encontrará el número de coches vendidos (Y) para un comercial que obtuvo 5 en extraversión (X1) y 6 en fluidez verbal (X2) (NC = 95%).

)1(

58,2%)99(

96,1%)95(

*max

'

max'

2.

2.

.

2211

2121

21

XXYYXXY

C

C

XXYC

RSS

NCZ

NCZ

SZE

XbXbaY

EYLim

Error típico de estimación


1.2.El modelo de regresión lineal múltiple1.2.3. Intervalos de confianza

TEM

A 6

.2:

VA

LID

EZ

II

22

71,0

96,1%)95(

39,171,0*96,1*max

78,56*36,05*66,064,4'

39,4

17,739,178,5max'

21

21

.

.

2211

XXY

C

XXYC

S

NCZ

SZE

XbXbaY

EYLim

Error típico de estimación calculado en el ejercicio anterior


1.2.El modelo de regresión lineal múltiple1.2.3. Intervalos de confianza

TEM

A 6

.2:

VA

LID

EZ

II

23

Equivale al coeficiente de validez al cuadrado y representa la proporción de varianza de las puntuaciones de los participantes en el criterio que se puede pronosticar a partir del conjunto de variables predictoras.

2

2´2

. 21..

Y

YXXY S

SRDC

Los posibles valores del C.D. se encuentran entre 0 y 1.

Cuando la varianza del error es pequeña, implica que los valores pronosticados de Y’ están próximos a los reales el error típico de estimación será pequeño y por tanto el C.D tomará valores próximos a uno.

Expresa la proporción de variación de Y ligada a las variables predictoras, determinada por las

variables predictoras, explicada por las variables predictoras, o que se puede predecir a partir de

las variables predictoras.

1.3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas1.3.1. Coeficiente de determinación múltiple

TEM

A 6

.2:

VA

LID

EZ

II

24

Indica la proporción que representa el error típico de estimación múltiple respecto a la desviación típica de las puntuaciones en el criterio. Es la inseguridad, el azar que afecta a los pronósticos.

2.

.

21

21 1.. XXYY

XXY RS

SKAC

Los posibles valores del C.A. se encuentran entre 0 y 1.

Cuando la varianza del error es alta, implica que los valores pronosticados de Y’ están lejos de los reales el error típico de estimación será elevado y por tanto el C.A. tomará valores próximos a uno.

C.A.2 expresa la proporción de variación de Y que no está ligada al conjunto de variables

predictoras, determinada por las variables predictoras, explicada por las variables

predictoras, o que no se puede predecir a partir de ellas.

1.3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas1.3.2. Coeficiente de alienación múltiple

TEM

A 6

.2:

VA

LID

EZ

II

25

..111... 2. 21

ACRPVC XXY

Los posibles valores del C.V.P. se encuentran entre 0 y 1.

Cuando mayor sea el C.A., menor será la capacidad del test para pronosticar el criterio.

Ejemplo: con los datos anteriores, calcular el C.D., el C.A. y sus complementarios. Interpretar los resultados.

Complementario al C.A., es otra forma de expresar la capacidad de los predictores para pronosticar el criterio.

1.3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas1.3.3. Coeficiente de valor predictivo múltiple

1..... PVCAC

TEM

A 6

.2:

VA

LID

EZ

II

26

El 70% de las puntuaciones en el criterio se podría pronosticar a partir de X1 y X2; mientras que el restante 30% equivale a la variabilidad de las puntuaciones en el criterio que los predictores no explican.

3,07,01..1..

7,0..2

2. 21

DCAC

RDC XXY

45,055,01..1...

55,03,0..

ACPVC

KAC

1.3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas

0,55 es la inseguridad en el pronóstico; mientras que el restante 0,45 es la seguridad en el pronóstico o la capacidad de los predictores para pronosticar el criterio.

TEM

A 6

.2:

VA

LID

EZ

II

27

1.4. Métodos para seleccionar las variables predictoras más adecuadas.

Según Thorndike y Hagen (1989), los predictores han de ser:

- Relevantes: ¿en qué medida el indicador se corresponde con el criterio?

- Libres de sesgo: evitar seleccionar variables que afectan de manera diferencial entre grupos.

- Fiables: las medidas obtenidas han de ser precisas y mantenerse estables a lo largo del tiempo.

- Accesibles.

TEM

A 6

.2:

VA

LID

EZ

II

28

Cuanto más predictores mejor, dado que R aumenta. Sin embargo, hemos de prestar especial atención a la MULTICOLINEALIDAD existencia de correlaciones altas entre los predictores (un predictor puede explicarse mediante la combinación lineal de otros) información redundante, lo que hace que se sobre-estime el coeficiente de determinación


TEM

A 6

.2:

VA

LID

EZ

II

29

-Método “Forward” (hacia delante)

1. Calcular las intercorrelaciones entre las variables.

2. Seleccionar la variable predictora cuya correlación con el criterio sea más alta y se construye la ecuación de regresión.

3. Se van añadiendo a la ecuación, una a una, las demás variables en función de su contribución de acuerdo con la correlación semi-parcial.

4. Cada vez que se introduce una variable, se calcula el aumento en el porcentaje de varianza explicado, analizando si es estadísticamente significativo. El proceso se detiene cuando el aumento no es significativo.


TEM

A 6

.2:

VA

LID

EZ

II

30

- Método “Backward” (hacia atrás)

1. Calcular la correlación múltiple al cuadrado entre el criterio y el conjunto de variables predictoras.

2. Se van eliminando, una a una, las variables menos relevantes, calculando la reducción que se produce en el coeficiente de determinación.

3. El proceso se detiene, al contrario que en el caso anterior, cuando la reducción observada sea significativa.


TEM

A 6

.2:

VA

LID

EZ

II

31

2. Validez y utilidad de las decisionesSe incluye una serie de procedimientos que permiten analizar la validez de las decisiones tomadas a partir de las puntuaciones obtenidas en un test en relación a un criterio dicotómico. En este caso, las puntuación del test se dicotomizan (aptos-no aptos; enfermo-no enfermo, etc.). Es el método que suele utilizarse en los tests referidos al criterio (TRC).Diferenciamos entre:

-Punto de corte en el test: puntuación en el test que diferencia entre participantes que se encuentran por encima o por debajo del punto de corte (aptos-no aptos; clínicos-no clínicos, etc.).

-Punto de corte en el criterio: puntuación en el criterio por encima de la cual el resultado se considera un éxito, o caso clínico, por ejemplo.

TEM

A 6

.2:

VA

LID

EZ

II

32

Test

Criterio

Sí (sobre el punto de corte)

No (bajo el punto de corte)

Sí A (verdaderos positivos)

VP

C (falsos negativos)

FN

g = A+C

No B (falsos positivos)

FP

D (verdadero negativos)

VN

h = B+D

e = A+B f = C+D A+B+C+D

La dicotomización del test y del criterio llevan a la clasificación de todos los participantes en una tabla de contingencia de 2 * 2:

El objetivo es que con el test se puedan tomar el mayor número de decisiones correctas; que test y criterio coincidan en las clasificaciones (A y D); y el menor número de decisiones incorrectas, es decir, que no coincidan (B y C).

2. Validez y utilidad de las decisiones

TEM

A 6

.2:

VA

LID

EZ

II

33

A partir de los datos, es necesario obtener algún indicador de validez:

1. Coeficiente Kappa: permite evaluar la consistencia de las clasificaciones, o en qué medida las clasificaciones de test y criterio han coincidido por azar. Se expresa mediante:

a

ac

FN

FFK

Donde:

Fc= nº de casos en los que coinciden test y criterio (A+D)

Fa= número de casos en los que coinciden por azar.

N= nº de personas de la muestra.

2. Validez y utilidad de las decisiones2.1. Índices de validez

N

hf

N

geF

DAF

a

c

**

TEM

A 6

.2:

VA

LID

EZ

II

34

Test

Criterio

Sí No

Sí 18 3

No 2 27

Se ha aplicado un test que trata de diagnosticar demencia a una muestra de 50 participantes. Como criterio se ha utilizado la entrevista clínica realizada por un experto. Las clasificaciones realizadas han sido las siguientes:

Calcular el coeficiente Kappa e interpretar el resultado.


TEM

A 6

.2:

VA

LID

EZ

II

35

Test

Criterio

Sí No

Sí A (verdaderos

positivos)=18

C (falsos negativos)=3

g = A+C = 21

No B (falsos positivos)=2

D (verdaderos negativos)=27

h = B+D = 29

e = A+B = 20 f = C+D = 30 50


TEM

A 6

.2:

VA

LID

EZ

II

36

79,08,2550

8,2545

8,2550

29*30

50

21*20**

452718Fc

a

ac

a

FN

FFK

N

hf

N

geF

DA

Puesto que el valor máximo es 1, podemos decir que la validez de la prueba de diagnóstico (test)

es alta.


TEM

A 6

.2:

VA

LID

EZ

II

37

2. Proporción de clasificaciones correctas: grado en que test y criterio coinciden en las clasificaciones.

)Negativos ()(

)(

FalsosCPositivosVerdaderosA

PositivosVerdaderosAS

3. Sensibilidad (tasa de verdaderos positivos): grado en que el test es bueno para detectar exclusivamente a las personas con trastorno.

)(

)()(

TotalDCBA

NegativosVerdaderosDPositivosVerdaderosAPCC

No se tiene en cuenta el efecto del azar


TEM

A 6

.2:

VA

LID

EZ

II

38

4. Especificidad (tasa de verdaderos negativos): grado en que el test es bueno para excluir a los que realmente no tienen el trastorno.

)()Positivos (

)(

NegativosVerdaderosDFalsosB

NegativosVerdaderosDE

5. Razón de eficacia: grado en que el test es bueno para seleccionar a participantes que tendrán el trastorno.

) ()(

)(

PositivosFalsosBPositivosVerdaderosA

PositivosVerdaderosARE


Ejemplo: con los datos del ejercicio anterior, calcular la proporción de clasificaciones correctas, la sensibilidad, la especificidad y la razón de eficacia del test.

TEM

A 6

.2:

VA

LID

EZ

II

39

2. Proporción de clasificaciones correctas:

86,0318

18

CA

AS

3. Sensibilidad (tasa de verdaderos positivos):

90,050

2718

DCBA

DAPCC


TEM

A 6

.2:

VA

LID

EZ

II

40

4. Especificidad (tasa de verdaderos negativos):

93,0272

27

DB

DE

5. Razón de eficacia:

90,0218

18

BA

ARE


TEM

A 6

.2:

VA

LID

EZ

II

41

1. Razón de idoneidad: proporción de participantes que superaron el punto de corte en el criterio

)(

)()(

TotalDCBA

tivosFalsosPosiBPositivosVerdaderosARS

2. Razón de selección: proporción de participantes que superaron el punto de corte en el test.

)(

)((

TotalDCBA

tivosFalsosNegaCPositivosVerdaderosARI

2. Validez y utilidad de las decisiones2.2. Índices de selección

Ejemplo: con los datos del ejercicio anterior, calcular las razones de idoneidad y de selección.

TEM

A 6

.2:

VA

LID

EZ

II

42

1. Razón de idoneidad:

40,050

20

DCBA

BARS

2. Razón de selección:

42,050

21

DCBA

CARI

2. Validez y utilidad de las decisiones2.2. Índices de selección

TEM

A 6

.2:

VA

LID

EZ

II

43

Dado que es necesario dicotomizar las puntuaciones, dónde se sitúe el punto de corte va a traer consecuencias en las decisiones tomadas con el test.

Falsos negativos Aciertos,Verdaderos positivos

Rechazos,Verdaderos negativos

Falsos positivos

Aceptados

Rechazados

CRITERIO

Rechazados

AceptadosTEST

C

B

A

DP. Corte del test

2. Validez y utilidad de las decisiones2.3. ¿Dónde situar el punto de corte?

TEM

A 6

.2:

VA

LID

EZ

II

44

Falsos negativos Aciertos,Verdaderos positivos

Rechazos,Verdaderos negativos Falsos

positivos

Aceptados

Rechazados

CRITERIO

Rechazados

AceptadosTEST

Consecuencias de desplazar el punto de corte del test hacia la derecha criterio más estricto-Consecuencia positiva: Disminuye la tasa de falsos positivos.

-Consecuencia negativa: Aumenta la tasa de falsos negativos.

C

B

A

D


TEM

A 6

.2:

VA

LID

EZ

II

45

Consecuencias de hacer más estricto el punto de corte del criterio:-Consecuencia positiva: Disminuye la tasa falsos negativos.

-Consecuencia negativa: Aumenta la tasa de falsos positivos. Falsos negativos Aciertos,

Verdaderos positivos

Rechazos,Verdaderos negativos

Falsos positivos

Aceptados

Rechazados

CRITERIO

Rechazados

AceptadosTEST

C

B

A

D


TEM

A 6

.2:

VA

LID

EZ

II

46

En general, el punto de corte se situará en aquel punto que maximice la capacidad predictiva del test. Es decir, en aquel valor donde se cometa un menor número de errores.

Para ello, hay que analizar las consecuencias de las decisiones tomadas, ya que no siempre tiene la misma importancia cometer un tipo de error u otro (falsos negativos, o falsos positivos).

Ejemplo, tests diagnósticos de SIDA: es más grave la existencia de falsos negativos (es decir, participantes que lo padecen, pero que el test determina que no), ya que los participantes no recibirán tratamiento y el riesgo de contagio a otras personas será mayor.


TEM

A 6

.2:

VA

LID

EZ

II

47

¿Cómo combinar toda la información sobre un participante para tomar una decisión (tests, entrevista, actitud,...)?

1. Compensatorio: modelo aditivo, en el que al participante se le asigna una única puntuación global. Por ello, puede compensar una baja puntuación en el test, por ejemplo, con una alta puntuación en el criterio. No siempre tiene sentido, ya que la ausencia de una destreza no tiene porqué compensarse con otra.

2. Conjuntivo: se fijan previamente unos mínimos que han de cumplir los participantes en ambas pruebas.

3. Disyuntivo: sólo se exige superar un determinado nivel en alguna de las pruebas utilizadas.

2. Validez y utilidad de las decisiones2.4. Modelos de selección

TEM

A 6

.2:

VA

LID

EZ

II

48

2-1. Conjuntivo-compensatorio: en un primer momento se aplica el modelo conjuntivo (superar todas las pruebas), y a continuación se calcula una puntuación global (compensatorio).

3-1. Disyuntivo-compensatorio: se hace una primera selección aplicando el modelo disyuntivo (superar al menos, alguna de las pruebas), y a continuación se les aplica el compensatorio (puntuación global).

2. Validez y utilidad de las decisiones2.4. Modelos de selección

TEM

A 6

.2:

VA

LID

EZ

II

49

Coeficiente de validez: correlación entre las puntuaciones del test y del criterio muy sensible a ciertos aspectos de las variables utilizadas.

Schmidt y Hunter (1990) refieren 11 aspectos que pueden alterar los tamaños de las correlaciones:

1.Error muestral, o diferencia entre el coeficiente de correlación muestral y poblacional.

2.Error de medida, o ausencia de fiabilidad perfecta en la variable de predictora.

3.Error de medida en la variable criterio.

4.Utilizar criterios muy simplificados, reducidos a dos valores (apto-no apto).

3. Factores que influyen en el coeficiente de validez

TEM

A 6

.2:

VA

LID

EZ

II

50

5. Dicotomización de la variable predictora.

6. Cambios de variabilidad en la variable criterio en otras muestras o condiciones.

7. Cambios de variabilidad en la variable predictora en otras muestras o condiciones.

8. Definición incorrecta del constructo en la variable predictora.

9. Definición incorrecta del constructo en el criterio.

10. Errores de codificación, cálculo, etc.

11. Factores extraños ligados a las características de la muestra (experiencia, edad, etc.).

3. Factores que influyen en el coeficiente de validez

TEM

A 6

.2:

VA

LID

EZ

II

51

A medida que aumenta la variabilidad de la muestra, el coeficiente de validez aumenta. Por el contrario, a medida que disminuye, el coeficiente de validez disminuye la muestra donde se calcule va a determinar el coeficiente de validez obtenido.Supongamos que en una Universidad se utiliza un test para

seleccionar a los alumnos. Para conocer la capacidad predictiva del test, tenemos dos opciones:

1. Aplicar el test y Admitirlos a todos. Al finalizar tendríamos que evaluarles en el criterio. Entonces calcularíamos la correlación para obtener el coeficiente de validez. A continuación, habría que expulsar a los que en un principio no superaron el test.

2.Aplicar el test, y realizar la selección (muestra más homogénea). Al finalizar se aplicaría el criterio y basándonos en una serie de supuestos, hacer una estimación del coeficiente de validez que se hubiera obtenido en el grupo total de aspirantes.

3. Factores que influyen en el coeficiente de validez3.1. Variabilidad de la muestra

TEM

A 6

.2:

VA

LID

EZ

II

52

22222xyxxxyX

xyXXY

rssrS

rSR


Ejemplo: suponemos que el número de aspirantes era 300 y que obtuvieron una desviación típica de 12 puntos. De entre todos ellos se seleccionaron a 40, cuya desviación típica fue de 6 puntos. Al cabo del año, fueron calificados en el criterio, siendo la correlación con el test de 0,30.

¿Cuál sería el coeficiente de validez estimado si se hubiese calculado en la muestra total?

TEM

A 6

.2:

VA

LID

EZ

II

53

53,030,0*6630,0*12

30,0*122222222222

xyxxxyX

xyXXY

rssrS

rSR

Se aprecia que al estimarse en una muestra con mayor variabilidad, el incremento es

notable, ya que pasa de 0,30 a 0,53.


TEM

A 6

.2:

VA

LID

EZ

II

54

Las puntuaciones del test y criterio están afectadas por los errores de medida, que pueden estar afectando al coeficiente de validez que se estime. Spearman (1904) propuso las fórmulas de atenuación que permiten corregir la atenuación o disminución del coeficiente de validez debido a los errores de medida.

1. Estimación del coeficiente de validez en el caso de que tanto test como criterio tuvieran una fiabilidad perfecta calcular la correlación entre las puntuaciones verdaderas del test y del criterio.

YYXX

XYVV

rr

rR

YX

criterio del empírico fiabilidad de r

testdel empírico fiabilidad de r

empírico. validezde r

perfecta. fiabilidad una tuvieran criterio

y test cuando teórico validezde

:

YY

XX

XY

ecoeficient

ecoeficient

ecoeficient

ecoeficientR

donde

YXVV

3. Factores que influyen en el coeficiente de validez3.2. Fiabilidad de las puntuaciones del test y del criterio

TEM

A 6

.2:

VA

LID

EZ

II

55

Ejemplo: aplicado un test a una muestra de participantes se obtuvo un coeficiente de fiabilidad de 0,64. El coeficiente de fiabilidad del criterio resultó ser 0,60 y el coeficiente de validez de 0,56.

¿Cuál sería el coeficiente de validez estimado en el caso de que tanto las puntuaciones del test como del criterio estuvieran libres de errores de medida?


TEM

A 6

.2:

VA

LID

EZ

II

56

2. Estimación del coeficiente de validez en el caso de que el TEST tuviera una fiabilidad perfecta calcular la correlación entre las puntuaciones verdaderas del test y las empíricas del criterio.

XX

XYYV

r

rR

X


Ejemplo: con los datos del ejercicio anterior, ¿cuál sería el coeficiente de validez estimado en el caso de que las puntuaciones del test estuvieran libres de errores de medida?

9,062,0

56,0

38,0

56,0

6,0*64,0

56,0

YYXX

XYVV

rr

rR

YX

TEM

A 6

.2:

VA

LID

EZ

II

57

70,064,0

56,0

XX

XYYV

r

rR

X


3. Estimación del coeficiente de validez en el caso de que el CRITERIO tuviera una fiabilidad perfecta calcular la correlación entre las puntuaciones empíricas del test y las verdaderas del criterio.

YY

XYXV

r

rR

Y

Ejemplo: con los datos del ejercicio anterior, ¿cuál sería el coeficiente de validez estimado en el caso de que las puntuaciones del criterio estuvieran libres de errores de medida?

TEM

A 6

.2:

VA

LID

EZ

II

58

73,060,0

56,0

YY

XYXV

r

rR

Y

El coeficiente de validez aumenta en todos los casos. Sin embargo, se trata de supuestos hipotéticos ya que es imposible eliminar los errores, pero sí es posible tratar de reducirlos mejorando los coeficientes de fiabilidad. Para ello, contamos con las siguientes situaciones:


4. Estimación del coeficiente de validez en el caso de que se mejorase la fiabilidad tanto del TEST como del CRITERIO.

YY

YY

XX

XX

XYXY

Rr

Rr

rR

Continuando con el ejemplo anterior, ¿cuál sería el coeficiente de validez si se consiguiera un coeficiente de fiabilidad en el test de 0,75 y en el criterio de 0,64?

TEM

A 6

.2:

VA

LID

EZ

II

59


63,0

64,060,0

75,064,0

56,0

YY

YY

XX

XX

XYXY

Rr

Rr

rR

5. Estimación del coeficiente de validez en el caso de que se mejorase la fiabilidad del TEST.

XX

XX

XYXY

Rr

rR

Continuando con el ejemplo anterior, ¿cuál sería el coeficiente de validez si se consiguiera un coeficiente de fiabilidad en el TEST de 0,75?

TEM

A 6

.2:

VA

LID

EZ

II

60

61,0

75,064,0

56,0

XX

XX

XYXY

Rr

rR


6. Estimación del coeficiente de validez en el caso de que se mejorase la fiabilidad del CRITERIO

YY

YY

XYXY

Rr

rR

Continuando con el ejemplo anterior, ¿cuál sería el coeficiente de validez si se consiguiera un coeficiente de fiabilidad en el CRITERIO de 0,70?

TEM

A 6

.2:

VA

LID

EZ

II

61

6,093,0

56,0

86,0

56,0

70,06,0

56,0

YY

YY

XYXY

Rr

rR


TEM

A 6

.2:

VA

LID

EZ

II

62

El valor máximo del coeficiente de validez es menor-igual que el índice de fiabilidad. Para ello, sabemos que el coeficiente de validez del test cuando se eliminan los errores de medida es menor-igual que 1:

VXXY rr

1YYXX

XYVV

rr

rR

YX

1. Suponiendo que efectivamente sea 1, se deduce que el coeficiente de validez es menor-igual que el producto de las raíces del coeficiente de fiabilidad del test por el criterio:

YYXXXY rrr

2. Y suponiendo que el valor máximo del coeficiente fiabilidad del criterio es 1, entonces el coeficiente de validez es menor-igual que la raíz del coeficiente de fiabilidad del test.

XXXY rr

3. Y dado que la raíz del coeficiente de fiabilidad es el índice de fiabilidad, entonces el coeficiente de validez es menor-igual que el índice de fiabilidad:


TEM

A 6

.2:

VA

LID

EZ

II

63

Utilizamos la fórmula de Spearman-Brown que relaciona fiabilidad y longitud:

xx

xxXX rn

nrR

)1(1

Y la sustituimos en la fórmula que relaciona validez y fiabilidad:

EI

EFn

rn

nr

rnnrr

r

R

r

rR

XX

XY

XX

XX

XX

XY

XX

XX

XYXY

)1(1

)1(1Rxx. Spearman-Brown que relaciona fiabilidad y longitud

3. Factores que influyen en el coeficiente de validez3.3. Longitud del test

TEM

A 6

.2:

VA

LID

EZ

II

64

También nos puede interesar al número de veces que hay que aumentar o disminuir la longitud de un test para lograr un determinado valor del coeficiente de validez. En cuyo caso:

XXXYXY

XXXY

rRr

rRn

22

2 )1(

Supongamos que un test de 30 elementos tiene un coeficiente de validez de 0,60 y uno de fiabilidad de 0,64. ¿Cuántos elementos habría que añadir para obtener un coeficiente de validez de 0,70?


TEM

A 6

.2:

VA

LID

EZ

II

65

8430114

11430*8,330

8,3

80,364,0*70,060,0

)64,01(70,022

2

EIEFAñadidos

EFEFEF

EI

EFn

n

Habría que valorar hasta qué punto merece la pena hacer más largo un test; a veces no

compensa

Para obtener un coeficiente de validez de 0,70 a partir de uno de 0,60, habría que añadir 84 ítems a los 30 iniciales.


TEM

A 6

.2:

VA

LID

EZ

II

66

4. Generalización de la validez

Hace referencia a la posibilidad de utilizar y aplicar la evidencia obtenida en una situación a otras similares. Este problema es de especial relevancia en los estudios a gran escala, dado que suelen utilizarse muestras muy diversas, incluso de culturas distintas. Para analizar este punto se han utilizado técnicas estadísticas derivadas del meta-análisis.

Meta-análisis: síntesis cuantitativas de estudios que permiten analizar diversos estudios de validación del mismo test ya que traducen los resultados a una métrica común.

TEM

A 6

.2:

VA

LID

EZ

II

67

1. Barbero, I., García, E., Vila, E. y Holgado, F. P. (2010). Psicometría: problemas resueltos. Madrid: Sanz y Torres.Se trata de un libro de ejercicios y problemas en el que se incluye el desarrollo de la solución. El alumno podrá completar desde un punto de vista aplicado los conceptos y contenidos vistos en la parte teórica; así como adquirir las destrezas necesarias para la resolución de problemas.

2. Barbero, I. (Coord.), Vila, E. y Holgado, F. P. (2010). Psicometría. Madrid: Sanz y Torres.En el capítulo 7, hace un repaso sobre los principales aspectos relativos a la validez de criterio cuando se dispone de más de un predictor; y en su segunda parte presenta, de manera clara y directa, la validez desde los TRC.

5. Bibliografía comentada

TEM

A 6

.2:

VA

LID

EZ

II

68

3. Martínez Arias, R. (1995). Psicometría: teoría de los tests psicológicos y educativos. Madrid: Síntesis.

Se tratan los principales aspectos relacionados con la validez tanto en su vertiente teórica como aplicada. Tras una presentación conceptual de los tipos tradicionales de validez (capítulo 12), profundiza en los aspectos formales de la validez relativa al criterio (capítulos 13 al 15).

4. Meliá, J. L. (2000). Teoría de la fiabilidad y la validez. Valencia: Cristóbal Serrano.

En el capítulo 11 se realiza un recorrido por algunas de las definiciones tradicionales de la validez. También se presentan las implicaciones de los tipos tradicionales de validez así como la relación existente entre la fiabilidad y la validez. El capítulo termina con un apartado en el que realizan algunas consideraciones generales sobre la importancia de la validez.

5. Bibliografía comentada

tema 6.2 evaluación del instrumento de medida: validez ii · 2019. 9. 30. · tema 6.2 evaluación...

Documents