tema 2 caracterÍsticas tÉcnicas instrumentos medida 4 de diciembre 2014
TRANSCRIPT
![Page 1: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/1.jpg)
TEMA 2
CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA
4 de diciembre 2014
![Page 2: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/2.jpg)
MEDICIÓN• Opera sobre un objeto• Según reglas (isomorfismo objeto – ud medida)• Unidad medida• Construir instrumentos (acto medición)• Tratamiento datos
![Page 3: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/3.jpg)
TEORÍA CLÁSICA TESTS• Dificultad• Discriminación• Análisis distractores• Índice fiabilidad• Validez• Dimensionalidad
![Page 4: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/4.jpg)
DIFICULTAD• En función número personas que contesten de forma correcta,
depende de muestra• ID = A / N• Si elección múltiple, para corregir efectos azar• ID =
NKE
A1
![Page 5: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/5.jpg)
DIFICULTAD• Sentido test o pruebas objetivas medida aptitudes• Muy fáciles (ID > 0,75), fáciles (0,55 < ID < 0,75), normales (0,45 < ID
< 0,54), difíciles (0,25 < ID < 0,44), muy difíciles (ID < 0,25)• Mayor cantidad ítems dificultad media y pequeña cantidad ítems
dificultad alta y baja
![Page 6: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/6.jpg)
DIFICULTAD• 40 alumnos, ítem 2 alternativas, aciertan 25 ID=25/40=0,625 (fácil)• 40 alumnos, ítem 2 alternativas, aciertan 15 ID=15/40=0,375
(difícil)• 40 alumnos, ítem 3 alternativas, aciertan 15 ID= = 0,4375
(difícil)
4013
1525
![Page 7: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/7.jpg)
DISCRIMINACIÓN• Selectividad pregunta para discriminar grupo más
aciertos vs menos aciertos (correlación item – puntuación test)
• -1 … +1 Buen índice > 0,30 Muy bien > 0,4• Dos extremos 27% superior y 27% inferior• D = p+ - p-
• Correlación:– 2 variables dicotómicas: Tabla de contingencia, X2– Vbles dicotomizadas: Tetracórica– Vble continua y otra dicotómica: Biserial– Vbles continuas: Pearson
![Page 8: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/8.jpg)
DISCRIMINACIÓN• Se supone item test 300 estudiantes, de 81 mejores (27%) 40
aciertan ítem, y 81 peores 12 aciertan ítem.
– IH = Discrimina bien
3456,081
12
81
40
![Page 9: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/9.jpg)
DISTRACTORES• Alternativas falsas o incorrectas ítem• Todas alternativas equiprobable elección• Item 4 alternativas D correcta 300 individuos, fallan 198 A = 85 B
= 40 C = 73 198:3 = 66 esperables para cada distractor
• Se compara 16,45 con • Conclusión: rechazamos independencia
45,1666
1086
66
)6673()6640()6685(222
2
991,5295,0;2
295,0;13
2;1 pglk
![Page 10: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/10.jpg)
FIABILIDAD• Modelo X = V + e
– Ptuación empírica = verdadera + error– Probabilidad de fallo instrumento
• Supuestos
– E (X) = V Media ptuac empíricas = verdadera– Correlac (V, e) = 0– Correlac errores medida = 0
• Condición necesaria pero no suficiente0)( kjee
![Page 11: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/11.jpg)
FIABILIDAD• Cuantificación
– Coeficiente fiabilidad (fiabilidad relativa)• Correlación dos formas paralelas test X y X’
– Error típico medida (fiabilidad absoluta): precisión, desviación típica de las puntuaciones respecto a la media verdadera
2
2
2
2
' 1x
e
x
vxx
'1 xxxe
![Page 12: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/12.jpg)
FIABILIDAD• ESTABILIDAD
– Dos aplicaciones mismo instrumento tras intervalo– Coeficiente correlación entre aplicaciones– Fiabilidad dos mitades
• EQUIVALENCIA
– Instrumento es muestra representativa cdctas– Dos conjuntos ítems (dos pruebas)
• CONSISTENCIA INTERNA
xx
xxxx r
rR
1
2
![Page 13: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/13.jpg)
FIABILIDAD• EQUIVALENCIA
– Mismo nº elementos– Redacción y estructura elementos similar– Mismo contenido y objetivo apreciado– Índices dificultad similares– No difª medias, varianzas y covarianzas– Mismas consignas presentación– Presentación idéntica
![Page 14: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/14.jpg)
CONSISTENCIA INTERNA• Índice fiabilidad función índice discriminación y desviación típica
ítem• Dos mitades, pares – impares• Fiabilidad test completo: alfa de Cronbach
• Relación con número ítems
iiSDIF
2
2
111 x
j
n
j
S
S
n
n
![Page 15: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/15.jpg)
VALIDEZ• CONTENIDO
– Suficiencia y representatividad muestra cdctas– Lg adecuada
• PREDICTIVA (inferencia) O CRITERIO– Correlación con medida externa independiente– Correlación ítem – criterio– Predicción éxito
• CONCURRENTE (variante predictiva)– Medidas simultáneas
• CONSTRUCTO (consistencia construcción inicial): análisis factorial
![Page 16: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/16.jpg)
VALIDEZ• Relación con longitud y fiabilidad prueba
– Nueva validez Rxy– n = nº ítems iniciales / nº ítems finales
xxxx
xyxy
rnr
rR
1
![Page 17: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/17.jpg)
TEORIA DE RESPTA AL ITEM• Medir constructos latentes mediante fundamentación
probabilística vs X = V + e• Ítem ud básica medición. Modelos unidimensionales• No pretende agregar medida ítems para valorar rasgos• Resultado individuo en test depende de rasgos latentes
![Page 18: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/18.jpg)
TRI• Relación sujeto – rasgo latente función monótona creciente (fción
característica ítem, o curva característica ítem)
– Modelos CCI responde a función logística• Modelo Rasch 1 solo parámetro
• Estimaciones aptitud iguales y estimaciones parámetros dttas muestras iguales
)(
)(
1)(
i
i
bD
bD
i e
eP
![Page 19: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/19.jpg)
TRI• Pi probabilidad acertar ítem i• b índice dificultad item i• D cte (si D = 1,7 … fción logística normal)• rasgo latente no observado vble continua• Modelo dos parámetros
– A índice discriminación ítem, valor proporcional a pendiente CCI en punto = b
)(
)(
1)(
ii
ii
bDa
bDa
i e
eP
![Page 20: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/20.jpg)
TRI• ¿Probabilidad estudiantes acierten ítem cuyo índice dificultad b = 2;
D = 1?
7310,01
)3()23(1
)23(1
e
eP
![Page 21: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/21.jpg)
TRI• Estimación parámetros modelo = calibración• Programas cómputo: LOGIST, R• Ndad muestras > 300• Valorar precisión estimaciones
– Correlación valores simulados – estimados– Cálculo índice ajustes– Cálculo bondad ajustes curvas característica
![Page 22: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/22.jpg)
TRI• Ptuación individuo, expresión en función número de ítems del test• Curva característica test (CCT) permite transformar valores en
puntuaciones verdaderas • Información = recíproco precisión en estimación parámetro, error
medida D=1,7
n
ijjj PPV
1
)(
e
2
1)(I )()()( 11
21 QPDI
![Page 23: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/23.jpg)
TRI• Función de información de un test, invariante ante cambio de
escala, pudiendo comparar dos tests mediante eficacia relativa
n
iiIIT
1
)()( )(
)()(
y
x
IT
ITER
![Page 24: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/24.jpg)
APLICACIONES TRI• Creación banco ítems con propiedades métricas conocidas:
unidimensionalidad ítems y características elaboración tests• Equiparación puntuaciones tests que miden misma variable y
misma fiabilidad• Funcionamiento diferencial ítems en función grupos: curva
característica por grupos• Tests adaptativos informatizados
![Page 25: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/25.jpg)
DIFERENCIAS TCT - TRITCT TRI
Estima nivel atributo como sumatoria de respuestas a ítems individuales
Se centra en el ítem y su calidad métrica
Relación valor esperado y rasgo linealX = V + e
Relaciones funciones de diferentes tipos (Poisson, binomial, exponencial)
Características métricas se definen en referencia a un grupo normativo
Es posible comparar sujetos que responden a diferentes tests
CÁLCULO ERROR AL MEDIR VBLES NATURALEZA SOCIAL, VALOR VERDADERO INOBSERVABLE, HAY QUE ESTIMARLO
![Page 26: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/26.jpg)
PROBLEMA• Profesor realiza prueba de rendimiento de lengua. Pasa la prueba a
200 alumnos.• Índice discriminación, 27% mejores aciertan 30 y 27% peores
aciertan 10. • 27% de 200 = 54
37,054
20
54
10
54
30IH
![Page 27: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/27.jpg)
PROBLEMA• Índice dificultad corregido ítem 4 alternativas, que acierta 80
estudiantes, suponiendo que lo han respondido todo el colegio.
2,0200
40
200
4080
20014
12080
ID
![Page 28: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/28.jpg)
PROBLEMA
• Análisis distractores, respuesta correcta b, eligen a) 60, c) 20 y d) 40. Grado significación 5%.
• (60+20+40)/3=40• Como ji cuadrado • Se rechaza hipótesis nula igual distribución distractores (valor
empírico, al ser mayor que 5,99 está en zona crítica)
2
2040
800
40
0400400
40
)4040()4020()4060( 2222
991,5205,0;2
2)05,0;1( c
2
![Page 29: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/29.jpg)
PROBLEMA• Grado dificultad ítem: difícil
• CONCLUSIÓN
– Índice discriminación 0,37 buen índice– Índice dificultad 0,2 muy difícil– Independencia respuestas, NO– Dificultad índice difícil
![Page 30: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/30.jpg)
PROBLEMA
5 sujetos 3 ítems
1 2 3 T
1 1 3 4 8 2 5 1 0 6
3 3 4 5 12 4 1 0 1 2
5 4 2 3 9
¿índice discriminación ítem 1 con total? Cor (1, T) = cov (1, T) / dt 1 . dt 2cor(c(1,5,3,1,4),c(8,6,12,2,9))
![Page 31: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/31.jpg)
PROBLEMA
Covarianza
Media 1: 14:5 = 2,4 Media T: 37:5 = 7,4
(1.8) + (5.6) + (3.12) + (1.2) + (4.9) = 8 + 30 + 36 + 2 + 36 = 112
Cov = 112/5 – 2,4.7,4 = 26 – 17,76 = 8,24
((1-2,4)^2 + (5-2,4)^2 + (3-2,4)^2 + (1-2,4)^2 + (4-2,4)^2) / 5-1 (1,96 + 6,76 + 0,36 + 1,96 + 2,56) / 4 = 13,6 / 4 = 3,4
((8-7,4)^2 + (6-7,4)^2 + (12-7,4)^2 + (2-7,4)^2 + (9-7,4)^2) / 5-1 (0,36 + 1,96 + 21,16 + 29,16 + 2,56) / 4 = 55,2 / 4 = 13,8
8,24 / 3,4.13,8 = 8,24 / 46,92 = 0,17
![Page 32: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/32.jpg)
PROBLEMA
Prueba objetiva, Sara 20 puntos, ¿calificación grupo normativo media = 22,4 y dt = 4,2?
¿Puntuación típica? Z = (20 – 22,4) / 4,2 = -0,5714
Z < - 0,5714 = z < 0,5714
T = 50 + 10z = 50 + 10 (-0,5714) = 44,28Peor valorado 22,4 – 3.4,2 = 9,8 2,8 es el máximo de las tablas de la normal
0,07 0,5 0,7157 1-0,7157 = 0,2843 = 28% … 29%
![Page 33: TEMA 2 CARACTERÍSTICAS TÉCNICAS INSTRUMENTOS MEDIDA 4 de diciembre 2014](https://reader035.vdocuments.site/reader035/viewer/2022062807/5665b4261a28abb57c8f8d09/html5/thumbnails/33.jpg)
PROBLEMA
Item1 Item2 Item3 Item4 Item5
Juan 0 1 0 0 1 Pedro 1 1 1 0 1 Luis 1 0 1 0 1 Enrique 0 0 1 1 0
ID1 = 2/4 = 0,5 ID2 = 2/4 = 0,5 ID3 = ¾ = 0,75 ID4 = ¼ = 0,25 ID5 = ¾ = 0,75 Indice dificultad
Indice discriminación = correlación ítem – test (sin valorar ítem) Fiabilidad ítem = discriminación ítem . Dt
Ítem 2 – 5 cor(c(1,1,0,0),c(1,1,1,0))