evaluación de programas en psicología...
TRANSCRIPT
Construcción de tests
• Etapas – Elaboración de la prueba piloto. Aplicación a una muestra.– Elaboración de la prueba y los ítems. Modificación test– Aplicación a una muestra. Estandarización de las
puntuaciones. Elaboración manual del test.
• Tipos de medida – Variables cognitivas: Tests. Respuestas con alternativas
(correcto/incorrecto)– Variables afectivas:
• Escalas: cada respuesta se elige en una escala de categorías• Cuestionarios: preguntas variadas no ordenadas ni graduadas• Inventarios: sujeto responde de acuerdo o no con una afirmación
Proceso de construcción
• Determinar la finalidad del test
• Especificar las características del test
• Redacción de los ítems
• Revisión critica de los ítems por un grupo de expertos
• Construcción de prueba piloto
• Aplicación prueba piloto
• Corrección de la prueba y asignación de puntuaciones a los sujetos
Finalidad del test
• Qué se quiere medir? Definición variable de estudio y sus indicadores
– Habilidad verbal
– impulsividad
• A quién se quiere medir? Definición de la población a estudiar
• Para qué? Previsión de su utilización, finalidad
– Selección
– Clasificación / colocación
– Diagnóstico
– Certificación
– Orientación / consejo
– Descripción / información
Características del test• Contenidos
– Determinar dominio de conductas (conj. De conductas a través de las cuales se manifiesta) o conocimiento que se quiere medir
• Formatos de los ítems
– ítems de elección
• Variables cognitivas: 2 alternativas, elección múltiple, emparejamiento, cloze
• Variables no cognitivas: escalas de clasificación, listados
– ítems de construcción
• De respuesta corta
• De respuesta extensa
• Longitud del test. Depende de:
– Características población
– Tiempo disponible
– Objetivo
• Características de los ítems
– Dificultad:
• Test de velocidad
• Test de ejecución máxima
• Test de ejecución típica
– Homogeneidad: según el constructo uni/multidimensional
– Discriminación: según la población a que se dirige
Redacción de los ítems
• Evitar la ambigüedad de los enunciados
• Evitar enunciados que provoquen respuestas sesgadas
• Expresar una única idea en el enunciado
• Recomendaciones específicas para cada tipo de ítem
• Evitar sesgos de respuesta
– Aquiescencia
– Deseabilidad social
– Indecisión o tendencia central
– Respuesta extrema
Construcción tests
• Revisión crítica por un grupo de expertos– Comprobar que se siguieron las recomendaciones– Preferiblemente x aquellos que no partiparon en la construcción del
test– Ideal que sean expertos en los contenidos
• Confección prueba piloto– instrucciones de administración: concisas, con ej.– Formato de presentación y registro de respuesta: claridad, orden
• Aplicación de la prueba piloto para evaluar calidad psicométrica test (temas 4-8)– Diferentes tipos de aplicación: teléfono, ordenador, mail, grupal,
indiv...
• Corrección prueba piloto y asignación de puntuaciones a los sujetos
Corrección
• Tests formados por items de elección (Evita subjetividad)– Pruebas cognitivas
• Penalización errores• Bonificación de las omisiones
– Pruebas no cognitivas • Escalas de respuesta. Valores asignados. Suma• Mantener la misma dirección en los items
• Tests formados por items de construcción – Métodos de puntuación analítica
• Aislar dimensiones y establecer forma de evaluarlas
– Método de puntuación holística• Global según valores establecidos de antemano
Ejercicio
• Si un sujeto realiza una prueba objetiva con cuatro alternativas de respuesta de las que sólo una es correcta y obtiene los siguientes resultados: 12 aciertos, 6 errores y 2 omisiones, su puntuación en una escala de 0 a 10 será: A) 3; B) 4,5; C) 5
Ejercicio
• Si un sujeto realiza una prueba objetiva con cuatro alternativas de respuesta de las que sólo una es correcta y obtiene los siguientes resultados: 12 aciertos, 6 errores y 2 omisiones, su puntuación en una escala de 0 a 10 será: A) 3; B) 4,5; C) 5 – A=12
– E=6
– O=2
– Alternativas de respuesta =4
– X= 𝑋 −𝐸
𝐾−1= 12 −
6
4−1= 12-
6
3=10
– 10 aciertos de 20 preguntas: puntuación de 5 (escala 1-10)
Ejercicio
• En un test formado por 50 elementos, los 10 primeros son de verdadero-falso, los 24 siguientes de cuatro alternativas de respuesta y el resto de tres. ¿Cuál es la puntuación, corregidos los efectos del azar, de un sujeto que respondió a todos los ítems y acertó 5 de dos alternativas, 15 de cuatro y la mitad de los de tres alternativas? A) 28; B) 16; C) 0
Ejercicio
• En un test formado por 50 elementos, los 10 primeros son de verdadero-falso, los 24 siguientes de cuatro alternativas de respuesta y el resto de tres. ¿Cuál es la puntuación, corregidos los efectos del azar, de un sujeto que respondió a todos los ítems y acertó 5 de dos alternativas, 15 de cuatro y la mitad de los de tres alternativas? A) 28; B) 16; C) 0
– 1º parte. 10/K=2 - A=5 X= 5 −5
2−1= 0
– 2º parte. 24/ K=4 – A=15 X= 15 −9
4−1= 12
– 3º parte. 16/ K=3 - A=8 X= 8 −8
3−1= 4
– X= 𝑋 −𝐸
𝐾−1= puntuación total= 16