los distractores en preguntas de opción múltiple …€¢ fase teórica del examen profesional...
TRANSCRIPT
Los distractores en preguntas
de opción múltiple para
estudiantes de Medicina
¿Cuál es su
comportamiento en un
examen de altas
consecuencias?
Alma Guadalupe Jurado Núñez
Preguntas de Opción Múltiple
Objetividad y Efectividad
Conceptual�Cognición superior
Estandarización del conocimiento
Educación Médica
Downing SM: Assessment of knowledge with written test forms. En International handbook of research in medical education Volume II. Editado por: Norman GR, Van der Vleuten C, Newble DI. Dorcrecht: Kluwer Academic Publishers; 2002:647-672
TalloOpciones
Óptimo
No funcionales
Exceso
¿Límite natural?
Probabilidad de acertar al azarTestwiseness
Educated guessing
Características
• Rodriguez MC: Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research. Educ Meas Issues Pract 2005, 24(2):3-13.
• Downing SM: Guessing on selected-response examinations. Medical Education 2003, 37: 670-671
0
5
10
15
20
1° Quintil 2° Quintil 3° Quintil 4° Quintil 5° Quintil
Frec
uen
cia
% Correcta
Buen distractor
Baja frecuencia
Discriminación Positiva
No discriminación
Gráfico adaptado y modificado de: Trace line for a four-option item, Haladyna TM, Downing SM: How many options is enough for a multiple-choice test item? Educ Psychol Meas 1993, 53(4):999-1010
Índice de dificultad
�
Índice de discriminación
≠
Correlación Punto-biserial
↔
Kehoe J: Basic item analysis for multiple-choice tests. Practical Assessment, Research & Evaluation 1995, 4(10). http://PAREonline.net/getvn.asp?v=4&n=10.
¿Cuál es el comportamiento de los distractores en el Examen Profesional Teórico de la Facultad de
Medicina de la UNAM?
Relevancia social
• Confiabilidad y fortaleza
• Correspondencia con la realidad
Implicaciones prácticas
• Modificación pertinente
• Punto de referencia
Valor teórico
• Primer trabajo en México
• Nueva línea de investigación
Evaluar la funcionalidad de los distractores en elExamen Profesional Teórico de la Facultad deMedicina de la UNAM.
Establecer las diferencias entre el número dedistractores funcionales por ítem y los índicespsicométricos.
Evaluar el impacto al eliminar los ítems con cuatroDNF en el desempeño psicométrico del examen
• Fase Teórica del Examen Profesional 2008 de la Facultad de Medicina de la UNAM mediante la Teoría Clásica de los Test (TCT)
• ITEMAN 3.5
Análisis psicométrico
• 420 Reactivos• Cinco opciones
(2100 totales, 1680 distractores)
• Número de DNF
Análisis de frecuencia
• Diferencias entre DNF por ítem y su perfil psicométrico
• Diferencias significativas entre y dentro de los grupos
ANOVA y Test Tukey HSD Post
Hoc
• Eliminación de ítems con 4 DNF (34), análisis y comparación
Depuración
Alfa de Cronbach .93
SEM 8.67
� 892 (53.1%) DNF � 2.12 ± .99 DNF por ítem
� Mayoría categorizados en baja frecuencia
� 40% menor dificultad y discriminación entre ítems de cero
y cuatro DNF
DNF por
ítem
Total de
ítems
Frecuencia %
0 18 4.3
1 96 22.9
2 156 37.1
3 116 27.6
4 34 8.1
Tabla 1. Frecuencia de DNF en el Examen Profesional Teórico de la Facultad de Medicina de la UNAM. Enero 2008
Gráfico 1. Análisis estadístico del Examen Profesional Teórico de la Facultad de Medicina de la UNAM. Comparación de medias (Índice de dificultad, índice de discriminación y DNF por ítem)
Tabla 2. Análisis del Examen Profesional Teórico de la Facultad de Medicina de la UNAM. ANOVA sentido único. Enero 2008.
ANOVA
Suma de cuadrados
Grados de
libertad
Media
cuadrática F Sig.
Índice de
dificultad
Entre grupos 3.540 4 .885 16.017 .000
Dentro de los grupos 22.931 415 .055
Total 26.472 419
Índice de
discriminación
Entre grupos 1.365 4 .341 21.619 .000
Dentro de los grupos 6.549 415 .016
Total 7.913 419
Correlación
punto
biserial
Entre grupos .335 4 .084 5.080 .001
Dentro de los grupos 6.846 415 .016
Total 7.181 419
Tabla 3. Análisis del Examen Profesional Teórico de la Facultad de Medicina de la UNAM. Test Tukey HSD Post Hoc. Enero 2008
Test Post Hoc
Comparaciones Múltiples
Tukey HSD Variable
Dependiente (I)
DNF (J)
DNF
Diferencia Media (I-
J) Error
estándar Sig.
Intervalo de confianza 95%
Límite inferior
Límite superior
Índice de dificultad
Cuatro DNF Sin DNF .35833* .06852 .000 .1706 .5461
Un DNF .35927* .04691 .000 .2307 .4878
Dos DNF .32058* .04449 .000 .1987 .4425
Tres DNF .28543* .04584 .000 .1598 .4110
Índice de discriminación
Cuatro DNF Sin DNF -.24944* .03662 .000 -.3498 -.1491
Un DNF -.18219* .02507 .000 -.2509 -.1135
Dos DNF -.14481* .02378 .000 -.2099 -.0797
Tabla 4. Comparación de análisis de reactivos del Examen Profesional Teórico de la Facultad de Medicina de la UNAM completo VS el depurado. Enero 2008
Características Completo Depurado*
Número de ítems 420 386
Alfa de Cronbach 0.928 0.928
Error estándar de
medición
8.669 8.462
P media
(dificultad)
0.550 0.523
Coeficiente de
punto biserial
medio
0.181 0.185
El arte de evaluarRazonamiento médico, resolución de problemas y toma de decisiones
46.9% distractores funcionales
Menos del 5% de los ítems con todos funcionales
Tres opcionesSuficiencia y máxima eficiencia
• Tarrant M, et al: An assessment of functioning and non-functioning distractors in multiple-choice questions: a descriptiveanalysis. BMC Medical Education 2009, 9:40• Abad FJ, et al: Analysis of the optimum number alternatives from the Item Response Theory. Psicothema 2001, 13(1): 152-158
Acreditación del examen a expensas de
testwiseness/ educated guessing
Profesionalizar la evaluación del aprendizaje
Formación adecuada implica optimización de recursos ymayor calidad
• Rogausch A, et al: Rarely selected distractors in high stakes medical multiple-choice examinations and their recognitionby item authors: a simulation and survey. BMC Medical Education 2010, 10:85• Haladyna TM, et al: A review of multiple choice item-writing guidelines for classroom assessment. Appl Meas Educ
2002,15(3):309-334
Seguimiento Evidencia
Evaluación cualitativa
Versiones posteriores
Un examen
InterpretaciónTCT
vs
Teoría de Respuesta
al Ítem
Disminuir número
de opciones
Disminuir número
de opciones
Limitaciones
Secretaría de Educación Médica
Facultad de Medicina, UNAM
Dr. Melchor Sánchez Mendiola
Dr. Adrián Martínez González
Dr. Fernando Flores Hernández
Dr. Hermann Sommer Cervantes