conferencia maría elena barrera

La evaluación de programas y estudiantes en instituciones de educación superior

mexicanas

Universidad Autónoma de Baja California

18 de septiembre de 2012

Internacionalización de la educación superior

Expansión de la demanda de ES y, sobre todo, de una educación de calidad

Nuevas demandas originadas en el aparato productivo y mercado laboral (economía del conocimiento

Nuevos enfoques de gestión, planeación y administración de las IES

Factores que favorecen los procesos de evaluación, acreditación y aseguramiento de la calidad

1

• Propicia el acceso a información relevante y actualizada sobre la calidad y pertinencia de los programas e instituciones.

2• Fomenta la confianza en las instituciones educativas

del país.

3• Brinda mayor credibilidad a las instituciones

educativas y credenciales académicas.

Los beneficios tangibles

Desde Hacia

Evaluación de insumos Evaluación integral, incluida la

evaluación de resultados

Preeminencia de la autoevaluación

Mayor valorización de la evaluación externa y la acreditación

Evaluación académica Evaluación de múltiples dimensiones

Modelo burocrático Modelo de agencia independiente

Evolución de las prácticas de evaluación y acreditación

Evaluación y acreditación en México

Antecedentes

La difusión de las prácticas de evaluación y acreditación, con sus múltiples propósitos, enfoques e instancias, es resultado de un largo y complejo proceso.

En este proceso han participado diversos actores:

La SEP y el CONACYT.

Los organismos más representativos de las IES (ANUIES y FIMPES, entre otros).

Y las instancias evaluadoras (CENEVAL, CIEES, CONACyT y COPAES, entre otros).

Las instituciones de educación superior.

Tipos e instancias de evaluación

• Existen diferentes tipos de evaluaciones:– A nivel individual. Exámenes de ingreso y egreso de estudiantes a

las instituciones de Educación Superior; evaluación y estímulos a la carrera docente y de investigación; CENEVAL, SNI, Programas de estímulos a la carrera docente, PROMEP, IES.

– A nivel de programas académicos. Evaluación diagnóstica y procesos acreditación. CIEES, COPAES, Programa de Posgrados de Calidad, SEP-RVOE.

– A nivel institucional. Acreditación social. CIEES, PIFI, FIMPES, ANUIES y CUMEX, entre otros

– De política pública o evaluación sistémica. De eficacia, eficiencia, pertinencia, equidad, calidad. Especialistas de la OCDE, ANUIES, SEP-Hacienda-Congreso, entre otros.

A nivel individual

Alumnos

Ámbito Trayectoria Proceso Organismo

Ingreso

Trayecto

EgresoEvaluación y Certificación

Evaluación

EvaluaciónIES

CENEVAL

IESCENEVAL

IES, SEP yCENEVAL

Ámbito Trayectoria Proceso Organismo

A nivel individual

Personal Académico

Ingreso EvaluaciónIES: Exámenes de Oposición

Promoción y Permanencia

Evaluación

IES: Procesos de promoción y permanencia

SEP-IES: Programas de estímulos

SNI y PROMEP

Alumnos Personal Académico

Ámbitos e instancias de evaluación a nivel individual

ProgramasAcadémicos

Ámbito Proceso Organismo

Evaluación

Organismos acreditadores de

COPAESAcreditación

IES

CIEES

SEP-CONACYT

SEP y gobiernos estatales (RVOE)

Ámbitos e instancias de evaluacióny acreditación en el nivel de programas

Instituciones

Ámbito Proceso Organismo

AcreditaciónSocial o

Institucional

FIMPES

ANUIES

CUMEX

Evaluación CIEES

Ámbitos y organismos de evaluación,acreditación y certificación a nivel institucional

Los retos de la coordinación: COCOEES

Evaluación Acreditación Certificación

Ind

ivid

uo

sP

rog

ram

as

Inst

itu

cio

nes

EGEL, EXANI

COPAES

CIEES CUMEX

Certificación

RVOE

FIMPES

NIV

EL

ES

PROCESOS

SNI

PNPC

PROMEP

El desarrollo de los organismos de evaluación y acreditación condujo a instancias estructuralmente aisladas

EVALUACIÓN DE LOS

ESTUDIANTES

Evaluación de los estudiantes

• ¿Quién la realiza?

• En las IES los profesores• En evaluación externa el

CENEVAL– El ingreso (EXANI)– El egreso (EGEL)– El trayecto (ExDial)– Certificación

profesional (apoyo a los Colegios y Asociaciones)

– Escoba UABC– College Board– Entre otras

Los Exámenes que opera el Ceneval

Exámenes de Ingreso• EXANI I (educación media superior)• EXANI II (educación superior)• EXANI III (posgrado)

Exámenes de Egreso para la Licenciatura • EGEL Ciencias de la vida y la conducta (11)• EGEL Ciencias sociales y humanidades (10)• EGEL Ingenierías y tecnologías (12)

Exámenes Diagnósticos para la Licenciatura • EXIL-CBI• ExTra-Es• ECCyPEC

Otros proyectos por demanda• Exámenes para la Certificación del Ejercicio Profesional (EUC)• Acuerdo 286• Enlace para educación media superior• Instrumentos para las Universidades Tecnológicas (EGETSU)• Exámenes para los egresados de Escuelas Normales• Entre otros

EXÁMENES DE INGRESO

Características y uso de los

Características: aspectos técnicos

1. El diseño y elaboración del Perfil referencial del

examen es establecido por un Consejo

Técnico, integrado por especialistas en evaluación

educativa.

2. El contenido temático de las áreas es definido por

un Comité de Diseño en el que participan

representantes de instituciones públicas y privadas

de distintas regiones geográficas del país.

3. Exploran una muestra representativa de

conocimientos y habilidades.

4. Son pertinentes porque tienen una cobertura

suficiente y relevante de lo que se desea medir.

5. Pueden aplicarse a gran escala.

6. Cumplen con reglas de diseño y aplicación

estandarizadas, por lo que sus versiones son

equivalentes en contenido y grado de dificultad

aunque contengan una mezcla distinta de reactivos.


11. Contienen reactivos de diferentes grados de

dificultad.


Preguntas de un área

Dif

icu

ltad

(%)

11. Contienen reactivos de diferentes grados de

dificultad.


Dif

icu

ltad

(%)

Preguntas de un área

12. Se califican de manera automatizada, a fin de

aplicar los mismos criterios para toda la población

13. Los reactivos son elaborados y validados por

distintos Comités, integrados por académicos

adscritos a diversas instituciones públicas y

privadas y fueron capacitados en la generación y

revisión de reactivos, siguiendo especificaciones

puntuales para cada tarea.


14. Antes de integrarse a un examen, los reactivos son

probados en muestras nacionales.

15. Las versiones únicamente incluyen reactivos que

cumplen con los parámetros de

dificultad, discriminación y correlación punto

biserial exigidos por la Dirección Técnica y de

Investigación del Ceneval.


Normativo Comparara el resultado del sustente respecto

de los demás individuos que presentan el

mismo examen.

Sustentantes no aceptados

Sustentantes aceptados


Criterial Compara el desempeño del sustentante

respecto de niveles de logro que definen

qué debe saber hacer y qué debe conocer.

Elemental

Satisfactorio

Sobresaliente


Impacto

Sensibilidad

¿Qué tanto afecta a la vida

académica del sustentante?

¿Qué tanto se relaciona con

los contenidos curriculares del

nivel previo?

Alto

Bajo

Alta

Moderada

Baja


Características: oferta de pruebas

IMPACTO SENSIBILIDADA LA INSTRUCCIÓN

ALTO BAJO

ALTA

MODERADA

BAJAPre

EXANI-IIEXANI-II

Selección

EXANI-III

Investig.

EXANI-III

Profesion.

EXANI-I

Selección

EXANI-II

Módulos

EXANI-I

MódulosEGREMS

Pronóstico AdmisiónDiagnóstico al egreso Diagnóstico al ingreso

IMPACTO SENSIBILIDADA LA INSTRUCCIÓN

ALTO BAJO

ALTA

MEDIA

BAJAPre

EXANI-IIEXANI-II

Selección

EXANI-III

Investig.

EXANI-III

Profesion.

EXANI-I

Selección

EXANI-II

Módulos

EXANI-I

MódulosEGREMS

Pronóstico AdmisiónDiagnóstico al egreso Diagnóstico al ingreso

¿Cómo me

preparé en el

nivel previo?

¿Cómo me iría en

el examen de

admisión?

¿Puedo cursar

estudios del

siguiente nivel?

¿Cuento con los

conocimientos y

habilidades que me

exige la institución?

Normativo CriterialCriterial Normativo

Características: oferta de pruebas

El examen general para el egreso de la licenciatura EGEL

Objetivo y alcance del EGEL

Objetivo:

– Identificar la medida en que los egresados de la Licenciatura cuentan con los conocimientos y habilidades que son esenciales para el inicio del ejercicio profesional en el país.

Provee información válida y confiable que contribuye a establecer, fundamentalmente, tres aspectos:

1. El grado de idoneidad de cada egresado con respecto a un estándar de formación nacional;

2. El nivel de eficacia de los programas y modalidades de formación profesional que administran las IES;

3. Indicadores de rendimiento a partir de los cuales, los organismos evaluadores y acreditadores respectivos, pueden identificar los méritos de cada programa de licenciatura en cada IES.

ATRIBUTO DEFINICIÓN

Especializado por carrera profesional

Evalúa conocimientos y habilidades específicos de la Licenciaturaque son críticos para iniciarse en el ejercicio de la profesión. Noincluye conocimientos y habilidades profesionales genéricos.

De alcance nacional

Se diseñan y preparan para que tengan validez en todo el país. Noestá referido a un currículo en particular.

Estandarizado Cuenta con reglas fijas de diseño, elaboración, aplicación ycalificación.

Criterial Los resultados de cada sustentante se comparan contra unestándar de desempeño nacional.

De máximo esfuerzo

Permite establecer el nivel de rendimiento del sustentante, sobrela base de que éste hace su mejor esfuerzo al resolver losreactivos de la prueba.

De alto impacto Con base en sus resultados los sustentantes pueden titularse y lasIES obtienen un indicador de rendimiento académico.

Características del EGEL (1)

ATRIBUTO DEFINICIÓN

De opción múltiple

Cada pregunta se acompaña de cuatro opciones de respuesta,entre las cuales sólo una es la correcta.

Contenidos centrados en problemas

Permite determinar si los sustentantes son capaces de utilizarlo aprendido durante su Licenciatura en la resolución deproblemas y situaciones a los que típicamente se enfrenta unegresado al inicio del ejercicio profesional.

Sensible a la instrucción

Evalúa resultados de aprendizaje de programas de formaciónprofesional, los cuales son una consecuencia de la experienciaeducativa institucionalmente organizada.

Contenidosvalidadossocialmente

Contenidos validados por comités de expertos y centenares deprofesionistas en ejercicio en el país.

Características del EGEL (2)

Organización de contenidos de los EGEL

Los EGEL organizan sus contenidos en cuatro niveles de anidamiento o desagregación, los cuales se corresponden con la forma como se organiza la propia práctica profesional

1. Las Áreas: Se corresponden con las funciones o ámbitos de actuación en los que se organiza el ejercicio de la profesión

2. Las Subáreas: Se corresponden con las actividades que típicamente realiza el profesionista en las funciones profesionales (Áreas) contempladas en la prueba

3. Los Temas: Se corresponden con las tareas o acciones que son necesarias para llevar a cabo las actividades profesionales (Subáreas) consideradas en la prueba

4. Los Contenidos específicos: Se corresponden con los conocimientos y habilidades asociados a la realización de las tareas profesionales contempladas. Se definen en términos observables y son utilizados como referentes para la elaboración de reactivos

Criterios para asignar Testimonios de Desempeño

En cada EGEL el Consejo Técnico establece el criterio que debe cumplirse

para el otorgamiento de un Testimonio de Desempeño Satisfactorio o

Sobresaliente. En todos los casos, dicho criterio refiere a una determinada

cantidad de áreas en las que el sustentante debe alcanzar un resultado

satisfactorio o sobresaliente.

Ejemplo:

SPEEDY GONZÁLEZ

Reporte individual de resultados

Dictamen general

en el examen

Satisfactorio

Desempeño en cada área del examen

Didáctica y

currículo

Políticas

educativas,

gestión y

evaluación

Docencia,

formación y

orientación

educativa

Investigación

educativa

DS DSS DS DS

1127 1188 1139 1091

Descripción de los Niveles de Desempeño

El Examen General para el Egreso de la Licenciatura en Pedagogía-Ciencias de la Educación (EGEL-EDU) permite identificar el nivel de dominio o desempeño logrado por el sustentante con respecto a los conocimientos y habilidades que el Consejo Técnico del Examen ha definido como necesarios para iniciarse eficazmente en el ejercicio profesional. Para estos efectos, se definen dos niveles de dominio o desempeño para cada una de las áreas que lo componen:

Nivel de desempeño satisfactorio Nivel de desempeño sobresaliente

Didáctica y currículo. El sustentante considera y analiza referentes teórico-metodológicos para el desarrollo de procesos específicos de diseño, intervención y evaluación en los campos del currículo y de la didáctica. Reconoce los criterios y procedimientos para la elaboración de propuestas curriculares o didácticas que respondan a necesidades específicas, así como los mecanismos para su evaluación.

Didáctica y currículo. El sustentante, además de lo logrado en el nivel satisfactorio, toma decisiones sobre las características y procedimientos para el diseño, aplicación y evaluación de propuestas curriculares y didácticas, y reconoce el impacto de aplicación de dichas propuestas. Propone acciones de mejora y actualización en el campo didáctico y curricular.

Políticas educativas, gestión y evaluación educativa. El sustentante es capaz de identificar el marco jurídico que fundamenta las corrientes y políticas educativas en México, los postulados rectores de las políticas educativas nacionales vigentes, los componentes de un plan de desarrollo institucional y diferenciar los elementos de las prácticas de gestión educativa.

Políticas educativas, gestión y evaluación educativa. Además de las capacidades demostradas en el nivel de desempeño satisfactorio, el sustentante es capaz de analizar los elementos implícitos de la política, la gestión y la evaluación educativa.

Docencia, formación y orientación educativa. El sustentante es capaz de identificar necesidades y desarrollar propuestas de formación, capacitación y actualización docente al definir perfiles, contenidos, metodología y estrategias de evaluación. Además, es capaz de elaborar diagnósticos y propuestas de orientación educativa (seleccionar objetivos, técnicas, procedimientos e instrumentos, y metodologías aplicables al contexto y a los proyectos); identificar características generales y seleccionar medios, recursos y materiales didácticos tecnológicos pertinentes para el diseño de propuestas educativas.

Docencia, formación y orientación educativa. Además de las capacidades del nivel de desempeño satisfactorio, el sustentante puede dar seguimiento y determinar adecuaciones a las acciones consideradas en una propuesta de formación, capacitación y actualización docente; determinar y evaluar el impacto de estrategias de intervención en orientación educativa que permitan brindar atención a necesidades de los involucrados; evaluar el impacto de propuestas educativas que utilicen tecnologías de la información y la comunicación.

Investigación educativa. El sustentante es capaz de identificar de manera general, las técnicas de investigación en educación.

Investigación educativa. El sustentante, además de demostrar el nivel de desempeño satisfactorio, es capaz de identificar los elementos constitutivos de una investigación educativa: fuentes de información, preguntas de investigación, hipótesis, conceptos clave y marco teórico.

Examen General para el Egreso de la Licenciatura en Pedagogía - Ciencias de la Educación

EGEL-EDU

Informe comparativo anual

68.1

52.8

49.3

48.9

47.2

46.8

44.8

42.9

38.8

38.7

38.2

35.3

33.3

32.6

32.3

31.2

30.6

28.6

24.1

23.6

22.9

22.5

22.4

21.0

18.9

15.6

15.4

15.0

11.8

9.5

9.1

7.03.4

31.9

35.4

46.4

44.4

47.2

44.2

52.2

47.5

50.7

51.6

58.8

61.8

56.7

44.2

57.0

54.1

63.3

65.7

62.5

70.9

68.8

60.0

57.6

67.7

67.9

54.4

76.0

68.6

37.3

41.1

72.7

39.546.6

11.8

4.3

6.7

5.7

9.1

3.0

9.6

10.4

9.7

2.9

2.9

10.0

23.3

10.8

14.7

6.1

5.7

13.4

5.5

8.3

17.5

20.0

11.3

13.2

30.0

8.7

16.4

51.0

49.5

18.2

53.550.0

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

IES 1213 (47)

IES 1295 (127)

IES 1152 (69)

IES 942 (45)

IES 1236 (53)

IES 1286 (77)

IES 1284 (67)

IES 1292 (198)

IES 1239 (67)

IES 1264 (31)

IES 123 (34)

IES 1192 (34)

IES 1571 (30)

IES 2101 (43)

IES 1225 (186)

NACIONAL (3,164)

IES 1400 (49)

IES 1191 (35)

IES 2192 (112)

IES 2432 (55)

IES 1053 (109)

IES 1577 (40)

IES 1185 (85)

IES 1018 (62)

IES 1194 (53)

IES 917 (90)

IES 1021 (104)

IES 1090 (220)

IES 908 (51)

IES 905 (95)

IES 1016 (33)

IES 921 (43)

IES 899 (58)

11.8 37.3 51.0IES 908

(51)

SIN TESTIMONIO TESTIMONIO DE DESEMPEÑO

SATISFACTORIO

TESTIMONIO DE DESEMPEÑO

SOBRESALIENTE

36

EGEL aplicados(1994 – 2011)

853,305(18 años)

2343,353

8,294

9,325

11,014 18,065

24,122 28,666

37,67448,427

53,73060,800

74,569

76,932

84,72794,995

104,806

113,572

0

10,000

20,000

30,000

40,000

50,000

60,000

70,000

80,000

90,000

100,000

110,000

120,000

1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011

Año

Nú

me

rod

e s

us

ten

tan

tes

37

Resultados del EGEL-EDU

Fortalezas y debilidades en la formación

35.7%

53.9%

10.3%

Sin Testimonio (ST)

Testimonio de Desempeño Satisfactorio (TDS)

Testimonio de Desempeño Sobresaliente (TDSS)

Distribución en testimonios de desempeño del

conjunto de sustentantes del EGEL en Pedagogía –

Ciencias de la Educación durante 2011.

21.9%32.9% 33.4% 33.1%

69.0% 44.0%

58.2%64.2%

9.1%

23.1%

8.5%

2.7%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Didáctica y

currículo

Políticas educativas,

gestión y evaluación

educativa

Docencia, formación y orientación educativa

Investigación educativa

PO

RC

EN

TA

JE

DE

SU

ST

EN

TA

NT

ES

.

Aún No Satisfactorio (ANS) Desempeño Satisfactorio (DS) Desempeño Sobresaliente (DSS)

Comparativo de los niveles de desempeño

alcanzados por el conjunto de sustentantes del

EGEL durante 2011 por área de conocimiento.

44.0%

45.5%

10.5 %

Aún no satisfactiorio

Testimonio de desempeño satisfactorio

Testimonios de desempeño sobresaliente

Distribución en testimonios de

desempeño del conjunto de

sustentantes del EGEL en Pedagogía –

Ciencias de la Educación durante 2012.

30.0%

41.9% 39.5% 43.2%

60.9% 37.1%51.6%

54.7%

9.2%

21.0%

8.9%

2.1%

0.0

20.0

40.0

60.0

80.0

100.0

120.0

Didáctica y currículo Polílicas, gestión y evaluación educativas

Docencia, formación, orientación educativa y tutoría

Investigación educativa

TDSS

TDS

ANS

Comparativo de los niveles de desempeño

alcanzados por el conjunto de

sustentantes del EGEL durante 2012 por

área de conocimiento.

El Premio Ceneval al Desempeño de

Excelencia-EGEL

Este premio tiene el propósito de reconocer y estimular a los

egresados de diversos programas de licenciatura que alcanzan un

desempeño excepcional en el EGEL y, con ello, promover la cultura

del mérito y la excelencia académica en las instituciones de

educación superior del país.

Se otorga a los egresados que:

a) alcancen un desempeño sobresaliente en todas y cada una de las

áreas que integran el EGEL

b) presenten por primera vez el EGEL y

c) tengan un año máximo de haber egresado de la licenciatura o estén

próximos a hacerlo

El Premio Ceneval al Desempeño

de Excelencia-EGEL

Los premiados obtienen:

Un diploma y una medalla alusivos

El reconocimiento público del logro alcanzado en el EGEL, en un

medio impreso de comunicación de alcance nacional

La participación en la ceremonia de entrega de los premios en la que

estarán presentes las autoridades de la SEP y funcionarios del

Ceneval.

El Premio Ceneval al Desempeño

de Excelencia-EGEL

Nombre(orden alfabético)

Institución de procedencia Campus

Castrejón Gutiérrez María Fernanda Universidad del Valle de México Texcoco

Lecuona González Marcela Universidad de la Salle Bajío León

Osuna Márquez Josefa Universidad del Valle de México Hermosillo

Tijerina Villarreal Diana Marcela Universidad Panamericana Insurgentes

Villafuerte Díaz Yunuen Centro Universitario ETAC Nodo Tulancingo

Relación de sustentantes que obtuvieron el Premio

Ceneval al Desempeño de Excelencia en el EGEL en

Pedagogía – Ciencias de la Educación durante el tercer

cuatrimestre de 2011.

Relación de sustentantes que obtuvieron el Premio

Ceneval al Desempeño de Excelencia en el EGEL

de Pedagogía – Ciencias de la Educación

en el primer cuatrimestre de 2012.

Nombre Institución Campus

González Valles Nancy Universidad Autónoma de Cd Juárez

Cd Juárez

Hernández Hidalgo ZayraAlicia

Universidad Autónoma de Cd Juárez

Cd Juárez

Gutiérrez Miranda María del Carmen

Universidad Autónoma de Hidalgo

Pachuca

Valdez Huerta DebraSerelh

Universidad del Desarrollo Profesional

Puerto Peñasco

Martínez Sánchez Luz Adriana

Universidad Anáhuac Norte

Hacia donde vamos a…

• Incorporar a los marcos de referencia de los procesos de evaluación y acreditación de programas educativos e instituciones vigentes, los indicadores de rendimiento académico de los programas educativos basados en los resultados de los EGEL, como una categoría de análisis esencial.

• Incorporar, como información complementaria (o alternativa en los casos de los programas que no cuenten con EGEL) los indicadores de resultados de aprendizaje derivados de pruebas que midan perfiles de egreso.

• Desarrollar un instrumento, de alcance

nacional, que mida la percepción de los egresados

de las IES acerca de las competencias adquiridas durante su formación y la

empleabilidad.

Conclusiones

• El modelo de evaluación, acreditación y aseguramiento de la calidad en México está en fase de revisión y mejora.

– Aún está desarticulado pero a través de COCOEES se busca su armonización y congruencia interna.

– En 2012, se espera concluir con nuevos marcos de referencia integrados.

México necesita para internacionalizarse esta integración y establecer claras políticas en este sentido.

Muchas gracias

Evaluar…

Una buena medida para educar mejor.

¿Preguntas?

conferencia maría elena barrera

Education