programa de evaluaciÓn de los logros curriculares ... · resultados en la prueba común y en la...

PROGRAMA DE EVALUACIÓN DE LOS LOGROS CURRICULARES ALCANZADOS A MITAD DE CARRERA

Estudio correlacional del examen SABER 11, el desem peño académico y los Exámenes de Mitad de Carrera

Rosario en el

Departamento de Planeación Académica y Aseguramient o de la Calidad


Estudio correlacional del examen SABER 11, el desem peño académico y los Exámenes de Mitad de Carrera –ECAMI– de los estudiantes de la Universidad del

Rosario en el período 2007 - 2009

Diana Patricia Montoya Cardona


31/10/2011


Estudio correlacional del examen SABER 11, el desem peño académico y los de los estudiantes de la Universidad del


2

Tabla de Contenido

INTRODUCCIÓN ............................................................................................................................. 3

1. Planteamiento del problema ............................................................................................. 3

2. Marco Contextual .............................................................................................................. 3

3. Objetivo General ............................................................................................................... 5

4. Objetivos Específicos........................................................................................................ 5

5. Variables........................................................................................................................... 6

MÉTODO ....................................................................................................................................... 7

1. Diseño Metodológico ........................................................................................................ 7

2. Participantes ..................................................................................................................... 7

3. Instrumentos ..................................................................................................................... 7

4. Procedimiento ................................................................................................................. 10

RESULTADOS ............................................................................................................................. 12

1. Caracterización de los estudiantes que han presentado ECAMI ..................................... 12

1.1 Región de origen .......................................................................................................... 12

1.2 Variables socio demográficas ....................................................................................... 13

1.3 Caracterización de los colegios de procedencia ........................................................... 13

1.4 Programas Académicos ............................................................................................... 14

1.5 Resultados en el examen SABER 11 ........................................................................... 16

1.6 Desempeño Académico ............................................................................................... 18

2. Asociación entre los resultados del ECAMI y las variables socio demográficas y académicas de los estudiantes .............................................................................................. 20

3. Asociación entre los programas académicos, la prueba SABER 11, el rendimiento académico y los resultados de la prueba común del ECAMI .................................................. 23

4. Asociación entre la prueba SABER 11, el promedio académico y los resultados en la prueba específica del ECAMI ................................................................................................. 26

4.1 Facultad de Jurisprudencia ........................................................................................... 26

CONCLUSIONES .......................................................................................................................... 32

TRABAJOS CITADOS .................................................................................................................... 34

3

Introducción

1. Planteamiento del problema

Los Exámenes de Calidad de Mitad de Carrera -ECAMI-, constituyen una estrategia de “Evaluación de los logros curriculares alcanzados a mitad de carrera por los estudiantes que han ingresado a la Universidad del Rosario desde el segundo período académico de 2005”, año en el que se implementó la reforma curricular de los programas de pregrado, cuya estructuración implicó modificar los planes de estudio, los contenidos de las asignaturas, el sistema de créditos, el tiempo de trabajo presencial e independiente previsto para que los estudiantes desarrollen sus competencias, la orientación pedagógica y las estrategias didácticas empleadas por los profesores, así como la introducción del Núcleo de Formación Rosarista (Centro de Aseguramiento de la Calidad, 2009). El principal propósito de los ECAMI es generar información valorativa sobre los procesos de formación de la Universidad, de manera que sea posible tomar decisiones orientadas al mejoramiento de la formación de los estudiantes, sustentadas en resultados de procesos evaluativos. Para tal fin, los ECAMI evalúan los logros curriculares alcanzados por los programas y por la institución a la mitad de la carrera, mediante la evaluación del desempeño de los estudiantes (Centro de Aseguramiento de la Calidad, 2009). El presente estudio surge como respuesta a la necesidad de realimentar a las facultades sobre el nivel de logro de los estudiantes en las diferentes áreas del currículo y de identificar el valor agregado que aporta la Universidad con respecto a la situación de ingreso de los estudiantes, a partir del los resultados en el ECAMI.

2. Marco Contextual

El proceso de construcción e implementación del ECAMI se remonta al 2005, año en el que se llevó a cabo una primera fase, correspondiente a la identificación de los ejes temáticos de los planes de estudio de los programas de pregrado y de las asignaturas que los conforman. Igualmente, en esta fase se llevó a cabo la definición operacional de los objetivos de aprendizaje que los estudiantes deben alcanzar al finalizar cada uno de los ejes temáticos del plan de estudios. Esta primera fase fue liderada por un Comité Técnico conformado por representantes de las oficinas de Planeación Académica, Admisiones y Registro Académico y por un asesor externo, quienes contaron con el apoyo de las facultades. A partir del trabajo de este Comité, se definió que el ECAMI tendría dos grandes componentes:

� Una prueba común para todos los estudiantes de la Universidad, que evalúa las competencias básicas para el aprendizaje superior, ética y constitución política, componentes del Núcleo de Formación Rosarista (NFR) que es obligatorio en todos los currículos de la Universidad del Rosario.

� Una prueba específica, que evalúa los contenidos particulares correspondientes a la formación disciplinar propia de cada programa académico.

4

En una segunda fase, que tuvo lugar entre enero y junio de 2006, el Comité Técnico procedió a elaborar la estructura de la prueba a partir de los ejes temáticos y de los objetivos de aprendizaje previamente definidos. Ello implicó definir las áreas temáticas pertinentes de ser evaluadas, la ponderación de las mismas en la prueba total, las competencias cognoscitivas con su respectiva ponderación y el número de reactivos a elaborar por cada área temática y competencia cognoscitiva, así como la escala de calificación en la que se expresarían los resultados obtenidos por los estudiantes. Igualmente, se definió el reconocimiento curricular que se otorgaría a los estudiantes con resultados sobresalientes en la prueba. En una tercera fase, llevada a cabo en los meses de junio y julio de 2007, el comité técnico coordinó la labor de construcción de la prueba como tal, lo que implicó adelantar las siguientes acciones: escoger a los profesores que estarían a cargo de la elaboración de los bancos de ítems por área temática; programar las sesiones de capacitación de los mismos y programar y coordinar las sesiones de construcción, revisión y mejoramiento de los ítems. Posteriormente se llevó a cabo una cuarta fase, entre julio y diciembre de 2007, en la que se armaron las primeras versiones de los cuestionarios con las que se pudiesen estimar los índices de validez y confiabilidad de la prueba y los índices de discriminación y dificultad de los ítems. Igualmente, se elaboró el cronograma de aplicación de los exámenes por programa académico. La quinta fase, adelantada en mayo de 2008, implicó estimar los índices de validez y confiabilidad de la prueba y los de discriminación y dificultad de los ítems a partir de los resultados de la primera aplicación de la prueba, que tuvo lugar en el primer semestre de 2008 con estudiantes de los programas de Economía, Finanzas y Comercio Internacional, Jurisprudencia, Ciencia Política y Relaciones Internacionales, debido a que en ese entonces éstos eran los únicos programas que contaban con un número suficiente de estudiantes que cumplieran la condición de haber cursado y aprobado los créditos correspondientes a la mitad de carrera. Los estudiantes de la Escuela de Ciencias Humanas, por su parte, presentaron la prueba común en tanto que la prueba específica consistió en un ensayo. En esta fase también se llevó a cabo la depuración y ampliación de los bancos de preguntas, con base en los análisis psicométricos anteriormente mencionados. En una sexta fase, que se extendió hasta octubre de 2008, se llevó a cabo la segunda aplicación de los ECAMI. En esta ocasión participaron estudiantes de Medicina, Fisioterapia, Fonoaudiología, Administración de Empresas, Administración de Negocios Internacionales y de Gestión y Desarrollo Urbano, además de estudiantes de los programas que participaron en la primera aplicación. Los resultados obtenidos dieron origen a informes cualitativos y estadísticos de retroalimentación del logro curricular a las diferentes facultades. Así mismo, en febrero de 2008 se emitió el Decreto Rectoral No. 1007 que reglamenta los Exámenes de Calidad de Mitad de Carrera -ECAMI- en los programas de pregrado de la Universidad. Dicha reglamentación establece la obligatoriedad de la presentación de los exámenes para aquellos estudiantes de pregrado que hayan aprobado el conjunto de asignaturas señaladas por cada programa académico como equivalentes a la “mitad de carrera”. Igualmente, el decreto establece los incentivos para aquellos estudiantes que obtengan resultados sobresalientes en la prueba. A partir del año 2009, y con base en la experiencia del 2008, se decidió que la periodicidad de aplicación de la prueba fuera anual y no semestral como inicialmente se había previsto. Igualmente, se planteó una nueva metodología para la construcción de las preguntas, de manera que ésta fuera llevada a cabo por áreas y aprobadas por el Comité de Currículo, lo que

5

implicó fomentar la conformación de grupos de trabajo por áreas del saber, integrados principalmente por profesores de carrera y planta y excepcionalmente por profesores de hora cátedra. Igualmente, se definió que los Comités de Currículo de cada facultad aprobarían las preguntas construidas y que los resultados del examen constituirían una herramienta para la gestión curricular. Igualmente, en el año 2009 se aplicó por tercera vez el ECAMI. En esta aplicación participaron por primera vez estudiantes de los programas de Administración en Logística y Producción, Fonoaudiología y Terapia Ocupacional.

3. Objetivo General

Establecer la asociación entre los resultados obtenidos por los estudiantes en el ECAMI y variables demográficas como género y colegio de procedencia, por un lado; y variables académicas como promedio acumulado y puntaje en la prueba Saber 11, por el otro, con el fin de realimentar a las facultades sobre el nivel de logro alcanzado por los estudiantes en relación con los propósitos de formación del programa y a los transversales del núcleo de formación Rosarista.

4. Objetivos Específicos

� Describir a los estudiantes que presentaron el ECAMI en el período 2007 - 2009 en relación

con variables demográficas como región de origen, género, colegio de procedencia y con respecto a variables académicas como semestre de ingreso al programa, puntaje en el examen SABER 11 y promedio acumulado en el semestre de presentación del ECAMI.

� Contrastar los resultados obtenidos por los estudiantes en la prueba común del ECAMI y en

cada una de las subpruebas que la conforman, por programas académicos.

� Establecer la existencia de asociaciones estadísticamente significativas entre los resultados en la prueba común del ECAMI, por un lado; y las variables demográficas y académicas de los estudiantes, por el otro.

� Determinar las áreas evaluadas en el examen SABER 11 que permiten predecir los

resultados en la prueba común y en la prueba específica del ECAMI.

� Estimar la validez concurrente del ECAMI, es decir, establecer la significancia o utilidad práctica de los resultados obtenidos (Herrera, 1998).

� Proponer acciones de mejoramiento del ECAMI, de modo que la información obtenida

mediante su aplicación permita tomar decisiones acerca de los currículos de los programas.

6

5. Variables

Para cada uno de los estudiantes que presentaron el ECAMI en el período comprendido entre el 2007 y el 2009 se obtuvo información de los siguientes aspectos: � Caracterización sociodemográfica: En este aspecto se contemplan variables como género,

y ciudad del colegio de procedencia de los estudiantes. � Colegio de procedencia: A fin de caracterizar los colegios de procedencia de los

estudiantes que presentaron el ECAMI en el período 2007-2009, se analizó su naturaleza (oficial o privado), su rendimiento en los exámenes de estado (alto, medio o bajo) y, por último, su pertenencia al programa de “Colegios Convenio” de la Universidad del Rosario.

� Puntajes en el examen SABER 11: Se contemplaron únicamente los resultados obtenidos por cada estudiante en las ocho áreas del núcleo común de la prueba, es decir, Lenguaje, Matemáticas, Química, Física, Biología, Ciencias Sociales, Filosofía e Inglés. Adicionalmente, se tuvo en cuenta la clasificación del rendimiento del estudiante según el puntaje total obtenido en la prueba (alto, medio o bajo).

� Rendimiento académico: Se refiere al promedio acumulado del estudiante en el período en el que presentó el ECAMI.

� Puntaje en la prueba común del ECAMI: La prueba común del ECAMI está conformada a su vez por tres subpruebas: Competencias básicas para el aprendizaje superior, Ética y Constitución Política. Para cada estudiante se obtuvo el puntaje total en la prueba común y en las tres subpruebas que la conforman.

� Puntaje en la prueba específica del ECAMI: Cada programa académico tiene una prueba específica propia, por tanto, el número y la naturaleza de las áreas evaluadas difiere de un programa a otro.

7

Método

1. Diseño Metodológico

A fin de establecer la asociación que existe entre los resultados en el ECAMI y las variables demográficas como género y colegio de procedencia, por un lado y las variables académicas como resultado en el examen SABER 11 y promedio acumulado del estudiante en el período de presentación del ECAMI, por el otro; se llevó a cabo un estudio descriptivo correlacional.

2. Participantes

La población de estudio estuvo conformada por los 1245 estudiantes de pregrado de la Universidad del Rosario que presentaron al menos una de las dos pruebas que conforman el ECAMI entre los años 2007 y 2009.

3. Instrumentos

Bases de datos Para consolidar la información demográfica y académica de los estudiantes, se usaron las bases de datos que genera semestralmente el departamento de admisiones de la Universidad, con datos como la ciudad del colegio de procedencia del estudiante, género, colegio de egreso y puntajes por área de la prueba Saber 11. La información del promedio académico de los estudiantes en el semestre de presentación del ECAMI, por su parte, fue obtenida del Data Warehouse, en tanto que la información de clasificación del puntaje total en la prueba Saber 11 se obtuvo de SPADIES (Sistema de Prevención y Análisis de la Deserción en las Instituciones de Educación Superior). Por último, la información de los resultados en el ECAMI fue suministrada por el Departamento de Planeación Académica y Aseguramiento de la Calidad. Examen de Estado de la Educación Media – ICFES Sabe r 11 Dado que parte de los análisis realizados en el presente estudio están fundamentados en los resultados de la prueba Saber 11, es pertinente describir sus principales características. De acuerdo con el Decreto 869 de 2010, “El Examen de Estado de la Educación Media, ICFES – SABER 11, que aplica el Instituto Colombiano para la Evaluación de la Educación (ICFES) es un instrumento estandarizado para la evaluación externa, que conjuntamente con los exámenes que se aplican en los grados 5° y 9° y al finalizar el pregrado, hace parte de los instrumentos que conforman el Sistema Nacional de Evaluación”. El propósito del examen SABER 11 es comprobar el grado de desarrollo de las competencias de los estudiantes que están por terminar undécimo grado. Para tal efecto, la prueba está conformada por dos cuerpos: el núcleo común y el componente flexible. El primero evalúa las áreas que se consideran fundamentales de acuerdo con la Ley General de Educación y los estándares básicos de competencias, que son: lenguaje, matemáticas, biología, química, física,

8

filosofía, ciencias sociales e inglés. El componente flexible, por su parte, está integrado por dos clases de pruebas: de profundización e interdisciplinares y su propósito es evaluar áreas de interés para los estudiantes, quienes deben escoger aquella que más se ajuste a sus intereses y dominio académico. Todas las pruebas del núcleo común y las de profundización evalúan competencias y componentes propios del área. Las competencias son los procesos cognitivos que el estudiante debe realizar para resolver una pregunta, en tanto que los componentes son las categorías conceptuales o los tópicos propios del área o la disciplina (Instituto Colombiano para la Evaluacion de la Educación ICFES, 2011). En el presente estudio sólo se tuvieron en cuenta los puntajes de las áreas del núcleo común ya que este componente es respondido por todos los estudiantes. A continuación se presenta una breve descripción de lo que evalúa cada área: � Lenguaje: Evalúa la competencia comunicativa básica de los sujetos, lo que implica el

perfeccionamiento de su capacidad para identificar el contexto comunicativo en el que se encuentran y, en consecuencia, saber cuándo hablar, sobre qué, de qué manera, cómo reconocer las interacciones que subyacen a todo discurso y cómo evidenciar los aspectos conflictivos de la comunicación.

� Matemáticas: Evalúa el uso flexible y comprensivo del conocimiento matemático escolar en diversos contextos de la vida diaria, de las matemáticas mismas y de otras ciencias.

� Ciencias naturales (química, física y biología): Busca conocer la capacidad de los estudiantes para establecer relaciones entre nociones y conceptos provenientes de contextos propios de la ciencia y de otras áreas del conocimiento, utilizando su capacidad crítica para valorar la calidad de una información o de un mensaje y para asumir una posición propia.

� Ciencias sociales: Evalúa las competencias para la comprensión, confrontación y construcción de significados del mundo social.

� Filosofía: Evalúa diferentes competencias, como la capacidad del estudiante para reconocer las tesis principales en los textos filosóficos, la deducción de las consecuencias de los planteamientos filosóficos formulados a lo largo de la Ciencias Sociales de la filosofía, el manejo y la aplicación de conceptos, entre otras.

� Inglés: Los resultados de esta prueba hacen referencia a las bandas del Marco Común Europeo, por tanto, son indicador de lo que el estudiante es capaz de hacer. De este modo, el estudiante puede ser clasificado como usuario principiante (A1), usuario básico (A2) o usuario independiente (B1).

El resultado obtenido por el estudiante en cada una de las áreas es expresado en una escala que va de 0 a 100 puntos aproximadamente, que puede interpretarse de acuerdo con los siguientes rangos: � Bajo: Puntajes entre 0 y 30 � Medio: Puntajes entre 30,01 y 70 � Alto: Puntajes iguales o superiores a 70,01 Si bien los resultados de las diferentes áreas no son comparables entre sí, los resultados en diferentes períodos para la misma área pueden compararse teniendo en cuenta los rangos anteriormente descritos. El promedio ponderado de las áreas que conforman el núcleo común se calcula de la siguiente manera (Instituto Colombiano para el Fomento de la Educación Superior, 2008):

9

�� í�� í�� í� ��2 ! �� "�� #��$ � �� %í� � �3 ! �� '��á��$ �

�3 ! �� )��$ � �� *��é�$/13 Exámenes de Calidad de Mitad de Carrera -ECAMI- Como se mencionó anteriormente, el principal objetivo del ECAMI es generar información valorativa sobre los procesos de formación de la Universidad del Rosario, de manera que se tomen decisiones soportadas en resultados de procesos evaluativos para el mejoramiento de los procesos de formación de los estudiantes de la Universidad. Para tal fin, el examen evalúa los logros curriculares de alcance institucional y los logros alcanzados por los programas a la mitad de la carrera a través de la evaluación del desempeño de los estudiantes. El ECAMI está conformado por una prueba común y por una prueba específica. La prueba común es respondida por los estudiantes de todos los programas y su objetivo es evaluar los componentes del Núcleo de Formación Rosarista (NFR). Consta de las siguientes subpruebas: Competencias básicas para el aprendizaje superior. Corresponden al conocimiento y manejo de formas de comunicación propias de la cultura académica y que facilitan la inserción activa y calificada de los miembros, dentro de la respectiva comunidad académica. En el ECAMI se evalúan las siguientes competencias: � Competencia de lectura profunda: Se refiere a la capacidad del estudiante para entender

texto y no solamente informarse de ellos. � Competencia dialéctica frente al conocimiento: Alude a la capacidad del estudiante para

argumentar en torno a un problema desde posiciones diversas y llegar a conclusiones que reflejen el debate entre un pro y un contra.

� Competencia crítica frente al conocimiento: Se refiere a la capacidad del estudiante para formular preguntas críticas pertinentes.

Formación ética y valores. Evalúa el avance de los estudiantes en la construcción de criterios éticos, que les permitan valorar la justicia de la sociedad en que viven y aportar, como ciudadanos, a delinear y hacer viable un país deseable (Universidad del Rosario, 2010). Constitución Política. Evalúa la comprensión de la función del texto constitucional en una sociedad política organizada como la colombiana y, por tanto, su papel como forma de organización del poder y como mecanismo de contención del mismo. En el ECAMI, se evalúan las competencias de interpretación y análisis de la Constitución Política, de manera que pueda establecerse si el estudiante identifica, diferencia y reconoce la función de las más importantes categorías del texto constitucional. Hasta el año 2009, la prueba común, en su totalidad, constaba de 120 ítems, de los cuales 60 correspondían a Competencias Básicas para el Aprendizaje Superior, 35 a Formación Ética y Valores y 25 a Constitución Política. Los resultados obtenidos por el estudiante en cada una de las subpruebas se expresan en una escala estándar con media de 50 y desviación estándar de 10. La sumatoria de los puntajes obtenidos en las tres áreas, a su vez, genera el puntaje total para la prueba común.

10

La prueba específica , por su parte, evalúa los contenidos correspondientes a la formación disciplinar propia de cada programa académico, por tanto, el número de áreas que la conforman está determinado por la estructura curricular del programa. Así por ejemplo, la prueba específica del programa de Jurisprudencia está conformada por nueve áreas y 180 ítems, en tanto que la prueba específica del programa de Medicina consta de dos áreas y 120 ítems. Los resultados obtenidos en cada una de las áreas se expresan en una escala estándar con media de 50 y desviación estándar de 10 y la sumatoria del puntaje de todas las áreas, a su vez, genera el puntaje total para la prueba específica. Adicionalmente, los puntajes brutos obtenidos por los estudiantes son expresados en términos del porcentaje de respuestas correctas, lo que permite hacer comparaciones del desempeño de los estudiantes de un mismo programa a lo largo del tiempo.

4. Procedimiento

En primer lugar, se consolidó la base de datos con la información demográfica y académica de los estudiantes que presentaron el ECAMI entre los años 2007 y 2009. La información de los puntajes obtenidos por los estudiantes en las subpruebas del ECAMI fue proporcionada por el Departamento de Planeación Académica y Aseguramiento de la Calidad. La información de las variables sociodemográficas como género, departamento de nacimiento, nombre y ciudad de ubicación del colegio de procedencia, fue obtenida de las bases de datos del Departamento de Promoción y Admisiones y de la base de datos del Sistema de Prevención y Análisis de la Deserción en las Instituciones de Educación Superior SPADIES 2.5. Igualmente, se adicionaron variables académicas que fueron obtenidas de diferentes fuentes: la cohorte del estudiante y el promedio académico acumulado del estudiante en el período de presentación del ECAMI fue obtenido del Data Warehouse, los puntajes en cada una de las áreas del examen SABER 11, el rendimiento en las pruebas de estado del colegio de procedencia y la pertenencia del colegio al programa de Colegios Convenio fueron obtenidos de las bases de datos del Departamento de Promoción y Admisiones; la información de la naturaleza del colegio (oficial o privado) fue obtenida de las bases de datos de Admisiones y del portal Colegios Colombia (www.colegioscolombia.com); por último, la clasificación del puntaje total de los estudiantes en el examen SABER 11 en Alto, Medio o Bajo fue obtenida de SPADIES. Una vez consolidada la base de datos, se estimaron los estadísticos descriptivos (frecuencias) de las variables demográficas a fin de conocer la distribución de los 1245 estudiantes que conforman la muestra por género, ciudad de procedencia, naturaleza y rendimiento del colegio de egreso. Igualmente, se estimaron los estadísticos descriptivos de las variables académicas, es decir, la distribución de los estudiantes por cohorte, clasificación del puntaje en el examen SABER 11 y programa. Por último, se estimó el promedio y la desviación estándar del promedio académico acumulado de los estudiantes en el período de presentación del ECAMI y de los puntajes en la prueba común y específica del ECAMI y en cada una de las áreas que las conforman por programa académico. Posteriormente, se realizaron análisis bivariados a fin de identificar cuáles de las variables académicas y demográficas incluidas en el estudio se relacionan con los resultados en el ECAMI. En el caso de las variables categóricas que sólo adoptan dos valores (género, naturaleza del colegio, colegios convenio) se llevaron a cabo pruebas T de comparación de medias para establecer si existen diferencias estadísticamente significativas en el puntaje del

11

ECAMI asociadas a dichas variables. En el caso de las variables categóricas que adoptan más de dos valores (rendimiento del colegio, clasificación del puntaje en el ICFES, programa académico) se empleó el Análisis de Varianza –ANOVA- o la prueba Kruskal-Wallis (cuando los datos no cumplían los supuestos del ANOVA). Por último, en los casos de las variables continuas (puntaje en las áreas del examen SABER 11, promedio ponderado de las área del examen SABER 11 y promedio académico acumulado) se estimó el coeficiente de correlación de Pearson con el propósito de establecer si existe una relación lineal entre éstas y los puntajes de los estudiantes en el ECAMI. Sólo se analizaron los coeficientes mayores a 0,3. Finalmente, se estimaron modelos de regresión en los que las variables de predicción fueron los puntajes en la prueba común y específica del ECAMI y las variables predictoras fueron los puntajes en las áreas que conforman el examen SABER 11 y el promedio académico acumulado en el período de presentación del ECAMI. El método de inclusión de las variables seleccionado fue “paso a paso”. En todos los modelos se verificó el cumplimiento de los supuestos que demanda el análisis de regresión (linealidad, independencia, homocedasticidad y normalidad). El propósito de las regresiones fue establecer cuáles de las variables contempladas en el modelo permiten predecir el puntaje de la prueba común y específica del ECAMI. Todas las pruebas estadísticas se llevaron a cabo con un nivel de confianza del 95%.

12

Resultados

1. Caracterización de los estudiantes que han prese ntado ECAMI

Desde la implementación de los ECAMI en el año 2007 hasta el 2009, 1245 estudiantes de la Universidad presentaron la prueba; de ellos, 258 la presentaron en el 2007, 262 en el 2008 y 725 en el 2009. Como se anotó anteriormente, a la prueba son convocados únicamente los estudiantes que han cumplido con los créditos de mitad de carrera definidos previamente para cada programa.

1.1 Región de origen

En relación con la ubicación del colegio de procedencia, se encuentra que el 64,1% de los estudiantes que presentaron el ECAMI en el período comprendido entre el 2007 y el 2009 proceden de colegios ubicados en Bogotá, seguido por un 3,4% de estudiantes que proceden de colegios ubicados en Chía, un 1,8% que egresaron de colegios ubicados en Cota y un 1,7% que proceden de colegios de Barranquilla. A nivel departamental, además del Distrito Capital y de Cundinamarca, una importante proporción de los estudiantes que presentaron ECAMI (el 3,2%), proceden de colegios ubicados en Boyacá, Valle del Cauca (el 2,8%) y de Santander (el 2,6%). Cabe resaltar, además, que en la muestra de estudiantes de la Universidad que presentaron el ECAMI entre el 2007 y el 2009, se encuentran personas procedentes de 89 municipios y de 31 departamentos a nivel nacional (Tabla 1). Tabla 1. Departamento de procedencia de los estudiantes que presentaron ECAMI en el período 2007-2009.

Departamento No. %

Amazonas 1 0,1%

Antioquia 6 0,5%

Arauca 1 0,1%

Atlántico 23 1,8%

Bogotá D.C. 798 64,1%

Bolívar 15 1,2%

Boyacá 40 3,2%

Caldas 9 0,7%

Caquetá 1 0,1%

Casanare 5 0,4%

Cauca 4 0,3%

Cesar 15 1,2%

Chocó 4 0,3%

Córdoba 14 1,1%

Cundinamarca 105 8,4%

Guainía 1 0,1%

Huila 18 1,4%

La Guajira 11 0,9%

Magdalena 15 1,2%

13

Departamento No. %

Meta 14 1,1%

Nariño 15 1,2%

Norte Santander 11 0,9%

Putumayo 1 0,1%

Quindío 9 0,7%

Risaralda 6 0,5%

San Andrés 2 0,2%

Santander 32 2,6%

Sucre 7 0,6%

Tolima 15 1,2%

Valle 35 2,8%

Sin información 12 1%

Total 1245 100%

Fuente: Departamento de Promoción y Admisiones

1.2 Variables socio demográficas

La mayoría de los estudiantes que presentaron el ECAMI en el período 2007-2009 son de género femenino. Esta proporción es coherente con los datos institucionales, que en el 2009 señalaban que el 60% de la población estudiantil de pregrado era de género femenino. En relación con las variables de caracterización económica, sólo se encontró información en el sistema SPADIES del 7% de los estudiantes que presentaron el ECAMI en el período 2007 - 2009. De ellos, el 4,7% reportaron que el nivel educativo de la madre es Universitaria o Superior, mientras que tan sólo el 0,5% reportó que el nivel educativo la madre es básica primaria o inferior. Sin embargo, no es posible hacer inferencias respecto a esta variable debido a la carencia de información (Tabla 2). Tabla 2 Género de los estudiantes que presentaron el ECAMI en el período 2007-2009

Variables demográficas 2007 2008 2009 Total

No. % No. % No. % No. %

Género Femenino 169 66% 183 70% 464 64% 816 65,54%

Masculino 89 34% 79 30% 261 36% 429 34,46%

Fuente: Departamento de Promoción y Admisiones y SPADIES 4.2

1.3 Caracterización de los colegios de procedencia

En cuanto al colegio de procedencia, se evidencia que la mayoría de los estudiantes que presentaron el ECAMI en el período 2007 - 2009 (el 91%, el 85% y el 90%, respectivamente) egresaron de colegios no oficiales. Por otra parte, la Universidad ha establecido convenios de cooperación mutua con colegios que se identifican con la filosofía educativa del Rosario, que comparten principios y valores de formación humanista y que se distinguen por su excelencia académica. Entre el 25% y el 29%

14

de los estudiantes que presentaron el ECAMI en el período 2007 - 2009 proceden de colegios que tienen convenio con la Universidad en el marco del programa “Colegios Convenio”. Finalmente, más del 72% egresaron de colegios clasificados en el rango Muy Superior, que corresponde al más alto rendimiento de acuerdo con los resultados del plantel en el Examen de Estado SABER 11 (Tabla 3). Tabla 3 Caracterización de los colegios de procedencia de los estudiantes que presentaron el ECAMI en el

período 2007 - 2009

Descripción del Colegio 2007 2008 2009 Total

No. % No. % No. % No. %

Carácter

No oficial 236 91% 224 85% 650 90% 1110 89%

Oficial 16 6% 22 8% 63 9% 101 8%

Sin información 6 2% 16 6% 12 2% 34 3%

Convenio con la Universidad del Rosario

No 191 74% 184 70% 508 70% 883 71%

Si 65 25% 69 26% 211 29% 345 28%

Sin información 2 1% 9 3% 6 1% 17 1%

Rendimiento en las pruebas SABER 11

Bajo 0 0,0% 0 0,0% 1 0,1% 1 0,1%

Medio 1 0,4% 2 0,8% 8 1,1% 11 0,9%

Alto 6 2,3% 8 3,1% 20 2,8% 34 2,7%

Superior 34 13,2% 50 19,1% 89 12,3% 173 13,9%

Muy superior 213 82,6% 190 72,5% 598 82,5% 1001 80, 4%

Sin información 4 1,6% 12 4,6% 9 1,2% 25 2,0% Fuente: Departamento de Promoción y Admisiones y Portal Colegios Colombia www.colegioscolombia.com

1.4 Programas Académicos

En el año 2007 fueron convocados a presentar el ECAMI estudiantes de los programas de Ciencia Política y Gobierno, Economía, Finanzas y Comercio Internacional, Jurisprudencia y Relaciones Internacionales y de los programas de la Escuela de Ciencias Humanas; en el 2008, se amplío la cobertura a los programas de Administración de Empresas, Administración de Negocios Internacionales, Fisioterapia, Gestión y Desarrollo Urbano, Medicina y Psicología y en el 2009 se incorporaron los programas de Terapia Ocupacional, Fonoaudiología y Administración en Logística y Producción (Tabla 4). Tabla 4 Distribución de los estudiantes que presentaron ECAMI en el período 2007-2009 según programa

académico.

Programa 2007 2008 2009 Total

No. % No. % No. % No. %

Administración de Empresas 7 3% 25 3% 32 2,6%

Administración de Negocios Internacionales 34 13% 61 8% 95 7,6%

Administración en Logística y Producción 5 1% 5 0,4%

Ciencia Política y Gobierno 38 15% 41 16% 58 8% 137 11,0%

15

Programa 2007 2008 2009 Total

No. % No. % No. % No. %

Economía 17 7% 7 3% 10 1% 34 2,7%

Escuela de Ciencias Humanas 6 0,4% 23 3% 29 2,3%

Finanzas y Comercio Internacional 63 24% 25 10% 79 11% 167 13,4%

Fisioterapia 10 4% 31 4% 41 3,3%

Fonoaudiología 9 1% 9 0,7%

Gestión y Desarrollo Urbano 8 3% 16 2% 24 1,9%

Jurisprudencia 40 16% 40 15% 155 21% 235 18,9%

Medicina 25 10% 110 15% 135 10,8%

Psicología 8 3% 14 2% 22 1,8%

Relaciones Internacionales 94 36% 57 22% 117 16% 268 21,5%

Terapia Ocupacional 12 2% 12 1,0%

Total 258 100% 262 100% 725 100% 1245 100% Fuente: Departamento de Planeación Académica y Aseguramiento de la Calidad

Si bien los estudiantes son citados a presentar tanto la prueba común como la prueba específica (excepto los estudiantes de la Escuela de Ciencias Humanas quienes únicamente presentaron la prueba común) el 79% respondió los dos componentes de la prueba; el 16% únicamente respondió la prueba específica y el 5% sólo la prueba común (Tabla 5). Tabla 5 Distribución de los estudiantes que presentaron ECAMI en el período 2007-2009 según si presentaron

los dos componentes de la prueba o sólo uno de ellos.

Programa

Prueba Común y Prueba Específica Sólo Prueba Común Sólo Prueba

Específica

No. % No. % No. %

Administración de Empresas 23 72% 2 6% 7 22%

Administración de Negocios Internacionales 65 68% 6 6% 24 25%

Administración en Logística y Producción 3 60% 0% 2 40%

Ciencia Política y Gobierno 126 92% 3 2% 8 6%

Economía 28 82% 1 3% 5 15%

Escuela de Ciencias Humanas* 0% 29 100% 0%

Finanzas y Comercio Internacional 72 43% 3 2% 92 55%

Fisioterapia 36 88% 1 2% 4 10%

Fonoaudiología 8 89% 0% 1 11%

Gestión y Desarrollo Urbano 22 92% 1 4% 1 4%

Jurisprudencia 204 87% 11 5% 20 9%

Medicina 134 99% 0% 1 1%

Psicología 22 100% 0% 0%

Relaciones Internacionales 223 83% 11 4% 34 13%

Terapia Ocupacional 12 100% 0% 0%

Total 978 79% 68 5% 199 16% Fuente: Departamento de Planeación Académica y Aseguramiento de la Calidad *Estos programas sólo presentaron prueba común

16

En relación con el semestre de ingreso (cohorte) la mayoría de los estudiantes que presentaron el ECAMI en el 2007 y en el 2008 ingresaron a la Universidad en el primer semestre de 2006 (el 53,9 y el 39,7%, respectivamente), en tanto que la mayoría de los estudiantes que presentaron el ECAMI en el 2009 ingresaron a la Universidad el primer semestre de 2007 (el 30,1%). Lo anterior señala que un porcentaje importante de los estudiantes que presentaron el examen cumplieron con los créditos de mitad de carrera entre el cuarto y el sexto semestre cursado (Gráfica 1).

Fuente: Data Warehouse

Gráfica 1. Semestre de ingreso de los estudiantes que presentaron el ECAMI en el 2007-2 y en el 2008-1.

1.5 Resultados en el examen SABER 11

En relación con los resultados en el examen SABER 11 se puede afirmar que los programas con mayor proporción de estudiantes que obtuvieron puntajes Altos en el examen SABER 11 fueron Medicina, Administración en Logística y Producción, Economía, Finanzas y Comercio Internacional y los ofrecidos por la Escuela de Ciencias Humanas. Es importante precisar que el ICFES clasifica el puntaje total obtenido por el estudiante en Bajo, Medio o Alto. El puntaje total corresponde al promedio ponderado de las ocho áreas del núcleo común y al área del componente flexible. Para calcular dicho promedio, se asigna mayor peso a las áreas de matemáticas, lenguaje y ciencias sociales, por ello, los resultados obtenidos mediante el promedio ponderado difieren del obtenido mediante el promedio simple (Gráfica 6).

2004-1 2004-2 2005-1 2005-2 2006-1 2006-2 2007-1 2007-2 2008-1 2008-2 2009-1

2007 0,4% 0,4% 4,3% 29,5% 53,9% 11,6% 0,0% 0,0% 0,0% 0,0% 0,0%

2008 0,0% 0,4% 3,4% 29,8% 39,7% 13,0% 13,7% 0,0% 0,0% 0,0% 0,0%

2009 0,1% 0,0% 0,6% 10,9% 23,2% 19,3% 30,1% 10,8% 4,3% 0,4% 0,4%

0%

20%

40%

60%

Semestre de Ingreso de los estudiantes que presentaron ECAMI en el período 2007-2009

17

Fuente: SPADIES

Gráfica 2 Clasificación del desempeño en la prueba SABER 11 de los estudiantes que presentaron el ECAMI en el período 2007-2009.

MedicinaAdministración en Logística y Producción

EconomíaFinanzas y Comercio

Internacional

Escuela de Ciencias Humanas

Administración de Negocios

InternacionalesJurisprudencia Administración

de EmpresasCiencia Política

y GobiernoPsicología

Gestión y Desarrollo

Urbano

Terapia Ocupacional

Relaciones Internacionales

Fisioterapia Fonoaudiología

Alto 85% 80% 79% 79% 69% 69% 69% 59% 56% 55% 54% 50% 49% 27% 22%

Medio 14% 20% 21% 16% 24% 24% 26% 41% 28% 41% 33% 50% 31% 54% 56%

Bajo 0% 0% 0% 1% 3% 2% 2% 0% 7% 5% 0% 0% 4% 20% 0%

Sin información 1% 0% 0% 4% 3% 4% 2% 0% 8% 0% 13% 0% 16% 0% 22%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%Clasificación del Desempeño de los Estudiantes en el examen SABER 11 por Programa Académico

18

1.6 Desempeño Académico

El desempeño académico de los estudiantes que presentaron el ECAMI en el período 2007-2009 se midió a través del promedio acumulado en el momento de presentación del examen. De este modo, para los estudiantes que presentaron el ECAMI en el 2007 se tomó en cuenta el promedio acumulado al finalizar el segundo período de dicho año; para quienes presentaron la prueba en el 2008 se tomó en cuenta el promedio acumulado al término del primer semestre de 2008 y para quienes presentaron la prueba en el 2009, el promedio acumulado al concluir el segundo semestre del mismo año. De los estudiantes convocados a presentar el ECAMI en el 2007, los del programa de Economía eran quienes tenían promedios acumulados más altos (4,2), seguidos de los estudiantes de Periodismo y Opinión Pública y de Ciencia Política y Gobierno (4,1 respectivamente), sin embargo, la diferencia entre un programa y otro no es considerable (Gráfica 3).

Gráfica 3 Promedio y desviación estándar del promedio acumulado a segundo semestre de 2007 de

los estudiantes que presentaron ECAMI ése mismo año. Por su parte, de los estudiantes que presentaron el ECAMI en el 2008 quienes tenían promedios acumulados más altos en el primer semestre de ese mismo año eran los de Psicología, Administración de Empresas, Jurisprudencia y Economía (4,2 respectivamente); sin embargo, en este último programa la dispersión de los promedios es mayor. Entre tanto, los estudiantes con promedios más bajos pertenecían a los programas de Medicina (3,8) y los de Finanzas y Comercio Internacional (3,7) (Gráfica 4).

3,84 3,88 3,91 3,88 3,81 3,76

4,2 4,1 4,1 4,0 4,0 4,0

1,0

2,0

3,0

4,0

5,0

Eco

nom

ían=

17

Esc

uela

de

Cie

ncia

s H

uman

asn=

6

Cie

ncia

P

olíti

ca y

G

obie

rno

n=38

Rel

acio

nes

Inte

rnac

iona

les

n=94

Juris

prud

enci

an=

40

Fin

anza

s y

Com

erci

o In

tern

acio

nal

n=63

Promedio y Desviación Estándar del Promedio Acumulado de los Estudiantes que presentaron ECAMI en el 2007

Promedio Programa + Desviación Estándar Promedio - Desviación Estándar

19

Gráfica 4 Promedio y desviación estándar del promedio acumulado a primer semestre de 2008 de los

estudiantes que presentaron ECAMI ése mismo año. Finalmente, de los estudiantes que presentaron el ECAMI en el 2009, quienes tenían promedios acumulados más altos en el semestre de presentación del examen eran los de los programas de Terapia Ocupacional (4,3), Administración en Logística y Producción, Escuela de Ciencias Humanas y Psicología (4,2 respectivamente), en tanto que quienes tenían promedios acumulados más bajos eran los estudiantes de Medicina (3,8), Finanzas y Comercio Internacional y Economía (3,9 respectivamente) (Gráfica 5).

Gráfica 5 Promedio y desviación estándar del promedio acumulado a segundo semestre de 2009 de

los estudiantes que presentaron ECAMI ése mismo año.

3,79 3,72 3,83 3,87 3,83 3,97 3,90 3,933,71 3,77 3,74

4,2 4,2 4,2 4,2 4,1 4,0 4,0 4,0 3,9 3,9 3,8

1,0

2,0

3,0

4,0

5,0P

sico

logí

an=

8

Adm

inis

traci

ón

de E

mpr

esas

n=7

Juris

prud

enci

an=

40

Eco

nom

ían=

7

Fis

iote

rapi

an=

10

Ges

tión

y D

esar

rollo

U

rban

on=

8

Rel

acio

nes

Inte

rnac

iona

les

n=57 Cie

ncia

P

olíti

ca y

G

obie

rno

n=41

Adm

inis

traci

ónde

Neg

ocio

s In

tern

acio

nale

sn=

34

Fin

anza

s y

Com

erci

o In

tern

acio

nal

n=25

Med

icin

an=

25


Promedio Programa + Desviación Estándar Promedio - Desviación Estándar

3,87 3,863,80 3,90 3,81 3,87 3,79 3,80

3,89 3,90 3,92 3,943,94

3,83 3,74

4,3 4,2 4,2 4,2 4,1 4,1 4,0 4,0 4,0 4,0 4,0 4,0 3,9 3,9 3,8

1,0

2,0

3,0

4,0

5,0

Ter

apia

O

cupa

cion

aln=

12

Adm

inis

traci

ón

en L

ogís

tica

y P

rodu

cció

nn=

5E

scue

la d

e C

ienc

ias

Hum

anas

n=23

Psi

colo

gía

n=14

Adm

inis

trac

ión

de N

egoc

ios

Inte

rnac

iona

les

n=61

Fis

iote

rapi

an=

31

Adm

inis

traci

ón

de E

mpr

esas

n=25

Fon

oaud

iolo

gía

n=9

Juris

prud

enci

an=

155

Rel

acio

nes

Inte

rnac

iona

les

n=11

7

Cie

ncia

P

olíti

ca y

G

obie

rno

n=58

Ges

tión

y D

esar

rollo

U

rban

on=

16

Eco

nom

ían=

10

Fin

anza

s y

Com

erci

o In

tern

acio

nal

n=79

Med

icin

an=

110


Promedio Programa + Desviación Estándar - Desviación Estándar Promedio

20

2. Asociación entre los resultados del ECAMI y las variables socio demográficas y académicas de los estudiantes

Para establecer si existen diferencias estadísticamente significativas en los puntajes del ECAMI asociadas al género, se estimó el promedio y la desviación estándar de los puntajes estándar obtenidos por las 816 mujeres y los 429 hombres que constituyen la muestra, tanto en la prueba común como en la prueba específica, y posteriormente se realizó una prueba T de diferencia de medias. Los resultados señalan que los hombres tienen un promedio significativamente mayor al obtenido por las mujeres en la prueba específica del ECAMI. En la prueba común, por su parte, no existen diferencias significativas por género (Tabla 6). Tabla 6 Comparación de medias de los puntajes obtenidos por hombres y mujeres en el ECAMI

Componente ECAMI Femenino Masculino Prueba T

n Media Desviación Estándar n Media Desviación

Estándar P Valor

Prueba Común 691 50,3 7,4 741 50,32 7,75 ,963

Prueba Específica 741 48,88 9,58 406 51,95 10,42 ,000**

* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 A fin de determinar si la ciudad de procedencia del estudiante se asocia con diferencias en el desempeño en la prueba común y específica del ECAMI, se estimó el promedio de los puntajes estándar obtenidos por los estudiantes cuyo colegio de procedencia se ubica en alguna de las ciudades principales del país, por un lado, y de los estudiantes que egresaron de colegios ubicados en el resto de ciudades, por el otro. Las ciudades con más de 500.000 habitantes se clasificaron como ciudades principales, es decir, Bogotá D.C., Medellín, Cali, Barranquilla, Cartagena, Cúcuta y Bucaramanga. Posteriormente se realizó una prueba T de diferencia de medias, cuyos resultados señalan que no existen diferencias estadísticamente significativas en los resultados del ECAMI asociadas a la ciudad del colegio de procedencia (Tabla 7). Tabla 7 Comparación de medias de los puntajes obtenidos en el ECAMI, según la ciudad de procedencia

Componente ECAMI

Ciudades con más de 500.000 habitantes

Ciudades con menos de 500.000 habitantes Prueba T


Estándar P Valor

Prueba Común 751 50,5 7,3 283 49,7 9,8 0,11

Prueba Específica 812 49,95 9,8 321 50,0 10,2 ,082

* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01

Con el propósito de identificar si existen diferencias significativas en el puntaje obtenido por los estudiantes provenientes de colegios no oficiales y oficiales, se estimó el promedio del puntaje estándar obtenido por los estudiantes provenientes de colegios no oficiales y de los estudiantes que egresaron de colegios oficiales, tanto en la prueba específica como en la prueba común y posteriormente se realizó una prueba T de diferencia de medias. Los resultados señalan que no hay diferencias en los puntajes estándar de la prueba común y de la prueba específica asociadas al carácter del colegio de procedencia de los estudiantes (Tabla 8).

21

Tabla 8 Comparación de medias de los puntajes obtenidos en el ECAMI, según el carácter del colegio de procedencia

Carácter del Colegio de Procedencia

Componente ECAMI No oficial Oficial Prueba T


Estándar P Valor

Prueba Común 937 50,32 7,5 82 50,25 7,9 ,935


* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 Si bien las estimaciones puntuales indicarían que existen diferencias en el promedio del puntaje estándar obtenido por los estudiantes en el ECAMI de acuerdo con el rendimiento de su colegio de procedencia, los resultados de la prueba Kruskal Wallis señalan que las diferencias en el puntaje de los estudiantes que provienen de colegios con rendimiento medio a muy superior no son estadísticamente significativas. Sin embargo, no es posible afirmar lo mismo en relación con los estudiantes que provienen de colegios con rendimiento bajo, ya que sólo hay un caso y éste fue excluido de la prueba (Tabla 9). Tabla 9 Análisis de varianza de las medias de los puntajes en el ECAMI, según el rendimiento del colegio de

procedencia.

Componente ECAMI

Rendimiento del Colegio

Prueba Común Prueba Específica

N Media Desviación Estándar n Media Desviación

Estándar

Bajo 1 46,0 - 1 42,0 -

Medio 10 49,0 9,8 10 53,3 10,5

Alto 30 50,3 8,8 32 51,9 10,5

Superior 143 49,5 7,5 159 50,8 10,0

Muy superior 842 50,5 7,5 922 49,7 9,9

Prueba Kruskal Wallis (P Valor) 0,520 0,259

* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 Por otra parte, se estimó el promedio de los puntajes estándar obtenidos en la prueba común y específica del ECAMI de los estudiantes provenientes de colegios que tienen convenio con la Universidad y se comparó con el promedio de los estudiantes que egresaron de colegios que no tienen convenio con la Universidad. Los resultados señalan que los estudiantes de colegios que tienen convenio con la Universidad obtuvieron un promedio significativamente mayor que quienes proceden de colegios que no tienen convenio con la Universidad únicamente en la Prueba Común, pues en la Prueba Específica los resultados son homogéneos para ambos grupos (Tabla 10).

22

Tabla 10 Comparación de medias de los puntajes en el ECAMI, según si el colegio de procedencia pertenece al programa de Colegios Convenio de la Universidad

Colegios Convenio

Componente ECAMI Si No Prueba T

N Media Desviación Estándar n Media Desviación

Estándar P Valor

Prueba Común 294 51,32 7,71 739 49,91 7,42 ,006**


* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 La clasificación del puntaje total en el examen SABER 11, por su parte, se asocia con diferencias significativas en el puntaje estándar de la prueba común del ECAMI, como lo señala el resultado de la prueba Kruskal Wallis (Tabla 11). Tabla 11 Análisis de varianza de las medias en la prueba común, según la clasificación del puntaje total obtenido

por los estudiantes en la prueba SABER 11.

Clasificación del Puntaje en el ICFES

Prueba Común

n Media Desviación Estándar

Bajo 32 45,73 4,64

Medio 281 47,53 7,16

Alto 667 51,64 7,32

Prueba Kruskal Wallis (P Valor)* ,000**

Se aplicó la prueba Kruskal Wallis debido a que no se cumple el supuesto de igualdad de varianzas * Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 La comparación de medias señala que los estudiantes que obtuvieron puntajes altos en la prueba SABER 11 tienen, a su vez, promedios significativamente más altos en la Prueba Común del ECAMI. Por su parte, no existen diferencias significativas en el puntaje de la prueba común del ECAMI entre quienes obtuvieron puntajes bajo o medios en la prueba SABER 11 (Tabla 12). Tabla 12 Prueba T de comparación de medias en la prueba común del ECAMI, según la clasificación del

resultado obtenido por los estudiantes en la prueba SABER 11.


Componente del ECAMI


Medio Alto

Bajo Prueba común 0,37 0,000**�

Medio Prueba común 0,000**�

* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01� El promedio del encabezado de la columna es significativamente mayor que el promedio del encabezado de la fila.

23

3. Asociación entre los programas académicos, la pr ueba SABER 11, el rendimiento académico y los resultados de la prueba común del ECAMI

A fin de establecer si existen diferencias significativas entre los programas en el promedio del puntaje estándar de la Prueba Común y de las tres subpruebas que la conforman, se llevó a cabo la prueba Kruskal-Wallis. En dicho análisis se excluyeron los datos de Administración en Logística y Producción y Fonoaudiología debido a que menos de diez estudiantes de estos programas presentaron la prueba común. Los resultados de la prueba estadística señalan que las diferencias entre programas son significativas al 0.01 (Tabla 13). Tabla 13 Comparación de las medias de las prueba común y de las subpruebas que la conforman por programa

académico.

Programa Prueba Común

Competencias Básicas Ética

Constitución Política

n Media Desv. Estand. Media Desv.

Estand. Media Desv. Estand. Media Desv.

Estand.

Administración en Logística y Producción

3 59,1 4,3 66,3 11,5 57,7 5,1 53,3 5,8

Psicología 22 57,0 7,3 57,0 7,3 - - - -

Escuela de Ciencias Humanas 29 55,4 4,7 56,8 8,0 58,6 6,4 50,8 7,8

Ciencia Política y Gobierno 129 52,1 6,4 51,5 9,3 52,0 8,6 53,1 8,0

Jurisprudencia 215 51,7 7,9 47,9 11,2 49,2 10,9 57,9 9,6

Gestión y Desarrollo Urbano 23 50,9 6,2 53,0 8,6 49,3 9,1 50,4 6,6

Relaciones Internacionales 234 50,2 7,4 50,4 9,7 50,8 10,3 49,5 9,2

Medicina 134 50,1 7,6 51,0 9,1 50,5 9,4 - -

Fonoaudiología 8 47,9 7,2 47,5 13,8 52,8 5,6 43,6 8,0

Economía 29 47,8 8,6 48,0 11,5 47,7 12,1 47,9 8,7

Terapia Ocupacional 12 47,5 5,1 49,1 4,7 51,9 6,1 41,6 9,2

Administración de Negocios Internacionales

71 47,4 7,3 49,8 9,6 46,7 9,9 45,7 8,7

Finanzas y Comercio Internacional 75 47,3 6,9 47,5 10,5 49,6 10,1 44,9 8,0

Administración de Empresas 25 46,4 6,5 49,0 10,5 46,9 9,6 43,2 5,9

Fisioterapia 37 46,0 6,3 47,2 9,1 46,4 7,0 44,4 7,2

Prueba Kruskal Wallis

(P Valor) ,000** ,000** ,000** ,000**


Para identificar entre cuáles programas se presentan diferencias significativas en la prueba común y en cada una de las subpruebas que la conforman se realizaron contrastes de medias utilizando la prueba de Mann Whitney. En relación con el puntaje total de la Prueba Común, los contrastes de medias evidencian que los estudiantes de Psicología, de la Escuela de Ciencias Humanas y de Ciencia Política y Gobierno obtuvieron, en promedio, puntajes estándar significativamente más altos que los estudiantes de los demás programas. En contraste, los estudiantes de los programas de

24

Fisioterapia y de Administración de Empresas obtuvieron, en promedio, resultados significativamente más bajos que el resto de estudiantes en la prueba común. Por su parte, los estudiantes de Medicina, Relaciones Internacionales, Gestión y Desarrollo Urbano, Jurisprudencia, Finanzas y Comercio Internacional, Administración de Negocios Internacionales, Terapia Ocupacional y Economía obtuvieron puntajes cercanos a la media de las escala (50). En la subprueba de Competencias Básicas para el Aprendizaje Superior, los estudiantes de la Escuela de Ciencias Humanas y de Psicología, obtuvieron, en promedio, puntajes significativamente más altos que los estudiantes de los demás programas. Por su parte, los estudiantes de Fisioterapia, de Administración de Empresas y de Finanzas y Comercio Internacional obtuvieron, en promedio, puntajes significativamente más bajos que los estudiantes de los demás programas. Los estudiantes de los programas de Gestión y Desarrollo Urbano, Ciencia Política y Gobierno, Medicina, Relaciones Internacionales, Administración de Negocios Internacionales, Terapia Ocupacional, Administración de Empresas, Economía y Jurisprudencia obtuvieron, en promedio, puntajes cercanos a la media de la escala (50). Por otra parte, en la subrueba de Ética, los estudiantes de la Escuela de Ciencias Humanas obtuvieron, en promedio, puntajes significativamente más altos que los estudiantes de los demás programas. En contraste, los estudiantes de los programas de Fisioterapia y de Administración de Negocios Internacionales obtuvieron, en promedio, puntajes más bajos que los estudiantes de los demás programas. Los estudiantes de los programas de Administración de Empresas, Economía, Jurisprudencia, Gestión y Desarrollo Urbano, Finanzas y Comercio Internacional, Medicina, Relaciones Internacionales, Terapia Ocupacional y Ciencia Política y Gobierno obtuvieron, en promedio, resultados cercanos a la media de la escala (50). Por último, en la subrueba de Constitución Política, los estudiantes de Jurisprudencia y de Ciencia Política y Gobierno obtuvieron, en promedio, puntajes significativamente más altos que los estudiantes de los demás programas. De otro lado, los estudiantes de Terapia Ocupacional y de Administración de Empresas obtuvieron, en promedio, puntajes significativamente más bajos que la mayoría de los programas. De otro lado, para establecer si existe una relación lineal entre los puntajes en las áreas evaluadas en el examen SABER 11 y el puntaje total de la prueba común y de cada uno de sus componentes, se estimó el coeficiente de correlación de Pearson. Los resultados señalan que los puntajes de las áreas de Biología, Ciencias Sociales y Filosofía correlacionan de manera significativa con el puntaje total de la prueba común del ECAMI. En relación con cada uno de los componentes de la prueba común, se encontraron correlaciones significativas entre el área de Ciencias Sociales evaluada en el examen SABER 11 y el componente de Ética de la Prueba Común del ECAMI (Tabla 14). Estas bajas correlaciones se pueden explicar porque en la población de los estudiantes que han presentado el examen de mitad de carrera, existen diferentes subpoblaciones asociadas a los programas académicos.

25

Tabla 14 Correlaciones entre las áreas evaluadas en el examen SABER 11 y los componentes de la Prueba Común del ECAMI.

Áreas evaluadas en el examen SABER 11

Puntaje Total en la Prueba

Común

n=1018

Componentes de la Prueba Común

Competencias Básicas para el

Aprendizaje Superior

n=1018

Ética

n=995


n=890

Biología ,321** ,288 ,238 ,188

Química ,288 ,283 ,230 ,137

Física ,193 ,158 ,172 ,091

Ciencias Sociales ,316** ,251 ,304** ,164

Filosofía ,316** ,267 ,273 ,152

Lenguaje ,285 ,247 ,197 ,171

Matemáticas ,244 ,244 ,176 ,118

Idioma ,283 ,222 ,254 ,166


El promedio acumulado en el período de presentación del ECAMI, por su parte, correlaciona de manera significativa con el puntaje total de la Prueba Común; mientras que el promedio ponderado de las áreas de SABER 11 correlaciona de manera significativa, tanto con los resultados de la prueba común, como con los de cada una de las subpruebas que la conforman (Tabla 15). Tabla 15 Correlación entre el promedio acumulado de los estudiantes en el período de presentación del ECAMI

y los componentes de la prueba común.

Puntaje Total en la Prueba Común

n=1011

Componentes de la Prueba Común

Competencias Básicas para el

Aprendizaje Superior

n=1011

Ética

n=988


n=883

Promedio Acumulado en el Período de Presentación del ECAMI

,358** ,287 ,299 ,204

Promedio Ponderado de las Áreas de SABER 11 ,380** ,349** ,301** ,210**


26

4. Asociación entre la prueba SABER 11, el promedio académico y los resultados en la prueba específica del ECAMI

4.1 Facultad de Jurisprudencia

Las áreas con mejor desempeño en el examen SABER 11 para los estudiantes del programa de Jurisprudencia que presentaron el ECAMI en el período 2007 - 2009 fueron Idioma, Lenguaje, Biología y Matemáticas, todas ellas con promedios superiores a 55. Entre tanto, las áreas con más bajos promedios fueron Química, Ciencias Sociales y Física (con promedios de 53,4, 54,0 y 54,5); sin embargo, en todas las áreas el promedio de los estudiantes de Jurisprudencia estuvo por encima del promedio nacional (Gráfica 6)

Gráfica 6 Desempeño de los estudiantes de la Facultad de Jurisprudencia en las áreas que conforman

el examen SABER 11. Por otra parte, en el 2009, la prueba específica para los estudiantes de Jurisprudencia estaba conformada por 180 ítems que evaluaban los siguientes ejes temáticos: � Derecho administrativo: Con 12 ítems, evaluaba los contenidos curriculares

correspondientes a la asignatura de Derecho Administrativo. � Derecho civil: Constaba de 30 ítems que evaluaban los objetivos de aprendizaje

correspondientes a las asignaturas de Derecho Romano, Derecho Civil Personas y Familias, Fuentes de las Obligaciones y Derecho Civil Bienes.

� Derecho Comercial: Constaba de 20 ítems correspondientes a las asignaturas de Contratos Civiles y Mercantiles, Derecho Comercial General y Derecho Comercial Sociedades.

� Derecho Penal: Con 20 ítems, evaluaba los contenidos curriculares asociados a los cursos de Teoría del Delito y de la Pena y Derecho Penal General.

� Derecho Procesal: Constaba de 20 ítems que evaluaban los objetivos de aprendizaje correspondientes a las asignaturas de Teoría General del Proceso y Derecho Procesal Civil General.

� Teoría Jurídica: Esta era el área con mayor número de ítems, pues constaba de 58 ítems que evaluaban los temas asociados a los cursos de Introducción al Derecho, Teoría de la Argumentación Jurídica, Teoría del Derecho, Historia de las Ideas Jurídicas y Políticas I, Teoría Constitucional, Historia del Derecho Colombiano y Teoría de la Justicia.

El análisis del promedio de porcentaje de respuestas correctas logrado por los estudiantes de Jurisprudencia que presentaron el ECAMI en el período 2007 – 2009 evidencia fortalezas en el área de Constitución Política, que hace parte de la prueba común (61,0). En la prueba

57,953,4 54,5 54,0 54,9

62,2

55,0

63,7

40

45

50

55

60

65

Bio

logí

a

Quí

mic

a

Fís

ica

Cie

ncia

s S

ocia

les

Filo

sofía

Leng

uaje

Mat

emát

icas

Idio

ma

Jurisprudencian=232

27

específica, por su parte, las áreas con mejor desempeño fueron Derecho Constitucional (con un promedio de 57,6), Derecho Procesal (53,5) y Derecho Civil (52,0). Por el contrario, las áreas con más bajo promedio fueron Derecho Penal (con un promedio de 37,4) y Derecho Administrativo (38,4) (Gráfica 7).

Gráfica 7 Desempeño de los estudiantes de Jurisprudencia en las áreas que conforman el ECAMI

Con el fin de establecer si existe una relación lineal entre el puntaje total en el examen SABER 11 de los estudiantes y su posterior resultado en el ECAMI se llevaron a cabo dos procedimientos: en primer lugar, se estimó el promedio en la prueba común y específica del ECAMI según la clasificación del puntaje del estudiante en la prueba SABER 11. Los resultados obtenidos evidencian que los estudiantes que lograron los más altos puntajes en el examen de mitad de carrera fueron quienes, a su vez, habían obtenido altos puntajes en el examen SABER 11 (Tabla 16). Tabla 16 Promedio en la prueba común y específica del ECAMI de los estudiantes de Jurisprudencia, según la

clasificación del puntaje en la prueba SABER 11.

Clasificación Puntaje Total SABER 11

Prueba Común del ECAMI Prueba Específica del ECAMI

n Promedio Desviación Estándar n Promedio Desviación

Estándar

Alto 148 53,14 7,3 159 52,48 9,4

Medio 57 48,83 8,0 56 44,25 8,0

Bajo 5 44,14 5,2 4 45,25 4,9

Adicionalmente, se estimó el coeficiente de correlación entre el promedio ponderado de las áreas del examen SABER 11 y los puntajes en el componente común y específico del ECAMI. En ambos casos existe una correlación significativa, lo que confirma que los estudiantes que ingresaron al programa de Jurisprudencia con altos puntajes en el examen SABER 11 fueron quienes lograron los más altos resultados en el ECAMI (Tabla 17).

47,352,2

61,0

38,4

52,0

38,8 37,4

53,546,7

57,6

20

40

60

80A

pren

diza

je

Su

perio

r

Étic

a

Co

nstit

ució

n P

olít

ica

Der

ech

oA

dm

inis

trat

ivo

Der

echo

Civ

il

Der

ech

oC

omer

cial

Der

echo

Pen

al

Der

ech

oP

roce

sal

Teo

ría J

uríd

ica

Der

echo

Con

stitu

cion

al

Jurisprudencian=226

28

Tabla 17 Correlaciones entre el promedio ponderado en el examen SABER 11 y los componentes del ECAMI para los estudiantes de Jurisprudencia.

Programa Componente ECAMI Promedio Ponderado de las áreas del Examen SABER 11

Correlación n

Jurisprudencia Prueba Común 0,36** 212 Prueba Específica 0,49** 221

* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 Por último, se estimaron los coeficientes de correlación entre las áreas del examen SABER 11 y las subpruebas del ECAMI. A este nivel, las más altas correlaciones se presentan entre la subprueba de Competencias Básicas para el Aprendizaje Superior y las áreas de Química y Lenguaje del examen SABER 11 y entre la subprueba de Ética y el área de Filosofía, en lo referente a la prueba común del ECAMI. En la prueba específica, las más altas correlaciones se presentan entre la subprueba de Derecho Civil y las áreas de Química, Ciencias Sociales y Filosofía de SABER 11, entre la subprueba de Teoría Jurídica y el área de Filosofía y entre la subprueba de Derecho Constitucional y el área de Matemáticas (Tabla 18). Tabla 18 Correlaciones entre los componentes del ECAMI y las áreas evaluadas en el examen SABER 11 para

los estudiantes de Jurisprudencia.

Componente del ECAMI

Aprendizaje Superior n= 212

Ética n=212

Constitución Política n= 212

Derecho Administrativo

n=223

Derecho Civil

n=223

Derecho Comercial

n= 223

Derecho Penal n=223

Derecho Procesal

n=223

Teoría Jurídica n=223

Derecho Constitucional

n=223

Biología ,256** ,235** ,071 ,108 ,219** ,319** ,240** ,181** ,197** ,267**

Química ,313** ,248** ,096 ,176** ,316** ,294** ,273** ,209** ,310** ,203**

Física ,113* ,138* ,016 ,127* ,160** ,156** ,139* ,102 ,166** ,176**

Ciencias Sociales ,264 ,261** ,045 ,177** ,344** ,273** ,234** ,239** ,252** ,201**

Filosofía ,285** ,302** ,059 ,173** ,306** ,260** ,153* ,292** ,319** ,213**

Lenguaje ,300** ,267** ,176** ,135* ,283** ,239** ,180** ,189** ,257** ,190**

Matemáticas ,190** ,129* ,083 ,216** ,185** ,225** ,185** ,181** ,155* ,304**

Idioma ,135* ,193** ,083 ,031 ,173** ,144* ,149* ,177** ,197** ,218** ** Nivel de significancia del 0,01 * Nivel de significancia del 0,05

Por otra parte, los estudiantes con mejor rendimiento en el programa fueron quienes, a su vez, lograron los más altos puntajes tanto en la prueba común como en la prueba específica del ECAMI, tal como lo evidencia el análisis de correlación entre el promedio académico y los resultados de la prueba. Las únicas subpruebas cuyos resultados no correlacionan con el promedio académico son Derecho Administrativo y Derecho constitucional, lo que significa que los estudiantes con mejores promedios no obtuvieron altos puntajes en estas subpruebas, por lo que se sería importante analizar el nivel de dificultad y el contenido de los ítems que las conforman (Tabla 19).

29

Tabla 19 Correlaciones entre los componentes del ECAMI y el promedio acumulado en el período de presentación de la prueba para los estudiantes de Jurisprudencia.

Componente ECAMI Promedio Acumulado (en el período de presentación del ECAMI)

Correlación n

Prueba Común ,469** 215

Aprendizaje Superior ,344** 215

Ética ,390** 215

Constitución Política ,309** 215

Prueba Específica ,531** 224

Derecho Administrativo ,186 226

Derecho Civil ,402** 226

Derecho Comercial ,300** 226

Derecho Penal ,315** 226

Derecho Procesal ,443** 226

Teoría Jurídica ,382** 226

Derecho Constitucional ,271 226 ** Nivel de significancia del 0,01 * Nivel de significancia del 0,05

Con el fin de establecer si el puntaje obtenido por los estudiantes de Jurisprudencia en el examen SABER 11 permite predecir los resultados logrados en el ECAMI, se llevaron a cabo varios análisis de regresión. En el primero de ellos, la variable de predicción fue el puntaje total en la prueba común del ECAMI y las variables predictoras fueron los puntajes en cada una de las áreas que conforman el examen SABER 11 y el promedio académico; sin embargo, el modelo no cumplió con los supuestos requeridos por el análisis de regresión1. En el segundo de los análisis de regresión, la variable de predicción fue el puntaje total en la prueba específica del ECAMI y las variables predictoras fueron los puntajes en las áreas que conforman el examen SABER 11. Los resultados señalan que los puntajes en las áreas de Química, Filosofía, Ciencias Sociales y Lenguaje predicen el 31% de la varianza de los resultados en la prueba específica del ECAMI (R2 Ajustado: 0,318). Al introducir el promedio académico como variable predictora, éste, junto con los puntajes en las áreas de Ciencias Sociales, Lenguaje y Filosofía del examen SABER 11 explican el 41% de la varianza de los resultados de los estudiantes de Jurisprudencia en la prueba específica del ECAMI. En este último modelo, el predictor más importante es el promedio académico lo que significa que los estudiantes con mejores promedios son quienes logran los mejores resultados en la prueba específica (Tabla 20).

1 No se cumplió el supuesto de normalidad de los residuos.

30

Tabla 20 Modelo de regresión de las áreas evaluadas en el examen SABER 11 como variables predictoras del puntaje total en el componente específico del ECAMI para los estudiantes de Jurisprudencia..

Modelo Coeficientes no estandarizados Coeficientes estandarizados

F Sig. B Error Típico (β) t Sig.

2

Constante -11,706 6,138 -1,907 ,058

26,480 ,000**

Química ,294 ,092 ,210 3,209 ,002

Filosofía ,299 ,079 ,232 3,782 ,000

Ciencias Sociales

,290 ,089 ,199 3,245 ,001

Lenguaje ,227 ,077 ,182 2,952 ,004

R=0,574 R2=0,330 R2 Ajustado =0,318

3

Constante -50,945 8,273 -6,158 ,000

39,979 ,000**

Promedio académico 14,247 2,009 ,390 7,090 ,000

Ciencias Sociales

,278 ,082 ,189 3,375 ,001

Lenguaje ,243 ,068 ,193 3,558 ,000

Filosofía ,248 ,073 ,191 3,390 ,001

R=0,652 R2=0,425 R2 Ajustado =0,415

* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 Por último, se estimaron las correlaciones entre las diferentes subpruebas del ECAMI con el fin de establecer si la subprueba de Competencias Básicas para el Aprendizaje Superior, que evalúa aspectos transversales al proceso de aprendizaje, se relaciona con los puntajes obtenidos por los estudiantes en las demás subpruebas, sin embargo, sólo se encontraron correlaciones significativas entre la subprueba de Competencias Básicas para el Aprendizaje Superior y Ética. Por el contrario, los resultados en la subprueba de Ética correlacionan de manera significativa con las subpruebas de Derecho Penal y Procesal y con Teoría Jurídica. Por su parte, las diferentes subpruebas del componente específico presentan altas correlaciones entre sí, excepto Derecho Administrativo y Derecho Constitucional. Lo anterior significa que, en el caso particular de los estudiantes de Jurisprudencia, la subprueba de Competencias Básicas para el Aprendizaje Superior no constituye un buen predictor de los resultados en la prueba específica. Igualmente, las diferentes subpruebas del componente específico evalúan un mismo constructo, lo que se evidencia en las altas correlaciones entre las pruebas; únicamente las subpruebas de Derecho Administrativo y Constitucional no se correlacionan con las demás subpruebas, lo que indicaría que evalúan constructos diferentes (Tabla 21).

31

Tabla 21 Matriz de correlaciones entre las subpruebas que conforman el ECAMI para los estudiantes de Jurisprudencia.

Prueba Común Prueba Específica

Ética Constitución

Política Derecho

Administrativo Derecho

Civil Derecho

Comercial Derecho

Penal Derecho Procesal

Teoría Jurídica

Derecho Constitucional

Aprendizaje Superior ,562** ,119 ,212 ,170 ,153 ,260 ,255 ,265 ,130

Ética 1 ,283 ,262 ,186 ,186 ,348** ,329** ,315** ,249 Constitución Política

1 ,083 ,089 ,041 ,168 ,255 ,193 ,198

Derecho Administrativo

1 ,107 ,105 ,204 ,215 ,279 ,203

Derecho Civil

1 ,444** ,267 ,422** ,440** ,262 Derecho Comercial

1 ,325** ,263 ,332** ,113

Derecho Penal

1 ,329** ,342** ,286 Derecho Procesal

1 ,492** ,240

Teoría Jurídica

1 ,272 ** Nivel de significancia del 0,01 * Nivel de significancia del 0,05

Los anteriores análisis permiten afirmar que en el caso de los estudiantes de Jurisprudencia, los datos sustentan la validez concurrente del ECAMI. En primer lugar, el puntaje en el examen SABER 11 correlaciona de manera significativa con los resultados logrados por los estudiantes en el ECAMI, lo que significa que los estudiantes con alto desempeño en el examen de estado, obtuvieron a su vez puntajes sobresalientes en el examen de mitad de carrera. De manera similar, las correlaciones entre las áreas del núcleo común del examen SABER 11 presentan correlaciones consistentes con las subpruebas que conforman el ECAMI. Así, en el componente común del ECAMI, la subprueba de Competencias Básicas para el Aprendizaje Superior correlaciona con el puntaje en el área de Lenguaje de SABER 11 y la subprueba de Ética correlaciona con el puntaje del área de Filosofía. En cuanto a las subpruebas del componente específico, se encuentra que Derecho Civil correlaciona de manera significativa con los puntajes en las áreas de Ciencias Sociales y Filosofía, en tanto que Teoría Jurídica correlaciona con los puntajes de Filosofía y Derecho Constitucional con Matemáticas. Si bien también se presentan correlaciones significativas entre algunas de las subpruebas del ECAMI y algunas áreas del examen SABER 11 que aparentemente no se relacionan con los contenidos de las pruebas como Biología y Química, estas asociaciones se explican por el hecho de que los estudiantes de Jurisprudencia que presentaron el ECAMI tienen altos puntajes en la mayoría de las áreas del núcleo común de SABER 11. Otro hallazgo importante es que los estudiantes con buen desempeño en su programa tienen, en promedio, altos puntajes en el ECAMI, lo que se evidencia por las correlaciones existentes entre el promedio ponderado y los resultados en la prueba común y específica del ECAMI y en cada una de las subpruebas que los conforman. Únicamente las subpruebas de Derecho Administrativo y de Derecho Constitucional no correlacionan de manera significativa con el promedio acumulado del estudiante, lo que significa que quienes tenían un promedio alto en su programa, no fueron quienes obtuvieron los más altos puntajes en estas subpruebas. Por último, los modelos de regresión indican que el 41% de la varianza de los resultados en la prueba específica del ECAMI se explica por el promedio acumulado del estudiante en el período de presentación del examen y por los puntajes en las áreas de Ciencias Sociales, Lenguaje y Filosofía de SABER 11, lo que constituye una evidencia a favor de la validez concurrente de la prueba específica del ECAMI.

32

Conclusiones

De acuerdo con los resultados del presente estudio, el ECAMI es un instrumento válido para la evaluación curricular en la Universidad del Rosario, lo que significa que los resultados derivados de su aplicación constituyen una fuente de información relevante para dicho propósito. Igualmente, los análisis de correlación y de regresión señalan que la prueba común evalúa competencias transversales al proceso de aprendizaje que el estudiante desarrolla a lo largo de su formación académica, en tanto que la prueba específica evalúa las competencias que el estudiante desarrolla como resultado del currículo de su programa. En este mismo sentido, los resultados en el ECAMI, tanto en la prueba común como en la prueba específica, correlacionan de manera significativa con el promedio académico acumulado del estudiante en el período de presentación del examen, lo que significa que, en promedio, los estudiantes con las más altas calificaciones en su programa obtienen, a su vez, altos puntajes en el ECAMI. Sin embargo, en el caso particular de Economía y Medicina, los resultados en la prueba común no correlacionan de manera significativa con el promedio académico ni con el puntaje en el examen SABER 11, lo que sugiere que en estos programas la prueba común presenta deficiencias en cuanto a su validez. Dichas deficiencias pueden obedecer a variables intrínsecas de los estudiantes, como su nivel de motivación para presentar la prueba. Por otra parte, el análisis de los resultados de la prueba común del ECAMI en el período 2007 – 2009 revela la existencia de amplias brechas entre los programas. Así por ejemplo, en la subprueba de Competencias Básicas para el Aprendizaje Superior los estudiantes de la Escuela de Ciencias Humanas y de Psicología obtuvieron, en promedio, puntajes significativamente más altos que los estudiantes de los demás programas; en contraste, los estudiantes de Fisioterapia, Administración de Empresas y Finanzas y Comercio Internacional obtuvieron puntajes significativamente más bajos que los demás programas. En la subprueba de Ética, por su parte, los estudiantes de la Escuela de Ciencias Humanas lograron puntajes significativamente más altos que los estudiantes de los demás programas, en tanto que los estudiantes de Fisioterpia y Administración de Negocios Internacionales tuvieron los puntajes más bajos. Por último, en la subprueba de Constitución Política, los estudiantes de Jurisprudencia y de Ciencia Política y Gobierno obtuvieron, en promedio, los puntajes más altos mientras que los estudiantes de Terapia Ocupacional y Administración de Empresas obtuvieron los más bajos puntajes. La amplia varianza en el puntaje de la prueba común indica que el nivel de competencia alcanzado por los estudiantes en el Núcleo de Formación Rosarista varía según el programa académico. En consecuencia, es importante tratar de establecer qué aspectos del currículo están asociados a dichas diferencias, de modo que los programas cuyos estudiantes obtienen los puntajes más bajos puedan replicar experiencias exitosas de los programas cuyos estudiantes alcanzan un alto desempeño en las competencias correspondientes al Núcleo de Formación Rosarista. Por otra parte, variables demográficas como la ciudad de procedencia, el carácter (oficial o privado) y el rendimiento del colegio de egreso del estudiante, no se asocian con diferencias significativas en el puntaje obtenido posteriormente en el ECAMI. Por el contrario, variables individuales como género y puntaje obtenido en el examen SABER 11 se asocian con el resultado obtenido en el ECAMI; así, las mujeres obtienen en promedio resultados más bajos en la prueba específica y aquellos estudiantes que alcanza altos puntajes en el examen SABER

33

11, son quienes, a su vez, obtienen altos puntajes en el ECAMI. Lo anterior evidencia, por un lado, que el examen SABER 11 constituye un buen predictor del desempeño académico de los estudiantes en la Universidad, pero también revela que cuando los estudiantes llegan a la mitad de la carrera, las diferencias preexistentes en cuanto a su rendimiento académico persisten. Si bien es necesario realizar nuevos análisis a partir de los resultados más recientes del ECAMI, estos primeros hallazgos señalan la necesidad de enfocar esfuerzos a nivel curricular para lograr la reducción de las brechas de desempeño entre los estudiantes de los diferentes programas, así como entre los estudiantes que ingresan a la Universidad con altos niveles de desempeño y aquellos que ingresan con bajo rendimiento académico, a fin de lograr que las diferencias preexistentes entre los estudiantes disminuyan como efecto de la formación que reciben en la Universidad. Por último, aunque los ECAMI están concebidos como una herramienta para la evaluación curricular de los programas sin consecuencias para los estudiantes, cabe cuestionar si deberían implementarse estrategias de mejoramiento para los estudiantes cuyos puntajes son evidentemente bajos como por ejemplo restringir su avance en el programa hasta tanto cursen nivelatorios; igualmente, se podrían crear incentivos para que los estudiantes hagan su mejor esfuerzo y así no se distorsionen los resultados de los ECAMI. En todo caso, esta es una decisión que debe estar en manos de las directivas de la Universidad.

34

Trabajos citados

Centro de Aseguramiento de la Calidad. (2009). Experiencia de la Universidad del Rosario con relación a la formación universitaria y el lugar que las competencias han tenido en esta experiencia. (ECAMI – Núcleo de Formación Rosarista). Bogotá, D. C.: Universidad del Rosario. Herrera, A. N. (1998). Notas de Psicometría. Bogotá: Universidad Nacional de Colombia. Instituto Colombiano para el Fomento de la Educación Superior. (2008). Resolución No. 489. Bogotá: Ministerio de Educación Nacional. Instituto Colombiano para la Evaluacion de la Educación ICFES. (Febrero de 2011). ICFES. Recuperado el 7 de Abril de 2011, de http://www.icfes.gov.co/index.php?option=com_content&task=view&id=419&Itemid=992 Universidad del Rosario. (2010). Proyecto Educativo Institucional. Bogotá, D.C.: Universidad del Rosario.

programa de evaluaciÓn de los logros curriculares ... · resultados en la prueba común y en la...

Documents