programa de evaluaciÓn de los logros curriculares ... · “evaluación de los logros curriculares...
TRANSCRIPT
PROGRAMA DE EVALUACIÓN DE LOS LOGROS CURRICULARES ALCANZADOS A MITAD DE CARRERA
Estudio correlacional del examen SABER 11, el desem peño académico y los Exámenes de Mitad de Carrera
Rosario en el
Departamento de Planeación Académica y Aseguramient o de la Calidad
PROGRAMA DE EVALUACIÓN DE LOS LOGROS CURRICULARES ALCANZADOS A MITAD DE CARRERA
Estudio correlacional del examen SABER 11, el desem peño académico y los Exámenes de Mitad de Carrera –ECAMI– de los estudiantes de la Universidad del
Rosario en el período 2007 - 2009
Diana Patricia Montoya Cardona
Departamento de Planeación Académica y Aseguramient o de la Calidad
31/10/2011
PROGRAMA DE EVALUACIÓN DE LOS LOGROS CURRICULARES ALCANZADOS A MITAD DE CARRERA
Estudio correlacional del examen SABER 11, el desem peño académico y los de los estudiantes de la Universidad del
Departamento de Planeación Académica y Aseguramient o de la Calidad
2
Tabla de Contenido
INTRODUCCIÓN ............................................................................................................................. 3
1. Planteamiento del problema ............................................................................................. 3
2. Marco Contextual .............................................................................................................. 3
3. Objetivo General ............................................................................................................... 5
4. Objetivos Específicos........................................................................................................ 5
5. Variables........................................................................................................................... 6
MÉTODO ....................................................................................................................................... 7
1. Diseño Metodológico ........................................................................................................ 7
2. Participantes ..................................................................................................................... 7
3. Instrumentos ..................................................................................................................... 7
4. Procedimiento ................................................................................................................. 10
RESULTADOS ............................................................................................................................. 12
1. Caracterización de los estudiantes que han presentado ECAMI ..................................... 12
1.1 Región de origen .......................................................................................................... 12
1.2 Variables socio demográficas ....................................................................................... 13
1.3 Caracterización de los colegios de procedencia ........................................................... 13
1.4 Programas Académicos ............................................................................................... 14
1.5 Resultados en el examen SABER 11 ........................................................................... 16
1.6 Desempeño Académico ............................................................................................... 18
2. Asociación entre los resultados del ECAMI y las variables socio demográficas y académicas de los estudiantes .............................................................................................. 20
3. Asociación entre los programas académicos, la prueba SABER 11, el rendimiento académico y los resultados de la prueba común del ECAMI .................................................. 23
4. Asociación entre la prueba SABER 11, el promedio académico y los resultados en la prueba específica del ECAMI ................................................................................................. 26
4.1 Facultad de Ciencia Política y Gobierno y Facultad de Relaciones Internacionales ..... 26
CONCLUSIONES .......................................................................................................................... 38
TRABAJOS CITADOS .................................................................................................................... 40
3
Introducción
1. Planteamiento del problema
Los Exámenes de Calidad de Mitad de Carrera -ECAMI-, constituyen una estrategia de “Evaluación de los logros curriculares alcanzados a mitad de carrera por los estudiantes que han ingresado a la Universidad del Rosario desde el segundo período académico de 2005”, año en el que se implementó la reforma curricular de los programas de pregrado, cuya estructuración implicó modificar los planes de estudio, los contenidos de las asignaturas, el sistema de créditos, el tiempo de trabajo presencial e independiente previsto para que los estudiantes desarrollen sus competencias, la orientación pedagógica y las estrategias didácticas empleadas por los profesores, así como la introducción del Núcleo de Formación Rosarista (Centro de Aseguramiento de la Calidad, 2009). El principal propósito de los ECAMI es generar información valorativa sobre los procesos de formación de la Universidad, de manera que sea posible tomar decisiones orientadas al mejoramiento de la formación de los estudiantes, sustentadas en resultados de procesos evaluativos. Para tal fin, los ECAMI evalúan los logros curriculares alcanzados por los programas y por la institución a la mitad de la carrera, mediante la evaluación del desempeño de los estudiantes (Centro de Aseguramiento de la Calidad, 2009). El presente estudio surge como respuesta a la necesidad de realimentar a las facultades sobre el nivel de logro de los estudiantes en las diferentes áreas del currículo y de identificar el valor agregado que aporta la Universidad con respecto a la situación de ingreso de los estudiantes, a partir del los resultados en el ECAMI.
2. Marco Contextual
El proceso de construcción e implementación del ECAMI se remonta al 2005, año en el que se llevó a cabo una primera fase, correspondiente a la identificación de los ejes temáticos de los planes de estudio de los programas de pregrado y de las asignaturas que los conforman. Igualmente, en esta fase se llevó a cabo la definición operacional de los objetivos de aprendizaje que los estudiantes deben alcanzar al finalizar cada uno de los ejes temáticos del plan de estudios. Esta primera fase fue liderada por un Comité Técnico conformado por representantes de las oficinas de Planeación Académica, Admisiones y Registro Académico y por un asesor externo, quienes contaron con el apoyo de las facultades. A partir del trabajo de este Comité, se definió que el ECAMI tendría dos grandes componentes:
� Una prueba común para todos los estudiantes de la Universidad, que evalúa las competencias básicas para el aprendizaje superior, ética y constitución política, componentes del Núcleo de Formación Rosarista (NFR) que es obligatorio en todos los currículos de la Universidad del Rosario.
� Una prueba específica, que evalúa los contenidos particulares correspondientes a la formación disciplinar propia de cada programa académico.
4
En una segunda fase, que tuvo lugar entre enero y junio de 2006, el Comité Técnico procedió a elaborar la estructura de la prueba a partir de los ejes temáticos y de los objetivos de aprendizaje previamente definidos. Ello implicó definir las áreas temáticas pertinentes de ser evaluadas, la ponderación de las mismas en la prueba total, las competencias cognoscitivas con su respectiva ponderación y el número de reactivos a elaborar por cada área temática y competencia cognoscitiva, así como la escala de calificación en la que se expresarían los resultados obtenidos por los estudiantes. Igualmente, se definió el reconocimiento curricular que se otorgaría a los estudiantes con resultados sobresalientes en la prueba. En una tercera fase, llevada a cabo en los meses de junio y julio de 2007, el comité técnico coordinó la labor de construcción de la prueba como tal, lo que implicó adelantar las siguientes acciones: escoger a los profesores que estarían a cargo de la elaboración de los bancos de ítems por área temática; programar las sesiones de capacitación de los mismos y programar y coordinar las sesiones de construcción, revisión y mejoramiento de los ítems. Posteriormente se llevó a cabo una cuarta fase, entre julio y diciembre de 2007, en la que se armaron las primeras versiones de los cuestionarios con las que se pudiesen estimar los índices de validez y confiabilidad de la prueba y los índices de discriminación y dificultad de los ítems. Igualmente, se elaboró el cronograma de aplicación de los exámenes por programa académico. La quinta fase, adelantada en mayo de 2008, implicó estimar los índices de validez y confiabilidad de la prueba y los de discriminación y dificultad de los ítems a partir de los resultados de la primera aplicación de la prueba, que tuvo lugar en el primer semestre de 2008 con estudiantes de los programas de Economía, Finanzas y Comercio Internacional, Jurisprudencia, Ciencia Política y Relaciones Internacionales, debido a que en ese entonces éstos eran los únicos programas que contaban con un número suficiente de estudiantes que cumplieran la condición de haber cursado y aprobado los créditos correspondientes a la mitad de carrera. Los estudiantes de la Escuela de Ciencias Humanas, por su parte, presentaron la prueba común en tanto que la prueba específica consistió en un ensayo. En esta fase también se llevó a cabo la depuración y ampliación de los bancos de preguntas, con base en los análisis psicométricos anteriormente mencionados. En una sexta fase, que se extendió hasta octubre de 2008, se llevó a cabo la segunda aplicación de los ECAMI. En esta ocasión participaron estudiantes de Medicina, Fisioterapia, Fonoaudiología, Administración de Empresas, Administración de Negocios Internacionales y de Gestión y Desarrollo Urbano, además de estudiantes de los programas que participaron en la primera aplicación. Los resultados obtenidos dieron origen a informes cualitativos y estadísticos de retroalimentación del logro curricular a las diferentes facultades. Así mismo, en febrero de 2008 se emitió el Decreto Rectoral No. 1007 que reglamenta los Exámenes de Calidad de Mitad de Carrera -ECAMI- en los programas de pregrado de la Universidad. Dicha reglamentación establece la obligatoriedad de la presentación de los exámenes para aquellos estudiantes de pregrado que hayan aprobado el conjunto de asignaturas señaladas por cada programa académico como equivalentes a la “mitad de carrera”. Igualmente, el decreto establece los incentivos para aquellos estudiantes que obtengan resultados sobresalientes en la prueba. A partir del año 2009, y con base en la experiencia del 2008, se decidió que la periodicidad de aplicación de la prueba fuera anual y no semestral como inicialmente se había previsto. Igualmente, se planteó una nueva metodología para la construcción de las preguntas, de manera que ésta fuera llevada a cabo por áreas y aprobadas por el Comité de Currículo, lo que
5
implicó fomentar la conformación de grupos de trabajo por áreas del saber, integrados principalmente por profesores de carrera y planta y excepcionalmente por profesores de hora cátedra. Igualmente, se definió que los Comités de Currículo de cada facultad aprobarían las preguntas construidas y que los resultados del examen constituirían una herramienta para la gestión curricular. Igualmente, en el año 2009 se aplicó por tercera vez el ECAMI. En esta aplicación participaron por primera vez estudiantes de los programas de Administración en Logística y Producción, Fonoaudiología y Terapia Ocupacional.
3. Objetivo General
Establecer la asociación entre los resultados obtenidos por los estudiantes en el ECAMI y variables demográficas como género y colegio de procedencia, por un lado; y variables académicas como promedio acumulado y puntaje en la prueba Saber 11, por el otro, con el fin de realimentar a las facultades sobre el nivel de logro alcanzado por los estudiantes en relación con los propósitos de formación del programa y a los transversales del núcleo de formación Rosarista.
4. Objetivos Específicos
� Describir a los estudiantes que presentaron el ECAMI en el período 2007 - 2009 en relación
con variables demográficas como región de origen, género, colegio de procedencia y con respecto a variables académicas como semestre de ingreso al programa, puntaje en el examen SABER 11 y promedio acumulado en el semestre de presentación del ECAMI.
� Contrastar los resultados obtenidos por los estudiantes en la prueba común del ECAMI y en
cada una de las subpruebas que la conforman, por programas académicos.
� Establecer la existencia de asociaciones estadísticamente significativas entre los resultados en la prueba común del ECAMI, por un lado; y las variables demográficas y académicas de los estudiantes, por el otro.
� Determinar las áreas evaluadas en el examen SABER 11 que permiten predecir los
resultados en la prueba común y en la prueba específica del ECAMI.
� Estimar la validez concurrente del ECAMI, es decir, establecer la significancia o utilidad práctica de los resultados obtenidos (Herrera, 1998).
� Proponer acciones de mejoramiento del ECAMI, de modo que la información obtenida
mediante su aplicación permita tomar decisiones acerca de los currículos de los programas.
6
5. Variables
Para cada uno de los estudiantes que presentaron el ECAMI en el período comprendido entre el 2007 y el 2009 se obtuvo información de los siguientes aspectos: � Caracterización sociodemográfica: En este aspecto se contemplan variables como género,
y ciudad del colegio de procedencia de los estudiantes. � Colegio de procedencia: A fin de caracterizar los colegios de procedencia de los
estudiantes que presentaron el ECAMI en el período 2007-2009, se analizó su naturaleza (oficial o privado), su rendimiento en los exámenes de estado (alto, medio o bajo) y, por último, su pertenencia al programa de “Colegios Convenio” de la Universidad del Rosario.
� Puntajes en el examen SABER 11: Se contemplaron únicamente los resultados obtenidos por cada estudiante en las ocho áreas del núcleo común de la prueba, es decir, Lenguaje, Matemáticas, Química, Física, Biología, Ciencias Sociales, Filosofía e Inglés. Adicionalmente, se tuvo en cuenta la clasificación del rendimiento del estudiante según el puntaje total obtenido en la prueba (alto, medio o bajo).
� Rendimiento académico: Se refiere al promedio acumulado del estudiante en el período en el que presentó el ECAMI.
� Puntaje en la prueba común del ECAMI: La prueba común del ECAMI está conformada a su vez por tres subpruebas: Competencias básicas para el aprendizaje superior, Ética y Constitución Política. Para cada estudiante se obtuvo el puntaje total en la prueba común y en las tres subpruebas que la conforman.
� Puntaje en la prueba específica del ECAMI: Cada programa académico tiene una prueba específica propia, por tanto, el número y la naturaleza de las áreas evaluadas difiere de un programa a otro.
7
Método
1. Diseño Metodológico
A fin de establecer la asociación que existe entre los resultados en el ECAMI y las variables demográficas como género y colegio de procedencia, por un lado y las variables académicas como resultado en el examen SABER 11 y promedio acumulado del estudiante en el período de presentación del ECAMI, por el otro; se llevó a cabo un estudio descriptivo correlacional.
2. Participantes
La población de estudio estuvo conformada por los 1245 estudiantes de pregrado de la Universidad del Rosario que presentaron al menos una de las dos pruebas que conforman el ECAMI entre los años 2007 y 2009.
3. Instrumentos
Bases de datos Para consolidar la información demográfica y académica de los estudiantes, se usaron las bases de datos que genera semestralmente el departamento de admisiones de la Universidad, con datos como la ciudad del colegio de procedencia del estudiante, género, colegio de egreso y puntajes por área de la prueba Saber 11. La información del promedio académico de los estudiantes en el semestre de presentación del ECAMI, por su parte, fue obtenida del Data Warehouse, en tanto que la información de clasificación del puntaje total en la prueba Saber 11 se obtuvo de SPADIES (Sistema de Prevención y Análisis de la Deserción en las Instituciones de Educación Superior). Por último, la información de los resultados en el ECAMI fue suministrada por el Departamento de Planeación Académica y Aseguramiento de la Calidad. Examen de Estado de la Educación Media – ICFES Sabe r 11 Dado que parte de los análisis realizados en el presente estudio están fundamentados en los resultados de la prueba Saber 11, es pertinente describir sus principales características. De acuerdo con el Decreto 869 de 2010, “El Examen de Estado de la Educación Media, ICFES – SABER 11, que aplica el Instituto Colombiano para la Evaluación de la Educación (ICFES) es un instrumento estandarizado para la evaluación externa, que conjuntamente con los exámenes que se aplican en los grados 5° y 9° y al finalizar el pregrado, hace parte de los instrumentos que conforman el Sistema Nacional de Evaluación”. El propósito del examen SABER 11 es comprobar el grado de desarrollo de las competencias de los estudiantes que están por terminar undécimo grado. Para tal efecto, la prueba está conformada por dos cuerpos: el núcleo común y el componente flexible. El primero evalúa las áreas que se consideran fundamentales de acuerdo con la Ley General de Educación y los estándares básicos de competencias, que son: lenguaje, matemáticas, biología, química, física,
8
filosofía, ciencias sociales e inglés. El componente flexible, por su parte, está integrado por dos clases de pruebas: de profundización e interdisciplinares y su propósito es evaluar áreas de interés para los estudiantes, quienes deben escoger aquella que más se ajuste a sus intereses y dominio académico. Todas las pruebas del núcleo común y las de profundización evalúan competencias y componentes propios del área. Las competencias son los procesos cognitivos que el estudiante debe realizar para resolver una pregunta, en tanto que los componentes son las categorías conceptuales o los tópicos propios del área o la disciplina (Instituto Colombiano para la Evaluacion de la Educación ICFES, 2011). En el presente estudio sólo se tuvieron en cuenta los puntajes de las áreas del núcleo común ya que este componente es respondido por todos los estudiantes. A continuación se presenta una breve descripción de lo que evalúa cada área: � Lenguaje: Evalúa la competencia comunicativa básica de los sujetos, lo que implica el
perfeccionamiento de su capacidad para identificar el contexto comunicativo en el que se encuentran y, en consecuencia, saber cuándo hablar, sobre qué, de qué manera, cómo reconocer las interacciones que subyacen a todo discurso y cómo evidenciar los aspectos conflictivos de la comunicación.
� Matemáticas: Evalúa el uso flexible y comprensivo del conocimiento matemático escolar en diversos contextos de la vida diaria, de las matemáticas mismas y de otras ciencias.
� Ciencias naturales (química, física y biología): Busca conocer la capacidad de los estudiantes para establecer relaciones entre nociones y conceptos provenientes de contextos propios de la ciencia y de otras áreas del conocimiento, utilizando su capacidad crítica para valorar la calidad de una información o de un mensaje y para asumir una posición propia.
� Ciencias sociales: Evalúa las competencias para la comprensión, confrontación y construcción de significados del mundo social.
� Filosofía: Evalúa diferentes competencias, como la capacidad del estudiante para reconocer las tesis principales en los textos filosóficos, la deducción de las consecuencias de los planteamientos filosóficos formulados a lo largo de la Ciencias Sociales de la filosofía, el manejo y la aplicación de conceptos, entre otras.
� Inglés: Los resultados de esta prueba hacen referencia a las bandas del Marco Común Europeo, por tanto, son indicador de lo que el estudiante es capaz de hacer. De este modo, el estudiante puede ser clasificado como usuario principiante (A1), usuario básico (A2) o usuario independiente (B1).
El resultado obtenido por el estudiante en cada una de las áreas es expresado en una escala que va de 0 a 100 puntos aproximadamente, que puede interpretarse de acuerdo con los siguientes rangos: � Bajo: Puntajes entre 0 y 30 � Medio: Puntajes entre 30,01 y 70 � Alto: Puntajes iguales o superiores a 70,01 Si bien los resultados de las diferentes áreas no son comparables entre sí, los resultados en diferentes períodos para la misma área pueden compararse teniendo en cuenta los rangos anteriormente descritos. El promedio ponderado de las áreas que conforman el núcleo común se calcula de la siguiente manera (Instituto Colombiano para el Fomento de la Educación Superior, 2008):
9
�������� ������� � � ������ ��í���� � ������ �í���� � ������ ������í� ��2 ! ������ "������� #�������$ � ������ ������%í� � �3 ! ������ '����á�����$ �
�3 ! ������ )�������$ � ������ *���é�$/13 Exámenes de Calidad de Mitad de Carrera -ECAMI- Como se mencionó anteriormente, el principal objetivo del ECAMI es generar información valorativa sobre los procesos de formación de la Universidad del Rosario, de manera que se tomen decisiones soportadas en resultados de procesos evaluativos para el mejoramiento de los procesos de formación de los estudiantes de la Universidad. Para tal fin, el examen evalúa los logros curriculares de alcance institucional y los logros alcanzados por los programas a la mitad de la carrera a través de la evaluación del desempeño de los estudiantes. El ECAMI está conformado por una prueba común y por una prueba específica. La prueba común es respondida por los estudiantes de todos los programas y su objetivo es evaluar los componentes del Núcleo de Formación Rosarista (NFR). Consta de las siguientes subpruebas: Competencias básicas para el aprendizaje superior. Corresponden al conocimiento y manejo de formas de comunicación propias de la cultura académica y que facilitan la inserción activa y calificada de los miembros, dentro de la respectiva comunidad académica. En el ECAMI se evalúan las siguientes competencias: � Competencia de lectura profunda: Se refiere a la capacidad del estudiante para entender
texto y no solamente informarse de ellos. � Competencia dialéctica frente al conocimiento: Alude a la capacidad del estudiante para
argumentar en torno a un problema desde posiciones diversas y llegar a conclusiones que reflejen el debate entre un pro y un contra.
� Competencia crítica frente al conocimiento: Se refiere a la capacidad del estudiante para formular preguntas críticas pertinentes.
Formación ética y valores. Evalúa el avance de los estudiantes en la construcción de criterios éticos, que les permitan valorar la justicia de la sociedad en que viven y aportar, como ciudadanos, a delinear y hacer viable un país deseable (Universidad del Rosario, 2010). Constitución Política. Evalúa la comprensión de la función del texto constitucional en una sociedad política organizada como la colombiana y, por tanto, su papel como forma de organización del poder y como mecanismo de contención del mismo. En el ECAMI, se evalúan las competencias de interpretación y análisis de la Constitución Política, de manera que pueda establecerse si el estudiante identifica, diferencia y reconoce la función de las más importantes categorías del texto constitucional. Hasta el año 2009, la prueba común, en su totalidad, constaba de 120 ítems, de los cuales 60 correspondían a Competencias Básicas para el Aprendizaje Superior, 35 a Formación Ética y Valores y 25 a Constitución Política. Los resultados obtenidos por el estudiante en cada una de las subpruebas se expresan en una escala estándar con media de 50 y desviación estándar de 10. La sumatoria de los puntajes obtenidos en las tres áreas, a su vez, genera el puntaje total para la prueba común.
10
La prueba específica , por su parte, evalúa los contenidos correspondientes a la formación disciplinar propia de cada programa académico, por tanto, el número de áreas que la conforman está determinado por la estructura curricular del programa. Así por ejemplo, la prueba específica del programa de Jurisprudencia está conformada por nueve áreas y 180 ítems, en tanto que la prueba específica del programa de Medicina consta de dos áreas y 120 ítems. Los resultados obtenidos en cada una de las áreas se expresan en una escala estándar con media de 50 y desviación estándar de 10 y la sumatoria del puntaje de todas las áreas, a su vez, genera el puntaje total para la prueba específica. Adicionalmente, los puntajes brutos obtenidos por los estudiantes son expresados en términos del porcentaje de respuestas correctas, lo que permite hacer comparaciones del desempeño de los estudiantes de un mismo programa a lo largo del tiempo.
4. Procedimiento
En primer lugar, se consolidó la base de datos con la información demográfica y académica de los estudiantes que presentaron el ECAMI entre los años 2007 y 2009. La información de los puntajes obtenidos por los estudiantes en las subpruebas del ECAMI fue proporcionada por el Departamento de Planeación Académica y Aseguramiento de la Calidad. La información de las variables sociodemográficas como género, departamento de nacimiento, nombre y ciudad de ubicación del colegio de procedencia, fue obtenida de las bases de datos del Departamento de Promoción y Admisiones y de la base de datos del Sistema de Prevención y Análisis de la Deserción en las Instituciones de Educación Superior SPADIES 2.5. Igualmente, se adicionaron variables académicas que fueron obtenidas de diferentes fuentes: la cohorte del estudiante y el promedio académico acumulado del estudiante en el período de presentación del ECAMI fue obtenido del Data Warehouse, los puntajes en cada una de las áreas del examen SABER 11, el rendimiento en las pruebas de estado del colegio de procedencia y la pertenencia del colegio al programa de Colegios Convenio fueron obtenidos de las bases de datos del Departamento de Promoción y Admisiones; la información de la naturaleza del colegio (oficial o privado) fue obtenida de las bases de datos de Admisiones y del portal Colegios Colombia (www.colegioscolombia.com); por último, la clasificación del puntaje total de los estudiantes en el examen SABER 11 en Alto, Medio o Bajo fue obtenida de SPADIES. Una vez consolidada la base de datos, se estimaron los estadísticos descriptivos (frecuencias) de las variables demográficas a fin de conocer la distribución de los 1245 estudiantes que conforman la muestra por género, ciudad de procedencia, naturaleza y rendimiento del colegio de egreso. Igualmente, se estimaron los estadísticos descriptivos de las variables académicas, es decir, la distribución de los estudiantes por cohorte, clasificación del puntaje en el examen SABER 11 y programa. Por último, se estimó el promedio y la desviación estándar del promedio académico acumulado de los estudiantes en el período de presentación del ECAMI y de los puntajes en la prueba común y específica del ECAMI y en cada una de las áreas que las conforman por programa académico. Posteriormente, se realizaron análisis bivariados a fin de identificar cuáles de las variables académicas y demográficas incluidas en el estudio se relacionan con los resultados en el ECAMI. En el caso de las variables categóricas que sólo adoptan dos valores (género, naturaleza del colegio, colegios convenio) se llevaron a cabo pruebas T de comparación de medias para establecer si existen diferencias estadísticamente significativas en el puntaje del
11
ECAMI asociadas a dichas variables. En el caso de las variables categóricas que adoptan más de dos valores (rendimiento del colegio, clasificación del puntaje en el ICFES, programa académico) se empleó el Análisis de Varianza –ANOVA- o la prueba Kruskal-Wallis (cuando los datos no cumplían los supuestos del ANOVA). Por último, en los casos de las variables continuas (puntaje en las áreas del examen SABER 11, promedio ponderado de las área del examen SABER 11 y promedio académico acumulado) se estimó el coeficiente de correlación de Pearson con el propósito de establecer si existe una relación lineal entre éstas y los puntajes de los estudiantes en el ECAMI. Sólo se analizaron los coeficientes mayores a 0,3. Finalmente, se estimaron modelos de regresión en los que las variables de predicción fueron los puntajes en la prueba común y específica del ECAMI y las variables predictoras fueron los puntajes en las áreas que conforman el examen SABER 11 y el promedio académico acumulado en el período de presentación del ECAMI. El método de inclusión de las variables seleccionado fue “paso a paso”. En todos los modelos se verificó el cumplimiento de los supuestos que demanda el análisis de regresión (linealidad, independencia, homocedasticidad y normalidad). El propósito de las regresiones fue establecer cuáles de las variables contempladas en el modelo permiten predecir el puntaje de la prueba común y específica del ECAMI. Todas las pruebas estadísticas se llevaron a cabo con un nivel de confianza del 95%.
12
Resultados
1. Caracterización de los estudiantes que han prese ntado ECAMI
Desde la implementación de los ECAMI en el año 2007 hasta el 2009, 1245 estudiantes de la Universidad presentaron la prueba; de ellos, 258 la presentaron en el 2007, 262 en el 2008 y 725 en el 2009. Como se anotó anteriormente, a la prueba son convocados únicamente los estudiantes que han cumplido con los créditos de mitad de carrera definidos previamente para cada programa.
1.1 Región de origen
En relación con la ubicación del colegio de procedencia, se encuentra que el 64,1% de los estudiantes que presentaron el ECAMI en el período comprendido entre el 2007 y el 2009 proceden de colegios ubicados en Bogotá, seguido por un 3,4% de estudiantes que proceden de colegios ubicados en Chía, un 1,8% que egresaron de colegios ubicados en Cota y un 1,7% que proceden de colegios de Barranquilla. A nivel departamental, además del Distrito Capital y de Cundinamarca, una importante proporción de los estudiantes que presentaron ECAMI (el 3,2%), proceden de colegios ubicados en Boyacá, Valle del Cauca (el 2,8%) y de Santander (el 2,6%). Cabe resaltar, además, que en la muestra de estudiantes de la Universidad que presentaron el ECAMI entre el 2007 y el 2009, se encuentran personas procedentes de 89 municipios y de 31 departamentos a nivel nacional (Tabla 1). Tabla 1. Departamento de procedencia de los estudiantes que presentaron ECAMI en el período 2007-2009.
Departamento No. %
Amazonas 1 0,1%
Antioquia 6 0,5%
Arauca 1 0,1%
Atlántico 23 1,8%
Bogotá D.C. 798 64,1%
Bolívar 15 1,2%
Boyacá 40 3,2%
Caldas 9 0,7%
Caquetá 1 0,1%
Casanare 5 0,4%
Cauca 4 0,3%
Cesar 15 1,2%
Chocó 4 0,3%
Córdoba 14 1,1%
Cundinamarca 105 8,4%
Guainía 1 0,1%
Huila 18 1,4%
La Guajira 11 0,9%
Magdalena 15 1,2%
13
Departamento No. %
Meta 14 1,1%
Nariño 15 1,2%
Norte Santander 11 0,9%
Putumayo 1 0,1%
Quindío 9 0,7%
Risaralda 6 0,5%
San Andrés 2 0,2%
Santander 32 2,6%
Sucre 7 0,6%
Tolima 15 1,2%
Valle 35 2,8%
Sin información 12 1%
Total 1245 100%
Fuente: Departamento de Promoción y Admisiones
1.2 Variables socio demográficas
La mayoría de los estudiantes que presentaron el ECAMI en el período 2007-2009 son de género femenino. Esta proporción es coherente con los datos institucionales, que en el 2009 señalaban que el 60% de la población estudiantil de pregrado era de género femenino. En relación con las variables de caracterización económica, sólo se encontró información en el sistema SPADIES del 7% de los estudiantes que presentaron el ECAMI en el período 2007 - 2009. De ellos, el 4,7% reportaron que el nivel educativo de la madre es Universitaria o Superior, mientras que tan sólo el 0,5% reportó que el nivel educativo la madre es básica primaria o inferior. Sin embargo, no es posible hacer inferencias respecto a esta variable debido a la carencia de información (Tabla 2). Tabla 2 Género de los estudiantes que presentaron el ECAMI en el período 2007-2009
Variables demográficas 2007 2008 2009 Total
No. % No. % No. % No. %
Género Femenino 169 66% 183 70% 464 64% 816 65,54%
Masculino 89 34% 79 30% 261 36% 429 34,46%
Fuente: Departamento de Promoción y Admisiones y SPADIES 4.2
1.3 Caracterización de los colegios de procedencia
En cuanto al colegio de procedencia, se evidencia que la mayoría de los estudiantes que presentaron el ECAMI en el período 2007 - 2009 (el 91%, el 85% y el 90%, respectivamente) egresaron de colegios no oficiales. Por otra parte, la Universidad ha establecido convenios de cooperación mutua con colegios que se identifican con la filosofía educativa del Rosario, que comparten principios y valores de formación humanista y que se distinguen por su excelencia académica. Entre el 25% y el 29%
14
de los estudiantes que presentaron el ECAMI en el período 2007 - 2009 proceden de colegios que tienen convenio con la Universidad en el marco del programa “Colegios Convenio”. Finalmente, más del 72% egresaron de colegios clasificados en el rango Muy Superior, que corresponde al más alto rendimiento de acuerdo con los resultados del plantel en el Examen de Estado SABER 11 (Tabla 3). Tabla 3 Caracterización de los colegios de procedencia de los estudiantes que presentaron el ECAMI en el
período 2007 - 2009
Descripción del Colegio 2007 2008 2009 Total
No. % No. % No. % No. %
Carácter
No oficial 236 91% 224 85% 650 90% 1110 89%
Oficial 16 6% 22 8% 63 9% 101 8%
Sin información 6 2% 16 6% 12 2% 34 3%
Convenio con la Universidad del Rosario
No 191 74% 184 70% 508 70% 883 71%
Si 65 25% 69 26% 211 29% 345 28%
Sin información 2 1% 9 3% 6 1% 17 1%
Rendimiento en las pruebas SABER 11
Bajo 0 0,0% 0 0,0% 1 0,1% 1 0,1%
Medio 1 0,4% 2 0,8% 8 1,1% 11 0,9%
Alto 6 2,3% 8 3,1% 20 2,8% 34 2,7%
Superior 34 13,2% 50 19,1% 89 12,3% 173 13,9%
Muy superior 213 82,6% 190 72,5% 598 82,5% 1001 80, 4%
Sin información 4 1,6% 12 4,6% 9 1,2% 25 2,0% Fuente: Departamento de Promoción y Admisiones y Portal Colegios Colombia www.colegioscolombia.com
1.4 Programas Académicos
En el año 2007 fueron convocados a presentar el ECAMI estudiantes de los programas de Ciencia Política y Gobierno, Economía, Finanzas y Comercio Internacional, Jurisprudencia y Relaciones Internacionales y de los programas de la Escuela de Ciencias Humanas; en el 2008, se amplío la cobertura a los programas de Administración de Empresas, Administración de Negocios Internacionales, Fisioterapia, Gestión y Desarrollo Urbano, Medicina y Psicología y en el 2009 se incorporaron los programas de Terapia Ocupacional, Fonoaudiología y Administración en Logística y Producción (Tabla 4). Tabla 4 Distribución de los estudiantes que presentaron ECAMI en el período 2007-2009 según programa
académico.
Programa 2007 2008 2009 Total
No. % No. % No. % No. %
Administración de Empresas 7 3% 25 3% 32 2,6%
Administración de Negocios Internacionales 34 13% 61 8% 95 7,6%
Administración en Logística y Producción 5 1% 5 0,4%
Ciencia Política y Gobierno 38 15% 41 16% 58 8% 137 11,0%
15
Programa 2007 2008 2009 Total
No. % No. % No. % No. %
Economía 17 7% 7 3% 10 1% 34 2,7%
Escuela de Ciencias Humanas 6 0,4% 23 3% 29 2,3%
Finanzas y Comercio Internacional 63 24% 25 10% 79 11% 167 13,4%
Fisioterapia 10 4% 31 4% 41 3,3%
Fonoaudiología 9 1% 9 0,7%
Gestión y Desarrollo Urbano 8 3% 16 2% 24 1,9%
Jurisprudencia 40 16% 40 15% 155 21% 235 18,9%
Medicina 25 10% 110 15% 135 10,8%
Psicología 8 3% 14 2% 22 1,8%
Relaciones Internacionales 94 36% 57 22% 117 16% 268 21,5%
Terapia Ocupacional 12 2% 12 1,0%
Total 258 100% 262 100% 725 100% 1245 100% Fuente: Departamento de Planeación Académica y Aseguramiento de la Calidad
Si bien los estudiantes son citados a presentar tanto la prueba común como la prueba específica (excepto los estudiantes de la Escuela de Ciencias Humanas quienes únicamente presentaron la prueba común) el 79% respondió los dos componentes de la prueba; el 16% únicamente respondió la prueba específica y el 5% sólo la prueba común (Tabla 5). Tabla 5 Distribución de los estudiantes que presentaron ECAMI en el período 2007-2009 según si presentaron
los dos componentes de la prueba o sólo uno de ellos.
Programa
Prueba Común y Prueba Específica Sólo Prueba Común Sólo Prueba
Específica
No. % No. % No. %
Administración de Empresas 23 72% 2 6% 7 22%
Administración de Negocios Internacionales 65 68% 6 6% 24 25%
Administración en Logística y Producción 3 60% 0% 2 40%
Ciencia Política y Gobierno 126 92% 3 2% 8 6%
Economía 28 82% 1 3% 5 15%
Escuela de Ciencias Humanas* 0% 29 100% 0%
Finanzas y Comercio Internacional 72 43% 3 2% 92 55%
Fisioterapia 36 88% 1 2% 4 10%
Fonoaudiología 8 89% 0% 1 11%
Gestión y Desarrollo Urbano 22 92% 1 4% 1 4%
Jurisprudencia 204 87% 11 5% 20 9%
Medicina 134 99% 0% 1 1%
Psicología 22 100% 0% 0%
Relaciones Internacionales 223 83% 11 4% 34 13%
Terapia Ocupacional 12 100% 0% 0%
Total 978 79% 68 5% 199 16% Fuente: Departamento de Planeación Académica y Aseguramiento de la Calidad *Estos programas sólo presentaron prueba común
16
En relación con el semestre de ingreso (cohorte) la mayoría de los estudiantes que presentaron el ECAMI en el 2007 y en el 2008 ingresaron a la Universidad en el primer semestre de 2006 (el 53,9 y el 39,7%, respectivamente), en tanto que la mayoría de los estudiantes que presentaron el ECAMI en el 2009 ingresaron a la Universidad el primer semestre de 2007 (el 30,1%). Lo anterior señala que un porcentaje importante de los estudiantes que presentaron el examen cumplieron con los créditos de mitad de carrera entre el cuarto y el sexto semestre cursado (Gráfica 1).
Fuente: Data Warehouse
Gráfica 1. Semestre de ingreso de los estudiantes que presentaron el ECAMI en el 2007-2 y en el 2008-1.
1.5 Resultados en el examen SABER 11
En relación con los resultados en el examen SABER 11 se puede afirmar que los programas con mayor proporción de estudiantes que obtuvieron puntajes Altos en el examen SABER 11 fueron Medicina, Administración en Logística y Producción, Economía, Finanzas y Comercio Internacional y los ofrecidos por la Escuela de Ciencias Humanas. Es importante precisar que el ICFES clasifica el puntaje total obtenido por el estudiante en Bajo, Medio o Alto. El puntaje total corresponde al promedio ponderado de las ocho áreas del núcleo común y al área del componente flexible. Para calcular dicho promedio, se asigna mayor peso a las áreas de matemáticas, lenguaje y ciencias sociales, por ello, los resultados obtenidos mediante el promedio ponderado difieren del obtenido mediante el promedio simple (¡Error! No se ncuentra el origen de la referencia. ).
2004-1 2004-2 2005-1 2005-2 2006-1 2006-2 2007-1 2007-2 2008-1 2008-2 2009-1
2007 0,4% 0,4% 4,3% 29,5% 53,9% 11,6% 0,0% 0,0% 0,0% 0,0% 0,0%
2008 0,0% 0,4% 3,4% 29,8% 39,7% 13,0% 13,7% 0,0% 0,0% 0,0% 0,0%
2009 0,1% 0,0% 0,6% 10,9% 23,2% 19,3% 30,1% 10,8% 4,3% 0,4% 0,4%
0%
20%
40%
60%
Semestre de Ingreso de los estudiantes que presentaron ECAMI en el período 2007-2009
17
Fuente: SPADIES
Gráfica 2 Clasificación del desempeño en la prueba SABER 11 de los estudiantes que presentaron el ECAMI en el período 2007-2009.
MedicinaAdministración en Logística y Producción
EconomíaFinanzas y Comercio
Internacional
Escuela de Ciencias Humanas
Administración de Negocios
InternacionalesJurisprudencia Administración
de EmpresasCiencia Política
y GobiernoPsicología
Gestión y Desarrollo
Urbano
Terapia Ocupacional
Relaciones Internacionales
Fisioterapia Fonoaudiología
Alto 85% 80% 79% 79% 69% 69% 69% 59% 56% 55% 54% 50% 49% 27% 22%
Medio 14% 20% 21% 16% 24% 24% 26% 41% 28% 41% 33% 50% 31% 54% 56%
Bajo 0% 0% 0% 1% 3% 2% 2% 0% 7% 5% 0% 0% 4% 20% 0%
Sin información 1% 0% 0% 4% 3% 4% 2% 0% 8% 0% 13% 0% 16% 0% 22%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%Clasificación del Desempeño de los Estudiantes en el examen SABER 11 por Programa Académico
18
1.6 Desempeño Académico
El desempeño académico de los estudiantes que presentaron el ECAMI en el período 2007-2009 se midió a través del promedio acumulado en el momento de presentación del examen. De este modo, para los estudiantes que presentaron el ECAMI en el 2007 se tomó en cuenta el promedio acumulado al finalizar el segundo período de dicho año; para quienes presentaron la prueba en el 2008 se tomó en cuenta el promedio acumulado al término del primer semestre de 2008 y para quienes presentaron la prueba en el 2009, el promedio acumulado al concluir el segundo semestre del mismo año. De los estudiantes convocados a presentar el ECAMI en el 2007, los del programa de Economía eran quienes tenían promedios acumulados más altos (4,2), seguidos de los estudiantes de Periodismo y Opinión Pública y de Ciencia Política y Gobierno (4,1 respectivamente), sin embargo, la diferencia entre un programa y otro no es considerable (Gráfica 3).
Gráfica 3 Promedio y desviación estándar del promedio acumulado a segundo semestre de 2007 de
los estudiantes que presentaron ECAMI ése mismo año. Por su parte, de los estudiantes que presentaron el ECAMI en el 2008 quienes tenían promedios acumulados más altos en el primer semestre de ese mismo año eran los de Psicología, Administración de Empresas, Jurisprudencia y Economía (4,2 respectivamente); sin embargo, en este último programa la dispersión de los promedios es mayor. Entre tanto, los estudiantes con promedios más bajos pertenecían a los programas de Medicina (3,8) y los de Finanzas y Comercio Internacional (3,7) (Gráfica 4).
3,84 3,88 3,91 3,88 3,81 3,76
4,2 4,1 4,1 4,0 4,0 4,0
1,0
2,0
3,0
4,0
5,0
Eco
nom
ían=
17
Esc
uela
de
Cie
ncia
s H
uman
asn=
6
Cie
ncia
P
olíti
ca y
G
obie
rno
n=38
Rel
acio
nes
Inte
rnac
iona
les
n=94
Juris
prud
enci
an=
40
Fin
anza
s y
Com
erci
o In
tern
acio
nal
n=63
Promedio y Desviación Estándar del Promedio Acumulado de los Estudiantes que presentaron ECAMI en el 2007
Promedio Programa + Desviación Estándar Promedio - Desviación Estándar
19
Gráfica 4 Promedio y desviación estándar del promedio acumulado a primer semestre de 2008 de los
estudiantes que presentaron ECAMI ése mismo año. Finalmente, de los estudiantes que presentaron el ECAMI en el 2009, quienes tenían promedios acumulados más altos en el semestre de presentación del examen eran los de los programas de Terapia Ocupacional (4,3), Administración en Logística y Producción, Escuela de Ciencias Humanas y Psicología (4,2 respectivamente), en tanto que quienes tenían promedios acumulados más bajos eran los estudiantes de Medicina (3,8), Finanzas y Comercio Internacional y Economía (3,9 respectivamente) (Gráfica 5).
Gráfica 5 Promedio y desviación estándar del promedio acumulado a segundo semestre de 2009 de
los estudiantes que presentaron ECAMI ése mismo año.
3,79 3,72 3,83 3,87 3,83 3,97 3,90 3,933,71 3,77 3,74
4,2 4,2 4,2 4,2 4,1 4,0 4,0 4,0 3,9 3,9 3,8
1,0
2,0
3,0
4,0
5,0P
sico
logí
an=
8
Adm
inis
traci
ón
de E
mpr
esas
n=7
Juris
prud
enci
an=
40
Eco
nom
ían=
7
Fis
iote
rapi
an=
10
Ges
tión
y D
esar
rollo
U
rban
on=
8
Rel
acio
nes
Inte
rnac
iona
les
n=57 Cie
ncia
P
olíti
ca y
G
obie
rno
n=41
Adm
inis
traci
ónde
Neg
ocio
s In
tern
acio
nale
sn=
34
Fin
anza
s y
Com
erci
o In
tern
acio
nal
n=25
Med
icin
an=
25
Promedio y Desviación Estándar del Promedio Acumulado de los Estudiantes que presentaron ECAMI en el 2008
Promedio Programa + Desviación Estándar Promedio - Desviación Estándar
3,87 3,863,80 3,90 3,81 3,87 3,79 3,80
3,89 3,90 3,92 3,943,94
3,83 3,74
4,3 4,2 4,2 4,2 4,1 4,1 4,0 4,0 4,0 4,0 4,0 4,0 3,9 3,9 3,8
1,0
2,0
3,0
4,0
5,0
Ter
apia
O
cupa
cion
aln=
12
Adm
inis
traci
ón
en L
ogís
tica
y P
rodu
cció
nn=
5E
scue
la d
e C
ienc
ias
Hum
anas
n=23
Psi
colo
gía
n=14
Adm
inis
trac
ión
de N
egoc
ios
Inte
rnac
iona
les
n=61
Fis
iote
rapi
an=
31
Adm
inis
traci
ón
de E
mpr
esas
n=25
Fon
oaud
iolo
gía
n=9
Juris
prud
enci
an=
155
Rel
acio
nes
Inte
rnac
iona
les
n=11
7
Cie
ncia
P
olíti
ca y
G
obie
rno
n=58
Ges
tión
y D
esar
rollo
U
rban
on=
16
Eco
nom
ían=
10
Fin
anza
s y
Com
erci
o In
tern
acio
nal
n=79
Med
icin
an=
110
Promedio y Desviación Estándar del Promedio Acumulado de los Estudiantes que presentaron ECAMI en el 2009
Promedio Programa + Desviación Estándar - Desviación Estándar Promedio
20
2. Asociación entre los resultados del ECAMI y las variables socio demográficas y académicas de los estudiantes
Para establecer si existen diferencias estadísticamente significativas en los puntajes del ECAMI asociadas al género, se estimó el promedio y la desviación estándar de los puntajes estándar obtenidos por las 816 mujeres y los 429 hombres que constituyen la muestra, tanto en la prueba común como en la prueba específica, y posteriormente se realizó una prueba T de diferencia de medias. Los resultados señalan que los hombres tienen un promedio significativamente mayor al obtenido por las mujeres en la prueba específica del ECAMI. En la prueba común, por su parte, no existen diferencias significativas por género (Tabla 6). Tabla 6 Comparación de medias de los puntajes obtenidos por hombres y mujeres en el ECAMI
Componente ECAMI Femenino Masculino Prueba T
n Media Desviación Estándar n Media Desviación
Estándar P Valor
Prueba Común 691 50,3 7,4 741 50,32 7,75 ,963
Prueba Específica 741 48,88 9,58 406 51,95 10,42 ,000**
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 A fin de determinar si la ciudad de procedencia del estudiante se asocia con diferencias en el desempeño en la prueba común y específica del ECAMI, se estimó el promedio de los puntajes estándar obtenidos por los estudiantes cuyo colegio de procedencia se ubica en alguna de las ciudades principales del país, por un lado, y de los estudiantes que egresaron de colegios ubicados en el resto de ciudades, por el otro. Las ciudades con más de 500.000 habitantes se clasificaron como ciudades principales, es decir, Bogotá D.C., Medellín, Cali, Barranquilla, Cartagena, Cúcuta y Bucaramanga. Posteriormente se realizó una prueba T de diferencia de medias, cuyos resultados señalan que no existen diferencias estadísticamente significativas en los resultados del ECAMI asociadas a la ciudad del colegio de procedencia (Tabla 7). Tabla 7 Comparación de medias de los puntajes obtenidos en el ECAMI, según la ciudad de procedencia
Componente ECAMI
Ciudades con más de 500.000 habitantes
Ciudades con menos de 500.000 habitantes Prueba T
n Media Desviación Estándar n Media Desviación
Estándar P Valor
Prueba Común 751 50,5 7,3 283 49,7 9,8 0,11
Prueba Específica 812 49,95 9,8 321 50,0 10,2 ,082
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01
Con el propósito de identificar si existen diferencias significativas en el puntaje obtenido por los estudiantes provenientes de colegios no oficiales y oficiales, se estimó el promedio del puntaje estándar obtenido por los estudiantes provenientes de colegios no oficiales y de los estudiantes que egresaron de colegios oficiales, tanto en la prueba específica como en la prueba común y posteriormente se realizó una prueba T de diferencia de medias. Los resultados señalan que no hay diferencias en los puntajes estándar de la prueba común y de la prueba específica asociadas al carácter del colegio de procedencia de los estudiantes (Tabla 8).
21
Tabla 8 Comparación de medias de los puntajes obtenidos en el ECAMI, según el carácter del colegio de procedencia
Carácter del Colegio de Procedencia
Componente ECAMI No oficial Oficial Prueba T
n Media Desviación Estándar n Media Desviación
Estándar P Valor
Prueba Común 937 50,32 7,5 82 50,25 7,9 ,935
Prueba Específica 1025 49,95 9,98 90 50,75 9,71 ,465
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 Si bien las estimaciones puntuales indicarían que existen diferencias en el promedio del puntaje estándar obtenido por los estudiantes en el ECAMI de acuerdo con el rendimiento de su colegio de procedencia, los resultados de la prueba Kruskal Wallis señalan que las diferencias en el puntaje de los estudiantes que provienen de colegios con rendimiento medio a muy superior no son estadísticamente significativas. Sin embargo, no es posible afirmar lo mismo en relación con los estudiantes que provienen de colegios con rendimiento bajo, ya que sólo hay un caso y éste fue excluido de la prueba (Tabla 9). Tabla 9 Análisis de varianza de las medias de los puntajes en el ECAMI, según el rendimiento del colegio de
procedencia.
Componente ECAMI
Rendimiento del Colegio
Prueba Común Prueba Específica
N Media Desviación Estándar n Media Desviación
Estándar
Bajo 1 46,0 - 1 42,0 -
Medio 10 49,0 9,8 10 53,3 10,5
Alto 30 50,3 8,8 32 51,9 10,5
Superior 143 49,5 7,5 159 50,8 10,0
Muy superior 842 50,5 7,5 922 49,7 9,9
Prueba Kruskal Wallis (P Valor) 0,520 0,259
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 Por otra parte, se estimó el promedio de los puntajes estándar obtenidos en la prueba común y específica del ECAMI de los estudiantes provenientes de colegios que tienen convenio con la Universidad y se comparó con el promedio de los estudiantes que egresaron de colegios que no tienen convenio con la Universidad. Los resultados señalan que los estudiantes de colegios que tienen convenio con la Universidad obtuvieron un promedio significativamente mayor que quienes proceden de colegios que no tienen convenio con la Universidad únicamente en la Prueba Común, pues en la Prueba Específica los resultados son homogéneos para ambos grupos (Tabla 10).
22
Tabla 10 Comparación de medias de los puntajes en el ECAMI, según si el colegio de procedencia pertenece al programa de Colegios Convenio de la Universidad
Colegios Convenio
Componente ECAMI Si No Prueba T
N Media Desviación Estándar n Media Desviación
Estándar P Valor
Prueba Común 294 51,32 7,71 739 49,91 7,42 ,006**
Prueba Específica 319 50,7 9,95 812 49,68 9,91 ,121
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 La clasificación del puntaje total en el examen SABER 11, por su parte, se asocia con diferencias significativas en el puntaje estándar de la prueba común del ECAMI, como lo señala el resultado de la prueba Kruskal Wallis (Tabla 11). Tabla 11 Análisis de varianza de las medias en la prueba común, según la clasificación del puntaje total obtenido
por los estudiantes en la prueba SABER 11.
Clasificación del Puntaje en el ICFES
Prueba Común
n Media Desviación Estándar
Bajo 32 45,73 4,64
Medio 281 47,53 7,16
Alto 667 51,64 7,32
Prueba Kruskal Wallis (P Valor)* ,000**
Se aplicó la prueba Kruskal Wallis debido a que no se cumple el supuesto de igualdad de varianzas * Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 La comparación de medias señala que los estudiantes que obtuvieron puntajes altos en la prueba SABER 11 tienen, a su vez, promedios significativamente más altos en la Prueba Común del ECAMI. Por su parte, no existen diferencias significativas en el puntaje de la prueba común del ECAMI entre quienes obtuvieron puntajes bajo o medios en la prueba SABER 11 (Tabla 12). Tabla 12 Prueba T de comparación de medias en la prueba común del ECAMI, según la clasificación del
resultado obtenido por los estudiantes en la prueba SABER 11.
Clasificación del Puntaje en el ICFES
Componente del ECAMI
Clasificación del Puntaje en el ICFES
Medio Alto
Bajo Prueba común 0,37 0,000**�
Medio Prueba común 0,000**�
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01� El promedio del encabezado de la columna es significativamente mayor que el promedio del encabezado de la fila.
23
3. Asociación entre los programas académicos, la pr ueba SABER 11, el rendimiento académico y los resultados de la prueba común del ECAMI
A fin de establecer si existen diferencias significativas entre los programas en el promedio del puntaje estándar de la Prueba Común y de las tres subpruebas que la conforman, se llevó a cabo la prueba Kruskal-Wallis. En dicho análisis se excluyeron los datos de Administración en Logística y Producción y Fonoaudiología debido a que menos de diez estudiantes de estos programas presentaron la prueba común. Los resultados de la prueba estadística señalan que las diferencias entre programas son significativas al 0.01 (Tabla 13). Tabla 13 Comparación de las medias de las prueba común y de las subpruebas que la conforman por programa
académico.
Programa Prueba Común
Competencias Básicas Ética
Constitución Política
n Media Desv. Estand. Media Desv.
Estand. Media Desv. Estand. Media Desv.
Estand.
Administración en Logística y Producción
3 59,1 4,3 66,3 11,5 57,7 5,1 53,3 5,8
Psicología 22 57,0 7,3 57,0 7,3 - - - -
Escuela de Ciencias Humanas 29 55,4 4,7 56,8 8,0 58,6 6,4 50,8 7,8
Ciencia Política y Gobierno 129 52,1 6,4 51,5 9,3 52,0 8,6 53,1 8,0
Jurisprudencia 215 51,7 7,9 47,9 11,2 49,2 10,9 57,9 9,6
Gestión y Desarrollo Urbano 23 50,9 6,2 53,0 8,6 49,3 9,1 50,4 6,6
Relaciones Internacionales 234 50,2 7,4 50,4 9,7 50,8 10,3 49,5 9,2
Medicina 134 50,1 7,6 51,0 9,1 50,5 9,4 - -
Fonoaudiología 8 47,9 7,2 47,5 13,8 52,8 5,6 43,6 8,0
Economía 29 47,8 8,6 48,0 11,5 47,7 12,1 47,9 8,7
Terapia Ocupacional 12 47,5 5,1 49,1 4,7 51,9 6,1 41,6 9,2
Administración de Negocios Internacionales
71 47,4 7,3 49,8 9,6 46,7 9,9 45,7 8,7
Finanzas y Comercio Internacional 75 47,3 6,9 47,5 10,5 49,6 10,1 44,9 8,0
Administración de Empresas 25 46,4 6,5 49,0 10,5 46,9 9,6 43,2 5,9
Fisioterapia 37 46,0 6,3 47,2 9,1 46,4 7,0 44,4 7,2
Prueba Kruskal Wallis
(P Valor) ,000** ,000** ,000** ,000**
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01
Para identificar entre cuáles programas se presentan diferencias significativas en la prueba común y en cada una de las subpruebas que la conforman se realizaron contrastes de medias utilizando la prueba de Mann Whitney. En relación con el puntaje total de la Prueba Común, los contrastes de medias evidencian que los estudiantes de Psicología, de la Escuela de Ciencias Humanas y de Ciencia Política y Gobierno obtuvieron, en promedio, puntajes estándar significativamente más altos que los estudiantes de los demás programas. En contraste, los estudiantes de los programas de
24
Fisioterapia y de Administración de Empresas obtuvieron, en promedio, resultados significativamente más bajos que el resto de estudiantes en la prueba común. Por su parte, los estudiantes de Medicina, Relaciones Internacionales, Gestión y Desarrollo Urbano, Jurisprudencia, Finanzas y Comercio Internacional, Administración de Negocios Internacionales, Terapia Ocupacional y Economía obtuvieron puntajes cercanos a la media de las escala (50). En la subprueba de Competencias Básicas para el Aprendizaje Superior, los estudiantes de la Escuela de Ciencias Humanas y de Psicología, obtuvieron, en promedio, puntajes significativamente más altos que los estudiantes de los demás programas. Por su parte, los estudiantes de Fisioterapia, de Administración de Empresas y de Finanzas y Comercio Internacional obtuvieron, en promedio, puntajes significativamente más bajos que los estudiantes de los demás programas. Los estudiantes de los programas de Gestión y Desarrollo Urbano, Ciencia Política y Gobierno, Medicina, Relaciones Internacionales, Administración de Negocios Internacionales, Terapia Ocupacional, Administración de Empresas, Economía y Jurisprudencia obtuvieron, en promedio, puntajes cercanos a la media de la escala (50). Por otra parte, en la subrueba de Ética, los estudiantes de la Escuela de Ciencias Humanas obtuvieron, en promedio, puntajes significativamente más altos que los estudiantes de los demás programas. En contraste, los estudiantes de los programas de Fisioterapia y de Administración de Negocios Internacionales obtuvieron, en promedio, puntajes más bajos que los estudiantes de los demás programas. Los estudiantes de los programas de Administración de Empresas, Economía, Jurisprudencia, Gestión y Desarrollo Urbano, Finanzas y Comercio Internacional, Medicina, Relaciones Internacionales, Terapia Ocupacional y Ciencia Política y Gobierno obtuvieron, en promedio, resultados cercanos a la media de la escala (50). Por último, en la subrueba de Constitución Política, los estudiantes de Jurisprudencia y de Ciencia Política y Gobierno obtuvieron, en promedio, puntajes significativamente más altos que los estudiantes de los demás programas. De otro lado, los estudiantes de Terapia Ocupacional y de Administración de Empresas obtuvieron, en promedio, puntajes significativamente más bajos que la mayoría de los programas. De otro lado, para establecer si existe una relación lineal entre los puntajes en las áreas evaluadas en el examen SABER 11 y el puntaje total de la prueba común y de cada uno de sus componentes, se estimó el coeficiente de correlación de Pearson. Los resultados señalan que los puntajes de las áreas de Biología, Ciencias Sociales y Filosofía correlacionan de manera significativa con el puntaje total de la prueba común del ECAMI. En relación con cada uno de los componentes de la prueba común, se encontraron correlaciones significativas entre el área de Ciencias Sociales evaluada en el examen SABER 11 y el componente de Ética de la Prueba Común del ECAMI (Tabla 14). Estas bajas correlaciones se pueden explicar porque en la población de los estudiantes que han presentado el examen de mitad de carrera, existen diferentes subpoblaciones asociadas a los programas académicos.
25
Tabla 14 Correlaciones entre las áreas evaluadas en el examen SABER 11 y los componentes de la Prueba Común del ECAMI.
Áreas evaluadas en el examen SABER 11
Puntaje Total en la Prueba
Común
n=1018
Componentes de la Prueba Común
Competencias Básicas para el
Aprendizaje Superior
n=1018
Ética
n=995
Constitución Política
n=890
Biología ,321** ,288 ,238 ,188
Química ,288 ,283 ,230 ,137
Física ,193 ,158 ,172 ,091
Ciencias Sociales ,316** ,251 ,304** ,164
Filosofía ,316** ,267 ,273 ,152
Lenguaje ,285 ,247 ,197 ,171
Matemáticas ,244 ,244 ,176 ,118
Idioma ,283 ,222 ,254 ,166
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01
El promedio acumulado en el período de presentación del ECAMI, por su parte, correlaciona de manera significativa con el puntaje total de la Prueba Común; mientras que el promedio ponderado de las áreas de SABER 11 correlaciona de manera significativa, tanto con los resultados de la prueba común, como con los de cada una de las subpruebas que la conforman (Tabla 15). Tabla 15 Correlación entre el promedio acumulado de los estudiantes en el período de presentación del ECAMI
y los componentes de la prueba común.
Puntaje Total en la Prueba Común
n=1011
Componentes de la Prueba Común
Competencias Básicas para el
Aprendizaje Superior
n=1011
Ética
n=988
Constitución Política
n=883
Promedio Acumulado en el Período de Presentación del ECAMI
,358** ,287 ,299 ,204
Promedio Ponderado de las Áreas de SABER 11 ,380** ,349** ,301** ,210**
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01
26
4. Asociación entre la prueba SABER 11, el promedio académico y los resultados en la prueba específica del ECAMI
4.1 Facultad de Ciencia Política y Gobierno y Facul tad de Relaciones Internacionales
Para los estudiantes del programa de Gestión y Desarrollo Urbanos que presentaron el ECAMI en el período 2007-2009, las áreas con mejor desempeño en el examen SABER 11 fueron Lenguaje, Idioma, Biología y Filosofía, cuyos promedios se encuentran entre 53 y 57. Los estudiantes de Ciencia Política y Gobierno, por su parte, obtuvieron puntajes sobresalientes en las áreas de Idioma, Lenguaje, Biología, Ciencias Sociales y Filosofía en las que el promedio del grupo fue superior a 52. Por último, los estudiantes del programa de Relaciones Internacionales obtuvieron puntajes sobresalientes en Idioma, Lenguaje, Biología, Ciencias Sociales y Filosofía, áreas en las que el promedio fue superior a 52 (Gráfica 6).
Gráfica 6 Desempeño de los estudiantes de la Facultad de Ciencia Política y Gobierno en las áreas que conforman el examen SABER 11.
En relación con la prueba específica, ésta difiere según el programa académico. Para el caso de Gestión y Desarrollo Urbanos, en el 2009 la prueba específica estaba conformada por 120 ítems que evaluaban las siguientes áreas: � Formación básica: Constaba de 60 ítems que, a su vez, se estructuraban de la siguiente
manera:
54,2
50,1 50,9 51,653,2
57,3
51,2
56,8
40
45
50
55
60
65
Bio
logí
a
Quí
mic
a
Fís
ica
Cie
ncia
s S
ocia
les
Filo
sofía
Leng
uaje
Mat
emát
icas
Idio
ma
Gestión y Desarrollo Urbanosn=24
56,2
51,7 51,555,1
52,9
60,0
50,6
60,5
40
45
50
55
60
65
Bio
logí
a
Quí
mic
a
Fís
ica
Cie
ncia
s S
ocia
les
Filo
sofía
Leng
uaje
Mat
emát
icas
Idio
ma
Ciencia Política y Gobiernon=135
55,9
51,5 50,4
54,952,7
60,1
52,0
62,6
40
45
50
55
60
65
Bio
logí
a
Quí
mic
a
Fís
ica
Cie
ncia
s S
ocia
les
Filo
sofía
Leng
uaje
Mat
emát
icas
Idio
ma
Relaciones Internacionalesn=259
27
� Área básica: Evaluaba los objetivos de aprendizaje asociados a los cursos de Análisis Geográfico, Origen y Conflicto de Civilizaciones, Formación de la Nación Colombiana, Formación del Mundo Contemporáneo, Geografía Política de Colombia (28 ítems). Este componente de la prueba era común a los programas de Ciencia Política y Gobierno y Relaciones Internacionales.
� Conceptos fundamentales de lo urbano: Evaluaba los contenidos correspondientes a las asignaturas de La Ciudad y el Destino del Hombre, Equística y Modelos y Teorías Urbanísticas (20 ítems).
� Conceptos fundamentales sobre desarrollo: Evaluaba los contenidos relacionados con los cursos de Enfoques y Modelos de Desarrollo e Itinerario del concepto de desarrollo (8 ítems)
� Formación jurídica: Evaluaba los objetivos de aprendizaje correspondientes al curso de Derecho Urbano (4 ítems).
� Formación específica: Constaba de 60 ítems que se distribuían en los siguientes ejes temáticos:
� Habitabilidad urbana: Evaluaba los contenidos asociados a la asignatura de Territorio y Espacio Urbano (4 ítems).
� Calidad de vida urbana: Evaluaba los objetivos de aprendizaje del curso de Vivienda urbana y expansión de ciudades (5 ítems).
� Movilidad urbana: Evaluaba los contenidos correspondientes a la asignatura de Sistemas de Movilidad (13 ítems).
� Economía y productividad urbanas: Evaluaba los temas abordados en las asignaturas de Fundamentos de Economía para Gestores Urbanos y Economía Urbana (11 ítems).
� Planificación urbana y regional: Evaluaba los contenidos asociados a la asignatura de Ordenamiento Territorial Urbano y Regional (4 ítems).
� Gobernabilidad urbana: Evaluaba los tópicos correspondientes a la asignatura de Sistemas de Administración Pública de Ciudades (8 ítems).
� Apoyo tecnológico: Evaluaba los contenidos asociados a los cursos de Estadísticas Aplicadas a lo Urbano y Sistemas de Información Geográfica y Georeferencial (15 ítems).
El análisis del promedio de porcentaje de respuestas correctas en el ECAMI de los estudiantes del programa de Gestión y Desarrollo Urbanos durante el período 2007 – 2009, evidencia fortalezas en las áreas de Competencias Básicas para el Aprendizaje Superior, Ética y Área Básica; por el contrario, Constitución Política en una de las áreas con los más bajos promedios. Sin embargo, es importante precisar que todos los promedios de los estudiantes de este programa son superiores a 50 (Gráfica 7).
28
Gráfica 7 Desempeño de los estudiantes del programa de Gestión y Desarrollo Urbanos en las áreas
que conforman el ECAMI. La prueba específica del programa de Ciencia Política y Gobierno, en el 2009, estaba conformada por 120 ítems que evaluaban las siguientes áreas: � Área Básica. Con 70 ítems, evaluaba los contenidos curriculares correspondientes a las
asignaturas de Análisis geográfico, Origen y conflicto de civilizaciones, Formación de la Nación Colombiana, Cultura de facultad, Formación del mundo contemporáneo, Geopolítica y Geografía política de Colombia.
� Formación Política. Constaba de 24 ítems que evaluaban los objetivos de aprendizaje asociados a los cursos de Conceptos políticos fundamentales y Clásicos del pensamiento político.
� Formación Gobierno. Estaba conformada por 20 ítems que indagan por los contenidos impartidos en las asignaturas de Introducción a la administración pública colombiana y Teorías organizacionales y modelos de gobierno.
� Conceptos Jurídicos. Con 6 ítems, evaluaba los objetivos de aprendizaje correspondientes a la asignatura de Conceptos jurídicos fundamentales.
De acuerdo con el promedio del porcentaje de respuestas correctas de los estudiantes de Ciencia Política y Gobierno en el ECAMI en el período 2007-2009, las áreas de Conceptos Jurídicos, Constitución Política y Ética se evidencian como fortalezas del programa, en tanto que Formación Gobierno fue el área con más bajo rendimiento (Gráfica 8).
53,3 52,8 52,0 55,452,7
20
40
60
80
Ap
ren
diza
je
Sup
erio
r
Étic
a
Co
nstit
uci
ón
Po
lític
a
Áre
a B
ásic
a
Fo
rmac
ión
Esp
ecíf
ica
Gestión y Desarrollo Urbanosn=23
29
Gráfica 8 Desempeño de los estudiantes del programa de Ciencia Política y Gobierno en las áreas que
conforman el ECAMI. De otro lado, la prueba específica para el programa de Relaciones Internacionales en el 2009 estaba conformada por 118 ítems distribuidos en las siguientes áreas: � Área Básica. Constaba de 70 ítems que evaluaban los objetivos de aprendizaje asociados a
las asignaturas de Análisis geográfico, Origen y conflicto de civilizaciones, Formación de la nación colombiana, Cultura de facultad, Formación de mundo contemporáneo, Geopolítica y Geografía política de Colombia.
� Formación política. Con 10 ítems, evaluaba los contenidos curriculares asociados a los cursos de Conceptos políticos fundamentales y Clásicos del pensamiento político.
� Formación internacional. Constaba de 40 ítems que indagan por los conocimientos desarrollados por los estudiantes en las asignaturas de Configuración del sistema internacional, Teoría de las relaciones internacionales (I y II) e Instituciones internacionales.
Los resultados logrados por los estudiantes de Relaciones Internacionales en el ECAMI durante el período 2007 – 2009 señalan que, comparativamente, el área con mejor desempeño es Formación Internacional, seguida de Ética (con promedios de de 55,4 y 52,9 respectivamente), en tanto que las áreas con más bajo desempeño son Formación Política y Competencias Básicas para el Aprendizaje Superior (con promedios de 43,4 y 47,6) (Gráfica 9).
Gráfica 9 Desempeño de los estudiantes del programa de Relaciones Internacionales en las áreas que
conforman el ECAMI.
49,0
54,4 56,848,9 48,4
40,1
72,0
20
40
60
80
Ap
rend
izaj
e S
uper
ior
Étic
a
Con
stitu
ció
n P
olít
ica
Áre
a B
ásic
a
Fo
rmac
ión
Pol
ítica
Fo
rmac
ión
Gob
iern
o
Con
cep
tos
Jurí
dico
s
Ciencia Política y Gobiernon=134
47,652,9 51,5 50,9
43,455,4
20
40
60
80
Ap
rend
izaj
e S
uper
ior
Étic
a
Co
nstit
ució
n
Po
lític
a
Áre
a B
ásic
a
Fo
rmac
ión
Pol
ítica
For
mac
ión
Inte
rnac
iona
l
Relaciones Internacionalesn=257
30
Con el propósito de identificar si existe una relación entre los puntajes en el examen SABER 11 y los resultados en el ECAMI, se estimaron los promedios del puntaje de la prueba común y específica del ECAMI, según la clasificación del puntaje total del examen SABER 11. Los resultados de los estudiantes de Ciencia Política y Gobierno y de Relaciones Internacionales, señalan que los estudiantes cuyos puntajes en el examen SABER 11 se clasificaron como bajos, obtuvieron a su vez bajos puntajes en la prueba común y específica del ECAMI; de manera similar, quienes obtuvieron altos puntajes en el examen SABER 11 lograron altos puntajes en el ECAMI. En el caso particular de los estudiantes de Gestión y Desarrollo Urbanos no se evidencian asociaciones entre el resultado en SABER 11 y el posterior resultado en el ECAMI, sin embargo estos resultados no son concluyentes debido al reducido tamaño de la muestra (Tabla 16). Tabla 16 Promedio en la prueba común y específica del ECAMI de los estudiantes de la Facultad de Ciencia
Política y Gobierno y Relaciones internacionales, según la clasificación del puntaje en la prueba SABER 11.
Programa Clasificación Puntaje Total SABER 11
Prueba Común del ECAMI Prueba Específica del ECAMI
n Promedio Desviación Estándar
Prueba Kruskal Wallis
(P Valor) n Promedio Desviación
Estándar
Prueba Kruskal Wallis
(P Valor)
Ciencia Política y Gobierno
Alto 73 53,48 6,5
0,00**
74 53,99 9,4
0,00** Medio 37 50,38 4,6 39 44,69 7,4
Bajo 8 45,76 5,2 10 39,90 7,4
Relaciones Internacionales
Alto 116 52,16 7,2
0,00**
125 52,9 9,0
0,00** Medio 71 47,31 6,7 77 46,44 8,4
Bajo 8 45,16 2,9 11 38,18 10,2
Gestión y Desarrollo Urbanos
Alto 12 50,46 4,7
-
12 52,67 9,7
- Medio 8 51,81 7,5 8 45,25 11,4
Bajo - -
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01
Igualmente, se estimó el coeficiente de correlación entre el promedio ponderado de la prueba SABER 11 y el puntaje en la prueba común y específica del ECAMI, tanto para los estudiantes de Ciencia Política y Gobierno como para los de Relaciones Internacionales. En ambos casos se evidencian correlaciones significativas entre el promedio ponderado en el examen SABER 11 y los resultados logrados por los estudiantes. Lo anterior significa que los estudiantes que ingresaron a la Universidad con altos puntajes en SABER 11, fueron quienes lograron, en promedio, los mejores resultados en el ECAMI (Tabla 17). Tabla 17 Correlaciones entre el promedio ponderado en el examen SABER 11 y los componentes del ECAMI
para los estudiantes de la Facultad de Ciencia Política y Gobierno y Relaciones Internacionales.
Programa Componente ECAMI Promedio Ponderado de las áreas del Examen SABER 11
Correlación n
Ciencia Política y Gobierno
Prueba Común 0,38** 128
Prueba Específica 0,65** 134
Relaciones Internacionales
Prueba Común 0,45** 226
Prueba Específica 0,46** 248
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01
31
Adicionalmente, se estimaron los coeficientes de correlación entre las áreas del examen SABER 11 y los componentes del ECAMI, con el fin de identificar si existen relaciones lineales entre ellos. En el caso de los estudiantes de Ciencia Política y Gobierno los puntajes en el Área Básica, que hace parte de la prueba específica, correlacionan de manera significativa con las áreas de Biología, Química, Física, Ciencias Sociales, Lenguaje, Matemáticas e Idiomas; los puntajes en el área de Formación Política, que también hace parte de la prueba específica, correlacionan de manera significativa con los puntajes de las áreas de Biología, Química y Lenguaje; por su parte, el área de Formación Gobierno correlaciona con el puntaje en Biología y el área de Conceptos Jurídicos correlaciona con el área de Matemáticas de SABER 11. Lo anterior se puede explicar por el hecho de que los estudiantes de Ciencia Política y Gobierno que presentaron el ECAMI en el período 2007 – 2009 tuvieron, en promedio, altos puntajes en el área de Biología. Por otra parte, las subpruebas de Competencias Básicas para el Aprendizaje Superior y Ética correlacionan de manera significativa con los puntajes en el área de Química, lo que, en principio, no resulta coherente con el contenido de estas subpruebas (Tabla 18). Tabla 18 Correlaciones entre los componentes del ECAMI y las áreas evaluadas en el examen SABER 11 para
los estudiantes de Ciencia Política y Gobierno.
Componentes del ECAMI
Áreas del examen SABER 11
Aprendizaje Superior
n=127
Ética n=127
Constitución Política n=127
Área Básica n=134
Formación Política n=134
Formación Gobierno
n=134
Conceptos Jurídicos
n=133
Biología ,228** ,136 ,134 ,450** ,342** ,315** ,213**
Química ,426** ,333** ,122 ,490** ,317** ,180* ,218**
Física ,154* ,249** ,039 ,326** ,266** ,129 ,140
Ciencias Sociales ,138 ,192* ,033 ,523** ,228 ,088 ,199*
Filosofía ,218** ,301** ,209** ,270** ,173* ,060 ,225**
Lenguaje ,253** ,128 ,070 ,370** ,339** ,155* ,203**
Matemáticas ,282** ,257** ,213** ,491** ,251** ,054 ,344**
Idioma ,101 ,182* ,1g06 ,317** ,162* ,083 ,069 ** Nivel de significancia del 0,01 * Nivel de significancia del 0,05
En el caso de los estudiantes de Relaciones Internacionales, se evidencian correlaciones significativas todas las áreas evaluadas en SABER 11 y los componentes de Ética y Competencias Básicas para el Aprendizaje Superior y ente las áreas de Biología, Química e Idioma y el componente de Constitución Política. Con respecto a la prueba específica, las más altas correlaciones se presentan entre los componentes de Área Básica y Formación Internacional y las áreas de Biología e Idioma de SABER 11 lo que puede deberse a que estas son las áreas con mayor promedio en el examen SABER 11 para este grupo de estudiantes. (Tabla 19).
32
Tabla 19 Correlaciones entre los componentes del ECAMI y las áreas evaluadas en el examen SABER 11 para los estudiantes de Relaciones Internacionales.
Componentes del ECAMI
Áreas del examen SABER 11
Aprendizaje Superior
n=227
Ética n=227
Constitución Política n=227
Área Básica n=252
Formación Política n=251
Formación Internacional
n=251
Biología ,363** ,347** ,272** ,362** ,214* ,340**
Química ,290** ,246** ,179** ,290** ,074* ,348**
Física ,192** ,213** ,118* ,209** ,094 ,242**
Ciencias Sociales ,294** ,383** ,109 ,372** ,097 ,283**
Filosofía ,270** ,253** ,137* ,126* ,032 ,241**
Lenguaje ,290** ,246** ,073 ,190** ,095 ,206**
Matemáticas ,267** ,206** ,111* ,233** ,039 ,292**
Idioma ,242 ,366** ,179** ,315** ,164** ,307**
** Nivel de significancia del 0,01 * Nivel de significancia del 0,05
De manera similar, se estimaron las correlaciones entre los puntajes en cada uno de los componentes del ECAMI y el promedio acumulado del estudiante en el período de presentación del mismo. Los resultados señalan que, tanto en el caso del programa Ciencia Política y Gobierno como en el de Relaciones Internacionales existen correlaciones significativas entre el rendimiento académico y los resultados alcanzados en el ECAMI, lo que implica que los estudiantes con los más altos promedios fueron quienes a su vez obtuvieron los mejores resultados en el examen. Particularmente, para los estudiantes de Ciencia Política y Gobierno, el promedio acumulado en el período de presentación del ECAMI correlaciona de manera significativa con el puntaje global de la prueba común y específica y con los puntajes en las subpruebas del Área Básica y Formación Política. De manera similar, en el caso de los estudiantes de Relaciones Internacionales el promedio acumulado correlaciona de manera significativa con los resultados globales de la prueba común y específica del ECAMI y con los puntajes en las subpruebas de Área Básica y Formación Internacional (Tabla 20). Tabla 20 Correlaciones entre los componentes del ECAMI y el promedio acumulado en el período de
presentación de la prueba para los estudiantes de Ciencia Política y Gobierno y Relaciones Internacionales.
Programa Componente ECAMI Promedio Acumulado (en el período de presentación del ECAMI)
Correlación n
Ciencia Política y Gobierno Prueba Común ,382** 122
Aprendizaje Superior ,296** 122
Ética ,337** 121
Constitución Política ,213** 121
Prueba Específica ,468** 128
Área Básica ,384** 129
Formación Política ,395** 129
Formación Gobierno ,218** 129
Conceptos Jurídicos ,237** 128
33
Programa Componente ECAMI Promedio Acumulado (en el período de presentación del ECAMI)
Correlación n
Relaciones Internacionales Prueba Común ,339** 223
Aprendizaje Superior ,287** 223
Ética ,252** 223
Constitución Política ,237** 223
Prueba Específica ,468** 246
Área Básica ,390** 249
Formación Política -,010
Formación Internacional ,466** 248
** Nivel de significancia del 0,01 * Nivel de significancia del 0,05
Por último, con el fin de establecer si los resultados obtenidos en el examen SABER 11 permiten predecir los resultados en el ECAMI, se llevaron a cabo varios análisis de regresión con los resultados de los estudiantes de Ciencia Política y Gobierno y Relaciones Internacionales. En el primer modelo de regresión estimado, la variable de predicción fue el puntaje total en la prueba común y las variables predictoras fueron los resultados obtenidos en cada una de las áreas evaluadas en el examen SABER 11. En un segundo modelo se adicionó el promedio académico acumulado en el período de presentación del ECAMI como variable predictora. En el caso de los estudiantes de Ciencia Política y Gobierno, las áreas de Química y Filosofía del examen SABER 11 y el promedio académico explican el 26% de la varianza de los resultados en la prueba común del ECAMI (R2 Ajustado: 0,260). Si bien este porcentaje es bajo, constituye una evidencia acerca de la consistencia de los resultados del ECAMI y el rendimiento académico de los estudiantes. El puntaje en el área de Química del examen SABER 11es el predictor más importante del puntaje en el componente común en el ECAMI en este grupo de estudiantes lo que, en principio, no aporta evidencias acerca de la validez concurrente de la prueba común (Tabla 21). Tabla 21 Modelo de regresión de las áreas evaluadas en el examen SABER 11 como variables predictoras del
puntaje total en el componente común del ECAMI para los estudiantes de Ciencia Política y Gobierno.
Modelo Coeficientes no estandarizados Coeficientes estandarizados
F Sig. B Error Típico (β) t Sig.
1
Constante 27,209 4,722 5,763 ,000
15,225 ,000** Química ,297 ,074 ,342 4,010 ,000**
Filosofía ,181 ,080 ,192 2,250 ,026*
R=0,44 R2=0,197 R2 Ajustado =0,184
2
Constante 5,266 7,756 ,679 ,499
15,195 ,000** Química ,219 ,075 ,254 2,937 ,004**
Promedio 6,325 1,876 ,277 3,372 ,001**
Filosofía ,196 ,079 ,207 2,476 ,015*
R=0,528 R2=0,279 R2 Ajustado =0,260
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01
34
En el caso de los estudiantes de Relaciones Internacionales, las áreas de Biología, Ciencias Sociales y Filosofía del Examen SABER 11, así como el rendimiento académico, explican el 28% de la varianza de los puntajes en la prueba común del ECAMI, lo que significa que un importante predictor de los resultados en el componente común para este grupo de estudiantes es el rendimiento académico. Sin embargo, el porcentaje de varianza explicado por estas variables es relativamente bajo (Tabla 22). Tabla 22 Modelo de regresión de las áreas evaluadas en el examen SABER 11 como variables predictoras del
puntaje total en el componente común del ECAMI para los estudiantes de Relaciones Internacionales.
Modelo Coeficientes no estandarizados Coeficientes estandarizados
F Sig. B Error Típico (β) t Sig.
1
Constante 9,235 4,742 1,947 ,053
26,119 ,000** Biología ,358 ,072 ,314 4,990 ,000
Ciencias Sociales
,218 ,060 ,220 3,603 ,000
Filosofía ,176 ,066 ,162 2,678 ,008
R=0,510 R2=0,260 R2 Ajustado =0,250
2
Constante -4,115 6,305 -,653 ,515
22,355 ,000**
Biología ,325 ,075 ,280 4,342 ,000
Promedio 4,262 1,423 ,182 2,996 ,003
Ciencias Sociales
,189 ,061 ,192 3,116 ,002
Filosofía ,168 ,067 ,154 2,507 ,013
R=0,546 R2=0,298 R2 Ajustado =0,284
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01
En un tercer modelo de regresión, la variable de predicción fue el puntaje total en la prueba específica y las variables predictoras fueron los puntajes de las áreas del examen SABER 11. En lo referente a los estudiantes de Ciencia Política y Gobierno, se evidencia que los puntajes en las áreas de Historia, Química, Biología, Lenguaje y Matemáticas explican el 43% de la varianza de los resultados en la prueba específica del ECAMI. En un cuarto modelo se adicionó el promedio acumulado como variable predictora; en este último caso, las áreas de Historia, Química y Lenguaje del examen SABER 11 junto con el promedio académico del estudiante predicen el 45% de la varianza de los puntajes en la prueba específica del ECAMI (Tabla 23).
35
Tabla 23 Modelo de regresión de las áreas evaluadas en el examen SABER 11 como variables predictoras del puntaje total en el componente específico del ECAMI para los estudiantes de Ciencia Política y Gobierno.
Modelo Coeficientes no estandarizados Coeficientes estandarizados
F Sig. B Error Típico (β) t Sig.
3
Constante -19,472 7,307 -2,665 ,009**
21,166 ,000**
Ciencias Sociales ,295 ,112 ,211 2,640 ,009**
Química ,213 ,112 ,159 1,904 ,059
Biología ,247 ,116 ,170 2,118 ,036*
Lenguaje ,294 ,110 ,198 2,672 ,009**
Matemáticas ,210 ,082 ,209 2,573 ,011*
R=0,674 R2=0,455 R2 Ajustado =0,433
4
Constante -39,573 9,868 -4,010 ,000**
27,326 ,000**
Ciencias Sociales ,445 ,104 ,316 4,284 ,000**
Promedio 8,828 2,534 ,251 3,484 ,001**
Química ,299 ,100 ,226 3,001 ,003**
Lenguaje ,242 ,111 ,165 2,187 ,031*
R=0,686 R2=0,471 R2 Ajustado =0,453
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01 En cuanto a los estudiantes de Relaciones Internacionales, el promedio académico y las áreas de Biología e Historia permiten predecir el 34% de la varianza de los resultados en la prueba específica del ECAMI. Específicamente, el predictor más importante es el promedio académico del estudiante, pues por cada unidad que aumenta el promedio, el puntaje en la prueba específica aumenta 0,34 unidades (Tabla 24). Tabla 24 Modelo de regresión de las áreas evaluadas en el examen SABER 11 como variables predictoras del
puntaje total en el componente específico del ECAMI para los estudiantes de Relaciones Internacionales.
Modelo Coeficientes no estandarizados Coeficientes estandarizados
F Sig. B Error Típico (β) t Sig.
3
Constante -5,982 5,922 -1,010 ,313
30,456 ,000** Biología ,391 ,100 ,251 3,904 ,000
Ciencias Sociales ,375 ,079 ,274 4,724 ,000
Química ,264 ,102 ,164 2,594 ,010
R=0,521 R2=0,272 R2 Ajustado =0,263
4
Constante -35,637 7,805 -4,566 ,000
42,828 ,000** Promedio 11,556 1,830 ,347 6,316 ,000
Biología ,396 ,090 ,250 4,410 ,000
Ciencias Sociales ,318 ,076 ,233 4,173 ,000
R=0,595 R2=0,354 R2 Ajustado =0,346
* Nivel de significancia del 0,05 ** Nivel de significancia del 0,01
36
Por último, se estimaron las correlaciones entre las diferentes subpruebas del ECAMI tanto para los estudiantes de Ciencia Política y Gobierno, como para los de Relaciones Internacionales con el fin de establecer si la subprueba de Competencias Básicas para el Aprendizaje Superior, que evalúa aspectos transversales al proceso de aprendizaje, se relaciona con los puntajes obtenidos por los estudiantes en las demás subpruebas del ECAMI. En el caso de los estudiantes de Ciencia Política, la subprueba de Competencias Básicas para el Aprendizaje Superior correlaciona con las subpruebas de Ética, del componente común, y con las subpruebas del Área Básica y Conceptos Jurídicos, del componente específico. Sin embargo, también se presentan correlaciones significativas entre las subpruebas de Ética y Formación Política. En términos generales, las correlaciones señalan que para los estudiantes de Ciencia Política, los resultados en el componente común y específico del ECAMI se correlacionan entre sí, pero sin duda ambos componentes evalúan dominios conceptuales distintos. De este modo, las diferentes subpruebas del componente común correlacionan entre sí, de manera similar a lo que ocurre con varias de las subpruebas del componente específico, en el que el Área Básica, Formación Política y Conceptos Jurídicos están correlacionados (Tabla 25). Tabla 25 Matriz de correlaciones entre las subpruebas que conforman el ECAMI para los estudiantes de Ciencia
Política y Gobierno.
Ética Constitución
Política Área Básica Formación Política
Formación Gobierno
Conceptos Jurídicos
Aprendizaje Superior ,377** ,235 ,308** ,298 ,187 ,320**
Ética 1 ,316** ,277 ,309** ,050 ,125
Constitución Política
1 ,195 ,157 ,215 ,214
Área Básica
1 ,396** ,144 ,340**
Formación Política
1 ,261 ,388**
Formación Gobierno
1 ,121
** Nivel de significancia del 0,01 * Nivel de significancia del 0,05
En el caso de los estudiantes de Relaciones Internacionales, las subpruebas de Competencias Básicas para el Aprendizaje Superior y Ética, del componente común, presentan correlaciones significativas con las subpruebas de Área Básica y Formación Internacional del componente específico. Igualmente, se observan correlaciones significativas entre las subpruebas que conforman el componente común, pues Ética correlaciona con Competencias Básicas para el Aprendizaje Superior y con Constitución Política. Por otra parte, las subpruebas de Área Básica y Formación Internacional, del componente específico de la prueba, correlacionan entre sí. Lo anterior señala que, en el caso de los estudiantes de Relaciones Internacionales, las diferentes subpruebas que conforman el ECAMI se interrelacionan entre sí en mayor medida que en otros programas (Tabla 26).
37
Tabla 26 Matriz de correlaciones entre las subpruebas que conforman el ECAMI para los estudiantes de Relaciones Internacionales.
Prueba Común Prueba Específica
Ética Constitución
Política Área Básica Formación Política
Formación Internacional
Aprendizaje Superior ,503** ,223 ,489** ,096 ,442**
Ética 1 ,382** ,423** ,035 ,457**
Constitución Política
1 ,307** -,130 ,254
Área Básica
1 ,097 ,525**
Formación Política
1 ,248
** Nivel de significancia del 0,01 * Nivel de significancia del 0,05
Los resultados de los análisis correlacionales y de regresión aportan información acerca de la validez concurrente del ECAMI para los estudiantes de la Ciencia Política y Gobierno y Relaciones Internacionales: en primer lugar, tanto en el caso del programa de Ciencia Política y Gobierno como en el de Relaciones Internacionales, los estudiantes con mejor desempeño académico son quienes obtienen los más altos puntajes en el ECAMI. Igualmente, los resultados en el examen SABER 11 permiten predecir una importante proporción de la varianza de los resultados en el ECAMI; para los estudiantes de Ciencia Política y Gobierno, las áreas de SABER 11 que mejor predicen los resultados en el componente común del examen de mitad de carrera son Química y Filosofía, junto con el promedio académico, en tanto que las áreas de Ciencias Sociales, Química y Lenguaje, además del promedio académico, son las variables que mejor predicen el resultado en la prueba específica. En el caso de los estudiantes de Relaciones Internacionales, las áreas del examen SABER 11 que mejor predicen los resultados en el componente común del ECAMI son Biología, Ciencias Sociales y Filosofía, que junto con el promedio académico, explican el 28% de la varianza de los resultados en dicho componente del ECAMI. De manera similar, las áreas de Biología y Ciencias Sociales, junto con el promedio académico explican el 34% de la varianza de los puntajes en el componente específico del ECAMI. Finalmente, el examen SABER 11 es un buen predictor del rendimiento académico, pues los estudiantes de la Facultad de Ciencia Política y Gobierno y Relaciones Internacionales que a su ingreso al programa tenían altos puntajes en el examen de estado, fueron quienes, en promedio, obtuvieron los más altos puntajes en el ECAMI.
38
Conclusiones
De acuerdo con los resultados del presente estudio, el ECAMI es un instrumento válido para la evaluación curricular en la Universidad del Rosario, lo que significa que los resultados derivados de su aplicación constituyen una fuente de información relevante para dicho propósito. Igualmente, los análisis de correlación y de regresión señalan que la prueba común evalúa competencias transversales al proceso de aprendizaje que el estudiante desarrolla a lo largo de su formación académica, en tanto que la prueba específica evalúa las competencias que el estudiante desarrolla como resultado del currículo de su programa. En este mismo sentido, los resultados en el ECAMI, tanto en la prueba común como en la prueba específica, correlacionan de manera significativa con el promedio académico acumulado del estudiante en el período de presentación del examen, lo que significa que, en promedio, los estudiantes con las más altas calificaciones en su programa obtienen, a su vez, altos puntajes en el ECAMI. Sin embargo, en el caso particular de Economía y Medicina, los resultados en la prueba común no correlacionan de manera significativa con el promedio académico ni con el puntaje en el examen SABER 11, lo que sugiere que en estos programas la prueba común presenta deficiencias en cuanto a su validez. Dichas deficiencias pueden obedecer a variables intrínsecas de los estudiantes, como su nivel de motivación para presentar la prueba. Por otra parte, el análisis de los resultados de la prueba común del ECAMI en el período 2007 – 2009 revela la existencia de amplias brechas entre los programas. Así por ejemplo, en la subprueba de Competencias Básicas para el Aprendizaje Superior los estudiantes de la Escuela de Ciencias Humanas y de Psicología obtuvieron, en promedio, puntajes significativamente más altos que los estudiantes de los demás programas; en contraste, los estudiantes de Fisioterapia, Administración de Empresas y Finanzas y Comercio Internacional obtuvieron puntajes significativamente más bajos que los demás programas. En la subprueba de Ética, por su parte, los estudiantes de la Escuela de Ciencias Humanas lograron puntajes significativamente más altos que los estudiantes de los demás programas, en tanto que los estudiantes de Fisioterpia y Administración de Negocios Internacionales tuvieron los puntajes más bajos. Por último, en la subprueba de Constitución Política, los estudiantes de Jurisprudencia y de Ciencia Política y Gobierno obtuvieron, en promedio, los puntajes más altos mientras que los estudiantes de Terapia Ocupacional y Administración de Empresas obtuvieron los más bajos puntajes. La amplia varianza en el puntaje de la prueba común indica que el nivel de competencia alcanzado por los estudiantes en el Núcleo de Formación Rosarista varía según el programa académico. En consecuencia, es importante tratar de establecer qué aspectos del currículo están asociados a dichas diferencias, de modo que los programas cuyos estudiantes obtienen los puntajes más bajos puedan replicar experiencias exitosas de los programas cuyos estudiantes alcanzan un alto desempeño en las competencias correspondientes al Núcleo de Formación Rosarista. Por otra parte, variables demográficas como la ciudad de procedencia, el carácter (oficial o privado) y el rendimiento del colegio de egreso del estudiante, no se asocian con diferencias significativas en el puntaje obtenido posteriormente en el ECAMI. Por el contrario, variables individuales como género y puntaje obtenido en el examen SABER 11 se asocian con el resultado obtenido en el ECAMI; así, las mujeres obtienen en promedio resultados más bajos en la prueba específica y aquellos estudiantes que alcanza altos puntajes en el examen SABER
39
11, son quienes, a su vez, obtienen altos puntajes en el ECAMI. Lo anterior evidencia, por un lado, que el examen SABER 11 constituye un buen predictor del desempeño académico de los estudiantes en la Universidad, pero también revela que cuando los estudiantes llegan a la mitad de la carrera, las diferencias preexistentes en cuanto a su rendimiento académico persisten. Si bien es necesario realizar nuevos análisis a partir de los resultados más recientes del ECAMI, estos primeros hallazgos señalan la necesidad de enfocar esfuerzos a nivel curricular para lograr la reducción de las brechas de desempeño entre los estudiantes de los diferentes programas, así como entre los estudiantes que ingresan a la Universidad con altos niveles de desempeño y aquellos que ingresan con bajo rendimiento académico, a fin de lograr que las diferencias preexistentes entre los estudiantes disminuyan como efecto de la formación que reciben en la Universidad. Por último, aunque los ECAMI están concebidos como una herramienta para la evaluación curricular de los programas sin consecuencias para los estudiantes, cabe cuestionar si deberían implementarse estrategias de mejoramiento para los estudiantes cuyos puntajes son evidentemente bajos como por ejemplo restringir su avance en el programa hasta tanto cursen nivelatorios; igualmente, se podrían crear incentivos para que los estudiantes hagan su mejor esfuerzo y así no se distorsionen los resultados de los ECAMI. En todo caso, esta es una decisión que debe estar en manos de las directivas de la Universidad.
40
Trabajos citados
Centro de Aseguramiento de la Calidad. (2009). Experiencia de la Universidad del Rosario con relación a la formación universitaria y el lugar que las competencias han tenido en esta experiencia. (ECAMI – Núcleo de Formación Rosarista). Bogotá, D. C.: Universidad del Rosario. Herrera, A. N. (1998). Notas de Psicometría. Bogotá: Universidad Nacional de Colombia. Instituto Colombiano para el Fomento de la Educación Superior. (2008). Resolución No. 489. Bogotá: Ministerio de Educación Nacional. Instituto Colombiano para la Evaluacion de la Educación ICFES. (Febrero de 2011). ICFES. Recuperado el 7 de Abril de 2011, de http://www.icfes.gov.co/index.php?option=com_content&task=view&id=419&Itemid=992 Universidad del Rosario. (2010). Proyecto Educativo Institucional. Bogotá, D.C.: Universidad del Rosario.