factores asociados al desempeÑo en la prueba saber pro ...€¦ · universidades y facultades como...
TRANSCRIPT
1 Psicóloga, Universidad Nacional de Colombia (1995). Master en Educación (2002), Pontificia Universidad Javeriana y
Máster en Metodología en Ciencias del Comportamiento y la Salud (2012). PH. D. en Psicología y Educación: perspectivas
contemporáneas (2013), Universidad Autónoma de Madrid-España. Profesora Asociada, Universidad Nacional de Colombia
(2001-presente)
*Estudiantes de psicología de La Universidad Nacional de Colombia.
FACTORES ASOCIADOS AL DESEMPEÑO EN LA PRUEBA SABER PRO-2017: UN ESTUDIO DE
LOS PROGRAMAS DE PSICOLOGÍA
Enero 2019
Olga Rosalba Rodríguez Jimenez1
Lina María Cote Peña*
Jennifer Andrea Malaver Toloza*
Brayam Alexander Pineda Miranda*
Sergio Felipe Sarmiento Fúquene*
Universidad Nacional de Colombia, Sede Bogotá
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
2
FACTORES ASOCIADOS AL DESEMPEÑO EN LA PRUEBA SABER PRO-2017: UN ESTUDIO DE
LOS PROGRAMAS DE PSICOLOGÍA
La calidad de la educación superior es un asunto del cual se ocupan principalmente
las universidades e instituciones que prestan este servicio, así como de los encargados de
los programas, organismos, sistemas y políticas que velan por la educación en el país. Para
cumplir con lo planteado en la Constitución de 1991 sobre Educación Superior se promulga
la Ley 30 de 1992, en la cual se definen el carácter y la autonomía de las instituciones, el
objeto de los programas académicos, los procedimientos, elementos y organismos
constituyentes de un sistema encargado de fomentar y evaluar la calidad de los programas y
de las instituciones de Educación Superior de Colombia (Giraldo, Abad y Díaz, 2007). El
Consejo Nacional de Acreditación (2013), organismo creado a partir de la Ley 30, precisa
que el concepto de calidad en la educación superior hace referencia a la síntesis de
características que permiten reconocer a un programa académico o institución, y hacer un
juicio sobre la distancia relativa entre el modo como se presta el servicio en la institución y
el esperado para su naturaleza. En este sentido, el Consejo Nacional de Acreditación (CNA)
estableció una lista de diez factores que deben cumplirse para garantizar la calidad de los
programas de pregrado: factor misión, proyecto institucional y de programa; factor
estudiantes; factor profesores; factor procesos académicos; factor visibilidad nacional e
internacional; factor investigación, innovación y creación artísticas y cultural; factor
bienestar institucional; factor organización, administración y gestión; factor impacto de los
egresados en el medio y finalmente, factor recursos físicos y financieros.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
3
Al hacer una revisión en la literatura es posible identificar que el concepto de calidad
en la educación superior no constituye un término inequívoco, sino que ha dado lugar a
múltiples definiciones y aproximaciones. En este sentido Flórez y Rojas (2010) afirman que
la calidad se define como un concepto complejo, relativo, social e históricamente
determinado, y que en el campo educativo ha estado asociado a conceptos como eficiencia
y eficacia, pertinencia, cobertura y equidad. Por su parte Castaño y García (2012)
encuentran que la calidad de la educación superior ha sido abordada desde ámbitos sociales
e institucionales, desde procesos de eficacia y procesos de acreditación hasta el
cumplimiento de compromisos sociales. Con el fin ofrecer una síntesis de este panorama,
Giraldo et al. (2007) proponen distintos acercamientos al concepto de calidad; de tal
manera que se refieren a prestigio/excelencia, en función de los recursos, como resultado,
como cambio o valor agregado y calidad como adecuación de propósitos; estos autores
señalan que al tomar estas cinco aproximaciones en conjunto se puede observar una
tendencia a establecer el concepto de calidad de la educación en relación con las
condiciones de entrada y salida del sistema educativo, con los factores contextuales y con
los resultados que se obtienen a través de la evaluación del rendimiento de los estudiantes.
A partir de lo expuesto se presenta el objetivo de mejora de la calidad de la
educación superior que corresponde al Ministerio de Educación Nacional (MEN) en general
y el Instituto Colombiano para el Fomento de la Educación Superior (ICFES) en particular;
estas instituciones definieron con este propósito diferentes programas entrelazados, entre
los cuales se encuentran los exámenes de calidad (MEN, 2001), los cuales funcionan como
criterio de evaluación del cumplimiento de los objetivos formativos de los programas
académicos y sirven como valoración de la calidad educativa en la enseñanza superior.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
4
Dentro de estos exámenes se encuentra la prueba Saber-Pro (llamada ECAES hasta el
2009), que evalúa y reporta el grado de desarrollo de competencias, habilidades y
conocimientos generales de cada uno de los estudiantes de programas profesionales en el
país (ICFES, 2018), además retoma la concepción de educación como un proceso que no
sólo incluye la adquisición de conocimientos, sino que busca evaluar las competencias del
futuro profesional y con ello evaluar la calidad de las instituciones de educación superior
(Bahamón y Ruiz, 2014).
En este sentido las instituciones de educación superior que ofrecen programas de
psicología podrían utilizar los datos del ICFES como insumos para analizar la formación
profesional de sus egresados; investigaciones que analicen tanto aspectos propios de las
universidades y facultades como de los estudiantes de psicología en la prueba Saber PRO
aportarían información relevante sobre distintos factores que pueden tener relación con los
indicadores de calidad de la formación de psicólogos en el contexto local, y sobre el logro o
no de los objetivos de formación propuestos. En esta última línea se inscribe el presente
trabajo.
Dentro de las investigaciones, los estudios de factores asociados al desempeño
académico en educación superior han sido de interés en el contexto latinoamericano desde
la década del 2000, con el uso de modelos multinivel como principal herramienta para el
análisis de la información. Estos modelos son ampliaciones de los modelos de regresión
lineal y permiten establecer relaciones entre los distintos niveles de variables explicativas
(Murillo, 2008a), es decir, cuando los datos se encuentran anidados, estudiantes en aulas,
estos en colegio y así sucesivamente (Pardo, Ruiz y San Martín, 2007).
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
5
Los estudios de factores asociados han encontrado una gran cantidad de factores o
variables independientes que inciden en mayor o menor medida sobre el desempeño o
rendimiento académico de los estudiantes, esto es, sobre la variable dependiente. Esta
última ha sido reconocida por distintos autores como un factor imprescindible y
fundamental o un proceso de gran importancia para la valoración de la calidad educativa en
la enseñanza superior (Garbanzo 2007; Alzate, 2008; Navarro y Blandón, 2017). Desde un
punto de vista operacional este indicador se ha tomado generalmente como el resultado de
pruebas estatales o como los promedios de las calificaciones obtenidas en un periodo
académico determinado, con lo cual se tiene información sobre el logro académico; sin
embargo, es importante observar que éste puede ser entendido como la suma de factores
diferentes y complejos que actúan para que la persona aprenda debido a que el resultado
del aprendizaje “No es el producto analítico de una única aptitud, sino más bien el resultado
sintético de una suma (nunca bien conocida) de elementos que actúan en, y desde la persona
que aprende, tales como factores institucionales, pedagógicos, psicosociales y
sociodemográficos” (Tourmon, 1984, op. cit. Montero, Villalobos y Valverde, 2007, p. 217)
Garbanzo (2007) concluye que el rendimiento académico de los estudiantes es sólo
una dimensión del análisis en torno a la calidad de la educación superior, en la cual
intervienen múltiples factores de distinta complejidad. Sin embargo, el rendimiento
académico por ser un fenómeno multicausal tiene una gran capacidad explicativa de los
distintos factores y espacios temporales que intervienen en el proceso de aprendizaje, de
ahí que se haya convertido en un punto de referencia sine qua non para evaluar la calidad y
los procesos educativos.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
6
En consideración con lo anterior los estudios sobre desempeño académico
establecen hasta tres niveles para los modelos explicativos desarrollados.
1. Contextual, a los determinantes sociales que incluyen además de índices
sociodemográficos como el nivel económico del grupo familiar, las
condiciones de la zona geográfica de procedencia, y las particularidades de
los hogares de los estudiantes -p.e. número de integrantes, condiciones
materiales del mismo-, variables como el nivel educativo de los padres
(capital cultural), el tipo de colegio del que provienen los estudiantes y
similares.
2. Institucional, que contempla el carácter académico de las instituciones, el
valor de la matrícula, la acreditación y la calidad del programa, la calidad de
los docentes -en términos de estrategias de enseñanza, métodos de
evaluación y materiales didácticos, pero también relaciones de estos con los
estudiantes-, la complejidad de los estudios, las condiciones institucionales -
infraestructura y recursos ofrecidos-, servicios institucionales de apoyo, el
ambiente estudiantil, entre otras variables.
3. Estudiante, los determinantes individuales entre los que se encuentran la
edad, el sexo, el estado civil, si estos trabajan o no, la motivación, las
actitudes, el autoestima, la percepción estudiantil del “clima académico”, la
ansiedad, conductas depresivas, el autoconcepto, la aptitud intelectual,
competencia cognitiva o inteligencia, la autoeficacia percibida, el bienestar
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
7
psicológico, la inteligencia emocional, la asistencia a clases, la formación
académica previa, si la elección de los estudios fue o no voluntaria, los
resultados en las pruebas de admisión, entre otras.
Vale la pena mencionar que lo presentado es una lista de variables rastreadas en
distintos trabajos, y que, aunque la organización y distribución de las variables cambia de un
trabajo a otro, este es el orden general con el que se acostumbra a trabajar. Sin duda las
interacciones entre estas variables exigen la organización por niveles en los modelos de
análisis; el sentido de los niveles es señalar cómo cambia el efecto de una variable al
considerar el efecto de un nivel superior.
En la educación superior colombiana no se encuentran muchos trabajos sobre la
evaluación del desempeño académico; Rodríguez, Ariza y Ramos (2014) atribuyen que parte
de la escasez en esta línea se debe a que sólo desde la promulgación y entrada en vigor de la
ley 1324 de 2009, se hizo obligatoria la aplicación de las pruebas de desempeño para los
estudiantes de educación superior; sin embargo es necesario aclarar que con la entrada en
vigencia del decreto 1781 de 2003 se reglamentó por primera vez que los exámenes Saber
Pro (antes ECAES) serían de carácter obligatorio; el caso de los programas de psicología
desde el 2012, se crea el módulo específico con el que se empiezan a evaluar las
competencias adquiridas por los psicólogos en formación (Tirado, 2017) .
Los estudios realizados con el propósito de estudiar el efecto de la escolarización y
los factores asociados al desempeño académico se enmarcan en la línea de la eficacia
escolar (v.g. Piñeros y Rodríguez, 1998; Casas et. al, 2002; Correa, 2004; Rodríguez y Murillo,
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
8
2011; citados en Rodríguez, et al. 2014a) y ofrecen síntesis comprehensivas de evidencias
empíricas que sugieren caminos a seguir en materia de política educativa (Rodríguez et al.
2014a), debido a lo cual el sentido general de estudiar los factores asociados al desempeño
académico consiste en aportar insumos basados en evidencia, lo cual sin duda podrá servir
como punto de partida para evaluar la actualidad de los programas y consecuentemente
marcar líneas de acción que permitan mejorarlos y fortalecerlos. Esto se encuentra en la
misma línea de lo planteado por Iglesias y Vera (2010) en su trabajo con estudiantes de
física y matemáticas de una Universidad de Trujillo en Perú, quienes señalan que de estas
investigaciones se obtienen insumos para “la toma de decisiones tendientes a la mejora de
los niveles de pertinencia, equidad y calidad educativa” (p. 232), que pueden extrapolarse
del campo universitario -por la facilidad de su adaptabilidad- a otras realidades, a otros
sectores educativos independientemente si se trata de instituciones públicas o privadas, de
educación básica, media o superior.
Resultados empíricos: Modelo CIPP
Los estudios enfocados en el análisis de los factores asociados al rendimiento de los
estudiantes universitarios han establecido y desarrollado diferentes modelos explicativos en
los que agrupan las variables presentadas las cuales se han integrado en el modelo
Contexto, Entrada, Proceso y Producto (CIPP por sus siglas en inglés) (Murillo, 2008b), el
cual surge de un ejercicio de combinación de otros modelos clásicos de eficacia escolar (v.g.
Scheerens, 1990; Stringfield y Slavin 1992; Creemers, 1994; Sammons, Thomas y Mortimore,
1997). Las dos características primordiales que subyacen a todos estos modelos son:
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
9
1. Tienen una perspectiva sistémica del centro educativo, es decir, conciben que el
logro de los estudiantes está parcialmente determinado por las interacciones y
relaciones recíprocas que se establecen entre los elementos o sistemas de estas
instituciones. Para Murillo el modelo de indicadores de Contexto, Entrada, Proceso
y Producto (CIPP por sus siglas en inglés) de Sammons, Thomas y Mortimore (1997,
op. cit. Murillo, 2008b) resulta muy adecuado.
2. Los modelos son jerárquicos en tanto las relaciones e interdependencias
mencionadas en el primer punto se producen en los cuatro niveles de análisis
estudiante, aula, escuela y sistema educativo.
Indicadores y niveles del modelo se cruzan en una matriz o esquema, en cada una de las
casillas se ubican las variables consideradas; así entonces en el contexto a nivel del sistema
educativo se incluirán todas las características de este. Las variables de entrada contemplan,
la institución educativa, sus características y la capacidad y experiencia de los profesores; en
lo relativo al aula, sus características y las del quehacer docente (en el sentido de calidad de
la enseñanza); y en relación con el estudiante, sus características. Las variables de proceso
son quizás las más numerosas dado que corresponden al proceso de enseñanza-aprendizaje,
incluyen: el clima de la escuela y del aula, el compromiso y desarrollo de los docentes, la
implicación de la familia y la comunidad, el uso y gestión de instalaciones y recursos, y las
altas expectativas globales, la misión de la escuela, dirección escolar, metodología docente,
gestión del tiempo, hábitos culturales, actitudes, relación y apoyo familiar.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
10
Dentro de las variables de resultado, se puede encontrar distintos factores que se han
incluido en los modelos multinivel de rendimiento académico, por ejemplo, Barrueco (1992,
citado en Peña, 2011) propone como productos educativos las calificaciones escolares, la
formación general del alumno y los niveles de satisfacción de profesores y estudiantes; otras
variables incluidas concernientes a la institución son la valoración del trabajo en equipo de
los profesores, la valoración de la metodología de la institución y la eficacia percibida por los
profesores y directivos (Peña, 2011), y con respecto a variables de resultado en lo relativo al
estudiante, en general, se han incluido variables de tipo cognitivo, como indicadores de
logro académico, y variables no cognitivas como logros socio-afectivos.
Para la presente investigación y enmarcados en el modelo CIPP, se presentan las
variables que serán consideradas en la figura 1. 1
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
11
Figura 1. Diagrama de variables incluidas en el modelo
Se presentan a continuación algunos de los resultados más relevantes que se
pudieron encontrar en los trabajos revisados y se organizan de acuerdo con la estructura del
modelo ilustrado en la figura 1.
Variables de entrada Estudiante
En este nivel los estudios han hecho énfasis en que distintas características,
condiciones y recursos del estudiante pueden tener relación con su rendimiento. Dentro las
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
12
variables que se han incluido en distintos modelos se encuentran el género, la edad, el
índice socioeconómico y el índice sociocultural, así como una serie de determinantes
personales psicológicos y factores psicosociales.
En relación con la variable género, se encuentran tanto estudios que reportan que
este factor tiene efecto en el rendimiento académico como los que no, por ejemplo,
Garbanzo (2007) señala que, aunque no se puede afirmar con certeza que hay una relación
directa con el rendimiento académico, se evidencia una ligera tendencia al rendimiento
superior de las mujeres en comparación con los hombres (Rodríguez, Fita y Torrado, 2004;
González, 1996; citados en Garbanzo, 2007). Por el contrario, otros estudios reportan que
ser mujer está asociado negativamente con el desempeño y que hay una brecha de género a
favor de los hombres (Valens, 2007; Rodríguez, et al. (2014a); mientras que Montero et al.
(2007) no encontraron que esta variable fuera significativa en el rendimiento de los
estudiantes. Para el caso de los estudios de factores asociados al rendimiento en
estudiantes de Psicología, Jiménez, Caldera, Reynoso y Zamora (2016) concluyen que hay
una diferencia significativa en función del género, encontrando que los hombres obtienen
mejores resultados. Las evidencias en este punto son contradictorias y por ende no puede
presentarse una posición concluyente.
La edad del estudiante es una de las características más estudiadas en este tipo de
investigaciones. Los resultados son más consistentes que los referidos al género, la mayoría
de los estudios señala que la edad tiene un efecto negativo sobre el rendimiento en las
pruebas, es decir, a mayor edad menor el rendimiento. Este hallazgo se ha reportado en
estudiantes de economía (Valens, 2007), ingeniería y administración (Ramírez 2014). En el
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
13
caso específico de los estudiantes de psicología, Valbuena y García (2016) al construir
tipologías para cada uno de los niveles altos de desempeño en cada módulo del examen
Saber PRO, encontraron que una de las características común a ellos era que sus integrantes
tenían edades entre los 19 y 21 años.
Por otro lado, se encuentran resultados que dan cuenta de algunas condiciones
socioeconómicas individuales, sin embargo, los resultados están divididos. Algunos
investigadores han encontrado que el nivel socioeconómico no es tan determinante como
siempre se ha creído (Iglesias y Vera, 2010), porque, aunque es un hecho su efecto, es
realmente determinante en el rendimiento escolar bajo, por lo que un nivel socioeconómico
alto no necesariamente se asocia con buenos resultados. Adicionalmente, es importante
subrayar que condiciones socioeconómicas desfavorables a menudo se convierten en
factores de riesgo para los estudiantes.
En este mismo sentido se encuentra lo señalado por Ramírez (2014), quien analizó
los resultados de 4.031 estudiantes que presentaron pruebas específicas en el Saber PRO de
2009 en áreas como sistemas, electrónica y administración, y de acuerdo con sus hallazgos
el estrato socioeconómico sólo se asocia positivamente con las mujeres de estrato medio en
comparación con las de estrato bajo, y no tiene ninguna asociación en el caso de los
hombres; asociaciones débiles se encuentran también respecto al ingreso familiar. Por su
parte, Rodríguez et al. (2014a) en su estudio a partir de los resultados del Saber PRO de
2009 de los estudiantes de las universidades del Caribe colombiano llegan a la misma
conclusión. En contraste Valbuena y García (2016) sostienen que las variables que
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
14
frecuentemente tienen mayor poder predictivo en los niveles de desempeño son las de tipo
económico.
Otros resultados relacionados con variables socioeconómicas son los de Rodríguez et
al. (2014) quienes han reportado que si el estudiante trabaja o es cabeza de familia su
rendimiento académico es en promedio menor frente a quien no tiene estas
responsabilidades. Así mismo, Melo, Ramos y Hernández (2014) identifican que el hecho de
ser estudiante cabeza de familia o estar financiado con recursos de crédito tiene un impacto
negativo en el logro académico; por el contrario, cuando los estudiantes financian sus
estudios con becas hay un efecto positivo y significativo en los resultados de las pruebas.
Variables como la educación y ocupación del padre y de la madre también han sido
incluidas en este nivel. Con respecto al nivel educativo de los padres se ha conceptualizado
como parte del capital cultural, el cual facilita el acceso a la educación, al empleo y
favorecen la movilidad social, elementos que en conjunto determinan la vida familiar de los
estudiantes y facilita el desarrollo intelectual de la persona (Montero et al., 2007). Se ha
encontrado que un alto nivel educativo de los progenitores tiene incidencia positiva en el
rendimiento académico en general. Vélez y Roa (2005 citado en citado en Garbanzo, 2007;
Bahamón y Ruiz 2014) en un estudio con estudiantes universitarios en Bogotá reportaron
que el hecho de que los adultos de quien dependen económicamente los estudiantes no
hayan realizado estudios superiores se asocia con el fracaso académico. Otros señalan que
es el nivel educativo de la madre el que tiene mayor incidencia positiva sobre el rendimiento
(Castejón y Pérez, 1998; Marchesi, 2000 citado en Garbanzo, 2007; Melo et al., 2014).
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
15
En el caso de los estudiantes de psicología, Valbuena y García (2016) concuerdan en
que el nivel educativo y la ocupación del padre y de la madre influyen en el rendimiento
académico. Se observó que estas variables están incluidas en las tipologías construidas para
los estudiantes con altos niveles de rendimiento. Dentro de las categorías relacionadas con
altos niveles de desempeño para los módulos de competencias ciudadanas, lectura crítica,
comunicación escrita y razonamiento cuantitativo, se encuentran las siguientes: madre con
educación profesional o con posgrado; madre empleada con cargo directivo, empleada
técnica o profesional independiente; padre con educación profesional completa o
incompleta, o con posgrado; y padre empleado con cargo directivo, empleado técnico o
profesional independiente.
Resta mencionar algunas determinantes personales que se han incluido en los
estudios de factores asociados al desempeño académico. Garbanzo (2007), al hacer una
revisión del tema, encontró que entre estas determinantes personales se encuentran:
competencia cognitiva, motivación, auto concepto académico, autoeficacia percibida,
bienestar psicológico, formación académica previa a la universidad y nota de acceso a la
universidad. Por otro lado, Montero et al. (2007) identificaron que factores psicosociales
como la motivación, la autoestima, la ansiedad, el auto concepto y la aptitud intelectual
están relacionadas con el rendimiento académico y explican alrededor de 9% de la
variabilidad de este.
En contraste con lo anterior se encuentra que la mayoría de estudios de factores
asociados al desempeño, específicamente en la prueba Saber PRO, incluyen con mayor
frecuencia variables de tipo socioeconómico, cultural y sociodemográfico, sin embargo, las
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
16
variables psicológicas y socio- afectivas propias del estudiante con frecuencia no son
incluidas, esto puede deberse a la dificultad para aplicar instrumentos que den cuenta de la
motivación, la inteligencia, el auto concepto, la autoeficacia percibida, entre otras, de todos
los estudiantes que presentan dicho examen.
Institución
Respecto a las variables institucionales los resultados son mucho más diversos,
Rodríguez et al., 2014a) establecen que el “efecto universidad” es relativamente alto para
explicar el rendimiento académico universitario, esto quiere decir que por lo menos el 40%
de las diferencias en el rendimiento entre universidades están explicadas por variables de
segundo nivel; en el caso particular de psicología, Valbuena y García (2016) llegaron a la
misma conclusión. Dentro de estas variables se encuentra por ejemplo el valor de la
matrícula, el número de semestres y de créditos, la jornada, la metodología del programa
académico y para el caso de psicología, la filiación a ASCOFAPSI.
Específicamente para el caso de los estudiantes de psicología, García (2009) reporta
diferencias de promedios teniendo en cuenta factores tales como la jornada, la modalidad y
la filiación a ASCOFAPSI de las instituciones educativas. Se evidencia que hay una diferencia
en los resultados del ECAES desde 2004 hasta 2008 en las pruebas de formación básica
disciplinar e interdisciplinar a favor de los estudiantes vinculados a universidades con
jornada diurna, metodología presencial y asociadas a ASCOFAPSI. En esta misma línea,
Valbuena y García (2016), reportan que en términos generales los estudiantes con altos
desempeños en los distintos módulos de evaluación del examen Saber PRO pertenecen a
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
17
programas de psicología con afiliación a ASCOFAPSI y con matrícula entre 3.000.000 y
5.000.000; y para el módulo de competencias ciudadanas, además de las características
descritas anteriormente, se incluyeron estudiantes vinculados a universidades con
modalidad presencial.
Variables de Proceso Institución
En el marco de las investigaciones sobre calidad de la educación superior, Giraldo et.
al (2007) afirman que los factores relativos a la fase del proceso, es decir, del trabajo que se
realiza dentro de las instituciones, no suelen ser incluidos como variables para definir la
calidad de la educación o al menos no aparecen con tanta frecuencia y de forma tan
explícita como las variables de entrada y de resultado.
En concordancia con estos planteamientos son pocos los estudios en América Latina
en los cuales se incluyen variables de proceso en los modelos de factores asociados al
desempeño. Sin embargo, es necesario considerar que al asumir una aproximación que
también incluya el nivel de proceso de la institución como factor asociado al rendimiento, se
está siendo consistente con los lineamientos establecidos por el Consejo Nacional de
Acreditación. Variables tales como el índice de flexibilidad, el índice de deserción, el número
de semilleros y grupos de investigación y la relación profesor-estudiante son parte de las
variables de proceso que deben incluirse en el estudio de factores asociados al rendimiento,
pues se han encontrado relacionadas con la calidad de la educación.
Dentro de la caracterización de los programas el CNA (2013), señala que los que
cuentan con alta calidad son reconocidos por la efectividad en sus procesos de formación
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
18
para la investigación, el espíritu crítico, la creación y por sus aportes al conocimiento
científico, a la innovación y al desarrollo cultural, de manera que la promoción de las
capacidades de indagación, búsqueda, y de intereses investigativos favorece tanto la calidad
de la educación proporcionada por la institución, como la formación del estudiante. En esta
misma dirección se encuentra el estudio realizado por Alzate (2008) sobre los efectos de la
acreditación en el mejoramiento de la calidad de los programas de psicología de Colombia,
se reconoce que hay relación entre la acreditación como indicador de calidad educativa y el
aumento de grupos de investigación escalafonados.
Al considerar el índice de flexibilidad del programa se tiene información acerca de
qué tanto el currículo se mantiene “actualizado y pertinente… para optimizar el tránsito de
los estudiantes por el programa y por la institución" (CNA, 2013). Según Villa (2002) la
formación flexible se refiere a la gama de formas o medios, apoyos, tiempos y espacios que
una institución ofrece para responder a las demandas de formación y para generar,
igualmente, una mayor cobertura y calidad del servicio educativo. Al respecto, Brunner y
Meller (2004 citado en Canales y De los Ríos, 2007) plantean que las bajas tasas de eficiencia
del sistema educativo terciario podrían explicarse por factores asociados con las
instituciones educativas y características propias del sistema, tales como la falta de
flexibilidad curricular de las carreras y la ausencia de sistemas adecuados de progresión, es
decir, sistemas que le permitan a los estudiantes, perfeccionar, mejorar y desarrollar sus
habilidades, capacidades y competencias a medida que avanzan en los mismos.
Por otro lado, al considerar el índice de deserción es importante señalar que el CNA
(2013) establece que, dentro de las características de permanencia y retención, las
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
19
instituciones de educación superior deben definir un sistema de evaluación y seguimiento a
la permanencia y deben tener mecanismos para su control sin detrimento de la calidad. Se
entiende que el tiempo promedio de permanencia de los estudiantes en el programa es
concordante con la calidad que se propone alcanzar y con la eficacia y eficiencia
institucionales.
Algunos resultados empíricos relacionados con las variables de proceso referidas a
los docentes, y que en principio hacen parte de los factores institucionales, también resultan
de interés para el presente estudio. Montero et al. (2007) encontraron en su modelo que en
términos generales las variables asociadas al docente tienen una mayor influencia en el
rendimiento que las variables asociadas al estudiante. Las variables asociadas y que tienen
una relación negativa significativa con el rendimiento, son por ejemplo la edad del docente,
presumiblemente porque los profesores jóvenes establecen relaciones más empáticas con
sus estudiantes (comodidad y facilidad de la comunicación); y la metodología empleada por
el docente: los estudiantes de los profesores que usan las clases magistrales entre el 50% o
más del tiempo del curso obtuvieron 0,41 puntos menos en sus notas finales que los
estudiantes de profesores que emplean otras estrategias pedagógicas en la mitad o más del
tiempo del curso (v.g. exposición magistral combinada con diálogo, discusión grupal,
exposiciones, trabajo en equipo).
Ahora bien, Gaviria y Barrientos (2001) señalan que es importante estudiar en qué
medida los distintos atributos del plantel, como su infraestructura física, la educación de los
docentes (en el sentido de si son licenciados, profesionales y si cuentan o no con
posgrados), el número de docentes por estudiante, afectan el rendimiento académico; al
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
20
respecto, Oliver, Eimer, Bálsamo y Crivello (2011 citado en García, 2014) reportan una
relación inversa en términos de la razón estudiante-profesor (cantidad de estudiantes por
profesor), es decir, una menor relación influye positivamente en el rendimiento académico.
En el caso de los programas de psicología Alzate (2008) encontró como efecto de la
acreditación de los programas, la dedicación de los profesores. Vale mencionar además que
se ha encontrado que la preparación próxima para los ECAES por parte de las instituciones
no es un factor determinante para la obtención de buenos resultados en las pruebas (Flórez
y Rojas, 2010).
Se considera de interés indagar en el futuro y para el caso colombiano otros aspectos
relativos a los docentes, en particular, acerca de los efectos de las vinculaciones de estos a
las IES y las condiciones de contratación que se dan con las mismas.
Variables de contexto
En las variables de contexto se recogen dos aspectos, por un lado, las características
del sistema educativo y del entorno, y por el otro las características contextuales del centro
tales como su naturaleza o tamaño.
Con respecto al primer aspecto, y específicamente con relación al factor de la
acreditación, Alzate (2008) muestra la importancia de este en los programas de psicología
de Colombia para la mejora a nivel institucional, no solo en los resultados de exámenes
nacionales como el ECAES (hoy Saber-PRO), sino para el currículum en general, la
preparación de los docentes en diferentes aspectos, además de un apoyo para grupos
investigativos y publicaciones; en definitiva se comprueba cómo los procesos de
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
21
acreditación son un incentivo para suscitar un interés por la calidad y el mejoramiento
continuo de los programas: se ve un claro antes y después de la acreditación con respecto a
la rigurosidad de los exámenes tanto para los estudiantes como para los maestros.
En esta línea, García (2009) y Valbuena y García (2016) reportan que en términos
generales los estudiantes con altos desempeños en los distintos módulos de evaluación del
examen Saber PRO pertenecen a programas de psicología con acreditación de alta calidad.
Por otro lado, Melo et al. (2014), en su análisis de la eficiencia de la educación en Colombia,
identificaron que la pertenencia a instituciones que tienen programas acreditados, ubicadas
en las ciudades de Bogotá, Cali y Medellín y que son oficiales, tiene un impacto positivo y
significativo sobre el logro académico.
Los resultados ilustran el gran número de variables asociadas que se consideran de
interés cuando se trata de explicar el desempeño de los estudiantes en un programa
académico. En consideración a que los factores que influyen el desempeño académico son
dinámicos, es necesario realizar un nuevo estudio considerando los resultados más
recientes de la prueba Saber PRO. Se propone incluir variables adicionales a las
socioeconómicas disponibles, de tal manera que, aunque se analizarán las variables
contextuales y personales, es decir, los datos sociodemográficos recogidos en la misma
prueba SABER PRO, el trabajo incluirá variables de nivel institucional que tienen efecto en el
desempeño académico (v.g. el índice de flexibilidad, la jornada, la modalidad y el número de
créditos del programa). Las variables que serán incluidas son en muchos casos indicadores
que garantizan la calidad de la formación o bien que han estado relacionadas con el
rendimiento académico. Además, se propone incluir como variable de resultado el
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
22
desempeño en la prueba disciplinar profesional específico de la psicología, junto con las
pruebas básicas del examen, pues esto resulta más informativo para los programas de
formación de nuestro interés. En conclusión, se trata de darle continuidad a los trabajos
previos, complementando la información a partir de nuevas variables institucionales.
Metodología
Variables
Los datos empleados en esta investigación provienen de distintas fuentes: las bases
de datos del Instituto Colombiano para la Evaluación de la Educación (ICFES), el observatorio
de la calidad de la Educación Superior en Psicología y los portales web de las instituciones
educativas.
El ICFES provee la información de aspectos socioeconómicos, socioculturales,
demográficos e institucionales de cada uno de los estudiantes que realizaron el examen
Saber PRO en el año 2017. Las variables relacionadas con los programas académicos de
psicología de cada universidad, como la Calidad, la pertenencia o no a la Asociación
Colombiana de Facultades de Psicología (ASCOFAPSI), jornada y cantidad de créditos fueron
tomadas de la página del Observatorio de la Calidad de la Educación Superior en Psicología
en Colombia (2012).
La información para calcular el índice de flexibilidad se obtuvo en los portales web de
cada una de las universidades que cuentan con programas académicos de Psicología. Es
pertinente mencionar que debido a que muchas universidades no reportan estos datos en
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
23
sus páginas oficiales, se hicieron transformaciones con la información a la que se tuvo
acceso para hacerla comparable entre las distintas instituciones.
Debido a la complejidad de las relaciones que se van a identificar en este estudio y a
la naturaleza anidada de los datos (Estudiantes en universidades) se realiza un
modelamiento multinivel de dos niveles: el primero se vincula con las variables del
individuo, el segundo con las variables institucionales del programa de Psicología. En los
modelos multinivel desarrollados dentro del campo de investigación de eficacia escolar -
que desde “su concepción original surgieron como un sistema de indicadores que informa
acerca del funcionamiento del centro” (Murillo, 2008a, p. 5)- las variables se clasifican en
cuatro grandes componentes, a saber: de contexto, entrada, proceso y producto.
a. Contextuales: Características del centro educativo, ambiente socio afectivo y
contexto de los estudiantes.
b. De entrada: instalaciones y recursos, dotación de personal, servicios que ofrece y
apoyos externos.
c. De proceso: estructura, funcionamiento y clima/cultura organizacional.
d. De producto: desarrollo de la institución, desempeño o rendimiento de los
estudiantes, satisfacción de estudiantes y padres de familia y reputación
institucional” (Fernández & Gonzalez, 1997, citado en Moreira, 2013, pp. 21-22).
A continuación, se describen las variables incluidas en el modelo realizado.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
24
Nivel Individual (Estudiante)
Entrada:
1. Género: Masculino o femenino. Asignando 0 para la primer categoría y 1 para la
segunda en el modelo.
2. Edad: Número de años cumplidos.
3. Semestre: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10,11, 12 o más. Al tratarse de una variable ordinal,
se ingresa en el modelo tal cual, con excepción de la última categoría la cual se
codifica con el número 12.
4. Nivel socioeconómico: Medido con el Índice socioeconómico, el cual relaciona las
variables socioeconómicas de cada estudiante que incluyen: mecanismo de pago de
la matrícula semestral (beca, crédito, pagado por familiares o el propio estudiante),
si es cabeza de familia, el número de personas que tienen a cargo, la ocupación del
padre y madre, el estrato socioeconómico, el número de personas con quien vive y la
cantidad de electrodomésticos que tiene en el hogar. Fue realizado con Análisis de
Correspondencias Múltiples para las variables nominales y ordinales y luego Análisis
de Componentes Principales. Este valor se transforma a una escala que toma valores
entre 0 y 100, con media 50 y desviación estándar de 10.
5. Nivel sociocultural: Referido a los aspectos socioculturales del entorno familiar
medido con el Índice sociocultural, el cual agrupa las variables educación de padre y
madre y la cantidad de libros con los que cuenta en el hogar de contenidos
diferentes a los académicos. Fue realizado con Análisis de Correspondencias
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
25
Múltiples para las variables nominales y ordinales y luego Análisis de Componentes
Principales. Este valor se transforma a una escala que toma valores entre 0 y 100,
con media 50 y desviación estándar de 10.
6. Gestión del tiempo: Se refiere a las actividades ajenas al ambiente académico,
incluye el tiempo dedicado a la lectura por entretenimiento y a navegar en internet
Fue realizado Análisis de Componentes Principales. Este valor se transforma a una
escala que toma valores entre 0 y 100, con media 50 y desviación estándar de 10.
Producto:
Puntajes de cada uno de las pruebas del examen general del Saber PRO: Lectura
Crítica, Razonamiento Cuantitativo, Competencias Ciudadanas, Comunicación Escrita, Inglés
y la prueba específico para Psicología. Los puntajes toman valores entre 0 y 300.
Nivel Institucional (Institución de Educación Superior):
Contexto:
1. Naturaleza u origen de la Institución de Educación Superior (IES): definido por las
categorías de orden jurídico oficial y no oficial, que se refiere a la distinción entre
público y privado respectivamente, se contemplan equivalentes de no oficial la
corporación y la fundación, y de oficial que pueden ser del orden de departamental,
municipal o nacional dependiendo del alcance de la institución. Cuyos valores dentro
del modelo van de 1 a 5 respectivamente.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
26
2. Carácter de la institución de educación superior: distingue entre institución
universitaria cuyo valor es 1 dentro del modelo y universidad cuyo valor es 0 dentro
del modelo, donde la última “alcanza por mandato legal los requisitos indicados en el
artículo 20 de la Ley 30 de 1992, los cuales están desarrollados en el Decreto 1212 de
1993.” (MEN, 2010).
3. Estado de registro de calidad del programa: determinado por el cumplimiento o no
de las condiciones mínimas de educación superior establecidas por el Ministerio de
Educación. La clasificación obtenida puede ser “registro calificado” cuando cumple
con las condiciones mínimas y “registro calificado de Alta calidad” cuando el
programa supera las condiciones mínimas de educación superior. A estas categorías
se les asignó 0 y 1 dentro del modelo respectivamente.
Entrada:
1. Adscrito a ASCOFAPSI: Pertenencia del programa académico a la Asociación
Colombiana de Facultades de Psicología, la cual se declara como la institución
encargada de “velar por el mejoramiento de la formación universitaria del psicólogo
en Colombia, con la colaboración permanente de sus miembros, para contribuir al
desarrollo científico, profesional, ético y social de la psicología” (ASCOFAPSI, 2019).
Para estas categorías se asignó un valor de 0 para registro calificado y 1 para el
registro de alta calidad.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
27
2. Metodología del programa: Se refiere a las condiciones en las que se suelen llevar a
cabo las clases, en este sentido se divide en presencial (3 dentro del modelo),
distancia (1 dentro del modelo) y distancia virtual (2 dentro del modelo).
3. Número de créditos del programa.
4. Número de semestres del programa. De 8 a 10 semestres.
5. Valor de la matrícula. Con 8 categorías cuyos valores dentro del modelo son 0 para
quienes ‘No pagan matrícula’, 1 para quienes pagan ‘Menos de 500 mil’, 2 para
quienes pagan ‘Entre 500 mil y menos de un millón de pesos’, 3 para quienes pagan
‘Entre un millón y 2.5 millones’, 4 para quienes pagan ‘Entre 2.5 millones y 4
millones’, 5 para quienes pagan ‘Entre 4 millones y 5.5 millones’, 6 para quienes
pagan ‘Entre 5.5 millones y 7 millones’ y finalmente 7 para quienes pagan ‘Más de 7
millones’.
6. Jornada: Periodo del día en el que se imparten los cursos del programa. Se
contemplan diurnas (2 dentro del modelo), diurna y nocturna (4 dentro del modelo),
mixta (5 dentro del modelo), diurna y mixta (3 dentro del modelo) y a distancia (1
dentro del modelo).
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
28
Proceso:
1. Preparación para el examen: indica si el estudiante recibió algún tipo de preparación
para presentar el examen, sea a través de cursos dictados por la institución a la que
pertenece o cursos impartidos en instituciones externas y tomados voluntariamente
por el estudiante. Para esta variable se asignó 1 para aquellos que sí se prepararon y
0 para quienes no lo hicieron.
2. Índice de flexibilidad el programa: Cociente del número de créditos dispuestos para
cada una de las asignaturas o cursos de carácter obligatorio, y el número de créditos
definidos para cursar asignaturas elegibles, bien sean electivas u optativas.
Corresponde a un valor que está entre 0 y 1.
Análisis de datos
Para efectos de conocer los Factores asociados al desempeño en pruebas
estandarizadas se emplean los modelos multinivel, siguiendo el procedimiento “clásico",
recomendado por Bryk y Raudenbush (1992) y Gaviria y Castro (2005). La información se
procesará con MLWIN 3.02 y SPSS 25.
El estudio de factores asociados consideró inicialmente un modelamiento con tres
niveles: estudiante, escuela y departamento. Luego de realizar el modelamiento y encontrar
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
29
que el nivel de Departamento no explica varianza se decidió el modelamiento con dos
niveles.
El primer modelo permite conocer la variabilidad a explicar y permite la comparación
con los demás modelos, no incluye variables y se denomina modelo nulo. El proceso de
modelamiento continuó incluyendo variables de ajuste de primer y segundo nivel y
posteriormente variables de proceso tanto de primer como de segundo nivel. Se estimó el
aporte de cada variable tanto a nivel fijo como a nivel aleatorio; en todos los casos se asumió
la significación estadística de cada parámetro calculando el valor t, significativo cuando es
superior a 2.
Modelo nulo (Vacío)
El modelo nulo permite apreciar el puntaje promedio en cada una de las pruebas
genéricas y la componente específico para Psicología, el modelo con dos niveles modelado
con el programa MLwiN v3,01, se expresa así:
𝑌𝑖𝑗 = 𝛽0𝑖𝑗𝐶𝑜𝑛𝑠
𝛽0𝑖𝑗 = 𝛽0 + 𝜇𝑜𝑗 + 𝑒𝑜𝑖𝑗
[𝜇𝑜𝑗] N(0, u ): u= 2
0u
[𝑒𝑜𝑖𝑗] N(0, e): e= 2
0e
Donde:
ijkY= Puntaje promedio en la variable de resultado (prueba) para un estudiante i de
la institución j.
Cons= Es una constante igual a 1, para efectos del modelamiento en MLwiN.
𝛽0𝑖𝑗= Es el promedio esperado en la variable de resultado para el estudiante i, de la
institución j. Se compone de:
= El gran promedio general para la variable de resultado (𝑌𝑖𝑗). 0
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
30
𝜇0𝑗= Es el efecto aleatorio asociado al nivel de institución educativa (universidad),
con distribución normal, media 0 y varianza Ωu.
𝑒0𝑖𝑗= Es el efecto aleatorio asociado al nivel del estudiante, con distribución
normal, media 0 y varianza Ωe.
Modelo con variables de ajuste y proceso
Al modelo nulo se le agregaron las variables de ajuste y proceso de primer nivel, en
el modelo se consideró cada variable con sus efectos fijos y aleatorios, se evaluó la
significación estadística para determinar si hacían parte del modelo o no, y se continuó con
la incorporación de variables del segundo nivel. En el primer modelo se consideraron todas
las variables con efectos fijos y se evaluó su significación estadística para decidir si
continuaban en el modelo o se excluían del mismo. La expresión de este modelo si se
consideran dos variables con efecto fijo y aleatorio se expresa como se presenta a
continuación:
𝑌𝑖𝑗 = 𝛽0𝑖𝑗𝐶𝑜𝑛𝑠 + 𝛽1𝐺𝐸𝑁𝐸𝑅𝑂𝑖𝑗 + 𝛽2𝐼𝑛𝑑𝑖𝑐𝑒_𝑠𝑜𝑐𝑖𝑜𝑒𝑐𝑜𝑛𝑜𝑚𝑖𝑐𝑜𝑖𝑗
𝛽0𝑖𝑗 = 𝛽0 + 𝜇𝑜𝑗 + 𝑒𝑜𝑖𝑗
𝛽1𝑖𝑗 = 𝛽1 + 𝜇1𝑗 + 𝑒1𝑖𝑗
𝛽2𝑖𝑗 = 𝛽2 + 𝜇2𝑗 + 𝑒2𝑖𝑗
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
31
En este modelo, en comparación con el modelo nulo, se representan los coeficientes
𝛽𝑛𝑖𝑗 para cada una de las variables de ajuste, el subíndice indica el número de variable en el
modelo y el nivel al cual pertenece la variable, el nombre indica la denominación asignada a
la variable, para el caso, Género e índice socioeconómico que dan cuenta de estas dos
variables del estudiante. Los coeficientes 𝛽 son parámetros que se estiman y expresan el
efecto de cada una de las variables de ajuste en el puntaje promedio de la prueba e indican
el cambio pronosticado en el puntaje en la prueba por cada unidad que aumenta esta
variable incluida en el modelo.
Por su parte, los efectos aleatorios permiten la variación de los interceptos y las
pendientes, se presentan las varianzas ( 𝜎𝜇02 /𝜎𝑒0
2 ) de las variables incluidas en el modelo y
las covarianzas (𝜎𝜇012 /𝜎𝑒01
2 ) entre estas. Los efectos aleatorios reflejan la posibilidad de que
los estudiantes sean más parecidos dentro del grupo que entre el nivel en el cual están
anidados (la institución educativa).
Los efectos aleatorios señalan:
𝜇𝑛𝑗= el efecto aleatorio de la pendiente de la variable n asociado al segundo nivel,
con distribución normal, media 0 y varianza Ωu.
𝑒𝑛𝑖𝑗=el efecto aleatorio de la pendiente de la variable n asociado al primer nivel,
con distribución normal, media 0 y varianza Ωe.
En la variabilidad del modelo aleatorio, se tiene que:
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
32
Ω= matriz de varianzas y covarianzas para cada nivel de las medias y las pendientes
de las variables incluidas en el modelo.
Al final del modelamiento se reportan sólo las variables significativas y se presentan
en los resultados.
Procedimiento
Se trata de un estudio con expltación secundaria de datos, que implicó el desarrollo
de distintas actividades, a saber:
I. Preparación de la información
1. Selección de las variables para definir la información a incluir en el modelo.
2. Revisión y depuración de las bases de datos. Se excluyó la información
correspondiente a los programas distintos a Psicología y se eliminaron los casos que
no contaban con los datos correspondientes a cada una de las variables.
II. Procesamiento de la información: generación de variables y preparación de los
archivos
1. Construcción de índices con SPSS.
2. Adecuación de las bases de datos al programa MLWin.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
33
III. Procesamiento de la información: proceso de modelización y proceso de
estimación de las propiedades científicas
1. Estimación del modelo nulo y de los distintos modelos acorde con las variables
de contexto, entrada, proceso y producto.
2. Determinación de la bondad de ajuste del modelo.
IV. Análisis de la información y elaboración de informes
Resultados
Estadísticos descriptivos
Se describen aspectos de la muestra acorde con los dos niveles definidos. Frente al
primer nivel (estudiante) se obtuvo lo siguiente:
La muestra total se compone de 10.291 estudiantes que presentaron la prueba Saber
PRO en el año 2017 pertenecientes a 86 instituciones de educación superior, ubicadas en 22
departamentos; 17% de los estudiantes son hombres y el 83% son mujeres, el promedio de
edad es de 26 años con una desviación estándar de 5,02.
En relación con los puntajes de cada uno de las pruebas del examen Saber PRO se
obtienen los siguientes promedios. En la prueba de razonamiento cuantitativo se obtuvo
una media de 140, en lectura crítica 153, en competencias ciudadanas 144, en inglés
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
34
148, en comunicación escrita 154, y en el puntaje global 148. Comparando las puntuaciones
por género se puede identificar, como se presenta en la figura 2, que hay una diferencia de
dos puntos menos entre la puntuación promedio y la puntuación de las mujeres y por el
contrario, la puntuación para los hombres supera hasta en 11 puntos el valor promedio en
Figura 2. Comparación por género sobre las puntuaciones de las pruebas de la prueba Saber
PRO.
las diferentes pruebas; el único valor que no presenta diferencias entre los grupos es la
puntuación de comunicación escrita, la cual se mantiene exactamente igual en ambos
grupos y por tanto en la media total del grupo.
Los datos de la variable semestre que cursa muestran que el 3,47% de los
estudiantes cursaba séptimo (7) semestre al momento de presentar la prueba, de este
porcentaje el 31,93% pertenecen a programas académicos de ocho (8) semestres. El 21,29 %
de la muestra total cursaba octavo (8) semestre, de este porcentaje el 47,47% está inscrito
en programas académicos de ocho (8) y (9) semestres. El 39,17% del total de estudiantes
cursaban noveno (9) semestre, el 76,01 % de este porcentaje cursaba programas de diez
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
35
(10) semestres. El 33,24 % de la muestra cursa décimo (10) semestre y tan solo el 1,77% y
1.06% cursaba undécimo (11) y doceavo (12) semestre respectivamente.
En relación con la variable preparación para el examen se demuestra que el 91,92%
de los estudiantes no realizan ningún tipo de preparación para la presentación del examen
Saber PRO y el 8,08 % se preparó a través de curso brindados por su propia institución,
cursos externos a su universidad o como un ejercicio personal; de este grupo de estudiantes
que sí preparó el examen, el 85,82% pertenecen a instituciones no oficiales y el 14,18% a
instituciones oficiales.
Los valores de la matrícula se organizan en 8 categorías como lo muestra la figura 3,
estos porcentajes indican que el valor de la matrícula de 477 estudiantes es mayor a 7
millones de pesos, 536 estudiantes pagan entre 5.5 millones y menos de 7 millones, 1356
tienen matrículas de entre 4 y 5.5 millones, 2410 pagan entre 2.5 y 4 millones de pesos,
4211 entre 1 y 2.5 millones, 901 entre 500.000 pesos y 1 millón de pesos , 421 menos de
500.000 pesos y 19 estudiantes no pagan matrícula, así el valor promedio de la matrícula
está en el rango de 2.5 y 4 millones de pesos.
Figura 3. Valor de las matrículas de los estudiantes de psicología
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
36
Debido a que los índices se expresan acorde con la escala T de McCall con media de
50 y una desviación estándar de 10. En el índice socioeconómico el 30,59 % de la muestra se
encuentra entre 40 y 60 puntos que corresponden a una desviación estándar por debajo y
encima de la media respectivamente; el 34,52 % para el índice sociocultural y frente al índice
de gestión del tiempo se encuentra que el 25,67% de la muestra se ubica en esta mismo
rango.
Igualmente, se identificó el número de estudiantes que pertenecen a instituciones
con determinadas características como el estado de calidad, la vinculación a ASCOFAPSI,
jornada, metodología, carácter y origen (Tabla 1 ).
Tabla 1. Variables institucionales por estudiante e institución.
Variable Valores Número de estudiantes
Número de Instituciones
Estado de calidad
Alta calidad 39% (4024) 48% (41)
Calificado 61% (6267) 52% (45)
ASCOFAPSI
Pertenece 75% (7693) 74% (64)
No pertenece 25% (2598) 26% (22)
Jornada
Distancia 11,5% (1171) 2% (2)
Diurna 48,5% (4976) 58,5% (50)
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
37
Diurna y mixta 5% (501) 2% (2)
Diurna y nocturna 26% (2683) 30,5% (26)
Mixta 9% (960) 7% (6)
Metodología
Distancia 27% (2818) 3,5% (3)
Distancia Virtual 4% (400) 2,5% (2)
Presencial 69% (7073) 94% (81)
Carácter
Institución Universitaria 45% (4684) 33% (28)
Universidad 55% (5607) 67% (58)
Origen
No oficial 81% (8293) 85% (73)
Oficial 19% (1998) 15% (13)
El estado de calidad del programa puede tener dos valores, Registro de Alta Calidad
que identifica los mejores programas de psicología y Registro Calificado que identifica los
programas que son aptos para formar profesionales; frente a las 86 Instituciones de
Educación Superior que conforman la muestra 41 cuentan con Registro de Alta Calidad y 45
se encuentran con Registro calificado. La pertenencia a la Asociación Colombiana de
Facultades de Psicología (ASCOFAPSI) se incluye dentro de los criterios de análisis por
institución, se identifica que 64 instituciones pertenecen a ASCOFAPSI. Las 41 instituciones
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
38
que tienen Registro de Alta calidad pertenecen a ASCOFAPSI, y 23 instituciones que no
cuentan con este registro pertenecen igualmente a la asociación, los datos anteriores están
actualizados al 2017.
La tabla 1 también expone las características de los programas y de las instituciones a
través de porcentajes obtenidos en relación con la jornada, es predominante la jornada
diurna. Con respecto a la metodología se identifica que predomina la metodología
presencial.
Las Instituciones de Educación Superior (IES) que ofrecen el programa de psicología en
Colombia pueden tener dos tipos de carácter Institución Universitaria o Universidad, así, 28
son instituciones universitarias y 58 universidades. En relación con el origen de la IES esta
puede ser Oficial o No oficial, la primera se refiere a que es una institución que le pertenece
al estado y por lo tanto es pública y la segunda es una institución que por el contrario no es
manejada por el estado y por tanto es privada, mediante esta característica se puede
identificar que 73 de las IES que ofrecen el programa de psicología tienen origen No oficial y
13 son Oficiales.
En cuanto a duración de los programas 60 de estas instituciones cuentan con un
programa de diez (10) semestres, 15 tienen un programa de nueve (9) semestres y el
programa de 11 instituciones es de ocho (8) semestres. En promedio los programas de
psicología de las diversas instituciones tienen 156 créditos de carga académica, el total de
créditos se ubica en un rango de entre 134 y 196.
Como parte de la acreditación de los distintos programas, las instituciones deben
brindar el acceso a grupos de estudio e investigación; de 86 instituciones analizadas 5 no
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
39
cuentan con ningún grupo de investigación, 14 tienen entre 1 y 4 grupos, 3 tienen entre 5 y
7 grupos, 60 entre 8 y 10 grupos de investigación y 4 instituciones tienen más de 10 grupos
de investigación.
A nivel descriptivo la relación entre las puntuaciones promedio de cada prueba del
examen Saber PRO con las características propias de las instituciones, permite identificar
cuáles de estas se relacionan con mayores puntuaciones en cada una de las pruebas. En la
Tabla 2 se evidencia que las instituciones con jornada diurna tienden a tener mejores
resultados en todas las pruebas en comparación con las demás jornadas, igualmente la
metodología presencial se relaciona con puntuaciones mayores en todas las pruebas del
examen, teniendo hasta una diferencia de 20 puntos con las demás metodologías. En
cuanto al carácter de las instituciones, las universidades tienen mayores puntajes en todas
las pruebas, con diferencias de entre 5 y 12 puntos con las instituciones universitarias. Como
podría esperarse las instituciones con Registro Alto de Calidad tienen puntuaciones mayores
en todas las pruebas con el tope de 14 puntos por encima en la prueba de Lectura Crítica; en
cuanto al origen o naturaleza de la institución se identifica que las instituciones Oficiales
tienen mayores puntajes en todas las pruebas del examen, sin embargo, la puntuación en
inglés de las instituciones Oficiales es mayor solo por 1 punto.
La puntuación mayor en la prueba de Razonamiento cuantitativo está relacionada con
el origen oficial de la institución; la jornada Diurna y el origen oficial tienen las mayores
puntuaciones en Lectura crítica; además de relacionarse con el origen oficial de la
institución, la mayor puntuación en la prueba de competencias ciudadanas se da en
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
40
instituciones con Registro de Alta calidad; por su parte las altas puntuaciones en la prueba
de Inglés se relacionan con las instituciones con Registro de Alta Calidad; finalmente, la alta
puntuación la prueba de comunicación escrita se puede relacionar tanto con instituciones
oficiales como con aquellas que tienen Registro de Alta calidad.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
41
Tabla 2. Puntuaciones en la prueba Saber PRO de acuerdo a las características
institucionales
Prueba
Razonamiento
Cuantitativo
Lectura
Crítica
Competencias
ciudadanas
Inglés Comunicación
escrita
Puntaje
Global
Jornada
Distancia 128,93 138,56 129,52 130,77 145,12 134,56
Diurna 144,19 161,02 148,97 158,29 157,13 153,91
Diurna y mixta 136,7 151,8 140,45 143,32 153,31 145,1
Diurna y
nocturna 140,37 154,11 145,02 148,13 152,44 148
Mixta 135,77 150,8 139,8 144,58 153,3 144,87
Metodología
Distancia 130,54 139,59 131,72 132,25 146,76 136,16
Distancia
virtual 137,23 143,07 137,96 135,36 147,33 140,14
Presencial 142,46 158,5 147,25 154,49 155,57 151,32
Carácter
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
42
Institución
Universitaria 138,89 149,25 139,48 142,63 151,2 143,67
Universidad 144,83 161,46 149,87 158,41 156,94 154,3
Estado de
Calidad
Registro
Calificado 137,08 150,7 140,47 143,87 150,83 144,57
Registro de
Alta calidad 147,23 164,92 153,09 163,59 159,73 157,71
Origen-
Naturaleza
No oficial 140,29 155,52 144,72 153,04 153,4 149,58
Oficial 151,09 168,49 156,43 154,57 158,87 157,9
Análisis Multinivel
Para identificar los factores asociados al desempeño en las pruebas Saber PRO se emplearon
modelos multinivel, a continuación se presentan los resultados obtenidos para el modelo
nulo y el modelo final.
En la Tabla 3 se presenta el modelo nulo para cada variable de resultado. La primera
columna corresponde al nombre de la variable analizada, la segunda al intercepto o gran
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
43
media de cada modelo -esta corresponde al valor esperado de un estudiante de cualquier
universidad en la prueba-, la tercera y cuarta son las varianzas al interior de los niveles IES y
Estudiantes respectivamente, estos valores representan la varianza no explicada del modelo
que se debe a cada nivel. En consideración a que este modelo es significativo en los dos
niveles se justifica realizar el modelamiento multinivel. Es importante recordar que el
modelo nulo es el punto de referencia desde el cual se parte para decidir si el grado de
ajuste de un modelo alternativo es significativo tal que sea un mejor predictor del puntaje.
Tabla 3. Modelo nulo para cada variable de resultados
Intercepto σ² Entre IES σ² Entre Estudiantes
Est. SE Est. SE Est. SE
Razonamiento cuantitativo
141,984 1,382 151,278 25,175 573,677 8,03
Lectura crítica 157,469 1,678 224,398 36,739 770,023 10,78
Competencias ciudadanas
146,538 1,487 171,867 29,098 811,117 11,354
Inglés 155,325 2,036 341,803 54,309 619,024 8,666
Comunicación escrita
155,432 1,106 85,394 15,802 964,773 13,505
Pruebas específicas
141,604 2,051 133,091 34,978 592,311 13,72
En la Tabla 4 los modelos finales para cada variable de resultados. Para todos los
modelos se presenta la parte fija y la aleatoria, compuesta por los valores que fueron
significativos. Se debe tener en cuenta que las variables y categorías al interior de la primera
parte no representan el total de las que fueron incluidas en el modelo, sino únicamente las
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
44
que fueron significativas, en la metodología se presenta la información para todas las
variables y las categorías.
Se mencionan a continuación las variables que no fueron significativas dentro de
ningún modelo: El semestre que cursaba el estudiante cuando presentó la prueba, la
pertenencia a ASCOFAPSI, el número de semestres del programa, el número de créditos del
programa, la jornada del programa, y el número de semilleros y/o grupos de investigación
dentro del programa. Además, los niveles Municipio y Departamento no presentaban una
varianza lo suficientemente significativa para desarrollar un modelo de más de dos niveles.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
45
Tabla 4. Modelos finales
Est.
SEEs
t. SE
Est.
SEEs
t. SE
Est.
SEEs
t. SE
Parte
fija
Interc
epto
154,
333
5,615
157,
661
4,523
143,
294,1
7513
0,45
44,6
8716
4,14
53,8
6713
2,17
65,2
43
Entra
da
Géne
ro-Fe
menin
o-8
,71
0,725
-7,9
140,7
26-8
,349
0,784
-7,9
760,6
37NA
NA-3
,078
1,055
8
Edad
-0,5
580,0
64-0
,444
0,069
NANA
NANA
NANA
-0,2
770,1
05
Indice
socio
econ
ómico
NANA
0,10
60,0
380,
145
0,039
0,32
50,0
31NA
NA0,
124
0,056
Indice
socio
cultu
ral0,
270,0
320,
380,0
340,
330,0
360,
582
0,03
0,20
40,0
360,
247
0,047
Metod
ología
-Dist
ancia
-5,7
261,5
11-1
5,19
71,7
14-1
0,57
11,6
82-9
,51
1,577
-7,5
661,6
21NA
NA
Valor
de la
matr
ícula
- Men
os de
500 m
il-1
3,64
93,0
23NA
NA-1
7,47
42,7
44-2
3,49
93,4
17-1
6,61
33,2
56NA
NA
Valor
de la
matr
ícula
- Entr
e 500
mil y
men
os de
1 mi
llón
-9,8
632,2
54NA
NA-1
2,58
82,0
19-1
7,56
23,2
18-1
5,81
62,9
46NA
NA
Valor
de la
matr
ícula
- Entr
e 1 m
illón y
men
os de
2.5 m
illone
s-4
,989
1,37
NANA
-9,0
891,5
34-1
5,11
23,0
85-1
4,12
2,637
NANA
Valor
de la
matr
ícula
- Entr
e 2.5
millo
nes y
4 mi
llone
s-2
,847
1,207
NANA
-7,4
081,3
47-1
3,90
53,0
63-1
3,50
32,5
84NA
NA
Valor
de la
matr
ícula
- Entr
e 4 m
illone
s y 5,
5 millo
nes
NANA
NANA
NANA
-8,8
753,0
85-1
1,74
42,6
04NA
NA
Entre
5,5 m
illone
s y m
enos
de 7
millo
nes
NANA
NANA
NANA
-7,3
993,1
75-1
0,81
42,8
18NA
NA
Proc
eso
Indice
de ge
stión
de tie
mpo
0,13
80,0
270,
057
0,027
0,10
60,0
29NA
NANA
NANA
NA
Prepa
ración
- Si
-3,0
461,0
19-2
,828
1,111
NANA
NANA
NANA
NANA
Cont
exto
Estad
o de c
alida
d - Re
gistro
de al
ta ca
lidad
NANA
10,3
362,0
546,
731
1,496
12,4
822,1
374,
778
1,278
5,98
82,1
82
Carác
ter ac
adem
ico - I
nstit
ución
unive
rsitar
iaNA
NANA
NANA
NANA
NANA
NA-9
,091
2,407
Natur
aleza
u ori
gen -
No o
ficial
Corpo
ración
-1
7,81
64,4
93-1
9,79
23,1
12-2
1,04
12,7
5-1
5,50
53,2
55-1
0,21
22,0
55-1
1,52
22,4
96
Natur
aleza
u ori
gen -
No o
ficial
Fund
ación
-13,
112
4,467
-15,
696
2,968
-18,
374
2,725
-13,
017
3,126
-9,1
332,0
24NA
NA
Natur
aleza
u ori
gen -
Ofic
ial M
unici
pal
NANA
NANA
-14,
865
5,997
NANA
NANA
NANA
Parte
alea
toria
Entre
escu
elas
22,5
645,5
1969
,602
12,89
221
,18
5,349
68,1
6412
,539
11,3
123,7
0527
,094
8,93
Entre
alum
no50
7,48
411
,415
593,
766
29,68
379
0,71
11,41
934
8,76
621
,057
701,
308
36,41
457
3,96
613
,392
Indice
socio
econ
ómico
NANA
0,05
30,0
11NA
NA0,
081
0,008
NANA
NANA
Indice
socio
cultu
ralNA
NANA
NANA
NANA
NA0,
098
0,014
NANA
Flexib
ilidad
2295
,608
521,6
86NA
NANA
NANA
NANA
NANA
NA
Prue
bas e
spec
ifica
s Ra
zona
mien
to cu
antit
ativo
Lect
ura c
rítica
Com
pete
ncia
ciuda
dana
sIn
glés
Com
unica
ción
escr
ita
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
46
A continuación, se presenta un breve resumen general de la Tabla 4 seguido de un apartado
para cada modelo.
Resumen general
El género afecta negativamente el puntaje de las pruebas para el caso de las
mujeres, con disminuciones entre los 3 y los casi 9 puntos comparado con el puntaje de los
hombres a excepción de la prueba de Comunicación escrita donde esta variable no tuvo
efecto.
El índice socioeconómico afecta de manera significativa el puntaje en la mayoría de
las pruebas, siendo la excepción Razonamiento Cuantitativo y Comunicación Escrita. El
puntaje aumenta hasta 0,3 puntos por cada desviación estándar que aumente el índice, de
tal manera que aquellas personas cuyo índice es superior a 60 (15% aprox. de la población)
obtienen 0,3 puntos más que aquellos cuyo índice se encuentra entre los 40 y los 60, donde
se ubica la media de la población. El índice sociocultural del estudiante incide
significativamente en el puntaje obtenido en todas las pruebas, con un incremento que se
encuentra entre los 0,2 y los 0,6 puntos por cada desviación estándar que aumente éste.
Las variables anteriores corresponden a variables de entrada del estudiante que
inciden en todos o la mayoría de resultados de las pruebas del examen. Adicionalmente se
encuentran variables de entrada de la institución que inciden de manera general. La
metodología por ejemplo, en la categoría Distancia también es significativa en el efecto que
produce sobre el puntaje estimado, disminuyendo en esta puntuación desde 5 hasta 15
puntos respecto al puntaje total dependiendo de la prueba del examen. El valor de la
matrícula por otra parte también tiene efectos significativos sobre los puntajes en general,
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
47
las universidades cuyas matrículas son inferiores a los 4 millones de pesos presentan
menores puntajes respecto a las más costosas, con diferencias entre los 2 hasta los 23
puntos respecto a la media. Es importante señalar que la categoría No paga matrícula no
mostró diferencias significativas en ningún modelo.
Las variables de contexto que fueron significativas, como instituciones con Registro
de Alta Calidad presentan mejores puntajes respecto a aquellas que cuentan con Registro
Calificado, con puntuaciones de entre 4 y 10 puntos por encima de las últimas.
Adicionalmente las universidades cuya naturaleza u origen es No Oficial, presentan menores
puntajes en las pruebas del examen respecto a la media general con diferencias entre los 9 y
21 puntos.
Ninguna variable de proceso fue significativa de manera general, es decir ninguna
tuvo efecto sobre todos o la mayoría de los modelos, no obstante, sí fueron significativas
para algunas de las variables de resultado.
Resultados por prueba
Razonamiento Cuantitativo
El puntaje en esta prueba se ve afectado por otras variables de entrada del
estudiante, por cada desviación estándar que aumente la edad de un estudiante, el valor
estimado será de menos 0,5 puntos en la prueba respecto a la media general, esto significa
que a mayor edad menor puntaje en la prueba. Por otro lado, variables de proceso como el
Índice de gestión de tiempo inciden positivamente en el puntaje, aquellos estudiantes que
invierten más tiempo en navegación en internet y lectura por ocio obtienen puntuaciones
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
48
más altas en esta prueba, más exactamente aumentan 0,1 punto por cada desviación
estándar que aumente el índice. Otra variable de proceso que incide en este puntaje, pero
negativamente es Preparación, donde los estudiantes que si se preparan para la prueba
obtienen puntajes 3 puntos menores en comparación con aquellos que no lo hacen.
Es pertinente señalar también que la variable de contexto Estado de calidad no
afecta significativamente el modelo, esta es la única prueba donde esta variable no incide.
Por último, otra particularidad de este modelo es que es el único donde la variable de
entrada de la institución Flexibilidad del programa tuvo un efecto significativo, aunque sólo
como parámetro aleatorio en el nivel de estudiante.
Lectura crítica
El puntaje en esta prueba también se ve afectado negativamente por la edad,
disminuyendo 0,4 puntos por cada desviación estándar. Aunque ya se había mencionado, la
categoría Distancia dentro de la variable Metodología como una variable significativa para la
mayoría de los modelos, es importante señalar que es justamente en esta prueba donde
tiene un efecto mayor sobre la puntuación estimada con una disminución de -15,2 puntos
respecto a la media. Por otro lado, esta prueba es una de las dos donde no afecta el valor de
la matrícula junto con la prueba específica.
Las variables de proceso Índice de gestión de tiempo y Preparación inciden positiva y
negativamente respectivamente sobre el puntaje en esta prueba. Por último, el índice
socioeconómico es significativo como parámetro aleatorio dentro del modelo al nivel del
estudiante, lo que quiere decir que explica parte de la varianza entre estudiantes.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
49
Competencias ciudadanas
Esta prueba se ve afectada por las variables mencionadas en los resultados generales
con sólo una variable adicional, a saber, la categoría Oficial Municipal dentro de la variable
Naturaleza u Origen de la IES, llama la atención que es la única prueba que se ve afectada
por esta categoría, sin embargo, es relevante mencionar que a esta categoría sólo pertenece
una IES. Por último, es la variable que presenta el mayor valor de varianza no explicada al
nivel de estudiante.
Inglés
El puntaje en esta prueba es aquel cuyo intercepto o media general es menor
respecto a los demás y el que se ve afectado por el mayor número de categorías dentro de
las variables, sin embargo, llama la atención que ninguna variable de proceso incide
significativamente en el resultado de esta prueba. Adicionalmente, es la prueba donde más
incide el índice socioeconómico y el sociocultural.
El valor de la matrícula tiene el mayor peso en esta prueba que en las demás
derivando en el descenso en el puntaje de los estudiantes que pagan menos de 7 millones
de matrícula, así mismo se evidencia este efecto es ordenado, es decir, que aquellos que
pagan menos presentan una mayor disminución en el puntaje en comparación con aquellos
que pagan más, yendo desde menos 23 hasta menos 7 respectivamente.
El estado de calidad también incide mayormente en esta prueba respecto a otras, y
el índice socioeconómico explica parte de la varianza no explicada del puntaje al nivel de
estudiante.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
50
Comunicación escrita
Es la prueba cuyo intercepto o valor medio general es mayor, además la única donde
el género no afecta significativamente el puntaje. También aquí se observa el mismo efecto
que en la prueba anterior con respecto al valor de la matrícula, presentando una
disminución ordenada en la puntuación para aquellos que pagan menos de 7 millones de
pesos, que va desde menos 16 hasta menos 10. Es también la prueba donde la varianza al
interior del nivel de la IES es menor y la única que se ve afectada por el índice sociocultural
como parámetro aleatorio al nivel de estudiante.
Competencias específicas
El puntaje en esta prueba es el que se ve afectado por un menor número de
variables y aquel donde la variable género incide menos. La edad también incide
negativamente sobre el puntaje esperado, disminuyendo hasta 0,2 puntos por cada
desviación típica. Es la única prueba donde la categoría Distancia dentro de la variable
Metodología del programa no incide significativamente. Pese a lo anterior, es la única
prueba donde la categoría Institución universitaria de la variable Carácter académico sí
afecta el puntaje estimado, presentando una disminución en comparación a la media
general de menos 9 puntos.
Varianza explicada
Por último, la calidad de cada modelo fue evaluada mediante la estimación de la
capacidad explicativa de cada uno y la razón de verosimilitud. La capacidad está
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
51
representada por el porcentaje de varianza de cada nivel que el modelo explica y se estima
mediante el coeficiente de determinación R² (Longford, 1993) que sigue
Donde var(final) representa la varianza del modelo final para el nivel en cuestión y
var(nulo) representa la varianza de ese mismo nivel en el modelo nulo. Según Murillo
(2008a) un porcentaje de varianza explicada aceptable es como mínimo de 9%. La Tabla 5
muestra los resultados para cada nivel.
Tabla 5. Varianza explicada por nivel
Var. Total Var. Entre IES Var. Estudiantes
Razonamiento Cuantitativo 27% 85% 12%
Lectura Crítica 33% 69% 23%
Competencias Ciudadanas 17% 88% 3%
Inglés 57% 80% 44%
Comunicación Escrita 32% 87% 27%
Competencias Específicas 17% 80% 3%
Es posible apreciar que los porcentajes son bastante heterogéneos, pero en general
todos explican un nivel aceptable de varianza al interior de las IES, sin embargo, al nivel de
estudiante los modelos de Competencias ciudadanas y Competencias Específicas (prueba
específica) explican sólo el 3% de la varianza.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
52
La tabla 6 muestra las diferencias entre los índices de verosimilitud de ambos
modelos, con un alfa de 0,05 en la prueba chi cuadrado, todos los modelos finales para cada
una de las pruebas fue significativo, con lo cual el modelo que considera las distintas
variables es mejor que el modelo nulo.
Tabla 6. Diferencias de los índices de verosimilitud entre el modelo final y el nulo
Dif. entre modelos Dif. De
parámetros Significancia
Razonamiento Cuantitativo 22543,623 14 0,000
Lectura Crítica 1471,998 11 0,000
Competencias Ciudadanas 6410,710 13 0,000
Inglés 4441,919 14 0,000
Comunicación Escrita 3319,121 12 0,000
Competencias Específicas 689,619 10 0,000
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
53
Discusión y conclusiones
Enmarcados en el modelo CIPP y siguiendo las variables propuestas en la figura 1, se
presentan a continuación las principales reflexiones y conclusiones acerca de los resultados
encontrados.
Variables de entrada
Estudiante
Género.
Las primeras diferencias que aparecen en los resultados del presente estudio tienen
que ver con el género de los estudiantes, en cuatro de las pruebas (a excepción de
comunicación escrita) y en la prueba específica los resultados generales de las mujeres son
significativamente inferiores a los de los hombres, lo cual pone de entrada el acento en las
brechas educativas a favor de los hombres.
Inicialmente se podría señalar una continuidad con lo observado a nivel de
educación secundaria por Posada y Mendoza (2014) respecto a la prueba Saber 11; estos
autores realizaron un estudio sobre los determinantes del logro académico de los
estudiantes de grado 11 en el periodo 2008 -2010 con una perspectiva de género y región, y
encontraron que el comportamiento de esta brecha en las áreas de lenguaje y matemáticas
se debe en gran medida a un componente “inexplicado” que se relaciona con características
no medibles de los individuos, lo cual apuntaría hacia “determinantes de orden psicológico,
sociológico o incluso biológicos” (pp. 29-30) que desbordan los alcances y métodos de las
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
54
investigaciones tradicionales del tema y aún de la política pública que es la principal
herramienta para la reducción de este tipo de brechas.
Respecto a la prueba Saber PRO, Ramírez (2014) ya había encontrado una asociación
débil y negativa con el desempeño de los estudiantes, es decir, los resultados indican que
ser mujer tiene un efecto negativo en el puntaje de la prueba Saber PRO. Resultados en esta
dirección también en el ámbito de la educación superior pero con variables dependientes
que no son pruebas estandarizadas se reportan en estudios locales (Rodríguez et al. 2014a)
y en trabajos de facultades de psicología (Jiménez et al., 2016).
La prueba de razonamiento cuantitativo fue donde se encontró la mayor diferencia
entre géneros. Se puede interpretar esto como evidencia de facilidades de aprendizaje en la
que las mujeres suelen demostrar un mayor dominio en lo concerniente al lenguaje,
mientras que los hombres tienden a tener mejores resultados en tareas espaciales, las
capacidades involucradas en la resolución de estas últimas afectarían el aprendizaje de
matemáticas -hipótesis que queda en entredicho si nos fijamos que en la prueba de lectura
crítica también las mujeres obtienen resultados significativamente inferiores. Es necesario
matizar estas explicaciones y apuntar que históricamente ha habido una sostenida
“masculinización” de las matemáticas con creencias asociadas a su complejidad y a las
aptitudes superiores de los hombres para estas, lo cual sin duda desestimula la participación
de mujeres en carreras con un alto contenido de matemáticas (Aguiar, Gutiérrez, Barragán y
Villalpando, 2011); una explicación más plausible sería que estas diferencias se deben a que
los hombres a menudo reciben mayores y mejores niveles de instrucción en matemáticas en
comparación con las mujeres (Fennema y Sherman, 1977, citado en Weerakkody y
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
55
Ediriweera, 2008), o desde otra perspectiva y extrapolando lo dicho por Posada y Mendoza
(2014) sobre los resultados en la etapa pre-universitaria:
“Ante la ausencia de diferencias estructurales significativas entre hombres y mujeres
o entre las áreas de matemáticas y lenguaje, se podría aseverar que las brechas
educativas perceptibles entre ambos grupos no se deben a diferencias de fondo en
la estructura de los procesos educativos internos de cada individuo, sino a
diferencias de “nivel”, es decir, de acumulación y dotación de factores” (p. 29).
Entendiendo por dotación de factores, una suerte de aprovisionamiento dilatado en
el tiempo de habilidades cognitivas de tipo numérico y lógico que facilitarán el desempeño
en tareas con contenidos matemáticos para los hombres.
Vale mencionar que no se observan diferencias en la prueba de comunicación
escrita, lo cual, de nuevo, contradice la suposición común de que las mujeres suelen
desempeñarse mejor en las tareas del lenguaje frente a los hombres. Uniendo esto a las
diferencias en favor de los hombres para la prueba de lectura crítica iría en contravía de tal
presunción.
Edad.
Las diferencias debidas a la edad son menos pronunciadas. Se encontraron
variaciones significativas en las pruebas de razonamiento cuantitativo y lectura crítica y en
la prueba específica, así con el aumento de la edad se ven ligeras diferencias en los puntajes.
En la primera parte de este trabajo se aseguró que la edad es quizás una de las
características más estudiadas en este tema, y que a menudo la relación que se establece
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
56
entre esta y el desempeño académico es negativa, esto es, a mayor edad se presenta
usualmente un menor rendimiento; los resultados de la presente investigación son
coherentes con lo reportado en particular en razonamiento cuantitativo y lectura crítica, es
decir, los más jóvenes tienen un mejor desempeño en competencias numéricas y lectoras.
Por el lado de la prueba específica se puede apelar a lo dicho antes respecto a que las
responsabilidades de la adultez reducen la disponibilidad de tiempo que se le pueda dedicar
al estudio; este resultado permite afirmar que las personas más jóvenes que usualmente
tienen como actividad principal la vida universitaria, terminan apropiándose en un mayor
grado de los contenidos propios de la disciplina psicológica y en consecuencia es probable
que tengan en el futuro un mejor desempeño profesional. En una palabra, la posibilidad de
dedicación absoluta al estudio tiene consecuencias directas y positivas sobre la formación
disciplinar.
Índice sociocultural.
En la primera parte de este trabajo se señalan las evidencias sobre el efecto del capital
cultural de un estudiante y su efecto en el desempeño académico en los ámbitos
universitarios. La “dotación” cultural del estudiante relacionada con los recursos culturales
familiares, ha demostrado ser un elemento de suma importancia en todos los niveles de los
procesos educativos e incluso es posible rastrear sus efectos en el acceso a la educación, al
empleo y en el favorecimiento de la movilidad social. Win y Miller (2005) encuentra para
Australia que si bien no existe una relación significativa entre el rendimiento académico de
los estudiantes en su primer año en la universidad y los recursos económicos de su hogar, el
nivel de educación y ocupación en el hogar si tiene un impacto positivo en el rendimiento
del estudiante. En otras palabras, no solo los estudiantes de entornos familiares favorables
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
57
tienen mayores posibilidades de asistir a la universidad (Marks, Fleming, Long y McMillan,
2000, citado en Win y Miller, 2005), también parecen tener mejores resultados en sus
estudios universitarios, incluso después de controlar el TER (Tertiary Entrance Rank, era un
puntaje empleado por muchas universidades de Australia para la selección de sus
estudiantes; se reemplazó en 2010 por el Australian Tertiary Admission Rank -ATAR-). Esto
es consistente con la evidencia existente presentada por Marks, McMillan y Hillman (2001,
citado en Win y Miller, 2005) en el cual se muestra que el estado ocupacional de los padres
tiene un fuerte efecto positivo en el logro de los estudiantes.
Los resultados de la presente investigación son coherentes con este cúmulo de
evidencias y resultan relevantes especialmente porque es claro que su efecto positivo es
transversal a todos los puntajes de prueba, incluso al específico. En efecto, persiste el
“efecto cuna” que se extiende más allá de los años de escolarización; este efecto se refiere a
los determinantes del aprendizaje que se pueden situar en los entornos familiares de base
en los que nacen y crecen los infantes (Brunner, 2010 pp. 22-23 presenta las variables que
se suelen contemplar como parte del “efecto cuna”)
El índice sociocultural construido para la presente investigación incluye muchas de
las variables que se incluyen en las definiciones internacionales estandarizadas y por ende
se asume que los resultados delatan una arista de este efecto, que dice también Brunner
(2010), tiene consecuencias decisivas no solo en el rendimiento escolar sino a la larga en la
vida adulta de las personas. Siguiendo lo expuesto por este autor podemos acuñar la
explicación que sobre este efecto se hace desde la economía:
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
58
“los padres de estrato socioeconómico alto y medio (con mayores niveles de
escolarización, ocupaciones bien remuneradas y por tanto un ingreso
comparativamente alto, familias relativamente estables y hogares con disponibilidad
de recursos culturales y didácticos) tienden a desarrollar creencias, expectativas y
comportamientos que -unidos a las mejores posibilidades de invertir en la educación
de sus hijos- los llevan a preocuparse, desde el primer día y a lo largo de sus vidas, de
una manera más adecuada (y exitosa) por el capital humano de aquellos.” (p. 22).
Para Brunner (2010) esta explicación aunque cierta resulta insuficiente, por lo cual
introduce su propia hipótesis que trabaja con un mayor grado de detalle: lo determinante se
ha de situar en los procesos tempranos de adquisición y desarrollo del lenguaje que se
apareja con las primeras brechas cognitivas, los modos de socialización primigenia instauran
en el infante un orden en el lenguaje, y además abonan el terreno para que se cristalice una
codificación cultural, luego en la etapa de escolaridad estas estructuras que serán o no
compatibles con las dinámicas de transmisión y adquisición de contenidos ahondará o
cuando menos sostendrá las brechas iniciales. Esta senda se proyectará hacia la vida adulta
y hacia sus posiciones en el orden de la estratificación y del desempeño en la sociedad.
Estas brechas deberían sufrir una mitigación por efecto de la educación misma, que
idealmente produce desde su centro movilidad social para las personas. La transversalidad
que se encuentra en el efecto del índice sociocultural, aunque de dimensiones discretas
delata la persistencia de las brechas de entrada entre los estudiantes, lo cual hace oportuno
insistir en la educación en general, y la educación superior en particular importan y hacen
una diferencia en la vida de las personas, todavía hay subsistencia y réplicas en su núcleo de
las diferencias sociales.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
59
Índice socioeconómico.
Se encontraron diferencias significativas para los módulos de lectura crítica,
competencias ciudadanas, inglés y en la prueba específica debidas al índice socioeconómico
del estudiante. Estos resultados son consistentes con los estudios que han reportado que las
variables de este tipo son factores que pueden favorecer en el rendimiento académico, y
que por lo tanto, al igual que la variable género, puede estar marchando brechas y
desigualdades en la educación.
Dentro de las investigaciones realizadas en educación superior, se ha encontrado
que para diferentes programas académicos esta variable está asociada con el rendimiento
en las pruebas Saber PRO, estos resultados se han reportado para los programas
académicos de administración, economía, contaduría, medicina, licenciaturas e ingenierías
(Gil, Rodríguez, Sepúlveda, Rondón y Gómez, 2013; Ramírez, 2014; Rodríguez, et al. 2014a).
Para el caso de psicología en Colombia, en un estudio realizado por ASCOFAPSI (2004 citado
en Avendaño, Jiménez y Senior, 2008) se encontró que a mayor estrato mayor puntaje en el
ECAES, y en relación, Valbuena y García (2016) encontraron que las variables con mayor
poder predictivo y recurrentes en los niveles de desempeno son las de tipo económico.
Con respecto a estos resultados, cabe señalar que no han sido solo reportados en el
contexto de la educación superior en Colombia, sino que es una tendencia en todo el ciclo
educativo y a nivel mundial. El estudio realizado por Jacobs y Wolbers (2018) que incluyeron
datos de 31 países de los continentes Asiático, Americano y Europeo, se hizo evidente la
existencia de brechas en la excelencia de los estudiantes en los resultados de las pruebas
PISA, de manera que los estudiantes que tenían un índice socioeconómico bajo tenían una
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
60
menor probabilidad de estar dentro de los estudiantes de mejor desempeño; por otro lado,
en Estados Unidos, México y Brasil, se ha encontrado que los estudiantes con índices
socioeconómicos bajos obtienen menores puntajes en las pruebas de admisión estipuladas
por las instituciones de educación superior (Zwick y Himelfarb, 2011; Yañez, Vera, &
Mungarro, 2014; Valente, 2017).
Dentro de las explicaciones de este efecto se ha considerado que las variables de
tipo socioeconómico pueden impactar en el resultado académico porque implican una serie
de condiciones económicas, culturales y sociales que podrían poner en ventaja a quienes
pueden acceder a ellas, por ejemplo, podrían tener una capacidad mayor para pagar una
mejor escuela y universidad, una mejor alimentación e incluso un mejor transporte (Mella &
Ortiz, 1999 citado en Avendaño et al., 2008), además, contarían con condiciones ideales
para el estudio, con oportunidad para acceder a computadores, internet y software
educativos.
Es importante resaltar que aunque los resultados de la prueba Saber PRO -
razonamiento abstracto y comunicación escrita- no resultaron afectados por esta variable,
no debe pasarse por alto que las variables de tipo socioeconómico no son modificables y
que de hecho pueden estar generando un círculo vicioso en el cual los estudiantes con
niveles económicos superiores siguen consolidándose como una élite, mientras que para
quienes tienen índices socioeconómicos bajos siguen generándose desigualdades en el
futuro, porque sus habilidades no están completamente desarrolladas, de manera que el
bajo logro educativo resultante los lleva a empleos de baja remuneración, lo que hace
imposible competir y ascender en la escala socioeconómica, terminado en disparidad de
ingresos en el futuro (Montt citado en Zwick y Himelfarb, 2011; Valente, 2017).
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
61
Universidad
Metodología: Metodología a distancia.
Para los programas a distancia se observó un efecto negativo en todos los puntajes
(no hubo diferencias significativas en el puntaje específico). Esto se alinea con los hallazgos
de Rodríguez, Gómez y Ariza (2014) quienes buscaron determinar si existían diferencias
estadísticamente significativas entre las modalidades de educación profesional tradicional y
la no tradicional (Educación a distancia y virtual), en cuanto a desempeño académico en los
estudiantes de pregrado que presentaron la prueba Saber PRO 2010. Los resultados
demostraron que en efecto hay una brecha de rendimiento académico en todas las áreas
analizadas (Administración, contaduría, ingenierías, licenciaturas y psicología) entre los
estudiantes de unos y otros programas, siendo superiores los de la modalidad presencial.
Con estos resultados vale la pena señalar que si bien la formación a distancia es una
buena alternativa para ampliar los niveles de cobertura de los programas de pregrado -un
propósito del sistema de educación superior colombiano-, es fundamental complementar
estos esfuerzos con una vigilancia rigurosa de la calidad de los mismos, en la misma línea de
los planteado por Rodríguez, et al (2014) quienes afirman que:
“la política nacional de acreditación debe enfocar gran parte de su atención en los
programas a distancia e impulsar al interior de las instituciones de educación
superior con la mayor oferta de estos programas, una reestructuración de los
aspectos básicos relacionados con los diseños curriculares y las estrategias
pedagógicas necesarias para elevar la calidad de estos que permita llevarla, en
principio, al nivel de las carreras de tipo presencial” (pp. 92-93).
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
62
No se trata de desvalorizar el potencial que tienen estos programas, debido a que
existen evidencias que sustentan su efectividad y señalan además, que la clave de su éxito
es el diseño, desarrollo y entrega de instrucciones (Simonson, Smaldino y Zvacek, 2015), la
implementación informada de verdaderas estrategias pedagógicas novedosas que se
compaginen con los recursos tecnológicos.
Por otra parte, hay que reconocer que en el caso colombiano los programas a
distancia hacen parte de una apuesta estatal por consolidar el proyecto educativo de
nación, en tanto se consideran medios óptimos en crecimiento que favorecen la inclusión y
cobertura (Martínez, 2013). En definitiva conviene dirigir la atención y los esfuerzos hacia lo
que se está haciendo en la actualidad en estos programas más allá de lo puramente
tecnológico e insistir que su operación adecuada debe priorizar los elementos básicos de
calidad como la formación de los docentes, desarrollo de currículos y puesta en marcha de
estrategias y metodologías pedagógicas creadas para los entornos virtuales.
Valor de la matrícula.
Se encuentra que hay un efecto negativo del valor de la matrícula en los resultados
de las pruebas –a excepción de Lectura crítica y la prueba específica-. Este efecto no implica
al nivel de no pago de matrícula y al de matrículas superiores a 7 millones, es decir,
involucra a las universidades que tienen valores de matrícula menores a $500.000 hasta las
que tienen valores entre 4 y 5,5 millones.
Es interesante notar que a medida que van aumentando los umbrales de costos de
las matrículas, el efecto negativo en los resultados se reduce, llegando incluso en
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
63
razonamiento cuantitativo y lectura crítica a detenerse en el segmento de matrículas entre
2.5 y 4 millones.
En relación con estos resultados se podría interpretar que a mayor inversión en educación
superior, mayor es el conocimiento que se adquiere en todas las áreas, acorde con la teoría
del Capital Humano la inversión en educación y/o capacitación es de suma importancia para
que en un futuro la persona o el inversor obtenga un mayor nivel de ingresos (Becker, 1964,
citado en Rodríguez, Gómez, Ariza., 2014b); aunque en este contexto no se trata de ingresos
sino de desempeños. Sin embargo, lo anterior sólo podría ser valido para valores de
matrícula superiores a 7 millones, pues no se puede interpretar que costos altos de
matrícula –hasta 5,5 millones- impliquen resultados superiores, en cambio, estos sólo harían
que el rendimiento deficiente en las pruebas disminuya.
Estos resultados se pueden asociar con lo encontrado para el factor de carácter académico,
en los cuales se evidencia un efecto negativo en el rendimiento para las IES privadas. Para la
muestra analizada, se podría afirmar que los costos de matrículas superiores a 500 y hasta
5,5 millones corresponden a universidades privadas y por lo tanto el desempeño deficiente
podría no estar relacionado con el costo de matrícula, sino con las universidades privadas de
baja calidad.
Variables de Proceso
Gestión de tiempo y preparación.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
64
Con respecto a las variables de proceso se encontró que el índice de gestión de
tiempo afectó de manera positiva los resultados de los estudiantes en los puntajes de
razonamiento cuantitativo, lectura crítica y competencias ciudadanas. Dentro de este índice
estaba contemplado la dedicación a lectura diaria por placer y la navegación en internet.
Con respecto a la variable de preparación, se encontró un efecto negativo para
razonamiento cuantitativo y lectura crítica.
Para interpretar estos resultados vale primero hacer una precisión sobre la gestión
del tiempo ya que tiene que ver más que con el tiempo total que se emplea para el estudio,
con la manera en cómo este tiempo se emplea para estudiar, de hecho García, Pérez, Talaya
y Martínez (2008) señalan que el modo como se invierte el tiempo de estudio es tan
importante o más que el tiempo mismo que se invierte en esta actividad, “la forma en cómo
los estudiantes gestionan el tiempo de estudio resulta significativa en cuanto a su relación
con el aprendizaje y resulta esencial que estos aprendan a gestionar y planificar su tiempo
de manera efectiva” (p. 246).
En el caso de los resultados de esta investigación el índice de gestión de tiempo que
se construyó sólo incluye el tiempo invertido en actividades que no son propiamente de
estudio, y a partir de esto es posible inferir indirectamente cierta posible dedicación
temporal menor al estudio en aquellas personas con niveles altos en este índice, sin
embargo en los estudiantes con valores superiores en el índice pueden estar operando
mecanismo de evaluación de tiempo, planificación y monitorización que son las conductas
que ciertamente permiten gestionar efectivamente el estudio (García et al., 2008; García y
Pérez, 2011), pero que no son identificables justamente por el tipo de variables
consideradas.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
65
Por otra parte, los resultados acerca del efecto negativo de la preparación de la
prueba en razonamiento cuantitativo y lectura crítica podría ser explicado por otras
variables, en consideración a que al ser una variable dicotómica, no es posible conocer las
razones que llevaron a los estudiantes a preparar su examen de estado, es posible especular
que contrario a lo dicho por Broc (2011) sobre la relación positiva entre variables
metacognitivas como la regulación del esfuerzo y la gestión del tiempo sobre el rendimiento
académico, la preparación del examen en este caso podría estar señalando una tentativa de
compensar vacíos formativos de programas que se enfocan en mejorar sus resultados en la
prueba de estado, sin embargo haría falta mayor investigación al respecto para identificar
con mayor precisión los determinantes de las diferencias encontradas.
Variables de contexto
Estado de calidad- Registro de alta calidad.
Se encontró que el factor de estado de calidad, en el nivel de registro de alta calidad,
afecta de manera positiva el rendimiento de los estudiantes en las competencias genéricas y
en la prueba específica; resultados consistentes con los hallazgos reportados.
Un registro de alta calidad supone un reconocimiento por parte del Estado
Colombiano a la calidad de los programas académicos y a las IES por su organización y
funcionamiento, y por el cumplimiento de su función social (Decreto 2904, de 1994, art. 1).
Este mecanismo es voluntario para las IES, garantiza el cumplimiento de unos estándares
mínimos de calidad y legitima los programas académicos a través de un proceso de
evaluación integral de diversos factores e indicadores relacionados con los contextos,
insumos, procesos y resultados o logros de las instituciones; estos deben ser valorados tanto
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
66
por la propia institución como contrastados con una evaluación de expertos externos en el
área del conocimiento.
La acreditación tanto institucional como de programas académicos es el mecanismo
de garantía de la calidad más utilizado a nivel mundial, en términos relativos, Europa y
Norteamérica tienen la mayor proporción de países con sistemas de acreditación, seguidos
por América Latina y el Caribe, Asia y el Pacífico, África, y finalmente, los Estados Árabes
(Cruz, 2009). En este sentido, aunque se pueden encontrar diferencias considerables en
cuanto a las instituciones encargadas y a los procesos evaluados en los distintos países, se
puede considerar que este mecanismo se convierte en una forma de garantizar los
estándares de calidad de la educación en el contexto de globalización.
Los estudios que relacionan la acreditación de los programas con el rendimiento
académico muestran de manera consistente resultados positivos. Van Zante (2015) reportó
que médicos graduados de universidades internacionales acreditadas que realizaron
exámenes para obtener licencias médicas en Estados Unidos, obtuvieron tasas más altas de
aprobación en los primeros intentos. Por otro lado, Cole y Cole (2017) encontraron que los
estudiantes de programas acreditados en Estados Unidos, reportan niveles más altos de
compromiso y niveles mayores en la adquisición de conocimientos y habilidades prácticas
relacionadas con su profesión. Para las carreras de psicología, se ha reportado efecto
positivo de la acreditación tanto a nivel nacional (Alzate 2008; García 2009; Valbuena y
García, 2016) como internacional, así Yu et al (citado en Maiden, Knight ,Howe y Kim, 2012)
encontraron que los puntajes en el examen de licencia para la práctica profesional en
Estados Unidos fueron más altos para estudiante de programas acreditados.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
67
En resumen, cabe destacar que es fundamental que los programas académicos de
psicología se sometan a los mecanismos de evaluación que garantizan la educación de alta
calidad, dado que se ha encontrado la asociación con la formación de profesionales más
calificados y con la prestación de servicios públicos efectivos y éticamente responsables
(Farrell, McFarland, González, Hass y Stiles, 2014), por lo tanto, se debe insistir en que los
organismos de evaluación y acreditación y, consecuentemente, los conceptos de calidad
sean partes centrales de las políticas de educación superior y de los objetivos de las IES.
Carácter académico.
Según el Ministerio de Educación Nacional (2010b) las IES se clasifican en: A, según
su carácter académico, y B, según su naturaleza jurídica. En lo que se refiere al carácter
académico, se encontró un efecto negativo del nivel de institución universitaria sobre el
puntaje de la prueba específica.
Según el Artículo 18, de la Ley 30, son instituciones universitarias o escuelas
tecnológicas, aquellas facultadas para adelantar programas de formación en ocupaciones,
programas de formación académica en profesiones o disciplinas y programas de
especialización; y están diferenciadas de las universidades, pues, estas últimas desempeñan
con criterio de universalidad las actividades de investigación científica, la formación
académica en profesiones o disciplinas; y la producción, desarrollo y transmisión del
conocimiento y de la cultura universal y nacional.
Al tener en cuenta que las competencias específicas son las que se asocian con esta
variable, es posible pensar que el efecto encontrado se deba a que las instituciones
universitarias o escuelas tecnológicas tienen, en comparación con las universidades, poca
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
68
experiencia en investigación científica de alto nivel, menor número de programas
académicos y programas en ciencias básicas, y menor número de docentes, de horas de
dedicación y de niveles de formación académica (Ley 30, Artículo 20).
En el marco anterior, las instituciones universitarias o escuelas tecnológicas podrían
estarían favoreciendo aspectos muy puntuales de la formación del psicólogo, formando
profesionales con conocimientos más prácticos (Jirón 2008), olvidando el desarrollo de
habilidades en investigación. Sin embargo, se ha encontrado que estas últimas tienen
efectos en los resultados académicos, Yu et al. (citado en Maiden et al., 2012) encontró que
los psicólogos que tenían puntajes superiores en los exámenes de licencia para la práctica
profesional provenían de programas académicos orientados a la investigación.
Naturaleza u origen.
La Clasificación B de las IES está dada según la naturaleza jurídica, la cual define las
principales características que desde lo jurídico y administrativo distinguen a una y otra
persona jurídica y tiene que ver con el origen de su creación, de manera que estas se
pueden clasificar como públicas (oficial) o privadas (no oficial).
En lo que se refiere al factor de carácter académico, se encontró un efecto negativo
en los resultados para las instituciones con naturaleza no oficial. Para el nivel de corporación
se encontró efecto en todos los puntajes generales y en la prueba específica; mientras que
para el nivel de fundación en todos los puntajes generales. En cuanto a las instituciones de
nivel oficial, solo se encontró un efecto negativo para competencias ciudadanas en las
instituciones oficiales municipal.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
69
Con respecto a estos resultados, se puede resaltar que distintos estudios han
encontrado que las universidades públicas tienen mejores resultados en comparación con las
privadas. En relación, Gil et al. (2013) sugieren que estos resultados pueden ser debidos a que
las instituciones oficiales tienen un posible sesgo de selección al incluir diversos filtros, tales
como los resultados de pruebas específicas de la institución o resultado de la prueba Saber
11; así mismo, y en concordancia, Rodríguez (2015) encontró que las instituciones que
seleccionan a sus aspirantes tienen un mejor desempeño frente a las que no llevan a cabo
dichos procesos de selección.
En esta misma dirección, Guarín et al.(2016), señalan que al comparar el rendimiento
académico, definido como el progreso entre el examen de entrada a la universidad y los
resultados de las pruebas estandarizadas, las universidades públicas obtienen mejores
resultados, por lo tanto, aseguran que en general el valor agregado de las universidades
públicas en relación con las privadas es positivo y significativo.
En concordancia con Guarín et. al (2016), y teniendo en cuenta que el 87,62% de las
universidades incluidas en este estudio eran privadas, debe resaltarse la importancia de la
promoción e implementación de una mayor regulación de dichas instituciones, esto con la
intención de superar la brecha con respecto a los resultados de dichas instituciones.
De manera general, se puede concluir que al hacer un análisis integrado de los
resultados encontrados, las variables que tienen mayor incidencia sobre el rendimiento
académico son las de entrada del estudiante. Estos resultados son consistentes con el
informe Coleman de 1966 de la primera evaluación externa de un sistema educativo
mediante pruebas objetivas. Según Carabaña (2016), las principales conclusiones de este
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
70
informe siguen vigentes y han sido confirmadas por la investigación posterior, de manera
que al preguntarse sobre sí las instituciones educativas cumplen o no un rol determinante o
por lo menos importante en el desempeño académico del escolar, se sigue encontrando que
no hay factores escolares que den cuenta de mucha variación en el aprendizaje y que solo
una pequena porción de varianza en el rendimiento es explicada por las variaciones en
instalaciones y currículum.
Este panorama nos introduce en el debate amplio y complejo sobre el rol de la
educación en la sociedad que se puede circunscribir, según Brunner (2010), en dos extremos
problemáticos: por una parte están los autores (v.g. Bernstein, 1993; Bowles, 2007; Mc
Laren, 2010 citados en Brunner, 2010 p. 32) que sostienen que la educación simplemente
reproduce y conserva las estructuras de desigualdad que caracterizan a la sociedad
contemporánea en su conjunto, y por el otro aquellos que un poco utópicamente creen que
la educación tiene dentro de sí el potencial único de transformar completamente estas
estructuras, para orientar desde su base a la sociedad a una igualación de oportunidades de
acceso y resultados de aprendizaje. Vistos en su generalidad, los resultados del presente
trabajo irían en la dirección indicada por los primeros autores sobre el aparente efecto nulo
de la escuela (o universidad en este caso) en favor de la perpetuación de las brechas
estructurales de la sociedad. Sin embargo se considera idónea la posición del propio
Brunner (2010) por un punto medio entre las dos posiciones arriba mencionadas, es decir,
conviene situarse dentro de una reserva y cautela sobre las esperanzas en que la educación
por sí misma será capaz de invertir de golpe y definitivamente las brechas sociales, sigue
creyendo en que esta es importante y fundamental, aún a pesar de sus condicionantes y
excepciones. De esto se desprende un ánimo por seguir trabajando con todos los medios
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
71
posibles para promover cambios y mejoras en la educación en general, y en la educación
superior en particular, pues en definitiva sólo así se podrán introducir progresivamente las
transformaciones que permitirán refinar lo que inevitablemente sigue su propio curso.
Finalmente, es importante señalar algunas limitaciones y recomendaciones para
futuros estudios. En primer lugar, debido al acceso restringido, los datos perdidos y la falta
de información, algunas de las variables que la literatura ha reportado que tienen efecto
sobre el rendimiento de los estudiantes no fueron incluidas en el modelo o necesitan
revisión, así la variable de horas de trabajo no se incluyó por la cantidad de datos perdidos,
sin embargo, la literatura reporta que esta tiene efecto negativo sobre los estudiantes
(Lundberg, 2003; Rodríguez et al. 2014a); por otro lado, las variables de razón profesor-
estudiante, índice de deserción y nivel de formación de los profesores no fueron incluidas
por la falta de información en las bases de datos disponibles, sin embargo, sería importante
incluirlas en futuras investigaciones dado que en la literatura se ha reportado que tienen un
papel significativo en el rendimiento de los estudiantes. Con respecto a la primera, Ajani y
Akinyele (2014) reportan una relación significativa entre la proporción maestro-estudiante y
el logro académico de los estudiantes, de manera que las clases más pequeñas benefician a
estudiantes porque reciben atención individual de los maestros, en relación, Koc y Celik
(2015) encontraron que las ciudades con mayor número de estudiantes por maestro
tienden a tener un bajo rendimiento en el examen de educación superior. En lo que refiere
a la formación del docente, se ha encontrado que un porcentaje mayor de docentes con
maestría y doctorado tiene un impacto positivo en los resultados de las pruebas de logro
(Hanushek y Rivkin, 2012; RAND Corporation, 2013; citados en Rodríguez 2015).
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
72
Por otro lado, las variables que fueron incluidas en el modelo y que deberían ser
objeto de revisión para futuros estudios son el índice de flexibilidad y el número de
semilleros y/o grupos de investigación. El acceso a esta información fue a través de las
páginas web de las universidades, sin embargo, aunque en ellas se describe los programas,
no fue posible conocer con exactitud el número de semilleros y/o grupos de investigación
para cada de ellas, ni calcular con certeza el número de créditos elegibles u optativos, de ahí
que deba revisarse la confiabilidad de los índices de flexibilidad utilizados en este estudio.
Además de las variables mencionadas anteriormente es recomendable que futuras
investigaciones incluyan otros factores que pueden estar afectando el rendimiento de los
estudiantes en el examen Saber PRO. Por ejemplo, se ha reportado que las escuelas
secundarias tienen un impacto en el rendimiento de los estudiantes universitarios, incluso
más importante que características estudiantiles individuales, por lo tanto, sería importante
incluir factores relacionados con la educación básica y media (Win y Miller, 2005). Por otro
lado, en relación al nivel de universidad, sería importante incluir variables de
infraestructura, por ejemplo, indagar sobre las instalaciones y condiciones físicas de la
institución, por ejemplo de oficinas, salas de conferencias, aulas, laboratorios, instalaciones
bibliotecarias y de informática, además de los recursos, tales como el número de libros y
aulas por estudiante y la existencia de red inalámbrica (Zabriskie y McCormick, 2000; Melo
et al., 2014; Rodríguez 2015); y en lo referente a las características de los profesores, es
importante evaluar las metodologías y prácticas de enseñanza y de evaluación, dado que se
ha encontrado que profesores universitarios que implementa prácticas de enseñanza que
promueven el aprendizaje activo ejercen efectos beneficiosos para el estudiante (Tinnesz,
Ahuna, & Kiener, 2006). Finalmente, en relación con los estudiantes, se ha encontrado que
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
73
en contextos académicos el rendimiento académico puede depender también de destrezas
emocionales, de autocontrol y de control del entorno actitudinal (Montero et al., 2007) -
elementos que también se encuentran en la denominada Inteligencia Emocional y que en
general también ha demostrado una influencia positiva en el desempeño académico de
estudiantes universitarios de otras latitudes (v.g. Ranasinghe, Wathurapatha,
Mathangasinghe y Ponnamperuma, 2017); de aspectos de índole actitudinal, métodos de
estudio y estilos de aprendizaje (Tejedor y García, 2007); así como con satisfacción
educacional, salud y conductas saludables (Ansari y Stock, 2010); en síntesis, se trata de
dirigir la atención también hacia las habilidades no cognitivas que se perfilan como críticas
para el éxito y logro académico de todo tipo de estudiantes (Khine, 2016). Aunque es
entendible que se puede presentar dificultades en la recolección de información para
muchas de las variables señaladas anteriormente, es importante para que el país construya
y consoliden sistemas y bases de datos de distintas variables de índole educativo para que
próximos estudios puedan tener los insumos requeridos para una investigación más
completa.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
74
Referencias
Aguiar, M. E.; Gutiérrez, H.; Barragan, A. L. & Villalpando, J. F.(2011). El rendimiento académico
de las mujeres en matemáticas: Análisis bibliográfico y un estudio de caso en educación
superior en México. Actividades Investigativas en Educación, 11 (2) 1-24.
Ajani, I. R., & Akinyele, O. B. (2014). Effects of Student-Teacher Ratio on Academic
Achievement of Selected Secondary School Students in Port Harcourt Metropolis, Nigeria.
Journal of Education and Practice, 24 (5), 100-106.
Alzate, G. (2008) Efectos de la acreditación en el mejoramiento de la calidad de los programas de
psicología de Colombia. Universitas psychologica, 2, 425-439.
Ansari, W. E. & Stock, C. (2010). Is the health and wellbeing of university students associated with
their academic performance? Cross sectional findings from the United Kingdom.
International Journal of Environmental Research and Public Health, 7, 509-527.
doi:10.3390/ijerph7020509
ASCOFAPSI (n.d.) Recuperado Enero 20, 2019 de https://www.ascofapsi.org.co/
Avendaño, B., Jiménez, M. Y., & Senior, M. (2008). Caracterización de un grupo de estudiantes
que obtuvo altos puntajes en el Examen de Calidad de la Educación Superior. ECAES,
años,2003 - 2006. Suma psicológica, 15 (2) 355-384.
Bahamón, M. J., & Ruiz, L. R. (2014). Caracterización de la capacidad intelectual, factores
sociodemográficos y académicos de estudiantes con alto y bajo desempeño en los exámenes
Saber PRO año 2012. Avances en Psicología Latinoamericana, 32 (3), 459-476.
Broc, M. A. (2011). Voluntad para estudiar, regulación del esfuerzo, gestión eficaz del tiempo y
rendimiento académico en alumnos universitarios. Revista de Investigación Educativa. 29,
(1), 171-185.
Brunner, J. J. (2010). Lenguaje del hogar, capital cultural y escuela. Revista Pensamiento
Educativo, 46 (1), 17-44.
Bryk, A., & Raudenbush, S. (1992). Hierarchical linear models. Applications and data analysis
methods. Mewbury Park, CA: SAGE.
Canales, A. & De los Ríos, D. (2007). Factores explicativos de la deserción universitaria. Calidad
en la Educación, 26. 173 - 201
Carabaña, J. (2016). El informe Coleman, 50 años después. Revista de la Asociación de Sociología
de la Educación (RASE), 9 (1), 9-21.
Castaño, G. A., & García, L. (2012). Una revisión teórica de la calidad de la educación superior en
el contexto colombiano. Educación y Educadores, 15 (2), 219-243.
Cole, J. S., & Cole, S. T. (2008). Accreditation and Educational Quality: Are Students in
Accredited Programs More Academically Engaged?. Schole: A Journal of Leisure Studies
and Recreation Education, 23 (1), 75-90.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
75
Consejo Nacional de Acreditación [CNA] (2013). Lineamientos para la acreditación de programas
de pregrado. Recuperado de: https://www.cna.gov.co/1741/articles-
186359_pregrado_2013.pdf
Cruz, L. Y. (2009). La acreditación como mecanismo para la garantía del compromiso social de
las universidades [tesis doctoral].Universidad de Cataluña, Barcelona
Decreto 2904 (1994). Ministerio de Educación Nacional, Colombia.
Farrell, P., McFarland, M., Gonzalez, R., Hass, M., & Stiles, D. A. (2014). The role of international
accreditation in promoting academic and professional preparation in school psychology.
International Journal of School & Educational Psychology, 2 (3), 205-213.
Flórez, T., & Rojas, J. M. (2010). Factores asociados a la calidad en las facultades de Derecho de
alto rendimiento académico en Colombia. Educación y Educadores, 13 (2), 185-197.
Garbanzo, G. M. (2007). Factores asociados al rendimiento académico en estudiantes
universitarios, una reflexión desde la calidad de la educación superior pública. Educación, 31
(1), 43- 64.
García, G. (2009) Los ECAES de psicología: Resultados comparativos 2004 – 2008 [Documento
en pdf]. Bogotá: ASCOFAPSI. Recuperado de:
http://ascofapsi.org.co/convocatoria/2018/Informe_General_ECAES.pdf
García, A. M. (2014). Rendimiento académico y abandono universitario: Modelos, resultados y
alcances de la producción académica en la Argentina. Revista Argentina de Educación
Superior, (8), 9-38.
García, R. & Pérez, F. (2011). Validez predictiva e incremental de las habilidades de
autorregulación sobre el éxito académico en la universidad. Revista de psicodidáctica, 16 (2),
231-250.
García, R.; Pérez, F., Talaya, I. & Martínez, E. (2008). Análisis de la gestión del tiempo académico
de los estudiantes de nuevo ingreso en la titulación de psicología: capacidad predictiva y
análisis comparativo entre dos instrumentos de evaluación. International journal of
developmental and educational psychology, 2 (1), 245-252.
Gaviria A. & Barrientos J.H, (2001). Determinantes de la calidad de la educación en Colombia.
Archivos de Economía Departamento Nacional de Planeación, 88 (159). Recuperado de
https://www.repository.fedesarrollo.org.co/handle/11445/1249
Gaviria, J. & Castro, M. (2005). Modelos jerárquicos lineales. Madrid: Editorial la Muralla.
Gil, F. A., Rodríguez, V. A., Sepúlveda, L. A., Rondón, M. A., & Gómez, C. (2013). Impacto de
las facultades de medicina y de los estudiantes sobre los resultados en la prueba nacional de
calidad de la educación superior (SABER PRO). Revista Colombiana de Anestesiología,
41(3), 196-204.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
76
Giraldo, U., Abad, D., & Díaz, E. (2007). Bases para una política de calidad de la educación
superior en Colombia. Recuperado de: https://www.cna.gov.co/1741/articles-
186502_doc_academico10.pdf
Guarín, A., Londoño, S., Medina, C. A., Parra, J., Posso, C. M., & Vélez, C. E. (2016). Estimating
the effect of attending a public versus a private university in Colombia on academic
achievement. Borradores de Economía, n° 968.
Iglesias, L. & Vera, V. (2010). Factores psicológicos, sociales y demográficos asociados al
rendimiento académico en estudiantes universitarios. Revista de psicología, 12 (1), 216-236.
Instituto Colombiano para la Evaluación de la Educación [ICFES] (2018). El Examen Saber Pro en
el 2017. Boletín Saber en Breve. Bogotá. Recuperado de:
http://www.icfes.gov.co/divulgaciones- establecimientos/boletin-saber-en-
breve/publication/edicion-30-boletin-saber-en-breve/32/direct
Jacobs, B., & Wolbers, M. H. (2018). Inequality in top performance: an examination of cross-
country variation in excellence gaps across different levels of parental socioeconomic status.
Educational Research and Evaluation, 24 (1-2), 68-87.
Jiménez, C., Caldera, J.,Reynoso, O., & Zamora, M.. (2016). Variables asociadas al rendimiento en
el Examen General para el Egreso de Licenciatura. El caso de Psicología. Revista de la
Educación Superior, 45, 75–88
Jirón, M. (2008). La institución de la modalidad de educación tecnológica en Colombia: una
mirada. Revista Facultad de Ciencias Económicas: Investigación y Reflexión, 16 (1), 9-22.
Khine, M. S. & Areepattamannil, S. (Eds.). (2016). Non-cognitive skills and factors in educational
attainment. Springer.
Koc, N., & Celik, B. (2015). The Impact of Number of Students per Teacher on Student
Achievement. Procedia-Social and Behavioral Sciences, 177, 65-70.
Ley N° 30. Congreso de Colombia, Bogotá, Colombia, Diciembre 28 de 1992.
Longford, N. T. (1993). Random Coefficient Models. Oxford: Oxford University Press.
Lundberg, C. (2003). “The influence of time-limitations, faculty and peer relationships on adult
student learning: a causal model”. The Journal of Higher Education, 6 (74), 665-688
Maiden, R., Knight, B. G., Howe, J. L., & Kim, S. (2012). Accreditation in the profession of
psychology: A cautionary tale. Gerontology & geriatrics education, 33 (1), 55-74.
Martinez, P. (2013). Prólogo. En N. Arboleda & C. Rama (Eds.), La educación superior a distancia
y virtual en Colombia: Nuevas realidades. (pp. 13-20). Bogotá: Asociación colombiana de
instituciones de Educación Superior con Programas a Distancia y Virtual, ACESAD,
Melo, L. A., Ramos, J. E. & Hernández, P. O. (2014). La educación superior en Colombia:
situación actual y análisis de eficiencia. Borradores de economía, 808 (1), 2-9.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
77
Ministerio de Educación Nacional [MEN]. (05 de junio de 2001). Calidad en Educación Superior.
Altablero. El periódico de un país que educa y se educa, 5. Recuperado de:
https://www.mineducacion.gov.co/1621/article-87349.html
Ministerio de Educación Nacional [MEN]. (2010). Instituciones de Educación Superior
Recuperado de: https://www.mineducacion.gov.co/1759/w3-article-231240.html
Montero, E., & Villalobos, J., & Valverde, A. (2007). Factores institucionales, pedagógicos,
psicosociales y sociodemográficos asociados al rendimiento académico en la Universidad de
Costa Rica: un análisis multinivel. Relieve. Revista Electrónica de Investigación y
Evaluación Educativa, 13 (2), 215-234.
Moreira, T. (2013). Factores de contexto, entrada y proceso asociados al rendimiento en
Matemática: un estudio multinivel. Actualidad en Psicología, 27 (114), 19-38. ISSN 0258-
6444.
Murillo, F. J. (2008a). Los modelos multinivel como herramienta para la investigación educativa.
Magis, Revista Internacional de Investigación en Educación, 1, 45-62.
Murillo, F. J. (2008b). Hacia un modelo de eficacia escolar. Estudio multinivel sobre los factores
de eficacia en las escuelas españolas. Revista Iberoamericana sobre Calidad, Eficacia y
Cambio en Educación, 6 (1), 4-28.
Navarro, S., & Blandón, S. (2017). Determinantes que inciden en la calidad de rendimiento
académico de los estudiantes de ingeniería. Revista Científica de FAREM-Estelí. Medio
ambiente, tecnología y desarrollo humano, 24, 126-142
Observatorio cación Superior en Psicología en Colombia [ASCOFAPSI]. (2012) Documentos.
Recuperado dehttp://observatorio.ascofapsi.org.co/documentos/de la Calidad en la Edu
Pardo, A., Ruiz, M., & San Martín, R. (2007). Cómo ajustar e interpretar modelos multinivel con
SPSS. Psicothema, 19 (2), 308-321.
Peña, E. (2011). Modelos multinivel de los factores de eficacia escolar en el programa PISA. (tesis
doctoral). Universidad de Oviedo, Oviedo, España.
Posada J. M. & Mendoza, F. (2014, noviembre). Determinantes del logro académico de los
estudiantes de grado 11 en el periodo 2008 - 2010. Una perspectiva de género y región.
Estudios sobre calidad de la educación en Colombia, ICFES, Ministerio de Educación
Nacional. Bogotá, Colombia. Recuperado de:
http://www2.icfes.gov.co/docman/investigadores-y-estudiantes-de-posgrado/resultados-de-
investigaciones/factores-asociados/educacion-superior/1011-determinantes-del-logro-
academico-de-los-estudiantes-de-grado-11-en-el-periodo-2008-2010-una-perspectiva-de-
genero-y-region
Ramírez, C. (2014). Factores asociados al desempeño académico según nivel de formación
pregrado y género de los estudiantes de educación superior Colombia. Revista Colombiana
de Educación, (66), 201-222.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
78
Ranasinghe, P., Wathurapatha, W. S., Mathangasinghe, Y. & Ponnamperuma, G. (2017).
Emotional intelligence, perceived stress and academic performance of Sri Lankan medical
undergraduates. BMC medical education, 17 (1), 41.
Rodríguez, G., Ariza, M. & Ramos, J. L. (2014a). Calidad institucional y rendimiento académico:
El caso de las universidades del Caribe colombiano. Perfiles Educativos, 36 (143), 10-29.
https://doi.org/10.1016/S0185-2698(14)70607-5.
Rodríguez, G., Gómez, V & Ariza, M (2014b). Calidad de la educación superior a distancia y
virtual: un análisis de desempeño académico en Colombia. Investigación y desarrollo, 22 (1),
58-99. http://dx.doi.org/10.14482/indes.22.1.6079
Rodríguez, R. (2015). Medición del valor agregado para la educación superior en Bogotá. [tesis de
maestría]. Universidad Santo Tomás, Bogotá, Colombia.
Simonson, M.; Smaldino, S. & Zvacek, S. (2015). Foundations of Distance Education. En Teaching
and Learning at a Distance. Charlotte, NC: Information Age Publishing, Inc. Disponible en:
https://books.google.com.co/books?hl=en&lr=&id=qgUoDwAAQBAJ&oi=fnd&pg=PP1&dq
=distance+education&ots=SPYixOCzi1&sig=RKKYHcb-
ZJFpSFGsh4cKaDVLzjY&redir_esc=y#v=onepage&q=distance%20education&f=false
Tejedor, F. J. & García, A. (2007). Causas del bajo rendimiento del estudiante universitario (en
opinión de los profesores y alumnos). Propuestas de mejora en el marco del EEES. Revista de
educación, 342 (1), 443-473.
Tinnesz, C. G., Ahuna, K. H., & Kiener, M. (2006). Toward college success: Internalizing active
and dynamic strategies. College Teaching, 54 (4), 302-306.
Tirado, M. C. (2017). Aporte de los exámenes de estado, Saber Pro, al desarrollo curricular y la
calidad en dos programas de psicología de Bogotá D.C. (tesis de maestría en psicología).
Universidad Católica de Colombia, Bogotá. Recuperado de:
https://repository.ucatolica.edu.co/bitstream/10983/15028/1/APORTE%20DE%20LOS%20E
X%C3%81MENES%20DE%20ESTADO1.pdf
Valbuena, C., & García, G. (2016). Factores Asociados al Desempeño de los Estudiantes de
Psicología en Colombia en las Pruebas Saber-Pro. Bogotá: ASCOFAPSI. Recuperado de:
http://ascofapsi.org.co/convocatoria/2018/Factores_Asociados_desempeno_SABER-PRO.pdf
Valens, M. (2011). Calidad de la Educación Superior en Colombia: un análisis multinivel con base
en el ECAES de Economía 2004. Sociedad y Economía, (13), 132-154
Valente, R. R. (2017). The vicious circle: effects of race and class on university entrance in Brazil.
Race ethnicity and education, 20 (6), 851-864.
Van Zanten, M. (2015). The association between medical education accreditation and the
examination performance of internationally educated physicians seeking certification in the
United States. Perspectives on medical education, 4 (3), 142-145.
Villa, M. D. (2002). Flexibilidad y educación superior en Colombia. Icfes. Bogotá, Colombia.
Semillero de investigación en metodología y evaluación en psicología y educación | Universidad Nacional de Colombia |
Sede Bogotá | Facultad de Ciencias Humanas | Departamento de Psicología
79
Weerakkody, W. A. S. y Ediriweera, A. N. (2008). Influence of gender on academic performance:
an empirical study of human resource management students (undergraduates) in university of
Kelaniya, Sri Lanka. Proceedings of the Fifth International Conference on Business
Management. Recuperado de:
https://www.researchgate.net/publication/280831328_INFLUENCE_OF_GENDER_ON_AC
ADEMIC_PERFORMANCE_AN_EMPIRICAL_STUDY_OF_HUMAN_RESOURCE_MA
NAGEMENT_STUDENTS_UNDERGRADUATES_IN_UNIVERSITY_OF_KELANIYA_
SRI_LANKA
Win, R. y Miller, P. W. (2005). The effects of individual and school factors on University Students’
academic performance. The Australian Economic Review, 38 (1), 1-18.
Yañez, A., Vera, J. Á., & Mungarro, J. E. (2014). El proceso de admisión de las escuelas normales
y los antecedentes socioeconómicos como predictores del rendimiento académico. Revista
Intercontinental de Psicología y Educación, 16 (2), 111-129.
Zabriskie, R. B., & McCormick, B. P. (2000). Accreditation and academic quality: A comparison
with healthcare accreditation. Schole: A Journal of Leisure Studies and Recreation
Education, 15 (1), 31-45.
Zwick, R., & Himelfarb, I. (2011). The Effect of High School Socioeconomic Status on the
Predictive Validity of SAT Scores and High School Grade-Point Average. Journal of
Educational Measurement, 48 (2), 101-121 https://doi.org/10.1111/j.1745-
3984.2011.00136.x