una comparación internacional de la eficiencia de...

¿SON EFICIENTES EN DOCENCIA, INVESTIGACIÓN Y TRANSFERENCIA DE CONOCIMIENTO LAS UNIVERSIDADES PÚBLICAS ESPAÑOLAS? MEDIDA Y DETERMINANTES

CAPÍTULO 3: PRODUCCIÓN EDUCATIVA Y EFICIENCIA 653

Una comparación internacional de la eficiencia de sistemas educativos.

Un enfoque dinámico para el periodo 2007-2011.

VÍCTOR GIMÉNEZ Universitat Autònoma de Barcelona

CLAUDIO THIEME Universidad Diego Portales

EMILI TORTOSA-AUSINA Universitat Jaume I e Ivie

DIEGO PRIOR Universitat Autònoma de Barcelona

Este estudio utiliza el índice global de productividad de Malmquist-Luenberger para medir el desempeño de los sistemas educativos de 28 países participantes en el TIMSS 2007 y 2011 para el octavo grado de los estudiantes de educación básica en la disciplina de matemáticas. Esta metodología es especialmente apropiada tanto por sus propiedades deseables, así como por su adecuación al contexto educativo. Los resultados indican que los países participantes en el estudio no sólo eligieron diferentes caminos para

mejorar su rendimiento educativo, sino que además, variaron notablemente entre ellos. Un resultado destacable es que el rendimiento educativo promedio se deterioró entre 2007 y 2011, aunque también se han identificado casos de éxito en varios países en la mejora de la igualdad. Palabras clave: educación, eficiencia, DEA, Malmquist-Luenberger, TIMSS. Clasificación JEL: C61, H52, I21.

INVESTIGACIONES DE ECONOMÍA DE LA EDUCACIÓN NÚMERO 11

654 CHAPTER 3: EDUCATIONAL PRODUCTION AND EFFICIENCY

1. INTRODUCCIÓN

En un mundo caracterizado por la rapidez del cambio tecnológico y la importancia de los procesos de innovación, el nivel de logro académico que obtienen los estudiantes de un país es un imperativo educativo para todos los países que desean mejorar los niveles de riqueza y bienestar de sus ciudadanos. Por tal razón, no es de extrañar que en el campo de la política pública en educación se aprecie una creciente preocupación en la evaluación del aprendizaje de los estudiantes (Denvir & Brown, 1986; Ercikan, 2006). La comprensión de los resultados educativos es fundamental para una efectiva planificación de la política educativa y la evaluación de sus reformas.

En tal sentido y muy recientemente, la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA) ha dado a conocer los resultados de la quinta versión de su prueba sobre las tendencias internacionales en Matemáticas y Ciencias (TIMSS). A partir de ello, TIMSS 2011 evalúa y describe el aprendizaje de los estudiantes en los países participantes, para estas dos disciplinas, entregando adicionalmente información vital sobre los principales factores curriculares y relacionados con los recursos que pueden afectar el proceso de enseñanza y aprendizaje.

Si bien los resultados promedio de logro académico obtenidos por un país en una prueba estandarizada son un buen reflejo del nivel académico de sus estudiantes (como TIMSS o PISA), no son por sí solos, un indicador del desempeño del trabajo realizado por los gestores de su sistema escolar. En efecto, las principales limitaciones asociadas con estos test internacionales estandarizados son que (a) la evaluación del desempeño de una organización (o país, en este caso) no depende exclusivamente de variables de resultados. Para ello se suele utilizar indicadores de eficiencia que mide y relaciona diferentes aspectos de la función de producción. Los resultados educativos (outputs) son consecuencia de los recursos provistos, el proceso y variables del entorno ajenos al control de los gestores educativos (Teddlie and Reynolds, 2000); (b) para un país, la medida de los resultados del proceso educativo no debe circunscribirse únicamente a los conocimientos adquiridos durante la etapa escolar por parte de sus estudiantes, sino que debiera incorporar otros resultados como por ejemplo el porcentaje de estudiantes que no alcanza estándares mínimos de aprendizaje (lo que da cuenta de un resultado indeseable de inequidad educativa); y (c) la medición en un momento del tiempo de los logros educativos de sus estudiantes imposibilitan distinguir cuánto de este logro proviene de factores inherentes al propio estudiante y su familia o de estrategias y acciones puestas en marcha en administraciones anteriores.

Hasta donde conocemos, son escasos los estudios previos que comparan el desempeño de los sistemas educativos de distintos países y no existen estudios previos que analicen el cambio de desempeño. En efecto, dentro de los pocos estudios existentes que han abordado parcialmente la problemática anterior destacan Giménez et al. (2007), quienes abordan el primer problema descrito anteriormente, utilizando para ello Data Envelopment Analysis para analizar la eficiencia y el máximo output potencial de los sistemas educativos de 31 países con información de TIMSS 1999. Por su parte, Thieme et al. (2012) realizan similar comparación para 54 países participantes de PISA 2006 abordando las dos primeras limitaciones descritas

UNA COMPARACIÓN INTERNACIONAL DE LA EFICIENCIA DE SISTEMAS EDUCATIVOS. UN ENFOQUE DINÁMICO PARA EL PERIODO 2007-2011


anteriormente. Utilizan funciones direccionales de distancia (DDF) para evaluar indicadores de eficiencia que relacionan variables de resultados con variables de recursos utilizados en la producción de educación. Los autores evalúan conjuntamente outputs deseables de logro académico de los estudiantes con outputs indeseables de inequidad educativa. Sus resultados muestran que es factible para un sistema educativo altos aprendizajes de sus alumnos y a la vez obtener bajos niveles de inequidad; pero que en la mayoría de los casos ambas dimensiones requieren mejoras sustanciales.

Sin embargo, para evaluar adecuadamente el desempeño de los sistemas educativos queda pendiente la tercera limitación de este tipo de estudios que dice relación con el cambio del desempeño a través del tiempo. Dar cuenta de ello resulta prioritario debido a que existe convencimiento en la comunidad educativa que más importante que medir el logro de los estudiantes es evaluar cuánto han progresado estos estudiantes y cuánto de ello es asignable al sistema educativo y no a factores externos a él. Esta línea de trabajo en investigación en educación los cataloga como estudios de “crecimiento” y requiere de al menos dos evaluaciones en distintos momentos del tiempo.

Por tanto, y de acuerdo a todo lo anterior, un buen sistema educativo no es sólo aquel que es capaz de obtener altos resultados promedio de logro académico de sus estudiantes, sino también aquel que asegura que todos sus estudiantes progresen. Para ello, también resulta necesario desarrollar estrategias que posibiliten que sus estudiantes más desventajados progresen y obtengan estándares, al menos básicos. De esta forma, un sistema educativo que evoluciona satisfactoriamente será aquel que logra mejorar el promedio de logro académico de sus estudiantes a la vez que minimiza el porcentaje de alumnos que no logra siquiera estándares básicos de aprendizajes. Del mismo modo, el cambio en la dotación de recursos que para ello utiliza dará cuenta si estos cambios en la consecución de objetivos educativos (positivos o negativos) obedecen a un cambio técnico (producto de la mejora en la provisión de recursos puestos a disposición de la educación) o por mejora de la eficiencia en su utilización.

Para evaluar esta situación, desde la investigación de operaciones se han desarrollado y perfeccionado distintas medidas que evalúan el cambio de eficiencia en el tiempo en un contexto no paramétrico (Malmquist, 1953; Färe y Grosskopf, 1992; Chung et al., 1997; Pastor y Lovell, 2005; Luenberger, 1992; entre muchos otros). En nuestro caso, para la medición del cambio en el desempeño de los sistemas educativos en la consecución de objetivos educativos que incorpora tanto good outputs como bad outputs utilizaremos el índice global de Malmquist-Luenberger (de aquí en adelante, índice GML) desarrollado por Oh (2010). El índice GML corrige la debilidad del Malmquist-Luenberger index (ML) al solucionar el problema de infactibilidad de la programación lineal al medir distintos períodos de corte transversal con funciones distancia direccionales (DDFs) a partir de los aportes Luenberger (1992) y Pastor y Lovell (2005).

El índice GML se aplica para medir el cambio en el desempeño de los sistemas educativos de 28 países participantes de TIMSS 2007 y 2011 para el octavo grado de enseñanza en la disciplina de matemáticas.



El artículo es organizado de la siguiente forma. En la sección 2 se describen los aspectos metodológicos del índice global de Malmquist-Luenberger (GML) y su descomposición para evaluar el desempeño de los sistemas educativos sobre el tiempo. Los datos utilizados para el análisis de los sistemas educativos es presentada en la sección 3. Los principales resultados son presentados en la sección 4, y en la sección 5 las conclusiones del artículo.

2. METODOLOGÍA

Los estudios de eficiencia dinámicos emplean a menudo el índice de Malmquist (Caves et al., 1982). Este índice permite explicar el cambio en la productividad total de los factores como producto del cambio en eficiencia o catching-up y del cambio tecnológico. Chung et al. (1997) modificaron el índice de Malmquist para aplicarlo al caso funciones direccionales de distancia (DDF). Éstas han sido ampliamente utilizadas en los estudios de medida de la eficiencia que incorporan el impacto ambiental de las unidades analizadas a partir de la consideración de los bad outputs del proceso productivo (Sueyoshi y Goto, 2010; Färe et al., 2005; Watanable y Tanaka, 2007). El nuevo índice se denominó Mamlquist-Luenberger.

Sin embargo, ambos índices adolecen de dos problemas (Pastor y Lovell, 2005; Oh, 2010). En primer lugar, no se asegura su circularidad. Esta propiedad consiste en que el cambio en productividad en un periodo puede explicarse a partir del producto de los cambios en la productividad en los diferentes subperiodos que lo integran. En segundo lugar, existe la posibilidad de infactibilidades en el cálculo de las funciones de distancia cruzadas entre periodos necesarias para su cálculo. A pesar de que sea condición necesaria y suficiente de que el cambio técnico sea Hick-neutral para asegurar la circularidad (Balk, 1998) o que una determinada estructura de datos asegure la ausencia de problemas de factibilidad (Xue y Harker, 2002) su cumplimiento empírico resulta a menudo difícil. Para subsanar ambas deficiencias, Pastor y Lovell (2005) propusieron una modificación del índice de Malmquist al que denominaron índice global de Malmquist. Posteriormente, Oh (2010) adaptó de forma similar el índice Mamlquist-Luenberger para lograr las mismas propiedades dando lugar al índice global Mamlquist-Luenberger (GML de aquí en adelante).

Este trabajo emplea el índice global Mamlquist-Luenberger propuesto por Oh (2010) para el análisis dinámico de los resultados obtenidos por los sistemas educativos de los países. El motivo para la elección de este índice es la existencia de bad outputs que deberían ser capaces de minimizar los sistemas educativos a la vez que se maximizan los good outputs con los recursos disponibles así como las propiedades más deseables que presenta.

Sean K países para los que se dispone de información acerca de sus sistemas educativos para los años t=1…T sobre los M good outputs producidos los H bad outputs generados

a partir del consumo de N inputs . El conjunto de posibilidades de producción, vendrá definido por:

(1)

y ∈R+M

b∈R+H x ∈R+

N

P x( )= y,b( ) x puede producir y, b( ){ }



Los axiomas que debe cumplir la tecnología anterior son los habituales indicados por la teoría de la producción y pueden encontrarse, por ejemplo, en Färe et al. (2007).

La eficiencia de cualquiera de las unidades pertenecientes a P(X) puede ser medida mediante la siguiente función de distancia direccional (Luenberger, 1992; Sueyoshi y Goto, 2010; Oh, 2010):

D x, y,b( )= max β y+ βgy, b− βgb( )∈P(x)( ) (2)

La DDF anterior determina el máximo aumento y reducción β( ) alcanzable simultáneamente

en el good y bad output respectivamente sobre el vector g = gy, gb( )que define las

direcciones deseables de mejora para ambos tipos de outputs. En este trabajo empleamos el vector de M+H componentes g = (y, b) tal y como sugieren Chung et al. (1997) y Oh (2010).

El índice GML para los años t y t+1 se define de la siguiente forma:

GMLt , t+1 xt , yt , bt , xt+1, yt+1,bt+1( ) =1+ DG xt , yt , bt( )

1+ DG xt+1, yt+1, bt+1( ) (3)

Donde DG x, y,b( )= max β y+ βgy, b− βgb( )∈PG(x)( ) es la DDF definida sobre el

conjunto de posibilidades de producción global PG(x) , es decir, el generado considerando

simultáneamente las observaciones de los años t y t+1. Un valor de GMLt , t+1 superior a la unidad significa que ha habido mejora en la productividad entre los años t y t+1, ya que la distancia a la frontera global era mayor en t que en t+1. Un valor inferior a la unidad para el GMLt , t+1 se interpreta de forma contraria.

La expresión (3) puede descomponerse de la siguiente manera (Oh, 2010):

GMLt, t+1 xt, yt, bt, xt+1, yt+1, bt+1( ) =1+ DG xt, yt, bt( )

1+ DG xt+1, yt+1, bt+1( ) =

=1+ Dt xt, yt, bt( )

1+ Dt+1 xt+1, yt+1, bt+1( ) x

1+ DG xt, yt, bt( )1+ Dt xt, yt, bt( )

1+ DG xt+1, yt+1, bt+1( )1+ Dt+1 xt+1, yt+1, bt+1( )

=

= TEt+1

TEt x BPGt+1t, t+1

BPGtt, t+1

= ECt, t+1 x BPCt, t+1

(4)

donde ECt ,t+1recoge el cambio en eficiencia técnica o catching-up entre el año t y t+1. Si ECt ,t+1 > 1 significa que ha habido mejora en la eficiencia técnica en el periodo. En otras palabras, que la unidad está más próxima a su frontera contemporánea en el año t+1 que en el t. Un valor inferior a la unidad se interpreta de forma contraria. El término BPCt, t+1es una medida del cambio tecnológico en el periodo, es decir, de cómo se han desplazado las



fronteras contemporáneas en el periodo. En (4) se observa que la expresión para el cálculo de

BPCt, t+1 es:

BPCt, t+1 = BPGt+1t, t+1

BPGtt, t+1 =

1+ DG xt, yt, bt( )1+ Dt xt, yt, bt( )


(5)

donde:

BPGt+1t ,t+1 = 1


(6)

En la expresión anterior se observa que BPGt+1t ,t+1es el inverso del cociente entre la distancia a

la frontera a la frontera global definida por PG x( ) y a la frontera contemporánea definida por

P(x) para el periodo t+1. Si BPCt ,t+1 > 1 es porque la frontera de t+1 está más próxima a la

global que en t y, por tanto, ha habido progreso tecnológico. El caso de BPCt ,t+1 < 1 representa la situación contraria.

El cálculo de DG xt ,yt , bt( ) y Dt xt , yt , bt( )se puede realizar con diferentes metodologías. En

este trabajo empleamos modelos frontera no paramétricos convexos tipo data envelopment analysis (Charnes et al., 1978) ampliamente utilizados en estudios de eficiencia (véase para una revisión extensa de su uso en la literatura Emrouznejad et al., 2008). El cálculo de Dt xt , yt , bt( )se realizaría resolviendo el siguiente programa lineal, bajo el supuesto

g = (y, b), para cada país analizado (Mandal y Madheswaran, 2010):

Max βs. t

λ k ytkm ≥ ym

ot

k=1

K

1+ β( ) m = 1...M

λk btkh ≤ bh

ot

k=1

K

1− β( ) h = 1...H

λk xtkn ≤ xn

ot

k=1

K

n = 1... N

λk = 1k=1

K

β ≥0 ; λk ≥ 0 k = 1...K

(7)

Donde β es el máximo aumento y reducción alcanzable simultáneamente en los good y bad

outputs respectivamente. representa el output m de la unidad k en el año t, el bad ykmt bkh

t



output h de la unidad o país k en el año t, y el input n empleado por el sistema educativo

del país k el año t. ymot , bh

ot , xknot

representan los niveles observados de good, bad outputs e inputs para el país evaluado en el año t.

De forma análoga, para el cálculo de DG xt ,yt , bt( ) se calcula a partir del siguiente programa

lineal:

Max βs.t

T=t

t+1

λ tk yT

km ≥ ymot

k=1

K

1+ β( ) m= 1...M

T=t

t+1

λ tk bT

kh ≤ bhot

k=1

K

1− β( ) h = 1...H

T=t

t+1

λ tk xT

kn ≤ xnot

k=1

K

n = 1... N

T=t

t+1

λkT = 1

k=1

K

β ≥0 ; λk

T ≥0 k = 1...K

(8)

En este trabajo, aparte de calcular el GML asumiendo que el vector direccional es el g = (y, b) también se han realizado los cálculos con dos vectores direccionales alternativos: g = (y, 0) y g = (0, b). Con estos cálculos adicionales, se cuantifican los cambios de productividad en dos direcciones más: una priorizando únicamente el aumento de los good outputs y otra priorizando únicamente la disminución de los bad outputs. Esta información es interesante para contrastar si los países se han movido en el periodo analizado en la dirección donde más ganancias potenciales podían logar. Naturalmente, podrían explorarse más vectores direccionales ya que ninguno de los vectores explorados tiene porqué ser el de movimiento óptimo, pero sin duda ofrecen una ayuda para saber si los objetivos de un sistema educativo debe centrarse en mejorar simultáneamente ambos tipos de outputs o solamente uno de ellos. Esta debería ser una cuestión interesante para la definición de cualquier política educativa.

3. DATA, INPUTS AND OUTPUTS

El presente estudio utiliza información de los sistemas educativos de 28 países participantes de TIMSS los años 2007 y 2011. TIMSS es el Estudio Internacional de Tendencias en Matemáticas y Ciencias que desarrolla la Asociación Internacional para la Evaluación del Logro Educacional (IEA). Su propósito es medir los logros de aprendizaje de los estudiantes al finalizar 4° y 8° grado básico en matemáticas y ciencias. Se desarrolla cada cuatro años, siendo la versión 2011 la quinta versión del estudio. Su diseño permite comparar los resultados a lo largo del tiempo y entre los diversos países que participan del estudio. En particular, este trabajo considera la

xknt



información de 8° grado básico en la disciplina de matemáticas. Para este grado en el estudio del año 2011 participaron 42 países y 50 en el año 2007.

En todos los países la muestra de establecimientos educativos y alumnos es seleccionada por IEA siendo representativa a nivel país de cada uno de los grados evaluados. En general, en cada país se contemplan muestras de aproximadamente 4.000 estudiantes de 150 a 200 escuelas, en cada grado evaluado. Adicionalmente cada país puede solicitar un mayor tamaño muestral si está interesado en que además sea estadísticamente representativa de alguna segmentación en particular (por tipo de administración, zona geográfica, etc.).

TIMSS también recoge información sobre directores, docentes y estudiantes que permite contextualizar y analizar los resultados de aprendizaje. Ello se realiza a partir de un marco de evaluación consensuado entre los países participantes del estudio por lo que no necesariamente se recoge la misma información de estos actores en cada versión del estudio.

Tal como se señaló previamente, la metodología descrita en el apartado anterior es utilizada para evaluar el cambio en el desempeño de los sistemas educativos en la consecución de objetivos educativos. Para ello entendemos, y así la literatura lo avala (Carlson, 2001), que un buen sistema educativo no es sólo aquel que es capaz de obtener altos resultados promedio de logro académico de sus estudiantes, sino también aquel que asegura que todos sus estudiantes progresen. Para ello, también resulta necesario desarrollar estrategias que posibiliten que sus estudiantes más desventajados progresen y obtengan estándares, al menos básicos. De esta forma, un sistema educativo que evoluciona satisfactoriamente será aquel que logra mejorar el promedio de logro académico de sus estudiantes a la vez que minimiza el porcentaje de alumnos que no logra siquiera estándares básicos de aprendizajes. Del mismo modo, el cambio en la dotación de recursos que para ello utiliza dará cuenta si estos cambios en la consecución de objetivos educativos (positivos o negativos) obedecen a un cambio técnico (producto de la mejora en la provisión de recursos puestos a disposición de la educación) o por mejora de la eficiencia en su utilización.

En tal sentido, los informes TIMSS nos posibilitan contar con información estandarizada tanto de resultados educativos como de recursos utilizados con tal finalidad en al menos dos momentos del tiempo. Para este estudio se utilizaron los informes de las aplicaciones de los años 2007 y 2011.

Para el caso de los resultados de aprendizaje tanto en matemáticas como en ciencias, ellos son reportados por TIMSS de dos maneras para cada país participante: (i) en una escala que tiene un rango de 0 a 1000 puntos, con un promedio internacional estandarizado de 500 puntos y una desviación estándar de 100 puntos. Este promedio corresponde al del conjunto de países que participó en el primer ciclo de TIMSS en 1995, y se fijó como el referente para la comparabilidad entre años. (ii) en cuatro niveles de desempeño que describen distintos niveles de aprendizaje alcanzado por los estudiantes. El nivel avanzado corresponde a estudiantes que superan los 625 puntos, el nivel alto corresponde a estudiantes que obtienen más de 550 puntos y menos de 625 puntos, nivel intermedio que corresponde a estudiantes que obtienen más de 475 puntos y menos de 550 punto, nivel bajo o básico que corresponde a estudiantes que superan los 400 puntos y obtienen menos de 475 puntos. De igual manera, se reporta el



porcentaje de estudiantes que no alcanza este estándar básico y por tanto se encuentra fuera de rango.

De esta forma, hemos definido como good output (y1) el logro académico promedio de cada país de sus alumnos de 8° año básico en la disciplina de matemáticas, y como bad output (y2) el porcentaje de estudiantes de cada país que no alcanza siquiera el estándar básico, del mismo grado y disciplina. Para ambos indicadores se cuenta con información para los años 2007 (momento t) y 2011 (momento t+1).

A modo de referencia, en 8° básico matemáticas de TIMSS 2011, sólo 14 países (de un total de 42) superaron la escala centrada en 500 puntos de TIMSS; mientras que el año 2007, sólo 12 países de un total de 50 superaron este valor. En esta misma disciplina y grado de enseñanza, en el año 2011 el mayor puntaje promedio lo obtuvo la República de Corea (613 puntos), seguido de Singapur (611 puntos) , China Taipéi (609 puntos) y Hong Kong (586 puntos). En el año 2007, los mayores logros académicos promedio los obtuvo China Taipéi (598 puntos), seguido por la República de Corea (597 puntos), Singapur (593 puntos), Hong Kong (572 puntos) y Japón (570 puntos). De los 28 países participantes en ambos años, el mayor avance lo obtuvo la Autoridad Nacional Palestina (37 puntos de mejora) seguido de Italia (35 puntos de mejora). Por el contrario, la mayor disminución en puntaje promedio corresponde a Malasia (34 puntos de disminución entre ambos años), seguido de Jordania (21 puntos de disminución).

Por su parte, para el año 2011 en la disciplina de matemáticas en 8° grado, la distribución del promedio de países participantes muestra que el 18% de los estudiantes no alcanzó el estándar mínimo, el 21% correspondía a estudiantes de nivel básico, el 30% a estudiantes de nivel intermedio, el 22% a estudiantes de nivel alto y sólo el 9% a estudiantes de nivel avanzado. La cifra de porcentaje de estudiantes que no alcanza los estándares mínimos es muy heterogéneo entre países. En el promedio de los 10 países de mayor puntaje corresponde sólo al 2% de los estudiantes, mientras que en el promedio de los 10 países de menor puntaje este porcentaje se eleva al 55%.

De la muestra, la mayor disminución del porcentaje de alumnos rezagados corresponde a los países de Italia, Georgia y la Autoridad Nacional Palestina; los cuales disminuyeron un 10% sus alumnos rezagados entre el año 2007 y el 2011. Por el contrario, Malasia fue el país que más aumentó el porcentaje de estudiantes bajo el estándar mínimo, pasando de 50% a un 64%.

Como inputs del modelo a evaluar se seleccionaron dos variables de las cuales se tenía información en los estudios de ambos años, horas de enseñanza en matemáticas en el año académico (x1) y calidad del profesorado medido a través del porcentaje de estudiantes cuyos profesores se sienten “muy bien” preparados para enseñar matemáticas (x2).

Las horas de matemáticas para 8° grado varían entre 76 horas (Siria) y 158 horas (China Taipéi) para el año 2007 y 97 horas (Suecia) y 173 horas (Indonesia) para el año 2011. El promedio de la muestra es de 135 horas para el año 2011 y 120 horas para el año 2007. El país que más aumentó el número de horas enseñanza es Bahréin en 46 horas, seguido de Siria (42 horas). Sólo dos países disminuyeron las horas de enseñanza: Jordania (en 11 horas) y Hong Kong (en 10 horas).



Los datos indican que la mejor calidad del profesorado la obtienen los profesores de Estados Unidos, Inglaterra, Georgia y Rumania con un 94% de estudiantes cuyos profesores se sienten “muy bien” preparados para enseñar matemáticas. La más baja valoración de este recurso la tiene Indonesia (54%), seguido de Tailandia (55%). El país con mayor mejora en este indicador es Lituania (23% de mejora), seguido de Japón (16%de mejora). Por el contrario, el país que más bajo en la calidad de su profesorado fue Indonesia (27% de disminución), seguido de Ucrania (18% de disminución).

Los valores promedio de los inputs y outputs del modelo para cada país en matemáticas 8° grado para los años 2007 y 2011 utilizados en el análisis de índice global de Malmquist-Luenberger se pueden apreciar en la tabla 1.

Tabla 1. Estadísticos descriptivos de inputs y outputs Timss 2007 y 2011

4. RESULTADOS

4.1 Cambio en eficiencia, cambio técnico y cambio en desempeño: análisis basado en los estadísticos descriptivos

Las tablas 2, 3 y 4 muestran los resultados del índice global de Malmquist-Luenberger y su descomposición para los países de la muestra y en las diferentes direcciones de evaluación



exploradas, es decir, orientación simultánea al good/bad output (tabla 2), orientación al good output (tabla 3), y la orientación al bad output (tabla 4). Los resultados varían notablemente en dos dimensiones del índice (cambio en eficiencia y cambio tecnológico), y para las diferentes orientaciones escogidas. Una comparación de las tres filas inferiores en las tablas 2, 3 y 4 muestra claras diferencias tanto en la media como la variabilidad en ambas dimensiones. En promedio (tanto para la aritmética como geométrica), el GML muestra un deterioro en promedio en el rendimiento escolar al considerar la orientación simultánea al good/bad output, así como para la orientación al good output (tablas 2 y 3) para los países de nuestra muestra. Sin embargo, para la orientación al bad output (tabla 4), en promedio, prácticamente no hay cambio en el desempeño - la media aritmética educativa es 1.0030 y la media geométrica es 1.0008.

Tabla 2. Mejora educacional, orientación al good/bad output (2007-2011)

Un análisis de las componentes del índice GML también proporciona resultados diferentes, por un lado, para la orientación al good y good/bad output y, por otro, a la orientación al bad output. Mientras que en el primer caso el cambio en eficiencia contribuye positivamente al desempeño general, en el segundo, la contribución es negativa. En contra, el BPC muestra una contribución negativa en el caso de un enfoque al good y good/bad output. Sin embargo, estos



son resultados promedio, ocultando resultados muy heterogéneos entre países. Esto se muestra por los valores de la desviación estándar, que es particularmente alta para el cambio en eficiencia en el caso de las orientaciones al good y good/bad output (tablas 2 y 3), con valores de 0.1706 y 0.1851 (ver las primeras columnas de las tablas 2 y 3 respectivamente). Por el contrario, para las mismas orientaciones, la dispersión para el cambio tecnológico es mucho menor, con valores de 0.0678 y 0.0613 (véase la segunda columna de las tablas 2 y 3 respectivamente). Combinando ambas componentes del cambio en el desempeño global, la desviación estándar para cada orientación es 0.1145 y 0.1272 (véase la tercera columna de las tablas 2 y 3 respectivamente).

Tabla 3. Mejora educacional, orientación al good output (2007-2011)

En el caso de la orientación al bad output (tabla 4), hay un mayor equilibrio en términos de dispersión entre los países, entre los dos componentes del cambio de rendimiento (0.0610 y 0.0625 para EC y BPC respectivamente), lo que resulta en un valor de 0.0674 valor correspondiente a la desviación típica del índice global de Malmquist-Luenberger.



Tabla 4. Mejora educacional, orientación al bad output (2007-2011)

Sin embargo, a pesar de los valores de dispersión más moderados hallados para EC y GML en el caso de la orientación al bad output (en comparación con las otras dos orientaciones), los resultados difieren notablemente en algunos países específicos. Por ejemplo, como se indica en la tercera columna de la tabla 4, el cambio (positivo) en el desempeño fue sustancial en China Taipéi y Singapur. Sin embargo, y no por razones coincidentes, para China Taipéi ha sido debido sobre todo al cambio de eficiencia ( ECChinaTaipei

t ,t+1 = 1.2845 ), mientras que para Singapur

el cambio tecnológico jugó un papel más importante ( BPCSingapurt , t+1 =1.1591). Por contra, Japón

experimentó un notable deterioro en el desempeño educativo (GMLJapónt ,t+1 = 0.7671), debido

al empeoramiento en el cambio tecnológico ( BPCJapónt , t+1 = 0.7671), mientras que la eficiencia

se estancó ( ECJapónt , t+1 = 1.0000).

Esta multiplicidad de diferentes casos es aún mayor cuando el análisis se centra en la orientación good y good/bad output (tablas 2 y 3 respectivamente), aunque en caso de la orientación al bad output prácticamente todos los países mostraron declive tecnológico (

BPCt , t+1 < 1), con la excepción de Corea ( BPCCoreat ,t+1 = 1, véase la tabla 3).



La variedad de caminos por los que discurre el rendimiento de los sistemas educativos no puede resumirse fácilmente en sólo dos estadísticos (desviación estándar y media), lo que provoca que sea difícil explorar los resultados en detalle. Un análisis complementario consiste en la aplicación de la descomposición bipartita propuesta en la sección 2.2, como se verá más adelante.

4.2 Clasificación de los sistemas educativos: ¿debería potenciarse la excelencia o reducir la inequidad?

La tabla 5 muestra una clasificación de los países evaluados según los resultados obtenidos en el índice GML y la orientación de evaluación (orientación al good, bad o ambos outputs). El primer grupo de países (G1), integrado por Italia y Singapur, son aquellos que han mejorado en el periodo analizado independientemente de la orientación que se tome. Este grupo se ha denominado como de “mejora total”. El segundo grupo (G2) sería aquel integrado por los países que han obtenido una evolución positiva en el periodo, pero únicamente considerando la evaluación orientada a los bad outputs. Por tanto, son países que parece que han concentrado sus esfuerzos en reducir el número de estudiantes por debajo de los niveles y, por tanto, en reducir la inequidad del sistema educativo. Este grupo se ha denominado como de “mejora equitativa” y lo integran Australia, Bahréin, China Taipéi, Georgia, Hong Kong, Irán, Noruega, Omán, Palestina, Eslovenia, Túnez, Estados Unidos. El siguiente grupo (G3) lo forman Jordania e Indonesia y se caracterizan por ser países que los resultados sugieren que se han orientado principalmente a mejorar el rendimiento promedio de sus estudiantes en el periodo, ya que obtienen una evaluación favorable únicamente cuando se les evalúa en la orientación que prioriza el good output. A este grupo se le ha denominado de “orientación al logro promedio”. El G4, denominado “Orientación a la mejora simultánea” lo forman países cuyos resultados sugieren que han centrado sus esfuerzos en mejorar simultáneamente tanto el logro promedio del sistema como la equidad.

Tabla 5. Clasificación de países de acuerdo a su desempeño educacional

Dentro de los países con estas características encontramos a Ucrania y Ghana. El grupo G5 de países que han mantenido elevados niveles de eficiencia en ambos periodos serían lo que denominamos como “Estables” y su único miembro es Corea. Finalmente, existe un grupo (G6)



de países que, independientemente de la orientación que se analice, han empeorado sus resultados en el periodo y que estaría integrado por Inglaterra, Hungría, Lituania, Malasia, Rumanía, Suecia, Siria y Tailandia.

5. CONCLUSIONES

En este trabajo, hemos considerado algunas propuestas relativamente recientes para analizar el rendimiento educativo y cómo cambia con el tiempo. En concreto, se utilizó la última versión de las pruebas del TIMSS. Esta iniciativa proporciona un marco para la evaluación y descripción de los procesos de aprendizaje de los estudiantes de los países participantes para las dos disciplinas analizadas, proporcionando información adicional sobre otros factores implicados en los procesos de aprendizaje.

Se consideró que el índice global de Malmquist-Luenberger (GML) es particularmente interesante en el contexto de la educación. Este índice no es sólo es apropiado por sus propiedades altamente deseables, sino que también lo es porque se adapta a nuestro contexto donde existen bad outputs que idealmente cualquier sistema educativo debería desear minimizar a la vez que maximiza los resultados deseables.

Los resultados de las diferentes evaluaciones del índice muestran, en promedio, un deterioro en el rendimiento de los sistemas educativos cuando se considera una orientación simultánea al good y bad output al igual que con una orientación al good output. Sin embargo, cuando se toma una orientación al bad output, en promedio, se aprecia una mejora en el rendimiento de los países de la muestra.

Del mismo modo, los resultados medios revelan la variedad de énfasis seguidos por los sistemas educacionales nacionales durante el período analizado (2007-2011). En general (en promedio) nos encontramos con una clara preferencia por los cambios tecnológicos orientados a la obtención de mayores niveles de equidad educativa, en contraste con un énfasis en la mejora de la eficiencia cuando se persigue el logro académico (excelencia) e igualdad al mismo tiempo (es decir, orientación good/bad output) o logro académico (orientación good output) exclusivamente.

Esto es consistente con: (i) una preocupación creciente entre los países de la muestra a mejorar la calidad del capital humano de la población lo más equitativamente posible, (ii) las restricciones presupuestarias a que enfrentan los países durante la mayor parte del período analizado, y (iii) los distintos niveles de la curva de aprendizaje de los sistemas de educación con respecto a los diferentes objetivos perseguidos u orientaciones adoptadas. Por lo tanto, después de años de políticas públicas encaminadas a la consecución de mejoras en el rendimiento académico general y la igualdad, o únicamente académico, la tendencia a adoptar políticas encaminadas a lograr mejoras en eficiencia no es sorprendente. Esto contrasta con el necesario compromiso para priorizar mejoras tecnológicas cuando no hay una base de conocimiento para facilitar mejoras en el rendimiento a través de aumento de la eficiencia.

Aparte de los resultados promedio, existen discrepancias notables en los resultados en dos direcciones. En primer lugar, hay una heterogeneidad notable en los resultados



correspondientes a las diferentes componentes del índice de GML con respecto a los diferentes orientaciones evaluadas. La dispersión de los resultados es especialmente alta entre los países para el cambio en eficiencia (EC), al adoptar la orientación al good/bad output, así como la orientación al good output (0.1706 y 0.1851 respectivamente). Sin embargo, es menor al enfatizar la orientación al bad output (0.0610). Por otra parte, para las tres orientaciones la dispersión observada para el desempeño de los países es baja en relación a la componente de cambio tecnológico (BPC). Esto tiene una doble implicación: (i) las diferencias en el rendimiento general (GML) entre los países que son impulsados principalmente por los cambios en eficiencia en lugar de los cambios tecnológicos, y (ii) los cambios en igualdad son más difíciles de alcanzar y probablemente requieren un horizonte temporal más largo.

En segundo lugar, esta heterogeneidad también se refleja en el ranking de países. En esta clasificación sólo dos países (Italia y Singapur) mejoran su desempeño en términos de las tres posibles orientaciones. Sin embargo, sólo Singapur adopta esta estrategia cuando son consideradas mejoras en eficiencia y cambio tecnológico. Italia parece que sigue exclusivamente la estrategia de mejora de la eficiencia. También es interesante resaltar que el grupo más grande consta de países que sólo mejoran en el ámbito de la igualdad (orientación al bad output). Esto es consistente con los nuevos desafíos a que enfrentan los sistemas educativos. Este grupo está compuesto tanto por países de rendimiento académico alto como bajo. En el primero se incluyen Australia , China Taipei , Hong Kong , Noruega, Estados Unidos y Eslovenia, mientras que en segundo se incluyen Bahréin, Georgia, Irán, Omán, Palestina y Túnez. Esto constituye una prueba de la transversalidad de esta prioridad. Por último, la presencia de los países de altos logros académicos como Inglaterra, Hungría y Suecia en el grupo de países con disminución de rendimiento es también digno de mención. Sin embargo, este resultado es coincidente con los resultados del TIMSS que indica que durante el período de evaluación los logros académicos de todos estos países se deterioraron mientras el porcentaje de estudiantes que no logró alcanzar los estándares mínimos aumentó.

REFERENCIAS

Balk, B. M. (2001). Scale efficiency and productivity change. Journal of Productivity Analysis, 15(3):159–183.

Carlson, D. (2001). Focusing state educational accountability systems: four methods for judging school quality and progress. Technical report, Center for Assessment (NCIEA), Dover, NH.

Caves, D. W., Christensen, L. R., and Diewert, W. E. (1982). The economic theory of index numbers and the measurement of input, output, and productivity. Econometrica, 50(6):1393–1414.

Charnes, A., Cooper, W. W., and Rhodes, E. (1978). Measuring the efficiency of decision making units. European Journal of Operational Research, 2(6):429–444.

Chung, Y. H., Färe, R., and Grosskopf, S. (1997). Productivity and undesirable outputs: a directional distance function approach. Journal of Environmental Management, 51:229–240.

Denvir, B. and Brown, M. (1986). Understanding of number concepts in low attaining 7–9 year olds: Parti. development of descriptive framework and diagnostic instrument. Educational Studies in Mathematics,17(1):15–36.



Emrouznejad, A., Parker, B. R., and Tavares, G. (2008). Evaluation of research in efficiency and productivity:A survey and analysis of the first 30 years of scholarly literature in DEA. Socio-Economic Planning Sciences, 42(3):151–157.

Ercikan, K. (2006). Examining guidelines for developing accurate proficiency level scores. Canadian Journal of Education, 29(3):823–838.

Färe, R. and Grosskopf, S. (2004). Modeling undesirable factors in efficiency evaluation: Comment.European Journal of Operational Research, 157(1):242–245.

Färe, R. and Grosskopf, S. (2009). A comment on weak disposability in nonparametric production analysis. American Journal of Agricultural Economics, 91(2):535–538.

Färe, R., Grosskopf, S., Lovell, C. A. K., and Pasurka, C. (1989). Multilateral productivity comparisons when some outputs are undesirable: a nonparametric approach. The Review of Economics and Statistics, 71(1):90–98.

Färe, R., Grosskopf, S., Noh, D.-W., and Weber, W. W. (2005). Characteristics of a polluting technology: theory and practice. Journal of Econometrics, 126(2):469–492.

Färe, R., Grosskopf, S., and Pasurka Jr, C. A. (2007). Environmental production functions and environmental directional distance functions. Energy, 32(7):1055–1066.

Färe, R., Grosskopf, S., Norris, M., and Zhang, Z. (1994). Productivity growth, technical progress, and efficiency change in industrialized countries. American Economic Review, 84(1):66–83.

Giménez, V., Prior, D., and Thieme, C. (2007). Technical efficiency, managerial efficiency and objectives setting in the educational system: An international comparison. Journal of the Operational Research Society, 58(8):996–1007.

Golany, B. and Roll, Y. (1989). An application procedure for DEA. Omega, 17(3):237–250.

Hailu, A. and Veeman, T. S. (2001). Non-parametric productivity analysis with undesirable outputs:an application to the Canadian pulp and paper industry. American Journal of Agricultural Economics, 83(3):605–616.

Kuosmanen, T. (2005). Weak disposability in nonparametric production analysis with undesirable outputs. American Journal of Agricultural Economics, 87:1077–1082.

Kuosmanen, T. and Podinovski, V. V. (2009). Weak disposability in nonparametric production analysis: Reply to Färe and Grosskopf. American Journal of Agricultural Economics, 91:539–545.

Loader, C. R. (1996). Local likelihood density estimation. The Annals of Statistics, 24(4):1602–1618.

Luenberger, D. (1992). New optimality principles for economic efficiency and equilibrium. Journal of Optimization Theory and Applications, 75(2):221–264.

Mandal, S. K. and Madheswaran, S. (2010). Environmental efficiency of the Indian cement industry: an interstate analysis. Energy Policy, 38(2):1108–1118.

Oh, D. (2010). A global Malmquist-Luenberger productivity index. Journal of Productivity Analysis, 34(3):183–197.

Pastor, J. T. and Lovell, C. A. K. (2005). A global Malmquist productivity index. Economics Letters, 88(2):266–271.

Picazo-Tadeo, A. J. and Prior, D. (2009). Environmental externalities and efficiency measurement. Journal of Environmental Management, 90(11):3332–3339.

Reinhard, S., Lovell, C. A. K., and Thijssen, G. J. (2002). Analysis of environmental efficiency variation. American Journal of Agricultural Economics, 84:1054–1065.

Seiford, L. M. and Zhu, J. (2002). Modeling undesirable factors in efficiency evaluation. European Journal of Operational Research, 142(1):16–20.



Sheather, S. J. and Jones, M. C. (1991). A reliable data-based bandwidth selection method for kernel density estimation. Journal of the Royal Statistical Society, Ser.B,53(3):683–690.

Sueyoshi, T. and Goto, M. (2011). Measurement of returns to scale and damages to scale for dea-based operational and environmental assessment: How to manage desirable (good) and undesirable (bad) outputs? European Journal of Operational Research, 211(1):76–89.

Teddlie, C. and Reynolds, D. (2000). The International Handbook of School Effectiveness Research. Routledge, London.

Thieme, C., Giménez, V., and Prior, D. (2012). A comparative analysis of the efficiency of national educational systems. Asia Pacific Education Review, 13:1–15.

Watanabe, M. and Tanaka, K. (2007). Efficiency analysis of Chinese industry: A directional distance function approach. Energy Policy, 35(12):6323–6331.

Xue, M. and Harker, P. T. (2002). Note: ranking DMUs with infeasible super-efficiency DEA models. Management Science, 48(5):705–710.

una comparación internacional de la eficiencia de...

Documents