UNIVERSIDAD VIZCAYA DE LAS AMRICASMaestra en Educacin

Asignatura: Sistemas de Evaluacin

ANTOLOGA

0

NDICE Pg

IFIE (2000). Sistemas Nacionales de Evaluacin Educativa. Muestra de pases de Amrica Latina y del Mundo Desarrollado. Obtenido en Agosto, de 2010, de http://www.ifie.edu.mx/sistemas_nacionales_de_evaluacion_educativa.htm.................. Casanova, Ma. Antonia. Evaluacin: concepto, tipologa y objetivos En Manual de evaluacin educativa. 5 edicin. Edit. La Muralla S. A. Madrid, 1999. pp. 57-92.. Rueda, M. (2004). La evaluacin de la relacin educativa en la universidad. Revista Electrnica de Investigacin Educativa, 6 (2). Consultado el da de mes de ao en: http://redie.uabc.mx/vol6no2/contenido-rueda.html......................................................... De la Garza Vizcaya, E. (s.f.) La evaluacin educativa. Mxico: UAM Azcapotzalco. Obtenido en Agosto, 2010, de http://www.uv.mx/iie/Download/Art%20Evaluaci%F3n%20Educativa%2002.doc............ Palln, C. (2000). Calidad, Evaluacin y Acreditacin en Mxico. Revista Universidades, No. 20 Unin de Universidades de Amrica Latina y el Caribe Escudero Escorza, T. (2006) Claves identificativas de la evaluacin educativa: anlisis desde la prctica en Contextos Educativos [Revista Electrnica] 8-9 (20052006), 179-199 La Rioja, Espaa, disponible en: http://dialnet.unirioja.es/servlet/extart?codigo=2091397, [2, agosto, 2010, 16:05 hrs]. Nota: no incluida en esta Antologa. Revisar versin electrnica.

2

34

60

69

80

1

IFIE (2000). Sistemas Nacionales de Evaluacin Educativa. Muestra de pases de Amrica Latina y del Mundo Desarrollado. Obtenido en Agosto, de 2010, de http://www.ifie.edu.mx/sistemas_nacionales_de_evaluacion_educativa.htm

CONTENIDO:

Introduccin Argentina Chile Colombia Espaa Estados Unidos Francia Mxico Programas Internacionales Reino Unido Lecciones Aprendidas y Futuros Desafos Bibliografa Anexo: Una Mirada a los Sistemas de Evaluacin de Seis Pases

INTRODUCCIN Uno de los acontecimientos ms significativos en el campo de la educacin es la emergencia y consolidacin de los llamados sistemas nacionales de evaluacin. Condiciones que han favorecido la emergencia de los Sistemas Nacionales de Evaluacin: Alejandro Tiana (1996), tratadista espaol en el tema, destaca tres condiciones que han favorecido la emergencia de estos sistemas. Ellas son: 1) el cambio registrado en los mecanismos de administracin y control de los sistemas educativos; 2) la demanda social de informacin y rendicin de cuentas y 3) un nuevo modelo de conduccin de los sistemas educativos. La primera se refiere a que las instancias administrativas en los niveles central y regional deben adoptar medidas que posibiliten a las instituciones educativas mayor autonoma para dar respuesta a las demandas del entorno sin renunciar a la responsabilidad de ejercer la funcin de control que la sociedad les ha encomendado. La segunda, tiene que ver con el control y gestin participativos que deben ejercer todos los ciudadanos sobre la educacin, es decir, con la "rendicin de cuentas" para vincular la educacin al desarrollo, asumir la competencia creciente y establecer2

prioridades en la asignacin de recursos. La ltima, alude a la gestin basada en la informacin sobre el estado, funcionamiento y productos del sistema educativo. Posibles aportes de los sistemas de evaluacin a la mejora de los sistemas educativos: Entre los posibles aportes que puede realizar la evaluacin para la mejora cualitativa de la educacin se han seleccionado cuatro, considerados los ms significativos: 1) Conocimiento y diagnstico del sistema educativo; 2) Conduccin de los procesos de cambio; 3) Valoracin de los resultados de la educacin; y 4) Mejora de la organizacin y funcionamiento de los centros educativos. Definicin del Sistema Nacional de Evaluacin de la Educacin: Un sistema Nacional de Evaluacin de la Educacin es un dispositivo administrativo para la conduccin del sistema educativo. Su funcin es ofrecer informacin sobre los resultados de la educacin, el funcionamiento de distintos niveles del sistema, las condiciones que afectan los procesos en las distintas instancias y el aporte de distintos actores. Esto con el propsito de definir las polticas educativas, orientar el desarrollo de planes de mejoramiento y rendir cuentas sobre la respuesta del sistema a las demandas de la sociedad.

ARGENTINA ESTATUS JURDICO: La Ley Federal de Educacin, sancionada en 1993, es explcita en cuanto a la necesidad de producir informacin bsica para la formulacin de polticas de mejoramiento de la calidad a travs de la creacin de un Sistema Nacional de Evaluacin de la Calidad (SINEC) coordinado por el organismo central e integrado por unidades jurisdiccionales de las provincias y el Gobierno Autnomo de la Ciudad de Buenos Aires. El requerimiento de llevar a la prctica un sistema de evaluacin que acredite la calidad de los distintos niveles que constituyen el sistema educativo formal a escala nacional es un valor compartido por todos los actores que forman parte de la comunidad educativa. El artculo 49 instituye que la evaluacin de la calidad en el sistema educativo verificar la adecuacin de los contenidos curriculares de los distintos ciclos, niveles y regmenes especiales a las necesidades sociales y a los requerimientos educativos de la comunidad, as como el nivel de aprendizaje de los alumnos / as y la calidad de la formacin docente. Por ltimo, el artculo 50 dispone que las autoridades educativas de las provincias y de la Municipalidad de la Ciudad de Buenos Aires evaluarn peridicamente la calidad y el funcionamiento del sistema educativo en el mbito de su competencia . Mediante el Decreto 506 del 24 de marzo de 1993 se aprueba la organizacin provisoria del Ministerio de Cultura y Educacin de la Nacin. Dentro de esta organizacin provisoria se crea la Secretara de Programacin y Evaluacin3

Educativa y, dentro de esta, la Subsecretara de Evaluacin de la Calidad Educativa de la que dependen la Direccin Nacional de Evaluacin y la Direccin General Red Federal de informacin OBJETIVOS DEL SINEC: Las metas generales propuestas por el SINEC fueron : realizar anlisis de los planteles funcionales de las instituciones educativas de los niveles primario y medio para derivar tipologas aptas para la mejor comprensin de los factores que inciden en el rendimiento escolar; desarrollar instrumentos vlidos y confiables para medir el rendimiento acadmico en las asignaturas de Matemtica, Lengua y Ciencia en el final de los ciclos de la enseanza primaria y media; construir y disear un conjunto de instrumentos para evaluar las caractersticas del plantel (directivos, docentes y alumnos); realizar una aplicacin nacional de carcter muestral anual; disear y ejecutar un programa de difusin del sistema de evaluacin de la calidad; disear y ejecutar programas de difusin para el manejo de resultados; disear un programa de investigacin sobre reas crticas identificadas a partir del anlisis de los resultados de la evaluacin.

LA ELABORACIN DE LOS INSTRUMENTOS DE EVALUACIN: a) Las pruebas. Las pruebas se construyen sobre la base de un anlisis sistemtico de los contenidos considerados centrales y bsicos en cada una de las reas o disciplinas. Por tal motivo, la aplicacin de dichas pruebas proporcionan informacin sobre el nivel de logros mnimos o bsicos obtenidos por los alumnos en las diferentes disciplinas. En encuentros nacionales y regionales se acuerda con las jurisdicciones una tabla - base para cada uno de los cursos la que establece el punto de partida para construir el conjunto de las pruebas a aplicar. Estas tablas incluyen los contenidos y las capacidades bsicas o mnimas que se tendrn en cuenta, as como tambin la cantidad de ejercicios (tem) que se incorporarn para cada una de ellas. Finalmente, se eligen los contenidos que pueden ser evaluados masivamente en forma escrita. Dichos contenidos cumplen con las siguientes condiciones: son centrales desde el punto de vista de la disciplina, estn presentes en todas las jurisdicciones, tienen alta probabilidad de haber sido enseados, tienen la posibilidad de ser evaluados en forma escrita, cuentan con la posibilidad de ser evaluados en forma masiva. b) La informacin complementaria.4

En forma complementaria, se administran cuestionarios a los alumnos, docentes, directores y, slo en 1993, a las familias de los alumnos. A travs de estos cuestionarios se recaba informacin vinculada con la historia acadmica de los alumnos, las expectativas docentes respecto a los alumnos, las formas de organizacin del trabajo docente, las formas de organizacin del trabajo en la escuela en su conjunto, etc. Dicha informacin tiene por objeto describir algunas recurrencias o caractersticas comunes que contribuyan a identificar y explicar algunos aspectos que inciden en el rendimiento acadmico de los alumnos - vale decir, identificar los factores de efectividad- y de este modo completar la informacin producida con la administracin de las pruebas. LA ESTRATEGIA METODOLGICA: La estrategia propuesta por el SINEC consiste en medir peridicamente el rendimiento de los alumnos en todos los ciclos y niveles de la Educacin General Bsica y media, en las distintas reas disciplinares. La decisin de tomar en consideracin las reas de matemtica y lengua se funda en que ellas permiten evaluar la capacidad de abstraccin y razonamiento lgico de los alumnos para su desempeo en la vida cotidiana. A partir de 1995, se introduce la evaluacin de otras reas disciplinares tales como las Ciencias Sociales y las Ciencias Naturales. La estrategia metodolgica seleccionada se orienta, pues, a medir a travs de tcnicas y procedimientos el rendimiento de los alumnos del ltimo ao de los distintos ciclos y niveles, por un lado; y, por otro, a correlacionar dicho rendimiento con variables que se refieren al sistema educativo, a actitudes y valores de los alumnos y a su medio familiar. Asimismo, permite la construccin de perfiles descriptivos de docentes, alumnos, estilos de gestin educativa, y participacin de la familia en el proceso de aprendizaje. En la primera etapa, para la conformacin de este sistema de evaluacin de la calidad se han elaborado los siguientes instrumentos para la recoleccin de datos: Pruebas de conocimiento de matemtica y lengua para alumnos del ltimo de los niveles primario y medio, con el fin de evaluar los niveles de logro acadmico alcanzados. Encuesta a los alumnos con el propsito de averiguar sus hbitos de estudio y dems actividades vinculadas a la tarea escolar. Encuesta a los directivos de los establecimientos escolares en los que se ha tomado la prueba de conocimiento, con el objeto de conocer las caractersticas de la institucin tanto en lo fsico como en los recursos humanos (docentes) con los que cuenta. Encuesta a los docentes para conocer las tcnicas y motivaciones que orientan su tarea en el aula, as como las caractersticas fundamentales de su carrera docente. Encuesta a la familia de los alumnos destinada a averiguar su tipo de participacin en la escuela y en el proceso de aprendizaje de sus hijos.5

En sntesis, desde 1993, se han realizado 7 operativos nacionales en 3, 6, 7 y 9 ao de la Educacin General Bsica (EGB) y en el ltimo ao de la Educacin Secundaria. Estos ltimos con carcter censal en 1997/ 98/ 99. Los dems con muestras aleatorias y estratificadas, con representatividad nacional y por jurisdicciones. Las pruebas de rendimiento acadmico evaluaron principalmente LENGUA y MATEMTICA. Se tomaron, tambin, algunas de CIENCIAS NATURALES y CIENCIAS SOCIALES con carcter experimental en distintos aos y cursos.

CHILEChile ha estado involucrado desde hace largo tiempo en el desarrollo de evaluaciones educacionales. Su programa fue concebido en 1978, cuando el Ministerio de Educacin solicit a la Pontificia Universidad Catlica que diseara e implementara un sistema de informacin para la educacin. En 1988, con la transferencia de las escuelas pblicas a las municipalidades, el programa recibi el nombre de Sistema de Medicin de la Calidad de la Educacin (SIMCE). La funcin del SIMCE es ayudar al Ministerio de Educacin y a las autoridades regionales y provinciales a supervisar el sistema de educacin, a evaluar a las escuelas y a apoyar la capacitacin docente en el servicio. Entre los principales objetivos del SIMCE podemos mencionar los siguientes: Proporcionar asistencia tcnica al Ministerio de Educacin en su tarea normativa y en la supervisin del sistema. Brindar apoyo a las autoridades regionales y locales en la supervisin, adems de prestarles apoyo tcnico. Estimar la calidad de cada establecimiento educativo; compara dichos resultados, buscar los factores explicativos y evaluar los resultados de los programas pedaggicos. Orientar la actividad de perfeccionamiento docente, las acciones de supervisin y la asignacin de recursos, particularmente hacia las escuelas con mayores deficiencias y apoyarlas en sus esfuerzos para alcanzar la equidad educativa. Facilitar que los padres de familia (hasta el momento slo los que pertenecen a los sectores econmicamente privilegiados) tengan mayores elementos para elegir aquellos establecimientos escolares con mejores resultados educativos. El Ministerio de Educacin y las municipalidades, con cada vez mayor frecuencia, utilizan los resultados del SIMCE como un mecanismo para incentivar a las escuelas y maestros para alcanzar un mayor desempeo acadmico.

6

Asimismo, el programa evala a los nios que cursan los grados cuarto y octavo en las reas de espaol y matemticas y al 10% de ellos en ciencias naturales, historia y geografa. Tambin evala el desarrollo personal y las actitudes de los alumnos, las actitudes y antecedentes de los profesores y los padres, y la eficacia de las escuelas. Las evaluaciones de ambos grados se aplican en aos alternados. A partir de 1991, el Ministerio de Educacin se hizo cargo de la administracin del programa. A contar de 1988, el programa se ha vuelto ms eficaz y eficiente, luego de la introduccin de mejoramientos en la capacidad tcnica, el sistema de procesamiento computarizado y la administracin. Actualmente, los puntajes se entregan a las escuelas en forma mucho ms rpida y se han simplificado los informes para asegurar la fcil comprensin de los resultados. Estos esfuerzos parecen estar teniendo impacto en la planificacin pedaggica en muchas escuelas. Quienes disean los currculos y los materiales pedaggicos, por ejemplo, estn dando nfasis al dominio de los objetivos que parecen ocasionar problemas a los alumnos. Algunos padres estn utilizando los resultados del SIMCE para seleccionar para sus hijos las escuelas que muestran un mejor rendimiento. El costo del programa es de aproximadamente $5 dlares por alumno, lo que es comparable con los estndares internacionales. Los puntajes en el SIMCE tambin han constituido la base de un programa pedaggico dirigido inicialmente a 900 y posteriormente a 1.200 de las escuelas chilenas que exhiben el peor rendimiento. Las escuelas que participan en este programa han recibido materiales pedaggicos, bibliotecas, libros, infraestructura y capacitacin docente en servicio. Dependiendo de su condicin inicial, se da preferencia a algunas escuelas en el otorgamiento de subvenciones para programas de mejoramiento locales. Por otra parte, las escuelas que han mejorado sus puntajes de un ao al otro han recibido recompensas financieras. Las pruebas del SIMCE revelan lo siguiente: aquellas escuelas que tienen nios que proviene de familias pobres y con un bajo nivel de educacin o de reas rurales obtienen los peores puntajes en las pruebas del SIMCE; las escuelas municipales pblicas y las escuelas rurales obtienen puntajes ms bajos que las escuelas privadas, especialmente aquellas instituciones con una larga tradicin; las escuelas privadas muestran un rendimiento mejor que las escuelas pblicas aun despus de controlar el factor del nivel socioeconmico de los padres y, finalmente, los puntajes de las 900 escuelas muestran un mejoramiento significativo durante los ltimos aos. Entre los actuales problemas se encuentra el hecho de que, si bien muchas escuelas estn haciendo uso de los resultados del SIMCE con el fin de mejorar las condiciones locales, an se espera que sean las autoridades centrales las que inicien las acciones correctivas. Algunas escuelas han informando un aumento del nmero de alumnos provenientes de hogares en situacin desmedrada, en un aparente esfuerzo por mostrar que sus logros relativos (valor agregado) han mejorado. Las mediciones del rea afectiva no han tenido xito y quizs debieran7

ser descartadas. Tal vez tambin sera apropiado reducir la proporcin de pruebas al universo y recurrir ms al muestreo. Finalmente, debido a problemas tcnicos, las posibilidades de comparacin de los resultados de un ao son inadecuadas. En general, Chile cuenta en la actualidad con el sistema de evaluacin ms amplio y mejor administrado de Amrica Latina y el SIMCE ha servido como una poderosa herramienta para la implementacin de un programa de reforma que promueve la descentralizacin, la responsabilidad por los resultados y el aumento del aprendizaje y la escolaridad. Las autoridades de gobierno buscan mejorar aun ms el sistema. En particular, actualmente estn considerando agregar pruebas de desarrollo en las evaluaciones (hoy en da todas las pruebas son del tipo seleccin mltiple). Dado que an no se comprenden cabalmente las causas del bajo rendimiento, se encuentra en marcha un esfuerzo de investigacin ms sofisticado. Finalmente, las autoridades chilenas han decidido participar en el estudio TIMSS de seguimiento programado para 1999 como una manera de establecer puntos de referencia para la comparacin del rendimiento de sus alumnos con el resto del mundo.

COLOMBIA En 1998, el Ministerio de Educacin Nacional se propone establecer el sistema de evaluacin de la educacin y para ello realiza una mesa de trabajo en evaluacin con la participacin de expertos nacionales e internacionales. Es de destacar las conclusiones generales: En Colombia existen algunos desarrollos importantes que aportan elementos valiosos para el diseo del sistema como son: la Ley General de Educacin; la fortaleza conceptual y operativa del Servicio Nacional de Pruebas del Instituto Colombiano para el Fomento de la Educacin Superior (ICFES); la definicin de competencias y responsabilidades de las entidades territoriales, expresadas en la Ley 60 de 1993; la propuesta de un Sistema Nacional de Evaluacin de la Calidad de la Educacin basada en una concepcin regional; avances significativos en el diseo de pruebas de logro y de factores asociados; el diseo de una muestra maestra nacional que permite aplicaciones peridicas y comparables en el tiempo; y participacin del pas en evaluaciones internacionales; es indudable que subsisten limitaciones significativas frente al reto de disear un Sistema de Evaluacin vinculadas con la falta de diseo e institucionalizacin y con la consiguiente ausencia en la definicin de funciones y competencias de las unidades de gestin. Es prioritario disear y establecer el Sistema Nacional de Evaluacin de la Educacin y crear un organismo con una estructura acorde con las funciones a desempear y con autonoma, que lo administre. Su estructura debe incluir organismos de consulta, de concertacin y de decisin en asuntos de carcter poltico, cientfico y tcnico que permitan llegar a8

consensos, garantizar apertura y ganar legitimidad, credibilidad y confianza en sus decisiones. Se ha trabajado en el campo de la evaluacin de docentes para ingreso al Servicio Educativo Estatal y desde 1997 se ha adelantado bajo la coordinacin del Ministerio de Educacin Nacional (MEN), la investigacin especfica y elaboracin de pruebas para evaluar docentes en ejercicio. Un objetivo en el que ha sido fundamental el papel del ICFES es en el de proporcionar informacin sobre los logros de los alumnos de la educacin bsica y los factores que pueden llegar a explicar estos logros. De esta manera ha contribuido a la formulacin de polticas y al mejoramiento de la toma de decisiones en educacin orientadas a la intervencin efectiva para mejorar la enseanza y el aprendizaje. En este sentido, los resultados de la evaluacin educativa y su uso, se visualizan como una posibilidad cierta de contribuir a garantizar la calidad de la educacin; por ello se sigue prestando el reconocido Servicio Nacional de Pruebas pero la dependencia encargada de prestarlo toma el nombre a partir del ao 2000 de Subdireccin de Aseguramiento de la Calidad. ESTATUS JURDICO A partir del ao 2000, tras la reestructuracin del Ministerio de Educacin y el Instituto Colombiano para el Fomento de la Educacin Superior (ICFES) se ha reglamentado que el MEN dirige el Sistema Nacional de Evaluacin de la Educacin y el ICFES lo administra (Decretos 2662/99 Artculo 2 numeral 20; Decreto 088 febrero 2/2000 Artculo 4 numeral 9). DIFUSIN PBLICA DE LOS RESULTADOS: En noviembre de 1997, el Ministerio de educacin Nacional public los cuatro libros que se relacionan a continuacin sobre las aplicaciones del Sistema Nacional de Evaluacin realizadas entre 1992 y 1994. Resultados en las reas de Matemticas y Lenguaje, dirigido a las autoridades regionales, las instituciones formadoras de docentes, los centros y grupos de investigacin y a los directivos de las instituciones; en ellos se presentan de manera resumida los marcos conceptuales de los instrumentos de evaluacin, los procesos tcnicos para la obtencin de resultados y los resultados nacionales y regionales obtenidos por los estudiantes en las reas de lenguaje y matemticas. PROGRAMAS INTERNACIONALES A) Estudio Internacional de Cvica y Democracia Conceptos Y Objetivos Del Estudio Colombia participa desde 1995, junto con 24 pases ms, en el Estudio Internacional de Formacin Cvica organizado y coordinado por la IEA (INTERNATIONAL ASSOCIATION FOR THE EVALUATION OF EDUCATIONAL9

ACHIEVEMENT), Asociacin Internacional para la Evaluacin del Logro Educativo. El propsito ms importante del estudio es identificar y examinar, en un marco comparativo, cules son las formas en que los jvenes de 14 y 15 aos (grado octavo) y los alumnos de grado 11, se preparan para asumir su papel de ciudadanos en sus pases, adems de cmo se inician en los distintos niveles y tipos de comunidad poltica. B) Estudio sobre el Progreso Internacional en Competencia en Lectura (Progress in International Reading Literacy Study PIRLS) Colombia participa actualmente en el Estudio Internacional sobre el Progreso en Competencia en Lectura (Progress in International Reading Literacy Study PIRLS), adelantado por la International Association for the Evaluation of Educational Achievement (IEA). PIRLS es un importante proyecto de investigacin educativa sobre los logros de los estudiantes en competencia en lectura, que se adelanta en ms de 30 pases de todo el mundo. Est diseado para medir e interpretar diferencias entre los sistemas nacionales de educacin con el fin de ayudar a mejorar la enseanza y aprendizaje de la lectura en todo el mundo. C) Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin El Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin es la Red de Sistemas de Medicin y Evaluacin Educativa de los pases de la regin, y un mbito de discusin y accin tcnico-poltica sobre temas del aprendizaje, sus variables relacionadas y su traduccin en poltica pblica en educacin.

ESPAA OBJETIVOS DEL CENTRO El respeto y la igualdad, el derecho a la educacin y la calidad de la enseanza exigen, por parte de las diferentes administraciones estatales y centros educativos, el cumplimiento de las enseanzas mnimas legalmente establecidas. As pues, el Instituto Nacional de Calidad y Evaluacin (INCE) debe evaluar el grado de adquisicin de estos mnimos para los diversos niveles, etapas, ciclos y grados del sistema educativo. Las principales funciones que le corresponden al INCE son: Analizar el grado de eficacia y de eficiencia del sistema educativo. Elaborar sistemas de evaluacin para las diferentes enseanzas reguladas en la Ley Orgnica de Ordenacin General del Sistema Educativo (LOGSE). Elaborar un sistema estatal de indicadores. Coordinar la participacin espaola en los estudios internacionales sobre evaluacin.10

Colaborar y cooperar con las Administraciones educativas en materia de evaluacin. Proporcionar e intercambiar informacin con las Administraciones educativas para la toma de decisiones. Proporcionar informacin al Consejo Escolar del Estado. Informar a la sociedad sobre el funcionamiento y resultados del sistema educativo. Difundir los resultados de sus evaluaciones e investigaciones.

ORGANIZACIN DEL INCE En el Real Decreto 928/1993 se establece la organizacin bsica del INCE, constituida por un Consejo Rector de carcter decisorio, un Director, un Comit Cientfico con carcter consultivo y una plantilla de personal necesaria para el cumplimiento de sus funciones. FECHA DE CONSTITUCIN 18 de junio de 1993 FINANCIAMIENTO MINISTERIO DE EDUCACIN Y CIENCIA REAL DECRETO 928/1993, de 18 de junio, por el que se regula el Instituto Nacional de Calidad y Evaluacin. Artculo 11. El Ministerio de Educacin y Ciencia asegurar al Instituto Nacional de Calidad y Evaluacin la dotacin presupuestaria necesaria para la realizacin y coordinacin de los trabajos que tiene encomendados. El Consejo Rector podr establecer prioridades en la utilizacin de los recursos disponibles. Para el desarrollo de los programas establecidos, en el mbito de las correspondientes Administraciones educativas, se acordarn, en cada caso, los criterios que garanticen la disponibilidad de los medios necesarios para su aplicacin. EVALUACIONES: Niveles Educativos que evala: Educacin Primaria. Educacin Secundaria Obligatoria. Formacin Profesional. Aprendizaje y Enseanza de la Lengua Inglesa. MBITO DE ACTUACIN DEL INCE La evaluacin del sistema educativo se realiza en dos mbitos: el que corresponde al Estado y el propio de las Administraciones educativas con competencias plenas. El INCE se sita en el primero de ellos, siendo el encargado de evaluar los aspectos del currculo que constituyen las enseanzas mnimas establecidas en el artculo 4 de la LOGSE. Por otra parte, el Instituto ha de contribuir a la elaboracin de sistemas de evaluacin, a la realizacin de investigaciones, estudios y

11

evaluaciones, adems de aportar propuestas de iniciativas y sugerencias que puedan contribuir a la mejora de la calidad de la enseanza. RENDIMIENTO ACADMICO DE ALUMNOS Actuaciones 1999-2000 I. Acciones de carcter permanente 1. 2. 3. 4. II. Elaboracin de un sistema estatal de indicadores de la educacin. Construccin de un banco de items y pruebas de rendimiento. Diseo y desarrollo de programas de formacin de especialistas en evaluacin. Edicin de la Revista de Educacin.

Proyectos especficos 1. 2. 3. 4. Estudio sobre la enseanza y aprendizaje de la lengua inglesa en Espaa. Segundo estudio de evaluacin de la Educacin primaria. Evaluacin de la Educacin secundaria obligatoria. Cuarto curso. Diagnstico de la funcin directiva en los centros docentes sostenidos con fondos pblicos.

III.

Participacin en estudios internacionales Proyecto Internacional de Indicadores de los sistemas educativos (INES) de la OCDE; Proyecto Internacional para la produccin de indicadores de resultados educativos de los alumnos (PISA) de la OCDE y Estudio de centros de Educacin secundaria post-obligatoria.

DESEMPEO DE DIRECTORES: Diagnstico de la funcin directiva en los centros docentes sostenidos con fondos pblicos. ALCANCE (NACIONAL O REGIONAL): Nacional, pero haciendo uso de las evaluaciones de las Comunidades Autnomas. MUESTREO O CENSAL: Muestreo, a travs de la elaboracin de un sistema estatal de indicadores de la educacin. DIFUSIN PBLICA DE LOS RESULTADOS (TOTAL O PARCIALMENTE) BOE del 21 de noviembre de 1995 Ley Orgnica 9/1995, de 20 de noviembre, de la participacin, la evaluacin y el gobierno de los centros docentes (LOPEG) Artculo 28. Instituto Nacional de Calidad y Evaluacin.12

1. El Instituto Nacional de Calidad y Evaluacin realizar la evaluacin general del sistema educativo mediante el desarrollo de las actividades previstas en el artculo 62 de la Ley Orgnica 1/1990, de 3 de octubre, de Ordenacin General del Sistema Educativo. 2. El Instituto Nacional de Calidad y Evaluacin ofrecer apoyo a las Administraciones educativas que lo requieran en la elaboracin de sus respectivos planes y programas de evaluacin. 3. El Gobierno har pblicas peridicamente las conclusiones de inters general de las evaluaciones del sistema educativo efectuadas por el Instituto Nacional de Calidad y Evaluacin y dar a conocer los resultados de los indicadores de calidad establecidos.

ESTADOS UNIDOS I. INTRODUCCIN: Estados Unidos se encuentra a la vanguardia en el desarrollo de una amplia variedad de evaluaciones educacionales destinadas a medir el desempeo institucional, establecer niveles de competencia mnimos para el egreso de la escuela y establecer puntos de referencia para medir el rendimiento educacional en comparacin con los estndares internacionales. En virtud de su historia y de sus leyes, y en contraste con la mayora de los pases, Estados Unidos no cuenta con un currculum obligatorio a nivel nacional. Y dado que la mayora de los estados slo entregan pautas generales, cada distrito escolar tiene considerable libertad para establecer el currculo. Como resultado, lo que se ensea realmente en la sala de clases vara enormemente de una escuela a otra y de un distrito a otro, y los alumnos y los profesores a menudo tienen una nocin exagerada del nivel de logro que obtienen. Debido a estos problemas, las autoridades han hecho un gran esfuerzo por establecer estndares ms slidos en cuanto a aprendizaje y logros a nivel de los estados, como asimismo estndares nacionales posiblemente voluntarios. Por otra parte, estn intentando basar sus currculos y pruebas en los estndares internacionales, especialmente en relacin con el TIMSS. Cabe sealar que las dos principales asociaciones gremiales de profesores, especialmente la Federacin Norteamericana de Profesores (American Federation of Teachers - AFT), han apoyado permanentemente los esfuerzos a nivel nacional y estatal tendientes al mejoramiento de la evaluacin y la calidad de la educacin. II. NAEP: OBJETIVOS DEL CENTRO El Centro para la Evaluacin Nacional del Progreso Educativo (National Assessment of Educational Progress - NAEP), es la nica entidad que evala, de una manera continua, el conocimiento y capacidades de los estudiantes norteamericanos.13

FECHA DE CONSTITUCIN: 1969 EVALUACIONES: Niveles Educativos que comprende: Grados 4, 8, 11 y 12. Adems mide resultados para alumnos en edades de 9, 13 y 17. RENDIMIENTO ACADMICO DE ALUMNOS NAEP evala peridicamente el desempeo de los alumnos, tanto actual como el mostrado en el largo plazo, relativo a lectura, matemticas, ciencia, gramtica, historia estadounidense, civismo, geografa, artes y otras materias. En 1990, NAEP adopt un nuevo formato de informacin. Adems de las escalas de aptitud que describen lo que los alumnos saben y lo que pueden hacer, NAEP comenz a informar los niveles de rendimiento que mide lo que los estudiantes deberan saber y ser capaces de hacer. El propsito era establecer estndares acerca de lo que los estudiantes deberan saber a una cierta edad o grado, y no slo medir lo que ello efectivamente saben. Las evaluaciones de NAEP muestran los resultados educativos en diversos niveles: nacional, estatal y local. MUESTREO O CENSAL Muestral, se realizan tanto a nivel nacional como estatal. En 1998, 43 estados participaron en este tipo de evaluaciones de NAEP. Las materias evaluadas fueron lectura en los grados 4 y 8, as como escritura en grado 8. Para el ao 2000, la meta ser que todos los estados participen en las evaluaciones estatales de matemticas y ciencia para el 4 y 8 grado. USUARIOS DE LA INFORMACIN SOBRE LAS EVALUACIONES Encargados del diseo de polticas pblicas, administradores, directores escolares y maestros. DIFUSIN PBLICA DE LOS RESULTADOS: En su sitio web y en publicaciones impresas. FINANCIAMIENTO: Gobierno Federal

FRANCIA Desde mediados de los aos ochenta, en Francia se ha desarrollado un sofisticado sistema de evaluacin de los alumnos. Si bien Francia cuenta con un currculum obligatorio a nivel nacional, las escuelas elementales y secundarias tienen un alto grado de libertad en el uso de sus fondos y sus tcnicas pedaggicas. La responsabilidad por la supervisin y evaluacin de la educacin14

est en manos de los ms de 200 tcnicos de la Direction de lEvaluation et de la Prospective (DEP), una divisin del Ministerio de Educacin de Francia. Las principales autoridades de gobierno estn firmemente comprometidas con el establecimiento de un sistema de medicin de los resultados educacionales basado en estndares claros y en una difusin completa y abierta de los resultados, asegurando de este modo la independencia de la DEP. Segn el sistema francs, los estndares de logro esperados se establecen de manera centralizada y se toman pruebas anuales a todos los alumnos de grados especficos de la educacin primaria y secundaria del nivel inferior. El examen de bachillerato (egreso) administrado a los alumnos del nivel superior de la educacin secundaria tambin se utiliza con propsitos de evaluacin. La DEP proporciona retroalimentacin detallada y fcil de comprender a todas las partes involucradas: la opinin pblica, los padres, los alumnos, los profesores y administradores y el Ministro de Educacin. El organismo ha desarrollado tambin una amplia variedad de materiales de enseanza y aprendizaje opcionales orientados al rendimiento de los alumnos y a las fortalezas y debilidades de los profesores. Al igual que diversos organismos en Estados Unidos, la DEP ha intentado medir el rendimiento escolar en comparacin con los estndares internacionales. Como ocurre en todo el mundo, las escuelas de las comunidades ms pobres de Francia obtienen puntajes ms bajos que las escuelas que se encuentran en las reas de mayor riqueza. La DEP ha intentado identificar las escuelas que se encuentran en reas ms pobres y estn exhibiendo un buen rendimiento con el fin de definir de mejor manera el valor agregado de la escolaridad. Las escuelas que muestran un rendimiento mejor de lo esperado en base a su poblacin escolar se definen como escuelas eficaces. Estudiando a dichas escuelas, las autoridades debieran ser capaces de determinar por qu son eficaces y luego establecer condiciones similares en las escuelas que presentan un rendimiento ms bajo.

MXICO En 1970, Mxico estableci una oficina en la Unidad de Planificacin Educacional de la Secretara de Educacin Pblica, que finalmente se transform en la Subdireccin de Evaluacin y Acreditacin, con el propsito de estudiar las caractersticas y la calidad del sistema educacional del pas. Los profesionales involucrados llevaron a cabo estudios de aptitud en nios de sexto grado de la educacin bsica y establecieron un examen de ingreso a la educacin secundaria. Durante el perodo 1976 a 1982, la subdireccin investig el aprendizaje en una muestra representativa de alumnos que cursaban el cuarto y quinto grado. Los resultados de esta evaluacin aparecieron en publicaciones cientficas y especializadas, no siendo divulgadas de ninguna otra manera, y las autoridades15

les prestaron poca atencin. En efecto, la informacin con respecto a la evaluacin se transform en un secreto de estado slo conocido por un reducido nmero de profesionales de la secretara. Este enfoque dificult el desarrollo tcnico como asimismo la utilizacin para el diseo de polticas. Durante el perodo 1983 a 1988, en Mxico se desarroll un examen para egresados de las escuelas de capacitacin de profesores. Posteriormente, en 1989, se tom la decisin de aplicar el concepto de evaluacin de manera ms amplia con el fin de mejorar la enseanza y el aprendizaje y de publicar los resultados. En 1992, el gobierno federal y las Asociaciones Gremiales Nacionales de Profesores acordaron un programa tendiente a modernizar la educacin bsica a travs de su descentralizacin en el mbito de los estados, dejando en manos del gobierno federal la responsabilidad de medir y evaluar el aprendizaje y asegurar la calidad de la educacin bsica y la capacitacin de los profesores. Con este propsito, la Secretara de Educacin Pblica (SEP) se comprometi a apoyar las evaluaciones de los profesores, las evaluaciones en la sala de clases y aqullas realizadas en el mbito nacional. En 1994, despus de cinco aos de evaluaciones de la calidad de la educacin en Mxico, la Secretara emiti un informe acerca de los conocimientos y las habilidades de 480.000 profesores como asimismo el rendimiento de 2,8 millones de nios de educacin bsica y secundaria. Sus principales conclusiones fueron que los nios que haban asistido a la educacin preescolar obtenan puntajes ms altos que aquellos que no lo haban hecho; los nios que haban repetido el sexto grado como asimismo aquellos que estaban trabajando exhiban un menor rendimiento que aquellos que nunca haban repetido y aquellos que no trabajaban; los nios que asistan a escuelas urbanas o privadas obtenan mucho mejores resultados que aquellos que asistan a escuelas rurales y pblicas; los puntajes ms bajos se encontraban entre los nios que asistan a escuelas indgenas y comunitarias, que contaban con instalaciones inadecuadas y profesores con menor nivel de capacitacin, y los nios que obtenan los mejores puntajes asistan a escuelas urbanas y tenan padres que exhiban un mayor nivel de educacin. Mientras que los nios de primer y segundo grado obtenan puntajes cercanos a lo que los investigadores y diseadores de currculos esperaban, sus puntajes bajaban sucesivamente cada ao en trminos del porcentaje de respuestas correctas. Las autoridades mexicanas informaron tambin que era imposible medir sistemticamente el desempeo de los profesores en la sala de clases, debido a que las poblaciones de alumnos eran extremadamente diversas y an existan dificultades tcnicas. De 1995 a 1999, la SEP ha aplicado exmenes cada ao a aproximadamente 600 mil docentes y a 7 millones de alumnos (de tercer grado de educacin primaria a tercer grado de educacin secundaria, en casi la totalidad de las escuelas secundarias y en el universo completo de las escuelas primarias. En este periodo, los Consejos Tcnicos Escolares, encargados de evaluar el desempeo profesional de los profesores otorgaron, en su gran mayora, el mximo puntaje a todos sus docentes evaluados. Lo anterior hace evidente las dificultades que16

enfrenta realizar una auto evaluacin en los centros escolares sin la referencia de una evaluacin externa. Por otra parte, las evaluaciones de maestros y de alumnos poco se han utilizado para apoyar la toma de decisiones de las autoridades educativas y para apoyar el trabajo diario de los docentes. Para subsanar este fenmeno, la Direccin General de Evaluacin (DGE) de la SEP inici en 1997 la generacin de reportes anuales para cada entidad federativa, donde se efecta la medicin de la preparacin profesional de los docentes y el aprovechamiento escolar de los alumnos, donde se indican los resultados y la posicin relativa de la entidad de manera global, por nivel educativo, por tipo de examen y por unidad temtica. Asimismo, la DGE regresa a las escuelas los exmenes aplicados a los alumnos junto con los siguientes indicadores: Sus resultados por grupo, el logro promedio en conocimientos y habilidades, adems de los valores mximos obtenidos ya sea en la zona escolar, municipio o estrato socioeconmico de la entidad. Caractersticas y formas de trabajo de las escuelas cercanas con altos logros que atienden a poblaciones con caractersticas econmicas y culturales semejantes. Metodologa para identificar sus fortalezas y debilidades y proponer acciones para mejorar sus servicios. A pesar de lo anterior, hasta 1999 es an reducido el nmero de autoridades educativas que han incorporado estos resultados para fortalecer sus reas ms dbiles, modificar el formato de sus evaluaciones u orientar mejor los cursos de actualizacin de sus profesores. Por ltimo, se observa una reticencia por parte de la DGE para informar a los padres de familia sobre el resultado de estas evaluaciones, bajo el argumento de que esta accin podra provocar temor y/o aversin entre las autoridades educativas evaluadas, as como motivar el cambio de alumnos de escuelas de bajo rendimiento hacia aquellas con mejores resultados. Sin embargo, sera conveniente reconsiderar la conveniencia de esta medida, ya que la difusin pblica de las evaluaciones contribuye a identificar reas de oportunidad para mejorar los procesos educativos, facilita la transparencia en la actuacin de los agentes escolares y provoca una m,ayor participacin de los padres en la educacin de sus hijos. PROGRAMAS INTERNACIONALES El acontecimiento ms importante relacionado con las evaluaciones internacionales en los ltimos aos ha sido el Tercer Estudio Internacional de Matemticas y Ciencias (Third International Mathematics and Science Survey TIMSS) de la IEA (International Evaluation Association). La IEA es un consorcio de evaluacin que opera en todo el mundo a travs de su oficina central en17

msterdam, Holanda. Es conocida por sus estudios internacionales de programas de matemticas, ciencias, lectura, alfabetizacin y ciencias sociales. Los programas de la IEA son financiados por los pases participantes. El TIMSS tiene como objetivo medir, comparar y explicar el aprendizaje en ciencias y matemticas en 41 pases. Actualmente se dispone de los resultados de los exmenes de matemticas y ciencias para nios de los grados cuarto, sptimo, octavo, y duodcimo. Adems, recientemente, el TIMSS llev a cabo un innovador anlisis sobre la oportunidad de aprender de los nios, que clasifica en categoras y compara los currculos, los textos escolares y la pedagoga en la sala de clases entre los 41 pases participantes. Dichos anlisis demuestran que los exmenes de rendimiento no deben simplemente concentrarse en la identificacin de los pases que obtienen los puntajes ms altos o ms bajos, sino que pueden ser utilizados como una herramienta para medir el progreso educacional de un pas, redefinir sus objetivos curriculares y modificar las prcticas en la sala de clases. En 1991, once pases latinoamericanos (Costa Rica, Per, Argentina, Repblica Dominicana, Colombia, Guatemala, Venezuela, Chile, Ecuador, Brasil y Mxico) asistieron a una reunin regional preliminar del TIMSS, pero slo Colombia y Mxico participaron hasta el final. Adems, slo se informaron los puntajes de Colombia en la publicacin del TIMSS. En el ltimo minuto, Mxico decidi no permitir la divulgacin de sus puntajes. Argentina y Repblica Dominicana participaron en el anlisis de los currculos. La razn de la baja participacin de los pases de Amrica Latina (y de todos los pases en desarrollo) parece ser una combinacin de falta de recursos tcnicos y financieros adecuados como, tal vez, la preocupacin de algunas autoridades ante la posibilidad de obtener los peores puntajes. La metodologa del TIMSS permite que quienes desarrollan los currculos y quienes disean las polticas determinen si existe correspondencia entre los currculos, los textos escolares y la enseanza y aprendizaje en la sala de clases. Por ltimo, se repiti la evaluacin del TIMSS en 1999.

REINO UNIDO ESTATUS JURDICO La Oficina para los Estndares en la Educacin (OFSTED), oficialmente la Oficina del Inspector Principal de su Majestad de las Escuelas en Inglaterra, fue instalada el 1 de septiembre de 1992. Es un departamento gubernamental no-ministerial, independiente del Departamento para la Educacin y el Empleo (DEE). PROPOSITO: El propsito de OFSTED es mejorar los estndares, el logro y la calidad de la educacin en de escuelas, la capacitacin del profesor, el servicio a los jvenes y la enseanza para adultos, a travs de la inspeccin regular, el reporte pblico y el18

consejo informado. OFSTED tambin tiene responsabilidad conjunta con la Comisin de Auditoria para la inspeccin de las Autoridades Locales de Educacin. La actividad para la cual OFSTED es ms reconocido es la inspeccin escolar, actividad donde tiene una responsabilidad estatutaria de informar, a la Secretara de Estado de Educacin y Empleo, sobre los siguientes temas: - la calidad de la educacin proporcionada por las escuelas en Inglaterra; - los estndares educativos alcanzados por los pupilos en esas escuelas; - si los recursos financieros puestos a disposicin de esas escuelas estn siendo manejados eficientemente; y - el desarrollo espiritual, moral, social y cultural de los alumnos. Para satisfacer estos requisitos, OFSTED instal un sistema del inspeccin para asegurarse de que cada escuela pblica en Inglaterra sea examinada cada seis aos. Tiene que cerciorarse de que haya los suficientes Inspectores Registrados (RgIs) disponibles de modo que puedan someter ofertas y competir por contratos de inspeccin en los niveles de educacin secundaria, primaria y de educacin especial. OFSTED establece el marco para estos exmenes, recluta y entrena a los RgIs y a los miembros del equipo, incluyendo inspectores sin experiencia (lay). Los RgIs y otros inspectores del equipo no son empleados de OFSTED. Ellos dependen de las autoridades educativas locales y de firmas privadas que actan bajo contrato con OFSTED. ESTRUCTURA ORGANIZACIONAL Direccin General Incluye al Director de Planeacin y Control, a los Directores de Inspeccin y al Director de la oficina privada de HMC (Oficina del Inspector Principal de su Majestad de las Escuelas en Inglaterra). La Direccin General es responsable del funcionamiento correcto de OFSTED y del establecimiento de todas las polticas. Divisin de Contratos: Es una de las divisiones administrativas ms grandes, con responsabilidad de contratar el sistema inspeccin de las escuelas y de que la concesin de todos los contratos se realice de forma competitiva. La divisin debe asegurarse de mantener la eficacia y la eficiencia del sistema de contratos y de que todas las escuelas estn siendo inspeccionadas. Esta divisin tambin se encarga de los contratos para el entrenamiento de inspectores y de aquellos que se concretan con el sector privado. Divisin de Calidad en la Inspeccin: Esta divisin es responsable de mantener el registro de los inspectores (RgIs), de los inspectores del preescolar (RgNIs) y del equipo de inspectores sin experiencia. Asimismo, evala el funcionamiento de los inspectores y de los contratistas; el entrenamiento de los aspirantes a inspectores, de la acreditacin y monitoreo de19

los capacitadores; y del ulterior entrenamiento y desarrollo profesional de los inspectores. La Divisin tambin tiene responsabilidad de la evaluacin de los candidatos para todas las categoras del estatus de inspector. Divisin de Educacin No Obligatoria: Esta divisin reporta sobre la calidad, la eficacia y los estndares de las escuelas que atienden a los jvenes que van de 16 a 19 aos, as como de la enseanza para adultos y de la juventud que trabaja; sobre el uso del financiamiento a los organismos de jvenes voluntarios; sobre la calidad y difusin de la orientacin vocacional; as como de las labores educativas en las prisiones. Divisin de Educacin Preescolar y Primaria: Esta Divisin inspecciona y proporciona consejo sobre la calidad de la educacin y sobre los estndares mnimos que deben lograr los alumnos de estos grados escolares. Divisin Internacional y de Investigacin (RAI): OFSTED tiene la base de datos educativa ms grande en el mundo y sta Divisin la maneja y administra. Dicha informacin es generada por las inspecciones de RgI. Esta Divisin emprende proyectos de investigacin usando la informacin de la base de datos y prepara anlisis estadsticos como servicio para otras divisiones de OFSTED. RAI tambin prepara Reportes de Indicadores Escolares y de Contexto Pre-Inspeccin, mismos que analizan estadsticas para proporcionar informacin a los inspectores sobre la escuela que ser inspeccionada. Divisin de Mejora Escolar (SID): Esta Divisin aconseja a las autoridades educativas sobre escuelas que han mostrado bajo rendimiento, as como su posterior desempeo cuando se hallan sujetas a provisiones especiales. SID se comunica con aquellas autoridades apropiadas, con las Autoridades Locales Educativas y con las asociaciones de educacin encargadas de mejorar el desempeo de este tipo de escuelas. Esta Divisin es la encargada de corroborar la validez del juicio de los RgIs' acerca de que una escuela efectivamente requiere sujetarse a medidas especiales. La divisin identifica escuelas con debilidades serias y las examina para controlar cmo estn remediando sus debilidades. Por ltimo, esta Divisin es responsable de los planes de accin, vigilando las mejoras resultado de la inspeccin y los vnculos con sus directores y los padres de familia. Divisin de Educacin Especial: Divisin que reporta sobre los estndares y la calidad de escuelas especiales pertenecientes a los sectores que reciben financiamiento pblico y a las escuelas independientes, as como tambin sobre los establecimientos pertenecientes a Servicios Pblicos.

20

Divisin de Educacin y Capacitacin a Maestros: Esta Divisin examina y reporta sobre el entrenamiento inicial de profesores, los cursos de induccin para nuevos profesores y de la capacitacin en el trabajo. Asimismo, formula recomendaciones sobre polticas referentes a la evaluacin del profesor, su remuneracin, condiciones de su servicio de enseanza y cuando el nmero de maestros requeridos es insuficiente.

21

LECCIONES APRENDIDAS Y FUTUROS DESAFOSResumen de la experiencia en seis pases Chile y Argentina cuentan con los sistemas de evaluacin ms amplios y mejor administrados de Amrica Latina. Chile ha demostrado tambin el mayor compromiso de largo plazo con el desarrollo de evaluaciones. Si bien Chile y Argentina han hecho los mayores avances en la utilizacin de las evaluaciones en el rea del diseo de las polticas, la reforma curricular y el mejoramiento de las escuelas, an quedan muchos aspectos que mejorar incluso en estos pases. En particular, an no se han establecido objetivos de aprendizaje claros a nivel nacional y slo recin se estn iniciando esfuerzos sistemticos por compatibilizar el currculum, los textos escolares y la pedagoga utilizada en la sala de clases. Chile y Argentina tambin han hecho avances en la integracin de las evaluaciones en un sistema amplio de supervisin y evaluacin. Entre los principales problemas que requieren atencin se encuentran la renuencia de Mxico a divulgar los resultados de las evaluaciones, el enfoque intermitente de Costa Rica con respecto a las evaluaciones y el excesivo nmero de pruebas aplicadas; y el lento progreso de Brasil en la utilizacin de las evaluaciones para la reforma de los currculos y las polticas. Con excepcin de Costa Rica, los seis pases analizados en este trabajo han utilizado preguntas de seleccin mltiple ms que preguntas de rendimiento o de interpretacin abierta. Otro punto que debe tomarse en cuenta es que los seis pases informaron resultados similares en los exmenes. En particular, los alumnos que cursaban los ltimos aos de la educacin bsica y aquellos que asistan a la educacin secundaria obtuvieron puntajes muy por debajo de las expectativas de los educadores e investigadores profesionales. Los estudiantes con los mejores puntajes provenan de escuelas urbanas y privadas y tenan padres con un mayor nivel de educacin. Pocos pases de la regin han emprendido anlisis multivariados detallados de estos resultados con el fin de identificar sus causas. Si bien diversos estudios han mostrado una correlacin entre los profesores mejor capacitados y un mejor rendimiento de los alumnos, la mayora de estos estudios no controlaban el factor del nivel socioeconmico de los alumnos o la ubicacin de la escuela lo suficientemente como para confirmar la importancia de la educacin de los profesores. Adems, an existe poca informacin con respecto a si los niveles de rendimiento de los alumnos han cambiado a travs del tiempo. Entre las innovaciones importantes en la regin se incluye el intento de Brasil de evaluar las instituciones de educacin superior; las evaluaciones de la capacidad de aprendizaje efectuadas en Costa Rica entre los nios que entran a la educacin primaria y sus exmenes para los alumnos que terminan la educacin secundaria; las evaluaciones aplicadas en Mxico para medir los conocimientos y habilidades de los profesores; el nfasis dado en Colombia a la investigacin; el uso que se hace en Chile de las evaluaciones para orientar la asignacin de recursos y los esfuerzos de Argentina por utilizar las evaluaciones para la reforma curricular. El programa UNESCO/OREALC tambin constituye una importante innovacin que tendr mayor impacto a medida que se vaya aumentando la coordinacin con las instituciones como la IEA. En general, entre las principales lecciones aprendidas y desafos para el futuro se incluyen los siguientes: (a) la importancia de un consenso nacional y un compromiso de largo22

plazo; (b) la importancia de centrarse explcitamente en el uso de las evaluaciones como herramientas para mejorar el aprendizaje; (c) la necesidad de generar capacidades y competencia tcnica y (d) la necesidad de obtener beneficios de los adelantos e innovaciones provenientes tanto de Amrica Latina como de otras regiones, especialmente a travs de programas de pruebas internacionales como los de la IEA.

Generacin de consenso y compromisoGeneracin de un consenso nacional. Tal vez la leccin ms importante a la fecha es que la necesidad de llevar a cabo evaluaciones ya no debiera ser un tema de debate en los pases de Amrica Latina. Por el contrario, estos pases necesitan establecer objetivos educacionales, determinar si los nios, las instituciones y los sistemas escolares estn cumpliendo sus objetivos y, luego, establecer programas tendientes a asegurar que dichos objetivos se cumplan finalmente. Las evaluaciones no servirn para mejorar la calidad de la educacin a menos que todos concuerden en la importancia de mejorar la calidad y en la necesidad de informar los resultados de las evaluaciones de una manera amplia, oportuna y fcilmente comprensible a todos los participantes en el proceso (es decir, de manera transparente). Este consenso debe representar una coalicin entre los profesores, los padres, los administradores y los lderes empresariales y polticos. Debe persistir en el tiempo y contar con el respaldo de las ms altas autoridades de gobierno; sin embargo, sus decisiones no se deben ver influidas por los compromisos polticos. Los programas de evaluacin deben ser llevados adelante con decisin y no se debe permitir que sean suspendidos y luego reiniciados en forma intermitente (como en el caso de Costa Rica) ni que sus resultados sean ocultados a la opinin pblica (como en el caso de Mxico). Integracin de los profesores en el proceso de evaluacin. Es preciso incluir a los profesores en el proceso de evaluacin desde el comienzo si se desea que las evaluaciones tengan impacto en la educacin. En Amrica Latina, las asociaciones gremiales de profesores tienden a ser observadores pasivos o incluso a oponerse a las evaluaciones. Es preciso convencerlas de que el hecho de adoptar un enfoque ms profesional con respecto a su trabajo, perfeccionar los procesos de la sala de clases y participar cabalmente en todos los programas de evaluacin va en su propio inters. Las asociaciones gremiales no deben temer que las evaluaciones sean utilizadas para recompensar o castigar a los profesores, puesto que el alumnado vara tanto de un ao al otro que la calidad de la enseanza siempre ser difcil de medir con precisin, como lo demuestra la experiencia en Francia, Estados Unidos y Mxico. Si las evaluaciones se visualizan como una herramienta para evaluar a las escuelas y a los sistemas escolares locales en lugar de los profesores, tanto los padres como los profesores y los administradores estarn mejor capacitados para trabajar conjuntamente como equipo con el fin de mejorar los puntajes en el rendimiento a nivel de las escuelas. Un enfoque sistmico. Un compromiso con la transparencia tambin requiere un enfoque sistmico para abordar la supervisin y la evaluacin. Al respecto, debe entenderse que las evaluaciones slo miden el rendimiento de los nios y es poco lo que nos dicen acerca de la magnitud y las causas de la desercin. Otras herramientas para medir el rendimiento de los alumnos y del sistema son las siguientes: estudios de la desercin y la repeticin, mediciones de los insumos escolares y estimaciones de los recursos mnimos que cada escuela debiera23

tener, observaciones sistemticas de los procesos escolares y estudios del desempeo de los egresados de las escuelas en el mercado laboral. Usos de las evaluaciones El mayor desafo para el futuro en Amrica Latina ser asegurar que las evaluaciones se utilicen precisamente como herramientas para mejorar la calidad de la educacin. Las evaluaciones pueden influir en muchos elementos del sistema educacional, incluidas las polticas educacionales nacionales, los programas de reforma educativa, los currculos educacionales, las decisiones de los padres, estudiantes y profesores, las polticas educacionales locales y regionales y la pedagoga y los programas a nivel de las escuelas. Tres reas de particular importancia en Amrica Latina en las cuales pueden utilizarse las evaluaciones son las siguientes: el refuerzo de la compatibilizacin, la orientacin de los recursos a las escuelas ms necesitadas y el estmulo a la responsabilidad y la recompensa de los logros a nivel de las escuelas. Refuerzo de la compatibilizacin. Por sobre todo, las evaluaciones pueden ayudar a los pases de Amrica Latina a lograr una mayor compatibilizacin del currculum que se pretende aplicar, el currculum que realmente se aplica, los textos escolares, los conocimientos de los profesores, la pedagoga en la sala de clases y el aprendizaje. Los ajustes resultantes permitirn establecer objetivos ms altos pero factibles, mejorar la capacitacin docente y la pedagoga, y asegurar que el currculum revisado sea aplicado en la prctica. Esto requerir un gran trabajo de anlisis, difusin y capacitacin. Con una buena retroalimentacin y recursos, las evaluaciones podrn ser utilizadas directamente como una herramienta para mejorar la enseanza y el aprendizaje. Argentina ha hecho los mayores avances en este proceso a la fecha. Orientacin de los recursos. Dada la gran disparidad en los logros educacionales en Amrica Latina, las evaluaciones deben ser utilizadas para canalizar los recursos adicionales hacia las escuelas ms necesitadas de la regin, particularmente aqullas que se encuentran en las reas rurales y en los barrios ms pobres de las zonas urbanas. Dicha actividad puede llevarse a cabo siguiendo el modelo del Programa de las 900 escuelas aplicado en Chile, que est explcitamente dirigido al mejoramiento del rendimiento de las escuelas que han obtenido los peores puntajes. Estmulo a un mejor rendimiento en las escuelas. Las evaluaciones deben proporcionar informacin til a las escuelas, padres y profesores. Esto requerir, entre otros elementos, determinar el valor agregado de la escolaridad, identificando aquellas escuelas que obtienen un puntaje mayor que el esperado en atencin a los antecedentes socioeconmicos de los alumnos, como se hiciera en Francia, o midiendo el grado de mejora en los puntajes de las escuelas en perodos sucesivos. Estos enfoques conducen a un reconocimiento y recompensa de las escuelas eficaces y motivan a las dems escuelas a reproducir las caractersticas de dichos establecimientos. Este enfoque elimina tambin el sesgo en contra de las escuelas que se encuentran en barrios pobres. Hasta la fecha, Chile es el pas que ms ha avanzado en el reconocimiento y estmulo a dichas escuelas.

24

Creacin de capacidades y competencia tcnicaFortalecimiento de las instituciones independientes. En la mayora de los pases de Amrica Latina, sera muy difcil para el gobierno central implementar un programa de evaluacin directamente en el largo plazo, como se hizo en Francia. Entre los obstculos a un sistema de ese tipo se encuentran los posibles conflictos de intereses, los sueldos insuficientes y los procedimientos de contratacin y administracin inflexibles. Una estrategia ms apropiada para la regin sera fomentar la creacin de organismos de pruebas competentes independientes del gobierno, manteniendo un organismo gubernamental pequeo, especializado y altamente eficiente en la funcin de supervisar dichas actividades. Colombia parece haber desarrollado una slida asociacin de este tipo entre el sector pblico y el sector privado. Garanta de conocimientos especializados adecuados e investigacin de apoyo. Si se desea que las evaluaciones sean eficientes como herramientas para medir lo que se pretende que midan, se requiere un alto nivel de conocimientos especializados. De lo contrario, es muy fcil que presenten deficiencias: puede que no discriminen adecuadamente entre los que aprenden; la comparabilidad de un ao al otro puede verse afectada; las escuelas y regiones pueden engaar; el marco de la muestra puede ser inexacto, con lo cual toda la evaluacin puede resultar intil; tcnicas analticas ms sofisticadas pueden mostrar que las supuestas relaciones causales son falsas. Muchos de estos problemas ya han sido detectados en las evaluaciones hechas por los pases. Por lo tanto, es esencial capacitar y remunerar adecuadamente a expertos en evaluacin de currculos, metodologa de estudios muestrales y tcnicas analticas. Como se ha hecho en Jordania, es importante consultar a las autoridades ms conocidas y respetadas del mundo en el rea de las evaluaciones, ya que no existe una metodologa regional de pruebas. Los gobiernos y fundaciones tambin necesitan fomentar centros de postgrado de excelencia en el rea de la docencia y la investigacin en la regin. En especial, existe la necesidad de apoyar las investigaciones independientes basadas en los datos de las evaluaciones, que constituyen una rica fuente de informacin sobre todos los aspectos de la educacin relacionados con los alumnos, los profesores y las escuelas. Para obtener los mejores resultados, estas investigaciones deben basarse en las tcnicas analticas ms modernas. Otro aspecto igualmente importante, es que los investigadores como asimismo quienes disean las polticas deben estar de acuerdo en los objetivos de las investigaciones y estar dispuestos a divulgar los resultados aun si stos son ambiguos o negativos.

Nuevos enfoquesParticipacin en los programas de evaluacin internacionales. El TIMSS ofrece a los pases de Amrica Latina una enorme oportunidad para el establecimiento de estndares, la compatibilizacin de los currculos y los textos escolares, el perfeccionamiento del profesorado y los avances en el aprendizaje. Toda la regin puede obtener beneficios de los conocimientos especializados y la metodologa del TIMSS. Actualmente, la IEA tiene planes de duplicar el TIMSS en 1999. Chile y Brasil ya han expresado su intencin de participar. Los pases latinoamericanos podran tambin participar en el nuevo programa de educacin cvica de la IEA, que ser particularmente importante por los aspectos relacionados con el fortalecimiento de la sociedad civil en la regin. Actualmente, Chile y Colombia estn comprometidos con el estudio relativo a la educacin cvica. Como alternativa, los investigadores del TIMSS podran llevar a cabo un25

anlisis de los currculos en los textos y las pautas curriculares y compararlos con los currculos aplicados en otras regiones del mundo. Tambin podran hacer el intento de determinar si los exmenes nacionales y otros son compatibles con el currculum nacional que se pretende aplicar. La metodologa del TIMSS ya ha sido utilizada para analizar el contenido curricular, los textos escolares y la pedagoga en Argentina, Colombia, Mxico y Repblica Dominicana. Es posible solicitar asistencia tcnica en cualquiera de estas actividades tanto a los profesionales internacionales como a los investigadores regionales del TIMSS. Mtodo basado en el universo versus mtodo basado en una muestra. Antes de emprender una evaluacin del universo, los pases deben estar conscientes de que sta es una tarea de alto costo y que requiere una administracin minuciosa por parte de profesionales competentes. Tambin se necesita un sistema de retroalimentacin detallado y apoyo a las escuelas. En Chile, el costo de la aplicacin de pruebas al universo es de aproximadamente $5 dlares por alumno, lo que representa aproximadamente el 2% de los costos unitarios totales. Incluso esta reducida cantidad puede ser difcil de justificar en los pases con graves restricciones fiscales y que carecen de fondos para material pedaggico. En comparacin, los estudios muestrales cuestan menos, pero pueden proporcionar informacin suficiente para el establecimiento de polticas nacionales y para la identificacin de los problemas de compatibilizacin entre el currculum, los textos escolares y la enseanza. Sin embargo, estos estudios requieren precisas tcnicas de muestreo y una administracin rigurosa. Siempre que sea posible, los pases de Amrica Latina tambin deben utilizar los exmenes de seleccin existentes para efectos de evaluacin. Pruebas de rendimiento. En los ltimos aos, Estados Unidos ha ido incorporado cada vez ms las preguntas de interpretacin abierta en sus pruebas de rendimiento, en tanto que Europa se ha 26.concentrado en mejorar la confiabilidad y validez de los instrumentos de medicin. Por el contrario, la mayora de los pases de Amrica Latina todava favorecen las evaluaciones del tipo seleccin mltiple. Los pases de la regin debieran por lo menos explorar los enfoques ms nuevos con respecto a las pruebas. Sin embargo, no podrn hacerlo si aqullas personas que califican las pruebas no cuentan con una cabal capacitacin en los procedimientos pertinentes. Exmenes de competencia mnima. Puede que los pases de Amrica Latina deseen considerar la aplicacin de exmenes de competencia mnima para el nivel secundario. Estos ya han sido desarrollados en algunas partes de Estados Unidos y en Costa Rica, como una manera de estimular el aprendizaje. Este tipo de exmenes seran especialmente apropiados para los pases descentralizados de gran tamao, como Brasil. Opciones para los pases ms pequeos y ms pobres. Los pases ms pequeos y ms pobres simplemente no cuentan con los conocimientos tcnicos especializados ni los recursos necesarios para implementar un sistema de evaluacin en forma sostenida. Como lo sugiere la experiencia de Costa Rica, los conocimientos especializados locales pueden ser insuficientes. Por lo tanto, los pases ms pequeos deberan emprender slo un mnimo de pruebas (por ejemplo, slo matemticas e idioma) en unos pocos grados. Otra opcin es operar en consorcios26

(compuestos, por ejemplo, por los pases centro-americanos), hacer uso de los programas internacionales y aprovechar la asistencia tcnica regional (por ejemplo, de Chile y Argentina). Cooperacin regional. Para fortalecer el proceso de coordinacin regional, ser necesario desarrollar vnculos ms estrechos con la IEA y con los principales centros de investigacin y desarrollo del mundo en el rea de las pruebas y evaluaciones, junto con establecer una amplia participacin, que incluya las instituciones no gubernamentales, en los foros y comits regionales. Tambin son necesarios los esfuerzos a nivel regional para: analizar los resultados de las evaluaciones de la UNESCO/OREALC de manera de identificar los factores asociados a un alto rendimiento, comprender las interacciones entre los objetivos curriculares y el aprendizaje a travs de la medicin de las oportunidades para el aprendizaje y, lo que es ms importante, identificar y apoyar los centros regionales de excelencia dedicados a las pruebas, las mediciones y las investigaciones educacionales.

BIBLOGRAFA Colombia. 2000. Subdireccin de Aseguramiento de la Calidad. http://200.25.62.248/webSAC/ Espaa. 2000. Instituto Nacional de Calidad y Evaluacin (INCE). www.ince.mec.es Estados Unidos. 2000. Centro para la Evaluacin Nacional del Progreso Educativo (National Assessment of Educational Progress NAEP). http://nces.ed.gov/nationsreportcard/site/ Himmel, Erika. 1997. Impacto social de los sistemas de evaluacin del rendimiento escolar: el caso de Chile. Evaluacin y reforma educativa: opciones de poltica. Programa de Promocin de la Reforma Educativa en Amrica Latina y el Caribe (PREAL). www.preal.cl Programa de Promocin y Evaluacin de la Calidad Educativa. 2000. Evaluacin de los resultados del Sistema Nacional de Evaluacin de la Calidad (SINEC) 1993/1999: debilidades y fortalezas en las pruebas de evaluacin. Ministerio de Educacin de Argentina. www.me.gov.ar Ravitch, Diane. 1996. Estndares nacionales en educacin. PREAL. Reino Unido. 2000. Oficina para los Estndares en la Educacin (OFSTED). www.ofsted.gov.uk Velzquez Castaeda, Vctor Manuel. 1999. Contribucin de la Direccin General de Evaluacin de la SEP a la mejora de la calidad de la educacin bsica en Mxico. Wolf, Laurence. 1998. Las evaluaciones educacionales en Amrica Latina: avance actual y futuros desafos. PREAL.27

ANEXO: Una Mirada a los Sistemas de Evaluacin de Seis Pases Argentina Fecha de la primera evaluacin: 1993. Fecha del programa de evaluacin ms reciente: 1995. Grados evaluados (programa ms reciente): Grados 2,3,5 y 7 en educacin primaria. Materias evaluadas: Matemticas y lectura y, en el 7 grado, tambin ciencias naturales y sociales. Muestra o universo: Universo de estudiantes. Resultados importantes: Las preguntas se seleccionaron en base a los niveles mnimos esperados, pero los escolares respondieron slo el 50% de las preguntas correctamente; los factores escolares representaron el 40% de la varianza asociada a los puntajes en matemticas. Tipos de investigaciones realizadas: Correlaciones simples y tabulaciones cruzadas. Informacin disponible acerca de los costos: Elementos tcnicos de inters: Seleccin mltiple e interpretacin abierta. Estructura institucional: Administrado por el Ministerio de Educacin, pero dado en contrato a diversas instituciones privadas. Retroalimentacin: Programa amplio que entrega informacin acerca del rendimiento escolar, los perfiles de los alumnos, los profesores y los modelos administrativos asociados al rendimiento; identifica el contenido con mayor dificultad e incluye recomendaciones para mejoramientos en la pedagoga. Impacto sobre las polticas: Manuales metodolgicos para mejorar el aprendizaje como asimismo capacitacin en el servicio basada en los resultados de las Brasil Fecha de la primera evaluacin: 1990. Fecha del programa de evaluacin ms reciente: 1995. Grados evaluados (programa ms reciente): Grados 4 y 8 de la educacin primaria y grados 2 y 3 de la educacin secundaria (adems, Brasil ha iniciado un programa de evaluacin de todos los estudiantes universitarios). Materias evaluadas: Matemticas y lectura. Muestra o universo: Muestra de 90,499 alumnos de 2,289 escuelas pblicas y 511 escuelas privadas. Resultados importantes: Los escolares generalmente obtuvieron puntajes muy por debajo de los niveles de aprendizaje esperados definidos por los profesores, investigadores y especialistas; los puntajes ms altos se observaron en el sur del pas, en las ciudades capitales, en las escuelas urbanas y privada y en las escuelas diurnas de jornada completa; los estudiantes ms jvenes, los estudiantes blancos y orientales y los estudiantes con profesores con mayor capacitacin obtuvieron los mejores resultados. Tipos de investigaciones realizadas: Correlaciones simples y tabulaciones cruzadas. Informacin disponible acerca de los costos: Elementos tcnicos de inters: Seleccin mltiple. Estructura institucional: Administrado por el Ministerio de Educacin, pero dado en contrato a diversas instituciones privadas. Retroalimentacin: Los informes fueron puestos a disposicin de la prensa, pero no fueron utilizados por

28

pruebas distribuidos a todas las escuelas; asistencia tcnica entregada a 24 estados. Aspectos polticos y otros: Relacin con programas de evaluacin internacionales: Particip en el anlisis de currculos del TIMSS y emprendi estudios demasiado tarde como para ser incluidos en el informe; ha entregado asistencia tcnica a Bolivia y Paraguay.

las escuelas mismas. Impacto sobre las polticas: A la fecha no se ha tomado ninguna decisin especfica sobre la base del programa de evaluacin. Aspectos polticos y otros: No se han considerado en forma adecuada los usos de los resultados de las evaluaciones en el rea de las polticas, tales como la concentracin en las escuelas con peor rendimiento. Relacin con programas de evaluacin internacionales: Particip en el estudio de la IEA en matemticas y lectura en 1993 y tiene planes de participar en el TIMSS-R (1999).

Chile Fecha de la primera evaluacin: 1981. Fecha del programa de evaluacin ms reciente: 1991-96. Grados evaluados (programa ms reciente): Grados 4 y 8. Materias evaluadas: Lectura y aritmtica en los grados 4 y 8: muestra del 10% en ciencias naturales, historia y geografa. Muestra o universo: Principalmente universal, excepto lo observado anteriormente. Resultados importantes: Los resultados continan mostrando un bajo rendimiento en las escuelas pblicas municipalizadas y en las escuelas rurales. Alta correlacin entre el nivel socioeconmico y el rendimiento; se han producido significativos mejoramientos en los puntajes en las escuelas participantes en el programa de 900 escuelas que se concentra en las escuelas con peor rendimiento. Tipos de investigaciones realizadas: Correlaciones simples y tabulaciones cruzadas; trabajo analtico ms sofisticado actualmente en curso.

Colombia Fecha de la primera evaluacin: 1990. Fecha del programa de evaluacin ms reciente: 1994. Grados evaluados (programa ms reciente): Inicialmente los grados 3 y 5 y posteriormente los grados 7 y 9. Materias evaluadas: Inicialmente matemticas y lectura; posteriormente, tambin ciencias naturales y sociales. Muestra o universo: Slo muestra. Resultados importantes: Los niveles cognitivos de los alumnos de los grados 3 y 5 son bajos comparados con las expectativas, especialmente en el rea de las habilidades crticas y reflexivas. Los mejores puntajes se obtienen en las escuelas urbanas y privadas, entre quienes han asistido a la enseanza preescolar, no han repetido, tenan libros en sus casas y tenan padres con niveles de educacin relativamente altos; los alumnos de clases con profesores con mayor nivel de educacin, disponibilidad de textos escolares, docentes de sexo femenino, de la escuela nueva y de escuelas completas

29

Informacin disponible acerca de los costos: US$ 5 por estudiante evaluado. Elementos tcnicos de inters: Seleccin mltiple hasta ahora; se considera la introduccin de ms preguntas de rendimiento, interpretacin abierta y ensayo; se est revisando el mtodo estadstico para asegurar una mayor confiabilidad de un ao al siguiente. Estructura institucional: La capacidad de pruebas ha sido creada por el Ministerio de Educacin ms que por un organismo autnomo. Retroalimentacin: Los informes estn siendo constantemente simplificados y ajustados a receptores especficos, especialmente a nivel de las escuelas; los directores de las escuelas, los profesores y los padres utilizan los resultados de las pruebas; algunos padres utilizan los resultados de las pruebas para seleccionar las escuelas; los diseadores del currculum vitae nacional estn utilizando los informes para revisar el currculum. Impacto sobre las polticas: Los diseadores del currculum estn dando nfasis al dominio de las materias en las reas de debilidad; se ha continuado con los programas pedaggicos dirigidos a las escuelas de peor rendimiento (programa de 900 escuelas). Aspectos polticos y otros: El programa est tan institucionalizado que se estn volviendo ms importantes aspectos de segundo orden; por ejemplo, los profesores podran estar enseando con miras a la prueba de manera exagerada y las escuelas podran no estar considerando el nivel de pobreza de los estudiantes. Relacin con programas de evaluacin internacionales: Ninguna directamente hasta el momento, pero existen planes de participar en el TIMSS-R.

obtuvieron mejores resultados. Tipos de investigaciones realizadas: Correlaciones, tabulaciones cruzadas y algn anlisis multivariado. Informacin disponible acerca de los costos: Elementos tcnicos de inters: Seleccin mltiple. Estructura institucional: Empresa conjunta entre el Ministerio de Educacin, el Instituto Ser, la Universidad Nacional de Profesores y el Centro de Estudios Sociales. Retroalimentacin: Los informes y resmenes de las investigaciones estn disponibles pero no son tiles para la mayora de las escuelas y municipalidades debido a la base de la muestra. Impacto sobre las polticas: La Ley de Educacin de 1994 incorpora los resultados de las evaluaciones tales como la concentracin en la educacin preescolar, la educacin de los profesores y los textos escolares. Aspectos polticos y otros: Se considera que la expansin al universo sera demasiado cara y superara las capacidades institucionales, pero se ampliar la muestra de manera de entregar ms informacin a las escuelas y regiones evaluadas. Relacin con programas de evaluacin internacionales: Pleno participante en el TIMSS con informacin de los resultados; tiene planes de participar en el estudio de ciencias sociales de la IEA.

30

Costa Rica Fecha de la primera evaluacin: 1987. Fecha del programa de evaluacin ms reciente: 1993-97. Grados evaluados (programa ms reciente): Grados 1,3,6,9,12. Materias evaluadas: Grado 1, capacidad de aprendizaje; grados 3, 9, 12, todas las materias; tambin muestras sobre las capacidades cognitivas y fsicas en diversos grados. Muestra o universo: Principalmente universo, con excepcin de las capacidades fsicas y cognitivas y la capacidad de aprendizaje. Resultados importantes: An no se encuentran disponibles para las pruebas actuales; los resultados anteriores mostraban que los alumnos tenan un rendimiento muy inferior al esperado en comparacin a los objetivos del currculum nacional; los alumnos de las escuelas privadas, urbanas y acadmicas obtuvieron los mejores resultados. Los alumnos obtuvieron puntajes progresivamente peores en comparacin con los objetivos del currculum a medida que aumentaba su tiempo de permanencia en la escuela. Tipos de investigaciones realizadas: Tabulaciones cruzadas simples. Informacin disponible acerca de los costos: US$1,50-US$7,50 por alumno evaluado en 1991. Elementos tcnicos de inters: Principalmente seleccin mltiple. Estructura institucional: Se est probando actualmente una empresa de cooperacin entre el Ministerio de Educacin y el IIMEC en la Universidad de Costa Rica. Retroalimentacin: Los anteriores programas de evaluacin tuvieron poca difusin; en el nuevo programa, los informes sern preparados para mltiples receptores.

Mxico Fecha de la primera evaluacin: 1976. Fecha del programa de evaluacin ms reciente: 1994. Grados evaluados (programa ms reciente): Todos los grados de la educacin bsica y secundaria, como tambin los profesores. Materias evaluadas: Matemticas y lectura en las escuelas; se evalu a los profesores en las materias y los conocimientos pedaggicos. Muestra o universo: Universo en 1994 anteriormente muestras. Resultados importantes: A medida que los alumnos avanzan en la escuela, obtienen puntajes progresivamente ms bajos que lo esperado; los puntajes ms altos fueron obtenidos por los alumnos que haban asistido a la enseanza preescolar, no estaban repitiendo el ao, asistan a escuelas urbanas o privadas y tenan padres mejor educados en reas urbanas; los nios de las escuelas indgenas y comunitarias con instalaciones escolares inadecuadas y profesores con menor capacitacin obtuvieron los peores puntajes. Tipos de investigaciones realizadas: Correlaciones simples y tabulaciones cruzadas. Informacin disponible acerca de los costos: US$35 por alumno en las muestras tomadas en 1990. Elementos tcnicos de inters: Seleccin mltiple. Estructura institucional: Administrado por la Secretara de Educacin Pblica. Retroalimentacin: Los informes se entregan a la opinin pblica pero no son fciles de comprender; hasta 1990 los resultados de las evaluaciones tuvieron carcter confidencial. Impacto sobre las polticas: Hasta hace poco ningn impacto sobre las

31

Impacto sobre las polticas: Reintroduccin en 1989 de las pruebas nacionales o regionales que representan un alto porcentaje de las notas finales de los alumnos; utilizadas como justificacin para el aumento de los fondos para educacin. Aspectos polticos y otros: Enfoque intermitente con respecto a las evaluaciones, dependiendo de la actitud de los sucesivos ministros de educacin; el actual ministro est a favor de las evaluaciones. Relacin con programas de evaluacin internacionales: Ninguna directamente.

polticas; las evaluaciones a los profesores estn relacionadas con el convenio con la asociacin gremial nacional para mejorar la calidad de la educacin bsica. Aspectos polticos y otros: Difusin y utilizacin inadecuadas a nivel de las escuelas. Relacin con programas de evaluacin internacionales: Pleno participante en el TIMSS, pero en el ltimo momento solicit que no se informaran los resultados.

32

33

Casanova, Ma. Antonia. Evaluacin: concepto, tipologa y objetivos En Manual de evaluacin educativa. 5 edicin. Edit. La Muralla S. A. Madrid, 1999. pp. 57-92.

CAPTULO III EVALUACIN: CONCEPTO, TIPOLOGA Y OBJETIVOS

EL CONCEPTO COMO BASE DE LA ESTRATEGIA DE ACTUACIN Como ya qued indicado en el captulo I al hablar, en general, sobre la evolucin del concepto de evaluacin, ste se ha ido transformando y ha ido incorporando nuevos elementos a su definicin segn se ha profundizado en su sentido, sus aplicaciones y las virtualidades que ofrece en los diferentes mbitos de aplicacin, que tambin han quedado sealados. Cindonos a los procesos de enseanza y aprendizaje y, ms en concreto, a la evaluacin de los aprendizajes que alcanza el alumnado, la concepcin de la misma tambin ha variado con el paso del tiempo y el avance en las teoras de la psicologa evolutiva y la psicologa del aprendizaje. Desde sus comienzos, la evaluacin aparece influida por su procedencia del campo empresarial. Por eso, al igual que los empresarios miden cuantitativamente los resultados de su produccin, en el campo educativo se pretendi medir el progreso del alumno cuantificando lo aprendido. Ello hace que se equipare a "medida" y que durante muchos aos (demasiados, ya que en ocasiones llega hasta nuestros das) lo que se intente al evaluar es medir la cantidad de conocimientos dominados por los alumnos. Las cabezas bien llenas a las que aluda Montaigne han resultado objeto principal de la evaluacin de aprendizajes. La aparicin de los tests y las escalas graduadas a principios del presente siglo1, absolutamente cuantificadas y automticamente aplicables, contribuyeron a dar carta de naturaleza a esta concepcin evaluadora. Pedagogos prestigiados y con una absoluta profesionalidad y categora educativa, adoptan durante largo tiempo este concepto, aun intentando claramente que su incidencia no resultara negativa para la formacin de los nios o jvenes, ya que el examen como nica prueba y el nmero como expresin del resultado se prestan, sin duda, a numerosas arbitrariedades y a faltas de rigor en su aplicacin; amparndose, adems, en la aparente objetividad del nmero para encubrir su improcedente modo de valorar. La cita que reproduzco a continuacin, de Alejandro Gal (1934, 34 y 37), es expresiva de esta situacin, en exceso generalizada: "Otros Sistemas de control tambin equvocos, son las puntuaciones y los exmenes. En el primero de dichos sistemas se han hecho verdaderas filigranas de 1 Rice es el primer psiclogo que aplica una prueba formal para medir la ortografa de 30.000 escolares (1897-1898) y Thorndike elabora la primera escala graduada para "la escritura a mano de los nios" en 1909, que se publica en 1912. Siguieron los tests y34

escalas de Courtis, Ayres, Hillegas, Buckingham y otros, sobre materias tales como aritmtica, escritura, composicin y ortografa. Paralelamente, en 1905 aparece la escala de inteligencia Binet-Simon, revisada en 1908 y 1911, con el concepto de edad mental (versin de 1908). Su adaptacin a Estados Unidos data de 1916: Escala de inteligencia Stanford-Binet, cuya versin de Terman -que incorpora el concepto de cociente intelectual - es la ms aceptada y difundida. Combinacin y clculo que tienen toda la apariencia de una determinacin objetiva de conocimientos. Nada ms lejos de la realidad. Hay que tener presente que la base de clculo de las puntuaciones Son las notas dadas por los maestros de una manera fundamentalmente arbitraria, no como pudiera suponerse por mala fe, sino por falta de elementos de referencia fidedignos. Por qu una leccin o un ejercicio valen siete puntos, y no ocho o seis? Es que el maestro puede dar fe de un exacto y positivo trabajo de contraste improvisado en un instante? (...) En este siete o en este ocho que se quieren adjudicar con tanta sensatez y justicia influyen, a despecho de uno mismo, mil circunstancias de temperamento personal, variable a cada momento que pasa, y mil aspiraciones y tendencias latentes que atraen y repelen los puntos del mismo modo que el polo magntico la aguja imantada. (...) Los exmenes, an ms que las puntuaciones, pueden dar una errnea sensacin de objetividad. De ellos se puede decir como de aquel famoso individuo que de no ser borracho, jugador, pendenciero y holgazn, hubiera sido una excelente persona. No obstante, tngase en cuenta que, a pesar de estas reflexiones, la obra de Gal se titula La medida objetiva del trabajo escolar. En la misma obra se observa claramente esa influencia empresarial trasvasada a la educacin en algunas de sus expresiones: "El maestro puede decirse que no ha dado un paso en el deseo de precisar las ganancias de su negocio, tan apreciable al menos como el del comerciante" (1934,29). En fin, que la "evaluacin" (trmino y concepto de aparicin reciente en el campo de la pedagoga, pues los trabajos datan de este siglo, como antes ha quedado apuntado) ha sido interpretada como sinnimo de "medida" durante el ms largo periodo de la historia pedaggica, y es en los tiempos actuales cuando est variando su concepcin, en funcin de los avances que experimentan las ciencias humanas, las concepciones diferentes que se poseen en relacin con la formacin de la persona y con los modos peculiares que sta tiene de aprender; evidentemente, por ltimo y desde una ptica estrictamente educativa, con la intencionalidad clara de aprovechar al mximo la evaluacin para optimizar los procesos educativos. En la actualidad se hace patente una divergencia entre los conceptos de evaluacin que se manejan a nivel terico y la prctica real en las aulas. Creo que una buena parte de los profesionales que nos dedicamos a la educacin estamos de acuerdo en la necesidad de incorporar a los procesos de enseanza un modelo de evaluacin cualitativo, que sea capaz de ofrecer datos enriquecedores acerca del desarrollo del alumnado y no slo de los resultados que obtiene a travs de medios no precisamente muy fiables, como ms adelante comentaremos y que ya anticipaba Alejandro Gal. Como consecuencia, una evaluacin que constituya un elemento curricular ms y que ayude a mejorar todo tipo de aprendizajes. Esta postura se hace palpable en las obras de muchos autores que as lo ponen de manifiesto (Weiss, R.S. y Rein, M.: 1972; Partett. M. y Hamilton. D.: 1976; Guba, E.G.: 1978; Fernndez Prez, M.: 1988; Rosales, C.: 1990;35

Santos Guerra, M. A.: 1993) y en el intercambio de opiniones y experiencias con numerosos profesores. No obstante, parecen existir dificultades importantes para llevar a la prctica ese modelo de evaluacin, bien sean stas por la exigencia de cambio de mentalidad que implican, por la presin que el modelo social ejerce sobre el educativo o por la necesidad de otras modificaciones estructurales y organizativas del sistema escolar que no se producen y que favoreceran su adecuada aplicacin. El problema de su incorporacin al quehacer en el aula proviene, precisamente, de que no supone slo adoptar un nuevo concepto de evaluacin, estar de acuerdo con l en un plano meramente intelectual, sino que implica cambiar las prcticas que se llevan a cabo en las aulas e invertir, en muchos casos, sus valores. Los alumnos estudian para aprobar. Los profesores ensean para que sus alumnos superen las evaluaciones. Lo que tiene valor real en la enseanza es lo que se evala; de lo contrario, nadie lo tiene en cuenta. Las familias se preocupan de la situacin de aprendizaje de sus hijos cuando stos suspenden. En fin..., seran innumerables los ejemplos que avalan la importancia errneamente entendida- de la evaluacin en los procesos de enseanza y aprendizaje y cuyo sentido resultara imprescindible modificar para que esa importancia le viniera dada por su contribucin a la mejora de esos mismos procesos y de sus resultados, como consecuencia de una aplicacin correcta y formativa. La evaluacin es importante, pero no como elemento de poder o de mantenimiento de la disciplina, no como instrumento para la promocin u obtencin de un ttulo, no como exclusivo factor de comprobacin de lo que se "aprende", nunca como fin de la educacin (que es lo que resulta ser en muchos casos para demasiados alumnos, profesores, padres o directivos). No se ensea para "aprobar". Se ensea y se aprende para alcanzar una plena e integral formacin como persona. Y a ese objetivo fundamental debe con