¿cÓmo realizar una investigaciÓn evaluativa? taller impartido en el ix encuentro de...
TRANSCRIPT
¿CÓMO REALIZAR UNA INVESTIGACIÓN
EVALUATIVA?
TALLER IMPARTIDO EN EL IX ENCUENTRO DE INVESTIGACIÓN EN
EL POSGRADO
ARTURO BARRAZA MACÍAS
NOVIEMBRE DE 2007
Trabajo publicado en www.ilustrados.com La mayor Comunidad de difusión del conocimiento
CONTENIDO
APROXIMACIÓNCONCEPTUAL
1.- Problemática2.- Conceptos de evaluación
3.- Nudos Tensionales
4.- Addendum:Criterios
5.- REFERENTES TÉORICOS: PRINCIPALES
AUTORES
6.- EL PROCESO DEINVESTIGACIÓN
EVALUATIVA
1.- PROBLEMÁTICA
EVALUACIÓN
EXÁMENES
INSTRUMENTO DE PODER
SUBJETIVIDAD
USO INADECUADO DE LOS INSTRUMENTOS DE
EVALUACIÓN
Se usan con fines diferentes para los que fueron diseñados
CULTURA DE LA EVALUACIÓN
Significados
Control externo Función penalizadora
Problema: desfase entre la teoría y la práctica
vinculada con la evaluación
Causas: la burocracia escolar, la presión del tiempo, cierta inercia y
rutina consolidada
DISCIPLINA
TRANSDICIPLINA
TEORÍA
INVESTIGACIÓN
2.- CONCEPTOS DE EVALUACIÓN
Un proceso y a la vez un producto, cuya aplicación
nos permite estimar el grado en el que un proceso educativo favorece el logro
de las metas para la que fue creado (Valenzuela,
2004)
Es el enjuiciamiento sistemático de la valía o el mérito de algo (Stufflebam, en Gutiérrez, 2005)
Evaluar algo es determinar su valor (Popham, en Gutiérrez, 2005)
La mejor forma de entender la evaluación es suponiendo que conlleva la realización de una investigación evaluativa, más
que como una serie diferenciada de axiomas o de
métodos de evaluación, separada del trabajo de
investigación más amplio (Shaw, 2003)
La evaluación es una actividad o proceso sistemático de identificación, recogida o
tratamiento de datos sobre elementos o hechos
educativos, con el objetivo de valorarlos primero y, sobre
dicha valoración, tomar decisiones (García, 1989).
Evaluación es el proceso de obtener información y
usarla para formar juicios que a su vez se utilizarán en la toma de decisiones
(Tenbrink en Elola y Toranzo, 2000)
COMPONENTES
Búsqueda de indicios Forma de registro y análisis Criterios Juicios de valor Toma de decisiones
EL GRAN AUSENTE
LA CONSTRUCCIÓN DEL OBJETO DE EVALUACIÓN
3.- NUDOS TENSIONALES
Evaluación Basada en Teoría
Evaluación Empírica
Evaluación Holística
Evaluación Atomista
Evaluación Objetivista
Evaluación Subjetivista
Evaluación Cuantitativa
Evaluación Cualitativa
4.- ADDENDUM: CRITERIOS
Son cualidades o valores que fundamentan el juicio o
estimación realizado sobre el objeto de evaluación.
Relevancia: la importancia de la contribución al cumplimiento de los objetivos.
Cobertura: relación de la población atendida con respecto a la población que tiene interés o que demanda y las posibilidades de respuesta.
Eficacia: Correspondencia entre los propósitos establecidos y los resultados logrados.
Eficiencia: adecuación o idoneidad de los medios empleados o los procesos desarrollados para el logro de los resultados esperados, con base en los objetivos planteados.
Equidad: el grado en que las acciones o servicios son accesibles a todos los sectores, en lo general, y de manera preferente a los que no tienen capacidad para obtenerlos.
Oportunidad: el grado de correspondencia temporal entre la presentación de una necesidad o requerimiento y el otorgamiento de la respuesta.
Actualidad, Pertinencia, Suficiencia, etc.
5.- REFERENTES TEÓRICOS: PRINCIPALES AUTORES
(Shaw, 2003)
Donald Campbell (60’s y 70’s)
Racionalista crítico Diseños experimentales Búsqueda de las causas Aceptación de la investigación
cualitativa
Michael Scriven (80’s y 90’s)
Búsqueda de soluciones eficaces a los problemas sociales
Un nuevo lenguaje (evaluación sin metas, evaluación formativa y sumativa, metaevaluación, etc.)
La evaluación asigna mérito y valor
Su objetivo es una Teoría de la Evaluación.
La evaluación como transdiciplina
Lee Cronbach (80’s)
Validez externa-acción social-contexto
Generalización Rechaza la evaluación
entendida como rendición de cuentas
Visión pluralista de la metodología
Una teoría de la evaluación debe de ser tanto una teoría de la interacción política como una teoría de cómo se construye el conocimiento.
Robert Stake (90’s) Indagación cualitativa Centración en las
actividades de los programas.
Se integran los valores de las personas
Es participativo. Generalización naturalista
Carol Weiss (80’s y 90’s)
Consideraciones políticas. La reducción del
conocimiento y el acrecentamiento de la decisión.
El evaluador que solo cuenta con la metodología no está bien equipado
Ernest House (80’s y 90’s)
La evaluación como acto de argumentación y credibilidad
Propósito reformista y de justicia social
Un acuerdo de evaluación justo Modelos de evaluación
participativos Metodología cualitativa.
6.- EL PROCESO DE INVESTIGACIÓN EVALUATIVA
Propuestas con orientación pragmática y bajo un enfoque
cuantitativo
Weiss (1997) (Procesual) Valenzuela (2004)
(formalizante) Gutiérrez (2005)
6.1.- Weiss (1997)
DISEÑO EXPERIMENTAL DE LA EVALUACIÓN
Buscar las metas del Programa.
Traducir las metas a indicadores mensurables de la realización del objetivo.
Reunir datos de los indicadores. Correspondientes a quienes participaron en el programa (y a un grupo de control equivalente que no participó).
Comparar los datos de los participantes (y de los controles) con los criterios de realización de las metas.
PROCESOS
INSUMOS
RESULTADOS
EVALUACIÓN DE PROGRAMAS
Formular las metas del programa que la evaluación utilizará como criterios.
Elegir entre metas múltiples.
Investigar consecuencias imprevistas.
Medir resultados. Especificar que es el
programa. Medir los insumos del
Programa y los procesos intercurrentes.
Reunir los datos necesarios.
DISEÑOS
EXPERIMENTALES
CUASIEXPERIMENTALES (SERIES TEMPORALES, SERIES TEMPORALES MÚLTIPLES Y GRUPO CONTROL NO
EQUIVALENTE)
NO EXPERIMENTALES (ANTES Y DESPUÉS, ÚNICAMENTE DESPÚES Y ÚNICAMENTE DESPÚES CON GRUPO
DE COMPARACIÓN)
6.2.- Valenzuela (2004)
Necesidad de evaluar
Planeación
Realización
Presentación de resultados
Planeación de la evaluación educativa
Visión preliminar ¿qué se evalúa, cuál es el propósito, para quien se realiza y que limitaciones existen para
realizarla? Enunciación de las preguntas
de evaluación.
Plan de colección de datos (tipo de datos, fuentes de datos, técnicas e instrumentos)
Plan de análisis e interpretación (¿cómo se van a analizar los datos y cuáles van a ser los criterios para la interpretación?)
Plan del informe (¿qué información se entrega, a que audiencia, y mediante cuál medio?)
Plan de administración (Uso de los recursos)
Plan para la metaevaluación (¿cómo evaluar la evaluación?)
Realización del proceso de evaluación
Muestreo Normas éticas Técnicas e instrumentos Confiabilidad y validez Análisis de datos
Presentación de los resultados de la evaluación (informe de
evaluación)
Estilo de redacción, uso de recursos para la presentación y normas para la presentación de informes,
Memoria, reporte ejecutivo o artículo científico.
Estructura de una memoria
Capítulo 1.- Introducción Capítulo 2.- Marco teórico y
contextual Capítulo 3.- Planteamiento de
preguntas del trabajo de evaluación.
Capítulo 4.- Método. Capítulo 5.- Resultados. Capítulo 6.- Discusión
6.3.- Gutiérrez (2005)
MATRIZ PARA LA CONSTRUCCIÓN DEL PLAN
DE LA EVALUACIÓN
Objeto de evaluación Categorías y subcategorías Criterios
Parámetros (estándares, normas mínimas, promedios, etc.)
Indicadores Recursos de información
(técnicas e instrumentos) Sujetos de la evaluación
7.- REFERENCIAS
Elola Nydia y Toranzos Lilia (2000), Evaluación educativa. Una aproximación conceptual, Buenos Aires, Argentina, Disponible en la Internet.
García Ramos J. M. (1989), Bases pedagógicas de la evaluación, Madrid, España, Síntesis.
Gutiérrez Ofelia Ángeles (2005), Evaluación Institucional, material de apoyo al Curso-Taller desarrollado en la Universidad Pedagógica de Durango.
Shaw Ian E. (2003), La evaluación cualitativa, Barcelona, España, Paidós.
Valenzuela González Jaime Ricardo (2004), Evaluación de instituciones educativas, México, Trillas.
Weiss Carol H. (1997), Investigación Evaluativa, México, Trillas.