evaluacion para la toma de decisiones 2

Racionalidad y política en el análisis y la gestión del cambio en las políticas públicas

Curso Métodos de Análisis, Diseño y Evaluación de

Políticas públicas que generan Innovación.

ESAP · EIAPP-CLAD · DNP

Bogotá, 23-27 Agosto 2010

César Nicandro [email protected]

SESION 3. Gestión basada en resultados

(60 min. aprox.)

EvaluaciónMonitoreo

Esquema de exposición

Análisis de políticas públicas –monitoreo y evaluación

Herramientas M&E para demostrar resultados y rendir cuentas – implementación de un sistema M&E

Estudio de caso: - Coneval México Cambio político y gestión del cambio

El poder de la medición de resultados (6 verdades)1. Si no se miden resultados, no se

puede ver si se ha tenido éxito o fracaso

2. Si no se puede ver el éxito, no se puede obtener recompensa de éste

3. Si no se pueden recompensar éxitos, probablemente estemos premiando fracasos

4. Si no se puede ver el éxito, no se puede aprender de éste

5. Si no podemos reconocer fallos, no se pueden corregir

6. Si puedes demostrar resultados, puedes ganar apoyo público.

Adaptado de Osborne, D., y Gaebler, T. Reinventing Government: How Entrepenurial Spirit is Transforming the Public Sector. Colorado: Addison Wesley Publishers. (1994), según referencia en Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

¿Qué hacen el monitoreo y la evaluación orientada a resultados?

Monitoreo Evaluación

Clarifica los objetivos del programa

Vincula las actividades y sus recursos con los objetivos

Convierte los objetivos en indicadores de desempeño y determina objetivos en una o varias unidades de indicador (target)

Realiza rutinariamente la recolección de datos de estos indicadores, compara resultados actuales con los objetivos (targets) fijados.

Informa de progresos a los gestores y les alerta en caso de problemas

Analiza por qué los resultados esperados han sido alcanzados o no

Valora las contribuciones causales específicas de las actividades sobre los resultados

Examina el proceso de implementación

Identifica resultados no deseados

Proporciona lecciones, resalta logros significativos o potenciales, y ofrece recomendaciones de mejoras

Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

Herramientas M&E

Indicadores de desempeño Matriz de indicadores (marco lógico) Evaluación basada en la teoría Encuestas formales Métodos de evaluación rápida Métodos participativos Seguimiento del gasto público Análisis costo-beneficio y costo-eficacia Evaluación de efectos (impacto)

The·World·Bank. (2004). Seguimiento y Evaluación: Instrumentos, métodos y enfoques (Desarrollo de la Capacidad de Evaluación OED ECD). New York: Banco Mundial.

EvaluaciónMonitoreo

Herramientas M&E Indicadores de desempeño

Basado en The·World·Bank. (2004). Seguimiento y Evaluación: Instrumentos, métodos y enfoques (Desarrollo de la Capacidad de Evaluación OED ECD). New York: Banco Mundial.

Son instrumentos que permiten medir los insumos, procesos, productos, resultados y efectos de los proyectos, programas o políticas públicasElementos y características

La participación de las partes interesadas en la definición de indicadores es fundamental. Cuando son continuados y están respaldados por técnicas y sistemas acertados de recogida y sistematización de datos, ofrecen información útil para seguir progresos y demostrar resultados.

Se pueden usar • Fijar objetivos de desempeño • evaluar progresos en su consecución• Identificar problemas (sistemas de alerta temprana) para poder adoptar medidas correctivas• Determinar si se precisa de una evaluación en profundidad

Ventajas e inconvenientes

• Son un medio eficaz para medir resultados y cuantificar progresos• Establecen puntos de referencia, comparativos entre países, regiones o periodos de tiempo• Deben estar bien definidos para su pleno y certero uso. • Se tiende a sobredimensionar la cantidad de indicadores

Ejemplos • Eficiencia terminal de educación primaria• Índice Desarrollo Humano (indicador agregado)


Herramienta analítica para la planificación y gestión de programas y proyectos, orientados por objetivosElementos y características

El enfoque del marco lógico define la ejecución de un proyecto como consecuencia de un conjunto de acontecimientos con una relación casual interna. Estos se describen en: insumos, actividades, resultados, objetivo específico y objetivo global. Permite determinar los indicadores de desempeño en cada fase de la cadena.

Se pueden usar

• Mejorar la calidad del diseño de los programas, ya que exige la especificación de objetivos claros, el uso de indicadores y evaluación de riesgos. • Resumir proyectos complejos• Para preparar planes operacionales detallados.• Ofrece una base sólida y objetiva para el seguimiento y evaluación de actividades.


• Reduce incertidumbre, opacidad. Dirige el análisis y discusión de factores causales•Permite implicar a los interesados en la planeación y seguimiento•Si se aplica con rigidez inhibe la creatividad e innovación•Si no se actualiza puede convertirse en una camisa de fuerza•Su uso y actualización exige ciertas capacidades técnicas

Ejemplos • según diapositiva

Herramientas M&E Marco Lógico (matriz de indicadores)

Fuente: Redinfor Perú. Disponible en http://www.youtube.com/watch?v=Hg4yNT4KYnI(último acceso: 01 agosto 2010)

Herramientas M&E Marco Lógico (matriz de indicadores)

Herramientas M&E Marco Lógico (lógicas verticales y horizontales)

Fuente: Redinfor Perú. Disponible en http://www.youtube.com/watch?v=NyM44ofliQ4 (último acceso: 01 agosto 2010)


Permite una comprensión aun más profunda del la teoría o la lógica del programa, ya que se basa en analizar la causalidad del programa en lugar de darla por sentada.

Elementos y características

Permite identificar los factores de éxito del programa y la forma en cómo se interrelacionan, ya que las relaciones lineales causa efecto muchas veces no están claras, sobre todo en problemas complejos o sistemas de problemas.

Se pueden usar

• Determinar el diseño de proyectos complejos• Mejorar la planificación en general y la gestión del programa en particular


• Permite conocer desde el primer momento qué funciona o no y por qué, permite corregir problemas, identificar efectos colaterales (secundarios, no deseados), identificar prioridades de investigación y evaluación. •Su realización puede tornarse compleja si la escala de actividades es grande o se elaboran listas exhaustivas de supuestos y factores.•Puede generar desacuerdo sobre los factores determinantes, ante evidencias no concluyentes, generando debates no fructíferos en la gestión.

Ejemplos • Informes externos de desempeño de programas

Herramientas M&E Evaluación basada en la teoría


Instrumentos para recopilar información relevante de índole objetivo y subjetivo, sobre el desempeño e impacto (y percepciones) sobre un programa o proyecto.


Se realizan sobre los destinatarios (o beneficiarios) de los programas o proyectos.

Se pueden usar

•Ofrecer datos de referencia para comparar resultados (datos preliminares) de la estrategia del programa•Analizar cambios entre los grupos de beneficiarios o a través del tiempo•Comparar condiciones reales con metas establecidas•Describir las condiciones de una comunidad o grupo concreto•Dar pistas para realizar evaluaciones formales exhaustivas


•Las conclusiones de un grupo son extrapolables al universo•Se pueden hacer estimaciones cuantitativas de los efectos.•Pasa mucho tiempo antes de conocer los resultados definitivos.•La elaboración y análisis de datos son procesos lentos y complejos.•Mucha información no es posible obtenerse a través de estos medios.

Ejemplos • Encuestas de hogares (estudios de medición de niveles de vida)•Cuestionarios sobre indicadores de bienestar•Encuestas de satisfacción de clientes (valoración y percepción ciudadana)•Fichas de calificación ciudadana (valoración y percepción ciudadana)

Herramientas M&E Encuestas formales


Instrumentos para recopilar información rápida, a bajo coste para la toma de decisiones.


Son técnicas sencillas de obtención de información relevante, a fin de cubrir las necesidades de información de los elaboradores de las políticas y de los tomadores de decisiones.

Se pueden usar

•Obtener de una forma rápida información para la toma de decisiones, brindar una mejor comprensión cualitativa de problemas socioeconómicos complejos, valores o motivaciones o reacciones personales


•Bajo costo, rápidas y flexibles al momento de incorporar nuevos derroteros de estudio.•Poco fiables y creíbles que las encuestas formales. Resultados difícilmente extrapolables al universo (generalización).

Ejemplos • Entrevistas a informantes clave: preguntas abiertas a individuos seleccionados• Grupos focales: debate de individuos seleccionados dirigido por un moderador • Entrevistas a grupos comunitarios: preguntas y debate moderados, con guión•Observación directa: formularios observación sobre resultados observables•Miniencuestas: cuestionario estructurado a personas seleccionadas o aleatorias

Herramientas M&E Métodos de evaluación rápida

Basado en:Gallego, I. (1999). "El Enfoque de Monitoreo y la Evaluación Participativa (MEP): Batería de Herramientas Metodológicas." Revista Española de Desarrollo y Cooperación(4), 103-136. The·World·Bank. (2004). Seguimiento y Evaluación: Instrumentos, métodos y enfoques (Desarrollo de la Capacidad de Evaluación OED ECD). New York: Banco Mundial.

Herramientas simples, informales y de índole cualitativo que implican la participación beneficiarios y del personal del proyecto en evaluaciones periódicas que analizan eficacia y relevancia de un proyecto dado


Las metodologías y técnicas participativas M&E se basan en 4 principios integradores: PARTICIPACION: de todos lo implicados, desde la planificación hasta la evaluaciónAPRENDIZAJE: construcción de capacidades locales, uso de informaciónNEGOCIACION: la evaluación es un proceso social y político de negociaciónFLEXIBILIDAD: proceso dinámica y flexible adecuado a las necesidades

Se pueden usar

•Conocer perspectivas y prioridades de los beneficiarios a fin de formular intervenciones más flexibles•Identificar problemas y resolverlos durante la implementación


•Se examinan las cuestiones más pertinentes, haciendo protagonistas a los usuarios•Se establecer asociaciones y una mayor identificación local, mejorando capacidades de gestión•Parecen poco objetivos, requieren mucho tiempo de convencimiento generalizado•Posible uso inadecuado a fin de proteger intereses particulares

Herramientas M&E Métodos de monitoreo y evaluación participativa

Enfoque convencional Enfoque participativo

Evaluación sumativa Evaluación formativa

Su propósito es la rendición de cuentas y la mejora en la gestión

Su propósito es el empoderamiento y el aprendizaje

Los evaluadores son agentes externos. La actitud del evaluador es la objetividad y distancia con la población local

Los evaluadores son la población local apoyada por un facilitador (agente externo). Se explicita la subjetividad, proximidad y fomento de la confianza

Los objetos de medición son indicadores predeterminados

Los indicadores son negociados.

Se usan métodos formales de evaluación, complejos y cuantitativos

Métodos informales, simples, cualitativos

Se evalúa en momentos preestablecidos Periódicamente

Los resultados de la evaluación pertenecen al agente externo

Hay una apropiación por la población local.

Herramientas M&E Comparativa enfoque convencional y participativo

Basado en:Gallego, I. (1999). "El Enfoque de Monitoreo y la Evaluación Participativa (MEP): Batería de Herramientas Metodológicas." Revista Española de Desarrollo y Cooperación(4), 103-136

Ejemplos•Transectos (paseos estructurados para contrastar indicadores seleccionados). Hoja de planificación (MML participativa) se identifica quien recoge información y para qué se usan los indicadores

• Evaluación de beneficiarios Consulta sistemática para identificar y diseñar iniciativas de desarrollo, identificar problemas y recoger propuestas de soluciones de mejora, a través de Hojas de información (monitoreo participativo con indicadores concertados),

•Análisis de partes interesadas: entender las relaciones de poder influencia e intereses locales a fin de definir quien debe participar y cuándo.

•Análisis de acontecimientos críticos: Se prescinde del uso de indicadores, en todas sus formas, para describir hechos o sucesos que a lo largo del tiempo han producido para establecer relaciones de causa-efecto. Es una forma alternativa de medir el impacto de un proyecto o programa.

•Matrices de clasificación y puntuación: permiten conocer y definir las preferencias de los usuarios sobre proyectos que se llevan a cabo, así como identificar indicadores socialmente relevantes

•Diagramas de flujo: Ilustran interrelaciones existentes entre determinadas situaciones o problemas. Se priorizan problemas y se identifican soluciones posibles.

Herramientas M&E Métodos de monitoreo y evaluación participativa

Basado en:Gallego, I. (1999). "El Enfoque de Monitoreo y la Evaluación Participativa (MEP): Batería de Herramientas Metodológicas." Revista Española de Desarrollo y Cooperación(4), 103-136.

Herramientas M&E Estudios de Seguimiento del gasto público (tracking surveys)Permiten seguir el flujo de los fondos públicos y determinar hasta qué punto los recursos llegan de hecho a los grupos beneficiarios. Muchas veces forman parte de estudios más amplios relacionados con encuestas de calidad en la prestación de servicios. Identifican atascos burocráticos en el flujo de fondos.

Se pueden usar

• Determinar cuantitativamente los problemas existentes en el diseño de proyectos o en la prestación de servicios• Ofrece pruebas de retrasos, filtraciones, corrupción


•Favorecen la rendición de cuentas, mejoran la gestión•Su realización puede implica mucha resistencia de los organismos gubernamentales, •Elevado costo y lentitud.



Instrumentos para determinar si los costos de una actividad pueden estar justificados por los resultados y los efectos.


El análisis costo-beneficio mide los insumos y los resultados en términos monetarios, mientras el análisis de eficacia en función de costos estima los insumos en términos monetarios y los resultados en términos cuantitativos no monetarios (v.g. mejores calificaciones )

Se pueden usar

•Orientar las decisiones sobre la asignación de recursos. Identificar rentabilidad de los proyectos


•Bastante técnicos•Los resultados deben tomarse con cautela pues a veces e s difícil cuantificar los beneficios•Algunas veces los resultados dependen de supuestos formulados y no de datos

Herramientas M&E Análisis costo beneficio y de la eficacia en función de los costos


Mide aquellos cambios (identificación sistemática de repercusiones deliberadas o no, positivas o negativas) que pueden ser atribuibles al programa en cuestión. Ofrece evidencia sobre si un programa funciona o no, y ofrece recomendaciones sobre si el programa debe o no seguir, debe o no ser modificado


Las evaluaciones de impacto pueden provenir de encuestas a gran escala con grupos de control implicados y en diferentes momentos de ejecución, hasta evaluaciones con encuestas mas pequeñas o usando enfoques participativos, en las que los efectos se estiman a través de entrevistas, informante clave, estudios de caso y datos secundarios.

Se pueden usar

•Medir resultados y efectos de las políticas y distinguir entre éstos y los de índole externo•Orienta la toma de decisiones para el cambio, la perpetuación o terminación del programa. Contribuye a la rendición de cuentas


•Estima magnitud de resultados para distintos grupos demográficos, regiones o al lo largo del tiempo. Responde a preguntas fundamentales (cuales son los verdaderos resultados, cómo podemos hacer mejor las cosas•Algunos modelos son muy costosos, tardados. No son útiles si se precisa la información rápidamente

Herramientas M&E Evaluación de efectos (impactos)


Herramientas M&E Cuatro modelos de evaluación de efectos (impactos)


Herramientas M&E Cuatro modelos de evaluación de efectos (impactos) -finaliza

Los diez pasos para el diseño, construcción y mantenimiento de un sistema M&E basado en resultados

1 2 3 4 5 6 7 8 9 10

Realizar una evaluación

preparatoria

Acordar los resultados a monitorear y

evaluar

Seleccionar indicadores clave para monitorear resultados

Diagnóstico Indicadores

base: ¿dónde estamos ahora?

Planeación de las mejoras: selección de target results (objetivos de desempeño)

Monitorear resultados

El papel de las evaluaciones

Reportar hallazgos

Utilizar hallazgos

Mantener el sistema M&E en la organización



1 2 3

Realizar una evaluación

preparatoria

Acordar los resultados a monitorear y

evaluar

Seleccionar indicadores clave para monitorear resultados

Se trata de construir los cimientos del sistema. De Identificar los incentivos y las demandas existentes para crear el sistema M&E, en identificar los actuales roles y responsabildades en las funciones de M&E de la organización, qué requisitos técnicos y humanos son necesarios, donde comprender los motivos políticos de los actores implicados es fundamental

Saber hacia dónde dirigirnos antes de movernos, donde se destaca la importancia de implicar a los actores políticos clave en la construcción de procesos participativos y de consulta para la definición de resultados. Exige definir resultados en términos positivos.

Implica trasladar los resultados hacia indicadores, bien nuevos o bien ya existente, usando como base los criterios CREMA (CREAM)

Claros: Precisos, no ambiguosRelevante:Apropiados para el asunto en cuestiónEconómicos: Obtenibles a bajo costo o costo razonableMonitoreable: Que pueda prestarse a validación independienteAdecuados: Suficientes para la evaluación del desempeño


8


4 5 6

Diagnóstico Indicadores

base: ¿dónde estamos ahora?

Planeación de las mejoras: selección

de target results (objetivos de desempeño)

Monitorear resultados

Se determina cuál es el estado actual del resultado o de los resultados que queremos mejorar. Es la definición del punto de partida, el antes del programa. Se debe saber cuáles son las fuentes de los datos, cuáles son los métodos de recolección, quién recolectará y cómo serán recolectados los datos, cuáles son las dificultades, quíen analizará los datos, quien realizará reportes sobre los mismos y finalmente quién usará los datos.

Este paso define las metas en objetivos a ser alcanzados como objetivos de rendimiento. Un objetivo (target) es un objetivo especificado cuantitativa , espacial y temporalmente.

3


7

El papel de las evaluaciones

Se debe utilizar la información producto de las evaluaciones en mejorar el sistema M&E: ayudar a tomar decisiones en la distribución de recursos, a repensar la causalidad del problema e identificar nuevos, apoyar la toma de decisiones con información razonada, promover el apoyo público al programa, consensuar las causas de los problemas y las respuestas de atención.


8 9 10

Reportar hallazgos

Utilizar hallazgos

Mantener el sistema M&E en la organización

•Demostrar rendición de cuentas. •Convencer a otros actores políticos y sociales usando evidencia.•Educar apoyar el aprendizaje organizacional. •Investigar qué funciona y qué no y por qué. •Crear una memoria institucional y favorecer la evolución mediante la participación. •Obtener apoyo público y promover una mejor comprensión sobre los proyectos o programas•Para formular y justificar ampliaciones de presupuestos• Ayuda a motivar al personal, a premiar éxitos y a penalizar fracasos•Comunicar avances al público y favorece un clima de confianza.

Debe entenderse este esfuerzo de construcción como de largo plazo, y no como un elemento episódico del programa o proyecto en cuestión. Debe consolidarse una demanda, una definición clara de funciones y responsabilidades, y una transmisión periódica y confiable de resultados (buenos y malos),


7

Muchas gracias por su atención

evaluacion para la toma de decisiones 2

Documents