evaluacion de polÍticas pÚblicas econ. paul amoretti ismodes
TRANSCRIPT
EVALUACION DE POLÍTICAS PÚBLICAS
Econ. Paul Amoretti Ismodes
Objetivo 1. Erradicar la pobreza extrema y el hambre
Meta 1: Reducir a la mitad entre 1990 y 2015 el porcentaje de personas con ingresos inferiores a un dólar 1. Porcentaje de la población con ingresos inferiores a
1 dólar por día (Banco Mundial) 2. Coeficiente de la brecha de la pobreza a 1 dólar por
día (Banco Mundial) 3. Proporción del ingreso o consumo que corresponde
a la quinta parte más pobre de la población (Banco Mundial)
Meta 2: Reducir a la mitad, entre 1990 y 2015, el porcentaje de personas que padezcan hambre4. Prevalencia de niños menores de 5 años de peso inferior a lo normal (UNICEF) 5. Porcentaje de la población por debajo del nivel
mínimo de consumo de energía alimentaria (subnutrición) (FAO)
Objetivo 2. Lograr la enseñanza primaria universal
Meta 3: Velar por que, para el año 2015, los niños y niñas de todo el mundo puedan terminar un ciclo completo de enseñanza primaria6. Tasa neta de matrícula en la escuela primaria (UNESCO) 7. Porcentaje de los estudiantes que comienzan
el primer grado y llegan al quinto grado de la escuela primaria (UNESCO)
8. Tasa de alfabetización de las personas de edades comprendidas entre los 15 y los 24 años (UNESCO)
Objetivo 3: Promover la igualdad entre géneros y la autonomía de la mujer
Meta 4: Eliminar las desigualdades entre los géneros en la enseñanza primaria y secundaria, preferiblemente para el año 2005, y en todos los niveles de la enseñanza antes del fin del año 20159. Relación entre niñas y niños en la educación primaria, secundaria y superior (UNESCO): 10. Relación entre las tasas de alfabetización de las
mujeres y los hombres de edades comprendidas entre los 15 y los 24 años (UNESCO)
11. Proporción de mujeres entre los empleados remunerados en el sector no agrícola (OIT)
12. Proporción de puestos ocupados por mujeres en el parlamento nacional (IPU)
Objetivo 4: Reducir la mortalidad infantil
Meta 5: Reducir en dos terceras partes, entre 1990 y 2015, la mortalidad de los niños menores de 5 años13. Tasa de mortalidad de los niños menores de 5 años (UNICEF) 14. Tasa de mortalidad infantil (UNICEF) 15. Porcentaje de niños de 1 año vacunados
contra el sarampión (UNICEF)
Objetivo 5. Mejorar la salud materna
Meta 6: Reducir, entre 1990 y 2015, la mortalidad materna en tres cuartas partes16. Tasa de mortalidad materna (OMS) 17. Porcentaje de partos con asistencia de
personal sanitario especializado (UNICEF)
Objetivo 6. Combatir el HIV/SIDA, el paludismo y otras enfermedades
Meta 7: Haber detenido y comenzado a reducir, para el año 2015, la propagación del VIH/SIDA18. Tasa de morbilidad del VIH entre las mujeres embarazadas entre los 15 y los 24 años de edad (ONUSIDA) 19. Uso de preservativos dentro de la tasa de uso de anticonceptivos
y Población de 15 a 24 años que tiene conocimientos amplios y correctos sobre el VIH/SIDA
20. Relación entre la matrícula de niños huérfanos y la matrícula de niños no huérfanos de 10 a 14 años (ONUSIDA)
Meta 8: Haber comenzado a reducir, para el año 2015, la incidencia del paludismo y otras enfermedades graves21. Tasa de prevalencia y mortalidad palúdicas (OMS) 22. Proporción de la población de zonas de riesgo de paludismo que
aplica medidas eficaces de prevención y tratamiento del paludismo (UNICEF):
23. Tasa de prevalencia y mortalidad de la tuberculosis (OMS) 24. Proporción de casos de tuberculosis detectados y curados con el
tratamiento breve bajo observación directa (OMS)
Objetivo 7. Garantizar la sostenibilidad del medio ambiente
Meta 9: Incorporar los principios del desarrollo sostenible en las políticas y los programas nacionales e invertir la pérdida de recursos del medio
Meta 10: Reducir a la mitad, para el año 2015, el porcentaje de personas que carezcan de acceso sostenible a agua
Meta 11: Haber mejorado considerablemente, para el año 2020, la vida de por lo menos 100 millones de habitantes de tugurios
Objetivo 8. Fomentar una asociación mundial para el desarrollo
Meta 12. Desarrollar aún más un sistema comercial y financiero abierto, basado en normas, previsible y no discriminatorio .
Meta 13. Atender las necesidades especiales de los países menos adelantados.
Meta 14. Atender las necesidades especiales de los países sin litoral y de los pequeños Estados insulares en desarrollo.
Meta 15. Encarar de manera general los problemas de la deuda de los países en desarrollo con medidas nacionales e internacionales a fin de hacer la deuda sostenible a largo plazo.
Meta 16. En cooperación con los países en desarrollo, elaborar y aplicar estrategias que proporcionen a los jóvenes un trabajodigno y productivo. Meta 17. En cooperación con las empresas farmacéuticas,
proporcionar acceso a los medicamentos esenciales en los países en desarrollo.
Meta 18. En colaboración con el sector privado, velar por que se puedan aprovechar los beneficios de las nuevas tecnologías, en particular de las tecnologías de la información y de las comunicaciones.
1 2 3 4
Mayor potencial
conflictivo, mayor control
estatal
Mayor potencial
conflictivo, menor control
estatal
Menor potencial
conflictivo, mayor control
estatal
Menor potencial
conflictivo, menor control
estatal
A Económicamenteimportantes
Lima Metropolitana,
Piura, Junín, Arequipa, Tacna
Ancash, Cajamarca, Apurímac,
Moquegua, Loreto
Ica, La Libertad, Lima provincias,
Pasco
B Actividadesilegales
Huánuco, Cusco, Ayacucho, Puno, Madre de Dios,
Ucayali
C Sin actividadeconómicarelevante
San Martín, Huancavelica,
Amazonas
Lambayeque, Tumbes
Políticas Públicas
Evaluación
Concepto de evaluación
Comparación de …Lo
PlanificadoLo realizado
Objetivos ObjetivosCostos CostosTiempo Tiempo
El “logro” de lo planificado es la medida de la performance del proyecto
Evaluación: requisitos esenciales Que exista una planificación
elaborada, que permita la comparación de lo ejecutado con lo planificado
Que se genere la información necesaria y oportuna
El sistema de M + E es en esencia, información
Evaluación del diagnóstico
Análisis del diagnóstico
Problemas Causas y efectos Población objetivoContexto
socioeconómico
Explícitos Claros Rigurosos Completos Medibles Contrastables
Estudio de necesidades
Cuantificada Características Cobertura prevista
Estudios previos Variables (línea de
base) Estudios de
proyección
Fuentes de información
Preguntas fundamentales
¿Cómo está funcionando la Política Pública?
¿Se logró o no el cambio deseado?
¿Si se logro el cambio, en que medida puede ser atribuido a la Política Pública?
¿Por qué evaluar?
EVALUACIÓNMostrar
resultados
TransparenciaAccountability
Mejorara calidad de la
vida…
Lecciones de la experiencia
Pasado
Presente
Futuro
¿Para qué sirve la evaluación? Informar sobre el avance de la Política
Pública Mantener la ejecución de la Política
Pública en línea con lo planificado Examinar la estrategia de la Política
Pública Realizar los ajustes que sean necesarios Aprender de las experiencias para
mejorar la gestión
Monitoreo vs. Evaluación
Seguimiento periódico de actividades
Utiliza indicadores de proceso, principalmente
Busca hacer correcciones y ajustes a tiempo
Es paralela a la ejecución del plan/proyecto
Es función de la Gerencia
Es administración
Es más episódica Utiliza indicadores de
resultados, efecto e impacto
Busca extraer lecciones para futuras intervenciones suele ser retrospectiva
Es función del Directorio
Es Planeamiento EstratégicoAmbos son instrumentos de gestión
Indicadores: rol clave
Información sobre la ejecución de la Política Pública
PLANIFICADO REALIZADO
INDICADORES
Los indicadores resumen la información necesaria para realizar la comparación objetiva entre lo planificado y loa realizado
Sistema de información gerencial El sistema de Monitoreo y Evaluación es
un sistema de información gerencial
Porque es información sobre ejecución Porque es información resumida en
indicadores Porque contiene los indicadores
necesarios para la toma de decisiones
Porque es información sobre ejecución Porque es información resumida en
indicadores Porque contiene los indicadores
necesarios para la toma de decisiones
Tipos de evaluaciónTIPO FRECUENCIA
INDICADORES
PROPOSITO
De Impacto
Baja, luego de un tiempo de maduración
Cambios sustentables en el nivel de la población
objetivo
Estimar impacto en la población
De Resultado
s
Anual o al final del Proyecto
Productos o resultados propuestos
Evaluar cumplimiento de
los objetivos específicos o
productos ofrecidos
De Procesos
Alta (mensual, trimestral)
Actividades realizadas,
gastos ejecutado
(indicadores de proceso)
Estimar avance (monitoreo)
Evaluación de proceso
La evaluación de procesos permite conocer la dinámica de implementación de actividades
Cantidad de actividades realizadas Calidad de las actividades Reacción de la población objetivo
(Satisfacción de usuario/cliente)
Evaluación de procesos: preguntas clave
¿Cuánto hemos hecho?¿Qué tan bien lo hemos hecho?
¿Cuánto ha costado?¿Cómo podríamos mejorar?
Evaluación de procesos: ventajas y desventajas Se enfoca exclusividad en la
implementación de las actividades No investiga la medida en que las
actividades han generado resultados Unidad básica: identifica aspectos
exitosos y aspectos deficientes, con la finalidad de realizar cambios en la programación (decisiones operativas)
De utilidad principal para la institución ejecutora
Evaluación de resultados
Permite determinar el grado de logro de los objetivos
Los objetivos se refieren, por lo general, a cambios en el bienestar de la población Empleo e ingresos Accesos a servicios Derechos políticos
Método general de medición: comparación antes/después Alternativamente: fijación de metas
Evaluación de impacto
Permite determinar la relación causa – efecto: relación entre resultados y las intervenciones públicas
Metodología general. Construcción de escenarios contrafactual o comparación con/sin
Pregunta clave: ¿Qué habría ocurrido si no se hubiera ejecutado la intervención?
Análisis de la eficiencia
GestiónAnálisis de las
causas de ineficiencia
Causas
Conclusiones, recomendaciones y aprendizajes
Evaluación de Impactos
Determinación y valoración de la eficacia del programa
Determinación del impacto del programa
Es Eficaz No es Eficaz
Análisis de las causas de la ineficacia
Contexto socioeconómico
Diseño del programa
IneficienteEficiente
El Marco Lógico
¿Cómo diseñar una evaluación? Determinar (o aclarar) los objetivos del
plan/proyecto, que serán, al mismo tiempo los objetivos de evaluación
Determinar el tipo de evaluación a realizar y la metodología correspondiente
Identificar los indicadores, según el tipo de evaluación
Recopilar información y elaboración del informe de evaluación
Paso 1: determinar objetivos de la evaluación Se realiza sobre la base del Marco Lógico Por lo general, existen 4 tipos de
objetivos: fin, propósito, productos y actividades
Dependiendo del tipo de evaluación que se quiera realizar, se elegirá uno u otro tipo de objetivos.
Idealmente: ¿A quién? Población objetivo ¿Qué? Cambio deseado ¿Cuánto? Magnitud esperada del cambio ¿Cuándo? Horizonte temporal
Paso 2: determinar el tipo de evaluación a realizar y la metodología correspondiente Las evaluaciones pueden ser: de
procesos, de resultados y de impacto. En planes y políticas, se utilizan
evaluaciones de impacto y resultados
En programas y proyectos se utilizan, principalmente evaluaciones de procesos y resultados
Paso 3: identificar los indicadores, según el tipo de evaluación
Para identificar y seleccionar los indicadores se toma en consideración:
El tipo de evaluación elegido Criterios genéricos de selección de
indicadores: La data existente y la que podría obtenerse
a costo razonable
Paso 4: recopilar la información, sobre base de los medios de verificación establecidos Para cada indicador es necesario
recolectar datos de alguna fuente Fuentes de datos cuantitativos Entrevistas estructuradas Estadísticas de servicios (datos
administrativos) Técnicas cualitativas más importantes:
Entrevista en profundidad Grupos focales Observación directa
Paso 5: análisis de la información y elaboración del informe de evaluación
Técnicas de análisis cuantitativo, basados en métodos estadísticos
Técnicas de análisis cualitativo Análisis de casos Análisis de contenido El informe de evaluación debe ser parte de
una estrategia de difusión
MONITOREO Y PLAN OPERATIVO
Plan Operativo Actividades programadas Costos previstos Mestas estructuradas Tiempo previsto Responsables asignados
Monitoreo Procesos realizados Costos efectuados Mestas obtenidas Tiempo real Responsabilidades reales
PLANIFICADO
REALIZADO
Programación
El objetivo de la programación es la optimización de la utilización de los recursos, de tal forma que se cumplan los objetivos de la Política Pública.
Plan Operativo
Es el documento que precisa las actividades del plan o proyecto y su cronograma Los objetivos son los que contiene el documento de
plan o proyecto aprobado. Esto no puede ser variado bajo ninguna circunstancia
Las actividades son aquellas previstas en el documento del plan o proyecto
Se incorporan sub-actividades o tareas, las cuales en el documento del plan o proyecto aún no figuraban, debido a la falta de elementos suficientes para especificarse
Se especifican las metas, las cuales se expresan numéricamente a través de los indicadores
Se incorpora un cronograma de las actividades, trimestral, mensual
Elaboración del Plan Operativo Ordenar las actividades según
componentes, desagregar las actividades en tareas y codificarlas
Ubicar las metas señaladas en el marco lógico para cada actividad o tarea
Estimar la duración de cada actividad y definir el calendario de trabajo
Determinar quienes serán los responsables de cada actividad y tarea
Definir los costos por componente, actividad y tarea
Contenido principal del plan operativo Introducción Objetivos y actividades Cronograma de actividades Cronograma de gastos El control de los riesgos y las
condiciones de éxito
Informe de monitoreo
I. RESUMEN NARRATIVO Resultados logrados Efectos no previstos Problemas internos Problemas externos Posibilidad de éxito del plan o proyecto
II. CRONOGRAMA DE ACTIVIDADES PROGRAMADAS Y REALIZADAS
III. CRONOGRAMA DE DESEMBOLSOS PROGRAMADOS Y EJECUTADOS
Evaluación Integral
SOCIEDAD
NECESIDADESPROBLEMAS IMPACTOS
OBJETIVOS INSTRUMENTOS
RESULTADOS
RACIONALIDAD COHERENCIA
EFICACIA
EFICIENCIA
ACCIÓN PÚBLICA
EVALUACIÓN
EVALUACIÓN DE IMPACTOS
METAEVALUACIÓN
SÍNTESIS DE EVALUACIONES
EVALUABILIDAD
EVALUACIÓN DE GESTIÓN (PROCESO)