evaluación de políticas y programas - comisión económica para américa latina y … ·...
TRANSCRIPT
-
Evaluacin dePolticas y Programas
Eduardo Aldunate RiedemannExperto rea de Polticas Presupuestarias y Gestin PblicaILPES/CEPAL
Curso "Planificacin Estratgica y Construccin de Indicadores de Desempeo"
-
Temario
Aspectos generales
Evaluacin de Polticas
Evaluacin de Programas
-
Evaluaciones
Antes Durante DespusEvaluacin social
de proyectos y programas
Evaluacinex-post
Evaluacin de la ejecucinEvaluacin de resultadosEvaluacin de impactos
Partimos?Con qu rumbo?
Cmo vamos?Corregimos el rumbo?
Llegamos?Qu tal lo hicimos?Qu aprendimos?
-
Se funden en el caso de programas
Ciclo de Vida de un Programa o Proyecto
Preinversin Inversin Operacin
Formulacin y evaluacin ex-ante
Evaluacin de la ejecucin
Evaluacin de resultados e
impactos
Evaluacinex-post
-
Un principio fundamental:
Impacto?
Impactoreal
Antes Actual
X
Siempre debemos compararCON versus SIN
( Poltica, Programa o Proyecto)
-
Evaluacin socio-econmica (antes)
De qu se trata ?
Identificar, estimar y comparar los costos y beneficios esperados de un proyecto, programa o poltica para decidir la
conveniencia de su ejecucin.
-
Para quin evaluamos?
Persona o empresa:Evaluacin Privada
Todos los habitantes del pas por igual:Evaluacin social (socio-econmica)
-
Porqu hacer evaluacin social?
Queremos obtener ms de lo que gastamos.
- + Debemos jerarquizar, ya que los recursos
no son suficientes para todas lasnecesidades.
-
Evaluacin de la ejecucin (durante)
Objetivos: Asegurar cumplimiento de la ejecucin, de
conformidad con el rumbo: C4 Mantener la capacidad de ejecucin.
Se debe: Verificar sistemticamente lo realizado versus lo
programado Corregir oportunamente cualquier desvo Reprogramar para lograr metas originales o
mejorarlas
FinFin
PropsitoPropsito
ComponentesComponentes
ActividadesActividades
ObjetivosObjetivos IndicadoresIndicadores Medios deverificacinMedios de
verificacin SupuestosSupuestos
-
Evaluacin de resultados
Objetivo: Saber si la poblacin objetivo est solucionando o
solucion su problema Mantener o ajustar el rumbo
Se debe: Analizar los cambios provocados en la poblacin
objetivo como resultado directo de la accin emprendida (poltica, programa o proyecto)
Cambiar la estrategia si es necesario Redefinir la poblacin objetivo si esta ha cambiado
FinFin
PropsitoPropsito
ComponentesComponentes
ActividadesActividades
ObjetivosObjetivos IndicadoresIndicadores Medios deverificacinMedios de
verificacin SupuestosSupuestos
Altamortalidad
Grandes daos a la propiedad
Descontento con la autoridad
comunal
Gran nmero de heridos
Altos costos reparaciones
Prdida de votos Altos costos de atencin de salud
Alta inasistencia laboral
Menor calidad de vida
Prdida de productividad
Alta tasa de accidentes en la interseccin
Gran nmero de peatones cruzando
Visibilidad limitada
Falta de sealizacin
Exceso de velocidad de los vehculos
Imprudencia de los conductores
Inexistencia de un puente peatonal
Imprudencia de los peatones
Gran distancia a semforos aguas
arriba y abajo
Hay vehculos estacionados
No hay seal de prioridad
No hay semforo
Altamortalidad
Grandes daos a la propiedad
Descontento con la autoridad
comunal
Gran nmero de heridos
Altos costos reparaciones
Prdida de votos Altos costos de atencin de salud
Alta inasistencia laboral
Menor calidad de vida
Prdida de productividad
Altamortalidad
Altamortalidad
Grandes daos a la propiedad
Grandes daos a la propiedad
Descontento con la autoridad
comunal
Descontento con la autoridad
comunal
Gran nmero de heridos
Gran nmero de heridos
Altos costos reparaciones Altos costos reparaciones
Prdida de votos Prdida de votos Altos costos de atencin de salud
Alta inasistencia laboral
Altos costos de atencin de salud
Alta inasistencia laboral
Menor calidad de vida
Prdida de productividad
Alta tasa de accidentes en la interseccinAlta tasa de accidentes en la interseccin
Gran nmero de peatones cruzando
Gran nmero de peatones cruzando
Visibilidad limitada
Visibilidad limitada
Falta de sealizacin
Falta de sealizacin
Exceso de velocidad de los vehculos
Imprudencia de los conductores
Imprudencia de los conductores
Inexistencia de un puente peatonal
Inexistencia de un puente peatonal
Imprudencia de los peatones
Imprudencia de los peatones
Gran distancia a semforos aguas
arriba y abajo
Gran distancia a semforos aguas
arriba y abajo
Hay vehculos estacionados Hay vehculos estacionados
No hay seal de prioridad
No hay seal de prioridad
No hay semforo No hay
semforo
-
Evaluacin de impactos
Objetivo: Conocer el aporte a objetivos superiores Identificar consecuencias inesperadas
Se debe: Analizar las consecuencias de los cambios
provocados en la poblacin objetivo por la accin emprendida (poltica, programa o proyecto)
Cambiar la estrategia si es necesario
FinFin
PropsitoPropsito
ComponentesComponentes
ActividadesActividades
ObjetivosObjetivos IndicadoresIndicadores Medios deverificacinMedios de
verificacin SupuestosSupuestos
-
Evaluacin de polticas
La mayora de las veces las polticaspblicas se traducen en conjuntos de programas y/o proyectos.
Estos programas y proyectos pueden ser evaluados individualmente.
Pero la suma de dichas evaluaciones no necesariamente es la evaluacin de la poltica.
-
Dificultades en la Evaluacin de Polticas
Objetivos poco claros y sin metas establecidas. Ejemplo: Generar ms y mejores empleos
Imposibilidad de contar con grupos de control Como excluimos un grupo del acceso a los empleos
mejorados?
Alta interrelacin de variables Empleo = f (economa, leyes laborales, migracin,
poltica de gnero, tasa de inters, estabilidad social y poltica, educacin, salud, etc, etc.)
-
El caso de Chile
http://www.dipres.cl/572/propertyvalue-15222.html
-
El caso de Chile
-
En Colombia
http://www.dnp.gov.co/PortalWeb/Programas/Sinergia/EvaluacionesEstrat%C3%A9gicas/tabid/215/Default.aspx
-
En Colombia
Qu son las Evaluaciones Estratgicas?Son anlisis exhaustivos del desempeo de polticas y programas prioritarios del gobierno para conocer su impacto, resultados y/o gestin. Se aplican segn las prioridades del Plan Nacional de Desarrollo y con ellas es posible generar informacin confiable que sirva a los responsables de orientar y ejecutar dichas polticas y programas para la toma de mejores decisiones.
Qu tipos de evaluacin consideran? Evaluaciones de Impacto Evaluacin de procesos Evaluacin costo-beneficio o eficacias.
-
Evaluacin de la poltica de desarrollo social de Mxico
-
Evaluacin de Programas
Qu es un programa? Matriz de Marco Lgico -MML
Lgica vertical (estructura del programa) Lgica horizontal
Evaluacin de gestin y de resultados Eficacia - Calidad Eficiencia Economa Justificacin de la continuidad
Evaluacin de impactos
-
Qu es un Programa ? programa.(Del lat. programma, y este del gr. ).1. m.
Edicto, bando o aviso pblico.2. m. Previa declaracin de lo que se piensa hacer en alguna materia u ocasin.3. m. Tema que se dapara un discurso, diseo, cuadro, etc.4. m. Sistema y distribucin de las materias de un curso o asignatura, que forman y publican losprofesores encargados de explicarlas.5. m. Anuncio o exposicin de las partes de que se han de componer ciertos actos o espectculoso de las condiciones a que han de sujetarse, reparto, etc.6. m. Impreso que contiene este anuncio.7. m. Proyecto ordenado de actividades.8. m. Serie ordenada de operaciones necesarias parallevar a cabo un proyecto.9. m. Serie de las distintas unidadestemticas que constituyen una emisin de radio o de televisin.10.m. Cada una de dichas unidades temticas. Va a comenzar el programa deportivo.11. m. Cada una de las operaciones que, en un orden determinado, ejecutan ciertas mquinas.12. m. Inform.Conjunto unitario de instrucciones que permite a un ordenadorrealizar funciones diversas, como el tratamiento de textos, el diseode grficos, la resolucin de problemas matemticos, el manejo de bancos de datos, etc.13. m. coloq. Ecuad. y Ur. Relacin amorosafurtiva y pasajera.14. m. coloq. Ur. Cita amorosa.15. m. coloq. Ur.Persona con quien se tienen relaciones sexuales pasajeras.Fuente: Diccionario RAE
-
Programa presupuestal
-
Programa: Conjunto de proyectos relacionados
por tipo de Bandera
Agua Potable 77
Electrificacin 62
Drenaje 70
Piso Firme 102
Caminos 120
Educacin 157
Salud 56
CCA 119
Abasto 235
Telefona 14
ProyectosProductivos
58
1,070 banderas
Resultados 2002
-
Programa: Proyecto social sin infraestructuraApoyo Alimentario
El apoyo alimentario que otorga el programa
consiste en una transferencia en efectivo, a entregarse en el curso del ao, cada Adulto Mayor beneficiario recibir un
subsidio de 2,100.00 (Dos mil cien pesos 00/100 M.N) anuales en un
mnimo de tres exhibiciones.
Apoyo para CapacitacinNutricional
Los Adultos Mayores recibirn capacitacin para
el mejoramiento de su cultura nutricional, a travs
de talleres, folletos o publicaciones elaboradas
por la Sedesol.
-
La Matriz de Marco Lgico
Fin
Propsito
Componentes
Actividades
Objetivos Indicadores Medios deverificacin Supuestos
-
Objetivos
Esta columna se conoce tambin como Resumen Narrativo del Programa.
Responde a las interrogantes: A que objetivo estratgico contribuye
el programa? Qu se espera lograr con el programa? Qu bienes o servicios se requiere
producir? Cmo se producirn los Componentes?
Fin
Propsito
Compo-nentes
Activi-dades
-
Propsito
Compo-nentes
Activi-dades
Fin
Lgica vertical del programa
Si el programa est bien diseado se pueden examinarlos vnculos causales de abajo hacia arriba:
Las Actividades son las necesarias y suficientes para producir cada Componente.
Los Componentes son los necesarios y suficientes para lograr el Propsito.
Si se logra el Propsito, el programa, contribuir al logro del Fin.
-
rbol de Objetivos y Resumen Narrativo
Fin
Propsito
Compo-nentes
Activi-dades
Baja tasa de enfermedades en la localidad
Baja tasa de mortalidad
Menorinasistencia
laboral
Menor inasis-tencia y repi-tencia escolar
Moderados costosde atencin de
salud
Mayor rendimiento
Adecuadacalificacin laboral
Menor costode produccin
Priorizacin de otras
necesidades
Menor nivel de pobreza
Buen potencialproductivo local
Mayoresremuneraciones
Adecuado accesoa centros de salud
No hay contami-nacin del agua
Ambiente descon-taminado y sano
Buenos hbitosde higiene
Vas a centros vecinosen buenas condiciones
Hay atencin en la localidad
Existealcantarillado
Existe educacinen higiene
Buen manejo de losresiduos slidos
Curso de capacitacin en
higiene personal y manejo de alimentos
Mejoramientodel camino a
Abancay
Construccin de un centro de salud
Construccin de unaplanta de tratamiento
Construccin de sistema de
alcantarillado
Mejorar la recolecciny la disposicin final
Mejoramiento del camino a
Andahuaylas
Baja tasa de enfermedades en la localidadBaja tasa de enfermedades en la localidad
Baja tasa de mortalidad
Baja tasa de mortalidad
Menorinasistencia
laboral
Menorinasistencia
laboral
Menor inasis-tencia y repi-tencia escolar
Moderados costosde atencin de
salud
Mayor rendimiento
Adecuadacalificacin laboral
Menor costode produccin
Priorizacin de otras
necesidades
Menor nivel de pobreza
Buen potencialproductivo local
Mayoresremuneraciones
Mayoresremuneraciones
Adecuado accesoa centros de salud
No hay contami-nacin del agua
Ambiente descon-taminado y sano
Buenos hbitosde higiene
Vas a centros vecinosen buenas condiciones
Hay atencin en la localidad
Hay atencin en la localidad
Existealcantarillado
Existe educacinen higiene
Existe educacinen higiene
Buen manejo de losresiduos slidos
Curso de capacitacin en
higiene personal y manejo de alimentos
Mejoramientodel camino a
Abancay
Construccin de un centro de salud
Construccin de unaplanta de tratamiento
Construccin de sistema de
alcantarillado
Mejorar la recolecciny la disposicin final
Mejoramiento del camino a
Andahuaylas
-
Supuestos
Cada supuesto corresponde a un riesgo queenfrenta el programa y que est ms alldel control directo de la gerencia.
Slo se consideran los riesgos que tenganuna probabilidad razonable de ocurrencia.
El supuesto se expresa como una condicinque tiene que darse para que se cumpla la relacin de causalidad en la jerarqua de objetivos.
Fin
Propsito
Compo-nentesActivi-dades
Supuestos
Cmo podemos incorporar los riesgos?
-
Supuestos
Supuestos
Supuestos
SupuestosFin
Propsito
Compo-nentes
Activi-dades
Supuestos y Lgica vertical
Los Supuestos son condicionesnecesarias para el logro de los objetivos.
-
Indicadores
Fin
Propsito
Compo-nentesActivi-dades
Proporcionan la base para supervisar y evaluar el programa.
Tienen asociadas metas que nos permitenconocer en que medida se cumplen losobjetivos
Establecen una relacin entre dos o msvariables.
Pueden cubrir aspectos cualitativos o cuantitativos.
Entregan informacin cuantitativa.
Es recomendable acordarlos con losprincipales involucrados
Indicadores
-
Caractersticas de un buen indicador
Objetivo Medible objetivamente Relevante Especfico Prctico y econmico Meta asociada a un plazo
SMART
-
Resultado
Fin Impacto
Proceso
Producto
Propsito
Compo-nentes
Activi-dades
Tipo de Indicadores segn nivel de objetivo
Miden contribucin al logro del Fin a mediano o largo plazo: eficacia.
Miden el logro del Propsito en trminos de: eficacia, economa. Eventualmente eficiencia.
Miden eficacia, eficiencia y calidaden el logro de los componentes. A veces economa
Miden C4 de las actividades.
-
Medios de VerificacinCmo obtenemos la evidencia?
Son las fuentes de informacin que se puedenutilizar para verificar el logro de los objetivos(clculo de los indicadores).
Pueden incluir: Estadsticas Material publicado Inspeccin visual Encuestas Informes de auditora Registros contables
Fin
Propsito
Compo-nentesActivi-dades
Medios deverificacin
-
Lgica horizontal
Los Indicadores estn bien definidos y son los necesarios y suficientes para evaluar el logro de cada objetivo.
Los Medios de Verificacin estn bien identificados y son los necesarios para calcular cada indicador
Fin
Propsito
Compo-nentes
Activi-dades
Fin
Propsito
Compo-nentes
Activi-dades
-
De la Ejecucin a la Operacin
Fin
Propsito
Componente
Actividad
Fin
Propsito
Componente
Actividad
Objetivos de la Ejecucin
Objetivos de la Operacin
Evaluacin de resultadose impactos
Evaluacin de la ejecucin
-
Eficiencia del Programa
La Eficiencia hace referencia a la manera como se realizaron las Actividades para la entrega de los Componentes y se entregaron los Componentes para el logro del Propsito . Verifica el grado en que:
Los insumos se proveyeron de manera organizada, oportuna y al mnimo costo posible.
Las Actividades se ejecutaron al menor costo en los plazos establecidos.
Los bienes o servicios (Componentes) se obtuvieron al menor costo. Los costos administrativos fueron lo mas bajo posible.
Area de anlisis de la eficiencia
Fin
Propsito
Componente
Actividad
-
Preguntas sobre Eficiencia
El programa ha identificado y cuantificado costos de operacin y costos unitarios dependiendo del Propsito y de sus Componentes?
El programa tiene procedimientos para medir costo-efectividad en su ejecucin?
Se identifica algn Componente, Actividad o proceso que no se est llevando a cabo en la actualidad y que podra mejorar la eficiencia del programa?
Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podran ser prescindibles o posibles de sustituir por mecanismos de menor costo?
Existen adecuados indicadores de eficiencia en la operacin del programa?
-
Eficacia del ProgramaLa Eficacia se relaciona con el logro del Propsito y el Fin despus de terminado el proyecto o al cabo de algn tiempo de operacin del programa. Se ocupa del grado hasta el cual:
El programa produjo los Componentes en la cantidad y con la calidad previstos.
Los Componentes han sido los adecuados para atender la necesidad de la POBLACIN OBJETIVO y conducen al logro del Propsito.
El logro del Propsito ha contribuido al Fin.
Area de anlisis de la Eficacia
Fin
Propsito
Componente
Actividad
-
Preguntas sobre Eficacia
Cul es el avance de los indicadores a nivel de Componente del programa? Este avance es el adecuado para el logro del Propsito?
Se identifica algn Componente o Actividad que no es producido en la actualidad y que podra mejorar la eficacia del programa?
Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podran ser prescindibles o posibles de sustituir por otros ms eficaces?
Existen adecuados indicadores de eficacia en la operacin del programa?
-
Economa del Programa
Area de anlisis de la Economa
La Economa se refiere a la capacidad de la gerencia del programa para administrar adecuadamente los recursos financieros. Analiza cmo:
Se utiliz el presupuesto asignado. Se captaron recursos adicionales a los presupuestarios. Se recuperaron recursos en caso existir crditos.
Fin
Propsito
Componente
Actividad
-
Preguntas sobre Economa
Qu porcentaje del presupuesto asignado fue ejercido al trmino del ejercicio fiscal? Cules son las razones de la situacin que se observa?
Cul es el monto o porcentaje de aportaciones de terceros (otras instituciones, otros niveles de gobierno, beneficiarios, etc.) en relacin al presupuesto ejercido?
En funcin de los objetivos del programa, se han aplicado instrumentos de recuperacin de costos?
Existe evidencia de que el programa utiliza prcticas de administracin financiera que proporcionen informacin oportuna y confiable para la toma de decisiones de los responsables de la administracin poltica y administrativa?
Existe una integracin entre los distintos sistemas de informacin que conforman la administracin financiera?
-
Impactos del Programa
Dos tipos de impactos: Efecto en el desarrollo (Fin) Influencia en otros mbitos
Impactos planificados e imprevistos
Fin
Propsito
Componente
Actividad
Area de anlisis de los Impactos
-
Continuidad de la Justificacin
Contina el programa siendo compatible con las prioridades de desarrollo del pas?
Se alcanzarn(on) los objetivos a nivel de propsito y fin una vez generados los componentes del programa?
Area de anlisis de la Justificacin
Fin
Propsito
Componente
Actividad
Dos preguntas fundamentales:
-
Es necesario precisar las caractersticas de la poblacin afectada por el problema que abordarel Programa.
Dadas las necesidades ilimitadas y los recursos escasos, es necesario delimitar adecuadamente el conjunto de personas afectadas que se constituirn en los beneficiarios del programa.
Estos sern nuestra Poblacin Objetivo
Poblacin Objetivo
-
POBLACION SIN PROBLEMA
POBLACIN POTENCIAL
(Poblacin con problema)
POBLACIONPOTENCIAL
POSTERGADA
POBLACION OBJETIVO
Anlisis de Poblacin
-
Es el nmero de beneficiarios esperados del programa (personas, familias, empresas, instituciones).
Es aquella parte de la poblacin potencial a la que el programa (una vez analizados algunos criterios y restricciones), estar en condiciones reales de atender.
La poblacin objetivo ser la meta del programa, y constituir la base de su dimensionamiento.
Poblacin Objetivo
-
Preguntas sobre la Poblacin Objetivo
La poblacin que presenta el problema y/o necesidad (poblacin potencial), as como la poblacin objetivo estn claramente definidas?
El programa ha cuantificado y caracterizado la poblacin objetivo, segn los atributos que se consideren pertinentes?
Cul es la justificacin que sustenta que los beneficios que otorga el programa se dirijan especficamente a dicha poblacin potencial y objetivo?
-
Preguntas sobre la Poblacin Objetivo
Los criterios y mecanismos que utiliza el programa para determinar las unidades de atencin (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los adecuados?
Existe informacin sistematizada y actualizada que permita conocer quines reciben los apoyos del programa? (padrn de beneficiarios)
Cules son las caractersticas socio-econmicas de la poblacin incluida en el padrn de beneficiarios?
Con qu frecuencia se actualiza el padrn de beneficiarios?
-
Preguntas sobre la Poblacin Objetivo
El programa cuenta con algn mtodo para cuantificar y determinar la poblacin potencial y objetivo?
El avance de la cobertura, que a la fecha presenta el programa, es el adecuado considerando su Fin y Propsito?
El programa cuenta con una estrategia de cobertura de corto, mediano y largo plazo?
Esta estrategia es la adecuada? Se ha llegado efectivamente a la poblacin que
se deseaba atender?
-
Para terminar .....
FIN
FI N
Supongo!
NF
F
NI
www.ilpes.cl [email protected]
Evaluacin dePolticas y ProgramasTemarioEvaluacionesCiclo de Vida de un Programa o ProyectoUn principio fundamental: Evaluacin socio-econmica (antes)Para quin evaluamos?Porqu hacer evaluacin social? Evaluacin de la ejecucin (durante)Evaluacin de resultadosEvaluacin de impactosEvaluacin de polticasDificultades en la Evaluacin de PolticasEl caso de ChileEl caso de ChileEn ColombiaEn ColombiaEvaluacin de la poltica de desarrollo social de MxicoEvaluacin de Programas Qu es un Programa ?Programa presupuestalPrograma: Conjunto de proyectos relacionadosPrograma: Proyecto social sin infraestructuraLa Matriz de Marco LgicoObjetivosLgica vertical del programarbol de Objetivos y Resumen NarrativoSupuestosSupuestos y Lgica vertical IndicadoresCaractersticas de un buen indicadorTipo de Indicadores segn nivel de objetivoMedios de VerificacinCmo obtenemos la evidencia?Lgica horizontal De la Ejecucin a la OperacinEficiencia del ProgramaPreguntas sobre EficienciaEficacia del ProgramaPreguntas sobre EficaciaEconoma del ProgramaPreguntas sobre EconomaImpactos del ProgramaContinuidad de la JustificacinPoblacin ObjetivoAnlisis de PoblacinPoblacin ObjetivoPreguntas sobre la Poblacin ObjetivoPreguntas sobre la Poblacin ObjetivoPreguntas sobre la Poblacin ObjetivoPara terminar .....