direcciÓn de planeaciÓn y normatividad evaluación …
Post on 27-Nov-2021
15 Views
Preview:
TRANSCRIPT
DIRECCIÓN DE PLANEACIÓN Y NORMATIVIDAD
DE LA POLÍTICA DE EVALUACIÓN
Evaluación de Programas y Políticas Públicas de Desarrollo Social
VI CONFERENCIA DE LA RED DE MONITOREO Y EVALUACIÓN EN AMÉRICA LATINA Y EL CARIBE
25 de agosto de 2010
www.coneval.gob.mx
Thania de la Garza
Estructura de la presentación
Evaluación de Programas Sociales : CONEVAL
Marco institucional de la evaluación en México
Lineamientos Generales para la Evaluación de Programas
¿Por qué evaluar?
¿Por qué hay diferentes tipos de evaluación?
Tipos de Evaluación
1
2
3
4
5
6
CONEVAL
• Institución con :
Autonomía técnica y de gestión
Integrado por seis investigadores académicos de universidades y centros de investigación y un Secretario Ejecutivo.
• Función:
Medir la pobreza a nivel nacional, estatal y municipal.
Evaluar la política y los programas de desarrollo social.
• Objetivo:
Proveer información válida y confiable que apoye el análisis de la política de desarrollo social, la mejora continua de los programas, y que contribuya a que las autoridades articulen políticas públicas que brinden resultados deseables.
Contribuir a la transparencia y a la rendición de cuentas al informar a la ciudadanía sobre los resultados de las acciones de política social.
Marco institucional de la evaluación en México
Ley General de Desarrollo
Pre
sup
ue
sto
de
Egr
eso
s d
e
la F
ed
era
ció
n 2
00
7 CONEVAL
SHCPSFP
Evaluación de la Política y programas de Desarrollo
Evaluación de programas presupuestarios por medio de indicadores estratégicos y de gestión
Lineamientos Generales de
Evaluación
•Matriz de Indicadores•Tipos de evaluación•Seguimiento a recomendaciones•Planeación de las evaluaciones (PAE)
Ley de Presupuesto y Responsabilidad Hacendaria
Lineamientos Generales para la Evaluación de los Programas
• Regulan la evaluación de los programas federales y la elaboración de lasmatrices de indicadores, sistemas de monitoreo y objetivos estratégicos.
• Evaluación:
Tipos de evaluaciones
Elaboración de términos de referencia
Seguimiento del resultado de las evaluaciones
Organización y contratación de las evaluaciones y
Difusión de las evaluaciones
Elaboración del Programa Anual de Evaluación: CONEVAL, SHCP y SFP.
¿Por qué evaluar?
• Determinar la eficiencia y efectividad de los Programas dedesarrollo social.
• Contar con evidencia sobre lo que si funciona y cómomejorarlo.
• Mejorar el diseño, la implementación y operación delprograma o política de desarrollo social.
• Entregar información (indicadores y evaluaciones) a diferentesniveles de tomadores de decisiones, para mejorar la calidaddel gasto público.
• Mejorar la Rendición de Cuentas y la Transparencia.
¿Por qué hay diferentes tipos de Evaluación?
•Los programas sociales son evaluados desde varias aristas y en diferentes etapas.
•Hay un menú de instrumentos de evaluación -sustentado en conocimiento científico-que identifican:
•En:
Diseño
Implementación
Operación y desempeño
Resultados
Seguimiento a recomendaciones
Impacto
• Es necesario analizar el conjunto de evaluaciones, puesto que cada evaluación tiene objetivos específicos.
• Se alcanza un diagnóstico adecuado gracias a la complementariedad de todos los tipos de evaluación.
Áreas de MejoraAvances Debilidades Logros
Tipos de Evaluación
Diseño
Consistencia y Resultados
Procesos
• Diagnóstico sobre la capacidad institucional, organizacional y de gestión de los programas para alcanzar resultados.
• Análisis de los procesos y la gestión del programa para cumplir con objetivos.
Consistencia y lógica interna de los programas
• Consistencia y Lógica Interna de los programas.
Estratégicas • Valoración de las políticas y estrategias de desarrollo social.
Tipos de Evaluación
Indicadores
Específica de Desempeño
Complementarias
Impacto
• Revisión de la pertinencia y el alcance de los indicadores de un programa para el logro de sus resultados.• Trabajo de campo.
• Profundiza sobre aspectos relevantes del desempeño de los programas.• Realizadas por las dependencias.
• Medición de los efectos netos del programa en la población que atiende.
• Evaluación sintética de la información contenida en el SED.
Tipo de programas• Todos los programas con reglas de operación (modalidad “S”) y otros que se determinen en el PAE
Objetivo• Analizar sistemáticamente el diseño y el desempeño global de losprogramas federales para mejorar su gestión y medir el logro de susresultados con base en la matriz de indicadores
Temas de estudio
• Diseño• Planeación estratégica• Cobertura y focalización• Operación• Percepción de la población objetivo• Resultados
Resultados •Evaluación diagnóstico
Modelo de TDR • Primera versión 2007 (SHCP, SFP, CONEVAL)• Versión piloto 2009 (CONEVAL)
Plazo aproximado de ejecución
• 9 meses
Evaluaciones • 106 programas y 13 de diseño
Evaluación de Consistencia y Resultados
TEMAS SUBTEMAS
ECR
Sícuenta
No cuenta
Identificación del problema
Programas que tienen claramente identificado el problema que atienden
71 % 29%
Programas que cuentan con objetivos que corresponden a la solución del problema que atienden
67 % 33%
Población a atender
Programas que tienen un diseño adecuado para alcanzar su propósito y atender a la población objetivo
58 % 42%
Programas que tienen definida a la población total que presenta el problema
47 % 53%
Lógica causal
Programas que tienen claro que el logro de su propósito contribuye a la solución de un problema de desarrollo o la consecución de los objetivos estratégicos de las dependencias y entidades
76 % 24%
Programas que cuentan con una matriz de indicadores clara y válida (lógica vertical)
44 % 56%
Programas que tienen un diseño claramente expresado en la normatividad
66 % 34%
Programas que de los programas definieron bienes y servicios públicos necesarios y suficientes para el logro del su propósito
50 % 50%
Instrumentos de monitoreo
Programas que tienen indicadores claros, relevantes, económicos, monitoreables y adecuados
41 % 59%
Programas que pueden medir el nivel de logro de sus resultados esperados a cada nivel de sus objetivos (lógica horizontal)
35 % 65%
Hallazgos de la Evaluación de Consistencia y Resultados: Tema Diseño
Hallazgos de la Evaluación Consistencia y Resultados: Planeación Estratégica
TEMA SUBTEMAS
ECR
Sí cuentan
No cuentan
Orientación a resultados
Programas que utilizan los resultados de las evaluaciones para mejorar su desempeño
58 % 42%
Programas que tienen metas pertinentes y plazos específicos para sus indicadores de desempeño
51 % 49%
Programas que tienen un número suficiente de indicadores orientados a resultados que reflejen su propósito
49 % 51%
Planes que establecen claramente los resultados que se buscan alcanzar
21 % 79%
Instrumentos de planeación
Programas que cuentan con planes estratégicos a corto, mediano y largo plazo
25 % 75%
Planes que establecen indicadores, metas, estrategias, políticas y programas de trabajo
23 % 77%
Programas que tienen mecanismos para establecer y definir metas e indicadores
27 % 73%
Hallazgos de la Evaluación Consistencia y Resultados: Cobertura y Focalización
TEMA SUBTEMAS
ECR
Sí cuenta
No cuenta
Definición de la Población Objetivo y Estrategia de Cobertura
Programas que cuantifican su población objetivo ypotencial
24 % 76%
Programas que tienen un avance adecuado paracumplir con su propósito
25 % 75%
Programas que cuentan con una estrategia decobertura a corto, mediano y largo plazo
23 % 77%
Programas cuya estrategia de cobertura se considera adecuada
21 % 79%
Hallazgos de la Evaluación Consistencia y Resultados: Operación
TEMA SUBTEMAS
ECR
Sí cuentan
No cuentan
Cumplimiento con normatividad
Programas que cumplen con la normatividad establecida para laentrega de apoyos
84 % 16%
Programas con evidencia documental de cumplimiento con losprocesos de ejecución establecidos
89 % 11%
Eficacia en la operación
Programas con procedimientos adecuados para procesarsolicitudes de apoyo
76 % 24%
Programas q con procesos estandarizados para la selección deproyectos y beneficiarios
72 % 28%
Infraestructura necesaria
Programas con estructura organizacional que permite alcanzarel propósito
80 % 20%
Programas con información sistematizada que permite darseguimiento a la ejecución de obras y/o acciones
80 % 20%
Programas que cuentan con indicadores de eficacia en laoperación
84 % 16%
Programas que cuentan con información sistematizada en laadministración y operación del programa
61 % 39%
Hallazgos de la Evaluación Consistencia y Resultados: Percepción de Beneficiarios
TEMA SUBTEMAS
ECR
Sí cuentan
No cuentan
Medición de la percepción de los
beneficiarios
Programas con instrumentos para medir el grado de satisfacción de la población objetivo
54 % 46%
Programas que presentan información objetiva 37 % 63%
Hallazgos de la Evaluación de Consistencia y Resultados: Medición de Resultados
TEMA SUBTEMASECR
Sícuenta
No cuenta
Información sobre el progreso en el cumplimiento de objetivos
Programas que han demostrado progresopara alcanzar sus objetivos.
36 % 64%
Programas que recolectan informaciónsobre los indicadores que miden sus objetivos.
42 % 58%
Programas que llevaron a cabo evaluaciones externas que le permitan medir su impacto.
26 % 64%
Tipo de estudio • Funcionamiento y operación
Tipo de programas• Programas federales incluidos en el PAE 2009
Objetivo
• Análisis sistemático de la operación del programa, mediante trabajo de campo ygabinete, para conocer las características de sus procesos, examinar ventajas yencontrar problemáticas.
Temas de estudio
• Eficacia, suficiencia y pertinencia de los procesos operativos• Problemas para la operación del programa• Buenas prácticas en la operación
Resultados
• Flujogramas generales y específicos de operación• Descripción y ficha narrativa de los procesos del programa• Insumos y productos de cada proceso• Problemas y buenas prácticas en la operación del programa• Recomendaciones
Modelo de TdR• Primera versión 2009 (SHCP, SFP, CONEVAL)• Versión piloto 2008 (CONEVAL)
Plazo aproximado de ejecución
• 9 meses
Evaluaciones Piloto• PIBAI (CDI), PRONAP (SEP), FONAES (SE), Fondo PYME (SE), PROSOFT (SE), IMSS-Oportunidades (IMSS), Tu Casa (Sedesol) y Coinversión Social (Sedesol)
Evaluación de Procesos
Tipo de programas• Programas federales con análisis de factibilidad (metodología) y TdR revisados y aprobados por la SHCP, SFP y CONEVAL . • Programas con evaluación coordinada por CONEVAL
Objetivo• Identifica el cambio en los indicadores a nivel de resultados atribuibles a laejecución del programa
Temas de estudio• Medición del impacto de los programas en la población beneficiaria con respecto a un grupo control
Resultados• Documento Metodológico de la Evaluación de Impacto• Documento de Resultados de la Evaluación de Impacto
Análisis de Factibilidad
• Versión Actual 2008 (SHCP, SFP, CONEVAL)• Primera Versión 2008
Plazo aproximado de ejecución
• Anual• Multianual
Evaluaciones
• Seguro Popular, FONAES, PRONAFIM, FOMMUR, Fondo PYME, Hábitat, PROMUSAG, FAPPA, Programa Fomento Agropecuario y Pesquero, y Abasto Social de Leche
Evaluación de Impacto
Evaluación de Impacto
Ejemplos
Programa de desarrollo humano OPORTUNIDADES Evaluación Externa 2007-2008
• Objetivo: Conocer los resultados del programa a diez años de su creación, en cuatrotemas: educación, trabajo, nutrición y desarrollo cognitivo.
• Resultados Incremento en los grados de escolaridad alcanzados por los jóvenes (entre 0.6 y 0.9 grados). Existe un efecto del 3.4% en el corto plazo para hombres de incorporación al trabajo formal Efectos positivos en el largo plazo en la renta de los hombres con primaria y secundaria. Los niños entre 24 a 71 meses de edad crecieron en promedio 0.67 cm más
en localidades beneficiarias que los niños de localidades no beneficiarias.
Evaluación de Impacto
Ejemplos
Programa de desarrollo humano OPORTUNIDADES Evaluación Externa 2007-2008
• La evidencia provista por las evaluaciones fue fundamental para hacerajustes al programa:
• Ajustes para mejorar los complementos nutricionales e introducir en fasepiloto nuevos complementos (jarabes, sprinkles)
• Ajustes a los temas y contenidos de pláticas de salud.
• Ampliar paulatinamente el programa de 200 mil familias a más de 5.5millones.
• Ampliar cobertura educativa de educación básica a educación mediasuperior (altos índices de deserción al llegar a media superior) y fomentareducación superior (jóvenes con oportunidades).
•Los resultados han permitido institucionalizar el programa y mejorarlo.
Tipo de estudio• Valoración de políticas públicas por medio de trabajo de campo y de gabinete
Tipos de evaluaciones estratégicas
• Evaluación de Nutrición y Abasto: Valorar la pertinencia y eficacia de las acciones del gobierno federal en materia de nutrición y abasto desde el enfoque de la seguridad alimentaria.
• Evaluación de Ramo 33: Análisis de los fondos que integran el ramo presupuestario 33
Diagnósticos• Diagnóstico de Asistencia Social• Diagnóstico de Programas dirigidos a la población indígena• Diagnóstico de la política de Microcréditos
Plazo aproximado de ejecución
• Anual• Multianual
Evaluaciones Estratégicas
En relación con la disponibilidad de alimentos:
Estimaciones de la FAO muestran que en términos de disponibilidad nacional dealimentos, México no tiene un problema de seguridad alimentaria, ya que seproduce más energía (3,270 kcal/ pers/ por día) de la que se consume (2,350kcal/pers/día).
Dimensiones de la Seguridad Alimentaria: Evaluación estratégica de nutrición y abasto
Resultados
1. Recomendación según los criterios nutricionales del INSP.
•En relación con el consumo de alimentos:
Un bajo porcentaje de los hogares visitados consume alimentos de todos losgrupos en la cantidad y frecuencia recomendadas1. Esta situación es más grave enlos hogares indígenas.
•En relación con el aprovechamiento biológico:
Persisten condiciones desfavorables en la vivienda (falta de agua entubada y piso de tierra) y en acceso a los servicios de salud que afectan el aprovechamiento de los alimentos por parte de los integrantes de los hogares.
En Oaxaca, Guerrero, Chiapas, Veracruz, San Luis Potosí y Puebla más del 15% de los hogares no cuentan con estos servicios de infraestructura básica.
Dimensiones de la Seguridad Alimentaria: Evaluación estratégica de nutrición y abasto
Resultados
Desnutrición
Anemia
Sobrepeso y obesidad
1988 – 2006
• Aguda: de 6% a 1.6% entre
• Cónica: en todas las regiones del país
•Menores de cinco • Indígenas menores
de cinco
1999 – 2006En los grupos de preescolares, adolescentes y mujeres en edad fértil
En escolares de la Región Ciudad de México
•Adultos mayores•Preescolares
•Mujeres en edad fértil
1999 – 2006
En todos los grupos de edad
•Adultos•Zonas urbanas
•Baja California Sur
Grupos afectados
Evaluación Específica de Desempeño
o Cobertura
o Pob. objetivo,
potencial y atendida
- Informes de Cobertura
- Evaluaciones ExternasCobertura
o Aspectos
susceptibles
de mejora
- Documento de Trabajo
- Documento Institucional
-Avances der Seguimiento
o Componentes
o Actividades
o Presupuesto
- Indicadores de Resultados
y Gestión
- Informes Trimestrales
Productos
- Indicadores de Resultados
- Evaluaciones ExternasResultadoso Fin
o Propósito
o AlineaciónSED
SIEED
Evaluación Específica de Desempeño
•La EED 2009-2010 reporta datos del ejercicio fiscal 2009 de los 127 programas federales dedesarrollo social incluidos en el PAE 2009.
•El informe y los reportes ejecutivos constituyen un esfuerzo de síntesis y análisis de presentarinformación útil en un formato homogéneo.
•El informe ejecutivo contiene:
Descripción del programa Principales Resultados
Hallazgos Relevantes Avance en los Indicadores
Avances 2010
Aspectos de mejora derivados de las Evaluaciones Externas
Conclusiones del Evaluador Externo
Fortalezas Retos y recomendaciones
Observaciones CONEVAL
Indicadores
Información de la
Evaluación
Presupuesto
1. UE y UR; otras Selección de los
aspectos susceptibles de
mejora
2. UE y UR; otras UClasificación de los aspectos susceptibles de mejora
3. UE y UR; otras U
Formulación de
instrumentos
susceptibles de
mejora
4. Dependencias (UE)
Difusión de instrumentos
Criterios de selección:• Claridad• Relevancia• Justificación• Factibilidad
Nivel de prioridad:
• Alta
• Media
• Baja
Clasificación de Aspectos:• Específicos• Institucionales• Interinstitucionales• Intergubernamentales
Mecanismo para el seguimiento de los Aspectos Susceptibles de Mejora
Tipo de Aspecto:
• Específico
• Institucional
• Social
TEMA SUBTEMAS
ECR
ASMSí cuentan
No cuentan
Orientación a resultados
Programas que utilizan los resultados de las evaluaciones para mejorar su desempeño
58 % 42% 32%
Programas que tienen metas pertinentes y plazos específicos para sus indicadores de desempeño
51 % 49% 13%
Programas que tienen un número suficiente de indicadores orientados a resultados que reflejen su propósito
49 % 51% 13%
Planes que establecen claramente los resultados que se buscan alcanzar
21 % 79% 4%
Instrumentos de planeación
Programas que cuentan con planes estratégicos a corto, mediano y largo plazo
25 % 75% 31%
Planes que establecen indicadores, metas, estrategias, políticas y programas de trabajo
23 % 77% 19%
Programas que tienen mecanismos para establecer y definir metas e indicadores
27 % 73% 15%
Hallazgos del Seguimiento a Recomendaciones:Evaluación de Consistencia y Resultados
Acciones realizadas para atender los aspectos susceptibles de mejora
• El Programa 3 X1 para Migrantes tomó acciones para modificar los criterios de elegibilidad delos beneficiarios en sus reglas de operación 2009.
• El Programa de Rescate de Espacios Público realizó partir de 2009 un diagnóstico comunitariopara conocer la situación sobre el deterioro físico de los espacios públicos a rescatar y laproblemática social que se presenta en los barrios. Desde 2010 incluye la georreferenciación deespacios.
• El Programa de Fomento a la Innovación y al Desarrollo Tecnológico-Avance tomó accionespara lograr acuerdos con entidades federativas para la ejecución del programa en los estados(Estado de México, Nuevo León y posiblemente Baja California).
• El Programa de Abasto Social de Leche programó en 2009 la construcción de una planta paraproducción de leche ultra-pasteurizada.
• El Programa de Guarderías y Estancias Infantiles para Apoyar a Madres Trabajadoras tomaacciones para aplicar la prueba “Perfil de Tutora Resiliente” para evaluar la vocación para elcuidado infantil de las tutoras. Adicionalmente, con la ayuda de la Cruz Roja Mexicana y otrosorganismos internacionales, capacita a los responsables de las estancias infantiles.
Ejemplos
!Gracias por su Atención!
Thania de la Garza
Directora General Adjunta de Evaluación del CONEVAL
tgarza@coneval.gob.mx
top related