Evaluando Impactos: Evaluando Impactos: De Promesas a EvidenciasDe Promesas a Evidencias

Paul GertlerEconomista Jefe

Red de Desarrollo Humano

2WBIFPSILACHDN

Buscamos responder a tres preguntas

p¿Por qué es importante la evaluación?

p ¿Cómo se construye una buena evaluación de impacto?

p ¿Cómo implementar la evaluación?

3WBIFPSILACHDN WBISARHDN

¿Cómo transformar a este profesor?…

4WBIFPSILACHDN WBISARHDN

…en éste

5WBIFPSILACHDN

¿Por qué evaluar?

p Se necesita contar con evidencia sobre lo que sífuncionan Presupuestos limitadosn Las malas políticas causan problemas

p Mejorar la implementación del programa o polítican Diseño: elegibilidad, beneficiosn Operación: eficiencia y focalización

p La información es clave para que sea sosteniblen Negociación del presupuesto n Informar a la opinión pública y la prensa

6WBIFPSILACHDN

Asignar los recursos limitados…

p Análisis Coste-Beneficio n Permite comparar diferentes alternativas n Indica la mayor rentabilidad de inversión

p Beneficios: n Cambiar el resultado de los indicadores n Medida a través de la evaluación de impacto

p Coste: n Coste asociado de proveer el beneficion Contabilidad

7WBIFPSILACHDN

M & E “Tradicional”

p Monitoreon Tendencia de resultados a través del tiempon Ej. matricula escolar, resultados de los exámenes,

mortandadn ¿Se mueve en la dirección correcta?

p Evaluación del “Proceso”n Implementación: ¿se está implementando el programa

como se diseñó?n Eficiencia: ¿Se pueden hacer más eficientes las

operaciones?n Focalización: ¿Están llegando los beneficios a los

individuos correctos?

8WBIFPSILACHDN

La evaluación de impacto responde..

p ¿Cuál fue el efecto del programa en los resultados obtenidos?

p ¿Cuánto mejoró la situación de los beneficiarios debido al programa/política?

p ¿Cómo cambiarían los resultados si alteráramos el programa?

p ¿Es el programa coste-efectivo?

p El M&E tradicional no puede responder estas preguntas

9WBIFPSILACHDN

La evaluación de impacto responde..

p ¿Cuál es el impacto de micro-créditos en el ingreso?

p ¿Cuál es el efecto de las becas en la asistencia escolar y el aprovechamiento (resultados de exámenes)?

p ¿Son más eficientes las escuelas administradas a nivel comunitario que las administradas de manera centralizada?

p ¿La participación del sector privado para proveer servicios de salud de primer nivel lleva a aumentar el acceso a estos servicios?

10WBIFPSILACHDN

Tipos de evaluación de impacto

p Eficiencia: n Prueba del concepton Piloto bajo condiciones ideales

p Eficacia:n Condiciones y capacidades normalesn Menor impacto n Impacto a una mayor escala será diferenten Costes diferentes por las economías de escala

11WBIFPSILACHDN

Usamos la evaluación de impacto para….

p Generalizar los programas pilotop Eliminar programas ineficientesp Ajustar los beneficios del programap Informar (i.e. SHCP & Prensa)p Ej. PROGRESA en Méxicon Transición entre periodos presidencialesn Expansión a 5 millones de hogaresn Cambio en los beneficios n Batallas mediáticas

12WBIFPSILACHDN

Siguiente pregunta

p ¿Por qué es importante la evaluación?

p ¿Cómo se construye una buena evaluación de impacto?

p ¿Cómo implementar la evaluación?

13WBIFPSILACHDN

Cómo medir el impacto

p Ej. En qué medida un programa de educación mejora los resultados en los exámenes (aprendizaje)

p ¿Cuál es la calificación en el examen del beneficiario comparado con un no beneficiario?

p Formalmente, el impacto del programa es:

a = (Y | P=1) - (Y | P=0)

p Comparar el mismo individuo con y sin programa en diferentes puntos del tiempo

14WBIFPSILACHDN

Resolviendo el problema de la evaluaciónp Contrafactual: qué habría pasado si no

existiera el programa

p Impacto estimado es la diferencia entre la observación tratada y el contrafactual

p Nunca se puede observar al mismo individuo en el mismo punto del tiempo con y sin el programa

p Necesidad de estimar el contrafactual

p Contrafactual es clave en la evaluación de impacto

15WBIFPSILACHDN

Criterio contrafactual …

p Tratamientos & contrafactualn Tener idénticas características, n Excepto por los beneficios de la intervención

p No debe haber otra razón para las diferencias en los resultados entre los tratamientos y el contrafactual

p La única razón para la diferencia en los resultados debe de ser la intervención

16WBIFPSILACHDN

2 “Counterfeit” Contrafactuales

p Antes y después:n Mismo individuo antes del tratamiento

p Individuos no inscritosn Los que eligen no ser inscritos en el programan Los que no se les ofreció inscribirse en el

programa

p Problema:No se puede saber completamente por que los los tratados lo son y otros no

17WBIFPSILACHDN

Ejemplos de Antes y Después

p Programa de asistencia agrícolan Ayuda financiera para la compra de insumosn Comparar la cosecha de arroz antes y despuésn Antes hay lluvias, pero después es época de

sequían Hay una caída en la cosechan ¿Falló el programa?n No se puede separar (identificar) el efecto de

la asistencia del programa del efecto de la lluvia

p Programa de becas en la matricula escolarp Rehidratación oral en la diarrea

18WBIFPSILACHDN

Antes y después

p Comparar Y antes y después de la intervención

ai = (Yit | P=1) - (Yi,t-1| P=0)

p Estimar el contrafactual

(Yi,t-1| P=0) = (Yi,t| P=0)

p No controla los factores que varían durante el tiempo Tiempo

Y

DespuesAntes

A

B

C

t-1 t

19WBIFPSILACHDN

No-Participantes….

p Comparar a los no-participantes con los participantes

p Contrafactual: resultados de los no-participantes

p Impacto estimado: ai = (Yit | P=1) - (Yj,t| P=0) ,

p Asumimos: (Yj,t| P=0) = (Yi,t| P=0)

p Problema: ¿por qué no participaron?

20WBIFPSILACHDN

No-participantes Ejemplo 1

p Programa de capacitación laboral

p Comparar el empleo y los ingresos de los participantes con los no participantes

p ¿Quién participa?n Aquellos con mayor probabilidad de

beneficiarse, i.e. aquellos con más habilidadn Tendrían un mayor nivel de ingreso que los no

participantes sin capacitación laboral

p Estimador deficiente del contrafactual

21WBIFPSILACHDN

No-participantes Ejemplo 2

p Seguro de Salud

p Comparar el uso de servicios de salud de los individuos que gozan del seguro con los que no cuentan con eln Quiénes compran seguro social: aquellos que esperan

tener grandes gastos médicosn Quiénes no: los saludables

p Sin seguro: Aquellos que no compran el seguro tienen menores costes médicos que los que sí

p Estimación deficiente del contrafactual

22WBIFPSILACHDN

¿Cuál es el problema?

p Tendencia en la selección: La gente decide participar por razones específicas

p Muchas veces las razones están relacionadas con el interés en el resultadon Capacitación laboral: habilidad e ingreson Seguro de salud: condición de salud y gastos

médicos

p No se puede identificar por separado el impacto del programa de los otros factores/razones

23WBIFPSILACHDN

Ejemplo de implementación del programap El Gobierno ofrece un programa de planificación

familiar en las comunidades con altos índices de fertilidad

p Comparar los índices de fertilidad en las comunidades donde se ofrece el programa con otras comunidades

p El programa está focalizado en la fertilidad, entoncesn Tratamientos tienen alta fertilidadn Contrafactuales tienen baja fertilidad

p Se confunde el impacto estimado del programa con el criterio de focalización

24WBIFPSILACHDN

Necesitamos saber…

p Razones por las que los individuos están en el grupo tratado versus el grupo de control

p Si las razones están correlacionadas con el resultadon No podemos identificar/ separar el impacto del

programan Otras explicaciones de diferencias en los resultados

p Dos formas de identificaciónn Retrospectiva: modelo estadístico de cómo los

Gobiernos e individuos hacen eleccionesn Prospectiva: Introduce algunas razones no

correlacionadas con los resultados

25WBIFPSILACHDN

Soluciones Posibles …

p Se necesita garantizar la comparabilidad de los grupos de control y de tratamiento

p SOLAMENTE las diferencias restantes se pueden atribuir a la intervención

p En este seminario consideraremos diseño experimental / aleatorización

p Diseño experimental / aleatorizaciónn Cuasi-experimentos

p Regresión Discontinuap Doble diferencias

n Variables instrumentales

26WBIFPSILACHDN

Estas soluciones implican…

p Saber todas las razones por las que alguien recibe el programa o no

p Aleatorización n Dar la misma probabilidad a los individuos de

pertenecer al grupo de control o de tratamiento

n Garantiza que todos los factores/características en promedio serán iguales entres los grupos

n La única diferencia es la intervención p Caso contrario, se necesitan criterios

transparentes y observables para quien participa en el programa

27WBIFPSILACHDN

Clave del diseño: saber como se genera la información …

p Clave para el contrafactual:“Saber todas las razones por las que los tratamientos obtienen el programa y los controles no”

p Es muy difícil hacer esto ex-post

p Es mejor asignar nosotros los tratamientos y controles

p Puede construirse en el diseño del programa

28WBIFPSILACHDN

La última pregunta

p ¿Por qué es importante la evaluación?

p ¿Cómo se construye una buena evaluación de impacto?

p ¿Cómo implementar la evaluación?

29WBIFPSILACHDN

Operaciones…

p ¿Cuál es el contexto? p ¿Cómo diseñar una evaluación que sea

compatible con las operaciones?p ¿Cuáles son las necesidades requeridas?p Relación enfocada al monitoreo de los

resultadosp Programación y administraciónp Asociación de los funcinarios del país con

otros participantes

30WBIFPSILACHDN

Contexto político

p Es necesario saber que preguntas responder:n ¿Cuál es el propósito de la evaluación? n ¿Qué preguntas se necesitan responder?n ¿Qué resultados responden esas preguntas?n ¿Qué cambio en los resultados determina el éxito del

programa?

p Ejemplo: pago por desempeño de los maestrosn ¿Generalizar el piloto?n Criterio: necesitamos al menos un incremento del 10%

en los resultados de los exámenes y sin cambio en los costes unitarios

31WBIFPSILACHDN

3 etapas críticas de las operaciones:p Diseño n Estrategia de identificación n Instrumento de encuestan Prueba piloto

p Administración n Monitoreo y programación de la información

administrativan Recolección de datos (línea basal,

seguimiento)n Presupuesto y recursos humanos

p Análisis y diseminación

32WBIFPSILACHDN

Escogiendo la metodología…

p Asuntos metodológicosn El grupo de controln Muestreo y tamaño de la muestran Resultado de los indicadores

p Seleccionar la estrategia más robusta que se ajuste al contexto operacionaln Complementar las operacionesn No alterar substancialmente el diseño o la

implementaciónn No negar los beneficios a alguien

33WBIFPSILACHDN

Integración a las operaciones…

p Clave preparar la evaluación al mismo tiempo que la implementación

p Menos probable que se entre en conflicto con las necesidades operacionales

p Mayor flexibilidad al no haber hecho público las posiciones aún

p Clave encontrar grupos de controlp Fortalecer el diseño de la intervenciónp Bajos costes de evaluación

34WBIFPSILACHDN

Encontrando grupos de control…

p Más fácil en diseños prospectivos

p La mayoría de las intervenciones no puede entregar los beneficios inmediatamente a todos los beneficiariosn Limitaciones presupuestariasn Limitaciones logísticas

p Típicamente por fasesn Los que van primero son tratamientos potencialesn Los que entran posteriormente son los controles

potenciales

p Trabajar en fases son clave para la identificación

35WBIFPSILACHDN

¿Quién va primero entre iguales?

p Criterio de elegibilidadn ¿Podemos ordenar en base a prioridades?n ¿Son las medidas suficientes para un buen

ordenamiento?

p Consideraciones de los costos: n Criterio: Transparencia y rendición de cuentasn Equidad: todos merecen la misma oportunidad

(Ej. Bonos escolares en Colombia, Tu Casa en México)

n Si el ordenamiento es en base a algún criterio, este debe de ser cuantitativo y hecho público

36WBIFPSILACHDN

Programas voluntarios

p No se puede obligar a la participaciónn Becas escolaresn Seguro médico subsidiadon Capacitación laboral

p Se necesita implementar la oferta del programap En este caso es clave implementación de la ofertap En algunos casos no se puede hacer esto, pero

los recursos limitados afectan la promoción de las actividades

p Preguntar sobre el efecto de la promoción del programa, que también puede tener efecto en la participación

37WBIFPSILACHDN

Diseño retrospectivo…

p Difícil de encontrar buenos grupos de controln Reglas arbitrarias de alocaciónn Falta de transparencia

p La información administrativa debe:n Ser los suficientemente buena para garantizar que el

programa se implementó como es descriton Identificar a los beneficiarios, de otra manera el coste de

las encuestas será alto

p Si no hay una aleatorización inicial, es necesario una encuesta basal previa a la intervenciónn Para ambos, controles y tratamientos

38WBIFPSILACHDN

Evaluación retrospectiva….

p Necesario controlar por diferencias entre el grupo de control y los tratamientos

p A menos que se tenga una línea basal –difícil usar métodos cuasi-experimentales

p A veces se puede hacer con la línea basal si:n Saber porqué los beneficiarios son

beneficiariosn Criterio observable para la implementación del

programa

39WBIFPSILACHDN

Rol de los sistemas de monitoreo

p Proyectos/programas usualmente recolectan información para fines administrativos

p Contenido típicon Padrón de beneficiariosn Entrega de los beneficiosn Gastosn Resultadosn Constante proceso de evaluación

p Clave para la evaluación de impacto

40WBIFPSILACHDN

Sistemas de monitoreo, clave para la evaluación de impacto

p Verificar el padrón de beneficiariosp Cuando comenzaronp Qué beneficios se entregaronp Cumplimiento con las condicionalidadesp Condición necesaria del programa para

que tenga impacto:n Los beneficios deben llegar a los beneficiarios

focalizadosn Programa implementado como fue diseñado

41WBIFPSILACHDN

La información de monitoreo puede ser utilizada para la evaluación de impacto

p Información de monitoreo sólo es recolectada en donde está activo el programa

p Si se inicia al mismo tiempo en áreas de control y áreas de tratamiento, contar con la línea basal para ambas

p Agregar un par de indicadores de resultado

p Coste-efectivo ya que se necesita agregar muy pocas encuestas adicionales

42WBIFPSILACHDN

Uso de otra información

p Los países usualmente recolectan informaciónn Estadísticas de vida, educación & clínicas de salud n Fuerza laboral y encuestas industrialesn DHS n Información presupuestaria

p Es crítico saber si el tamaño de las áreas de las muestras y los tratamientos es suficienten Cierto para los censos y estadísticas de vidan No para información de las encuestas

43WBIFPSILACHDN

Encuestas especialesp Es necesario contar con una línea basal y

seguimiento de los controles y tratamientos

p Puede necesitarse información que no es recolectada en una manera regular (especialmente para resultados específicos)

p Opcionesn Recolectar una línea basal como parte de la aplicación

del programan Si no se aplican controles nunca, es necesario contar con

una encuesta especialn ¿Hay información por el lado de la oferta y la demanda

del programa?

p Verificar la veracidad de la información administrativa y auto generada

44WBIFPSILACHDN

Administración de las encuestas especiales

p Indicadores—saber que es lo que se quiere medirp Tamaño y robustez de la muestrap Hacer pruebas piloto extensivas de las encuestas

y sus instrumentosp Línea basal i.e. antes de la implementación del

programap Dar suficiente tiempo al seguimiento para que el

programa esté expuestop Asegurarse que se puede combinar la información

administrativa con la recopilada por la encuesta

45WBIFPSILACHDN

Administración de la evaluaciónde impacto

p Igual que en la preparación y supervisión de cualquier operación

p Equipo de evaluación separado del equipo de implementación

p Debe de haber alianza entre el país, los participantes y el equipo evaluador

p Iniciar al mismo tiempo que la preparación del proyecto

p Mismas consideraciones que en la planificación, presupuestación e implementación

p Meticuloso seguimiento de la implementación

46WBIFPSILACHDN

Mensaje general

p La evaluación de impacto es útil paran Validar el diseño del programan Ajustar la estructura del programan Comunicación con el ministerio de finanzas y la

sociedad civil

p Una buena evaluación requiere estimar el contrafactualn ¿Qué habría pasado con los beneficiarios si no

hubiesen recibido el programa?n Necesario saber todas las razones por las que

son beneficiarios

47WBIFPSILACHDN

Mensajes operacionales

p Varios diseños pueden ser problemáticosn Antes y despuésn Participantes & no-participantes

p Más fácil usar diseños prospectivosn Aprovechar la fase de implementaciónn Transparencia y rendición de cuentas: usar criterios

cuantitativos y públicosn Equidad: dar a los elegibles la misma oportunidad de ir

en la primera fase

p Más costoso y difícil usar métodos retrospectivos p Es importante usar sistemas de monitoreo

48WBIFPSILACHDN

Mensajes operacionales

p Colaboración entre país, participantes y el equipo evaluador

p Integrar el plan de evaluación al programa general

p Se deben desarrollar al mismo tiempo

p La evaluación es una operación más y requiere de la misma atención a los detalles

49WBIFPSILACHDN

Plan para los próximos 3 días

p Gonzalo Hernández, Méxicop Dos víasn Polítican Técnica

p Casos de estudiop Equipos de proyecto preparan el diseño

(computadoras)p Presentación en las clínicas de evaluaciónp Dos más avanzados al grupo plenariop Panel de “Policy makers”