¿cómo realizar una evaluación de impacto relevante para...
TRANSCRIPT
![Page 1: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/1.jpg)
Francisco Haimovich
Banco Mundial
6 de Abril de 2017
Guatemala
TALLER DE EVALUACIÓN DE IMPACTO
¿Cómo realizar una evaluación de impacto relevante para las
operaciones?
![Page 2: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/2.jpg)
Hoja de ruta de esta presentación…
• Repasando: cuatro elementos claves para una
evaluación de impacto
• Consideraciones prácticas cuando
implementamos evaluaciones en operaciones
• Ejemplos
![Page 3: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/3.jpg)
Repasando… Cuatro elementos claves para
una evaluación de impacto
• Definición clara de la intervención
– “¿qué estamos evaluado?” Teoría del cambio clara
• Hipótesis bien definidas (impactos)
– ¿ Cuál es la pregunta de la investigación?
– Una estrategia de identificación sólida
– ¿Que metodología debemos escoger?
• Datos confiables
![Page 4: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/4.jpg)
Diseño Cuando usarlo Ventajas Desventajas
Aleatorización
�Cuando es factible (exceso de demanda & viable)
�Regla dorada
�Mayor potencia
�No es siempre factible
�No es siempre ético
Promoción aleatoria �Cuando una intervención es implementada universalmente y sin fases
� Provee variación exógena para un subconjunto de beneficiarios
�Solo se centra en un subgrupo de la muestra
�El poder del diseño de incentivos solo se conoce ex-post
Regresión Discontinua
�Si la intervención tiene una clara regla de asignación (continua)
�Identificación causal creible (supuestos se pueden verificar/documentar)
�Solo se examina un subgrupo de la muestra
�La regla de asignación, en la practica poder ser aplicada laxamente
Diferencias en diferencias
�Línea de base y seguimiento disponibles
�Si los dos grupos “crecen” a la misma tasa
�Elimina diferencias inobservables fijas en el tiempo
�Diferencias en tendencia
�Necesita muchos datos (Idealmente, al menos dos periodos de pre-intervención)
Emparejamiento � Cuando otros métodos no son posibles
�Corrige sesgo de selección en variables observables
�Asume que no hay diferencias no obs. (muy (!) improbable)
![Page 5: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/5.jpg)
EJERCICIOS
![Page 6: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/6.jpg)
Aspectos claves para elegir un método
• ¿Existe exceso de demanda para el
programa?
• ¿Existe un umbral & índice de elegibilidad?
• ¿La Implementación es en fases?
![Page 7: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/7.jpg)
ejemplo 1
• ¿Existe exceso de demanda para el programa? ✓✓✓✓
• ¿Existe un umbral & índice de elegibilidad? X
• ¿La Implementación es en fases? X
¿Qué método utilizarían?
![Page 8: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/8.jpg)
ejemplo 2
• ¿Existe exceso de demanda para el programa? X
• ¿Existe un umbral & índice de elegibilidad? X
• ¿La Implementación es en fases? ✓✓✓✓
¿Qué método utilizarían?
![Page 9: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/9.jpg)
ejemplo 3• Un programa de formación docente esta destinado a
todos los docentes de las municipalidades elegibles y
será implementado inmediatamente. El gobierno estima
que tiene cupos suficientes para cubrir todas las
inscripciones. Solo son elegibles las municipalidades
con una tasa de pobreza mayor a 40%
¿Qué método utilizarían?
![Page 10: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/10.jpg)
Escogiendo el método (resumen) Programa Demanda Excesiva No Excesiva Demanda
Focalización
ImplementaciónFocalizado Universal Focalizado Universal
Por etapas1 Experimento
Aleatorio4 RDD
1 ExperimetnoAleatorio
2 PromociónAleatoria
3 DD con 5Emparejamiento
1Experimetno Aleatorio
4 RDD
1 Experimento
Aleatorio por
etapas
2 Promoción
Aleatoria
3 DD con
Emparejamient
o
Inmediato
1 ExperimentoAleatorio
4 RDD
1 ExperimentoAleatorio
2 PromociónAleatoria
3 DD con5Emparejamiento
4 RDD
Menos de utilizaciónplena:
2 PromociónAleatoria
3 DD con5Emparejamiento
![Page 11: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/11.jpg)
ALGUNAS CONSIDERACIONESPRÁCTICAS…
![Page 12: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/12.jpg)
Consideraciones Prácticas (1)
• La EI no es para cualquier intervención– Sean selectivos (ej: innovaciones escalables no probadas,
estratégicamente relevantes, etc.)
Sean “oportunistas” (aprovechar datos administrativos, pensar/aprovechar
reglas de elegibilidad, etc.)
• Empiecen temprano y trabajen el EI como parte del diseño del proyecto (anticipar necesidades información, estrategia de
eval, etc.)
• Piensen cuidadosamente los impactos (y como medirlos)– Teoría del cambio (que dimensiones va a afectar el proyecto)
– Seleccionen cuidadosamente los indicadores (concretos, medibles,
realistas, focalizados, etc.)
– Anticipen la duración para que los resultados se materialicen en las
encuestas
– Identifiquen desagregaciones útiles (ij. Grupos de ingresos, género, etc) y
planeen el tamaño de muestra considerando estas desagregaciones
![Page 13: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/13.jpg)
Consideraciones Prácticas (2)
• Monitoreen la implementación del programas – el
diseño no siempre es lo mismo que la realidad. Lo
mismo vale para la recolección de datos en el campo
– La actividad de implementar una IE no termina con un buen
diseño…empieza ahí!
– Pruebas “pre-pilotos”
• Usen métodos cuanti y cualitativos– Información cualitativa puede proveer información
complementaria sobre los mecanismos en que los impactos
ocurren (o no ocurren)
• Tengan precauciones con la posible contaminación de los grupos de control y de tratamiento– En la medida de lo posible, defiendan los grupos de control y
tratamiento
![Page 14: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/14.jpg)
Algunas preocupaciones usuales: Políticas
• No hay interés en mostrar (potenciales) malas noticias
• La larga duración de las evaluaciones no están alineadas con los tiempos
políticos
pero...
– Es peor desperdiciar recursos en algo que no funciona
– Un buen diseño puede sobrevivir a ciclos políticos (la evidencia rigurosa
aumenta las chances de que los programas “sobrevivan” y se hagan a gran
escala)
Lecciones aprendidas:
– Mostrar resultados tan pronto como se pueda (inclusive con limitaciones
en el análisis) ya que esto mantiene a los funcionarios políticos interesados en
apoyar este ejercicio.
14
![Page 15: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/15.jpg)
Algunas preocupaciones usuales: Técnicas• Ya sabemos lo que funciona! No necesitamos una evaluación
• El concepto del proyecto ya está decidido y no hay espacio para
cambios
• La evaluación es muy cara y no podemos financiarla
pero…– En la practica, todavía quedan muchas preguntas básicas sin
contestar…– En muchos casos, las “decisiones tomadas” suelen ser sobre
algunos elementos básicos. Puede existir espacio para discutir
algunas variaciones/innovaciones.
– Pueden ser costosas, pero los resultados permiten una asignación mucho mas eficiente de los recursos (inversión) + sean
“oportunistas”
Lecciones aprendidas: Los proyectos en preparación son mejores
candidatos que aquellos que ya están siendo implementados
15
![Page 16: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/16.jpg)
DOS EJEMPLOS DE EVALUACIONES DE IMPACTO ENOPERACIONES…
![Page 17: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/17.jpg)
Ejemplo1: impacto de las escuelas de tiempocompleto (ETC—doble jornada) en aprendizajes
– Las escuelas de tiempo completo son bastante mas caras que las escuelas de
jornada única (mas infraestructura,
personal, etc.)
– son costo-efectivas para mejorar
aprendizaje?? (pregunta relevante!)
17
![Page 18: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/18.jpg)
Ejemplo1: impacto de las escuelas de tiempocompleto (ETC—doble jornada) en aprendizajes
Que salió mal??
• El diseño de evaluación de impacto fue pensado ex-post: no se pudo crear un grupo de control creíble
(matching/paramiento: sólo controla por diferencias en
variables observables )
• No se evaluó si existía la info necesaria (este método
requiere mucha info, y debe ser pre-tratamiento): se
utilizaron unas pocas variables post-tratamiento para
hacer el matching
18
![Page 19: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/19.jpg)
Ejemplo1: impacto de las escuelas de tiempocompleto (ETC—doble jornada) en aprendizajes
Consecuencias� Creo un “Sesgo negativo”:
subestimación del impacto del programa!!
* suelen ser escuelas mas vulnerables (como en
muchos de nuestros programas!): “peores” variables
inobservables (insumos, capacidad de gestión, etc.)
• Las variables “endógenas” capturan parte del impacto
• Además: Se ignoraron otros beneficios muy
relevantes (habilidades socio-emocionales?) y no se
recogió dicha información
19
![Page 20: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/20.jpg)
Ejemplo 2: impacto de un programa de formación en servicio
La evaluación esta siendo diseñada en estos momentos.
Basada en las lecciones aprendidas en el proyecto anterior,
decidimos:
• Aprovechar que la demanda es superior a los cupos
anuales: diseño experimental en fases
• Recolectar información (línea de base y seguimiento) sobre
variables claves: practicas de enseñanza
• Incluir “pre-piloto”20
![Page 21: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/21.jpg)
A modo de reflexión final…
![Page 22: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/22.jpg)
¿Cuándo fue la última vez que cambiaron de opinión respecto de algo?
Evaluación de impacto del programa de subsidios a las guarderías en Quebec (Baker et al, 2008):
Suena bien, ¿cuál fue el impacto?
*** Impacto negativo en el bienestar socio-emocional de los niños, su estado de salud, etc.
¿Qué pasó?
22
![Page 23: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/23.jpg)
¿Cuándo fue la última vez que cambiaron de opinión
respecto de algo?
¿Qué es más costo efectivo?
• ¿Una computadora por niño o campañas de información sobre
retornos a la educación?
• ¿Escuelas de tiempo completo o enviar mensajes de texto si
los alumnos no hacen las tareas/faltan a clase? ¿Becas vs.
mindset?
• Importante: lo que funciona en un país en particular puede no
funcionar en otro…
23
![Page 24: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/24.jpg)
Evaluación
Por favor, evalúe esta sesión
![Page 25: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/25.jpg)
Por favor, evalúe el ritmo de esta presentación
A. Adecuado
B. Demasiado lento
C. Demasiado rápido
D. Sin comentario
![Page 26: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/26.jpg)
Por favor, evalúe la relevancia del material técnico seleccionado
A. Muy relevante
B. Relevante
C. Irrelevante
D. Sin comentario
![Page 27: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/27.jpg)
Por favor, evalúe la claridad y eficacia de la presentación
A. Excelente!
B. Buena
C. Media
D. Mala
E. Sin comentario
![Page 28: ¿Cómo realizar una evaluación de impacto relevante para ...pubdocs.worldbank.org/en/653461492802011205/10-IE-Operaciones.pdfPromoción aleatoria Cuando una intervención es implementada](https://reader035.vdocuments.site/reader035/viewer/2022071118/600fb045cb159d3dab025f6e/html5/thumbnails/28.jpg)
Gracias!