evaluación experimental: ¿cómo se implementan?. cómo...qué tan diferentes son las personas...
TRANSCRIPT
Evaluaciones experimentales: ¿Cómo se implementan?
Claudia Martínez A.
Profesora Asistente de Economía
Universidad de Chile
Oport./Restricc. Unidad Muestreo Diseños Pasos
Objetivos
2
Después de esta sesión, los participantes serán capaces de: Identificar los diferentes métodos de aleatorización.
Entender las ventajas y desventajas de cada método de aleatorización dadas sus restricciones respectivas.
Identificar el nivel apropiado de aleatorización.
Oport./Restricc. Unidad Muestreo Diseños Pasos
Esquema de la presentación
3
1. Oportunidades de aleatorizar y restricciones prácticas
2. Unidad y método de aleatorización
3. Muestreo vs. Asignación aleatoria
4. Diseños de aleatorización
5. Aleatorización paso por paso
Oport./Restricc. Unidad Muestreo Diseños Pasos
1. Oportunidades de aleatorizar y restricciones prácticas
Oport./Restricc. Unidad Muestreo Diseños Pasos
Oportunidades de aleatorizar Introducción de un nuevo programa o diseño
de programa Cuando el programa es innovador y no se conoce
su impacto • El investigador puede colaborar en el diseño del
programa.
Cuando se quiere testear un nuevo diseño en un programa ya vigente.
Un programa empieza a ofrecer sus servicios en nuevos lugares y/o a nuevas personas Cuando un proyecto se expande pero no hay
suficientes recursos para abastecer a todos los nuevos clientes.
5
Oport./Restricc.
Oport./Restricc. Unidad Muestreo Diseños Pasos
Oportunidades de aleatorizar
Situaciones de exceso de demanda Cuando no hay suficientes recursos para abastecer
de forma inmediata a todos los clientes potenciales.
Cuando hay falta de demanda Cuando hay más recursos que clientes y se busca
estimular la demanda.
6
Oport./Restricc.
Oport./Restricc. Unidad Muestreo Diseños Pasos
Restricciones: Timing
Necesidad de lanzar programa.
Necesidad de llevar a escala rápido.
Tomar tiempo puede beneficiar: Implementación de programa.
Evaluación de impacto del programa.
Pilotear.
No evaluar muy temprano, ni muy tarde.
7
Oport./Restricc.
Oport./Restricc. Unidad Muestreo Diseños Pasos
Restricciones: Externalidades ¿Qué son las externalidades?
Las externalidades ocurren cuando el grupo de control se ve afectado de alguna forma por el tratamiento.
Por ejemplo, quiero medir el impacto de entregar chocolates (tratamiento) sobre la felicidad de los participantes de este curso. ¿Qué pasaría si yo le entregara chocolates a sólo mitad
de los participantes de este curso? • Los participantes podrían compartir el chocolate con sus
compañeros que no recibieron.
• Los compañeros que no reciben el chocolate podrían sentir envidia.
8
Oport./Restricc.
Oport./Restricc. Unidad Muestreo Diseños Pasos
Restricciones: Externalidades
¿Por qué podría ser un problema?
Recordemos el objetivo: estimar el contrafactual. El grupo control deja de representar “lo que hubiera
pasado” en ausencia de la intervención
¿Puede interesarme medir las externalidades? Externalidades positivas
• Vacunas que causan menos trasmisión de una enfermedad.
Externalidades negativas • Contaminación.
9
Oport./Restricc.
Oport./Restricc. Unidad Muestreo Diseños Pasos
Restricciones: Justicia
¿Es justo aleatorizar?
Las loterías son simples. Comunes y transparentes. Se pueden hacer públicas.
10
Oport./Restricc.
Oport./Restricc. Unidad Muestreo Diseños Pasos
Restricciones: Tamaño muestral
Si el programa es muy pequeño, esto puede ser un problema para medir el impacto.
Algunos de los factores que determinan el tamaño de la muestra necesaria para medir impacto son: La magnitud del efecto que se desea identificar. Qué tan diferentes son las personas dentro de la
muestra en términos de los indicadores que vamos a medir.
Si aleatorizamos a nivel de individuos o grupos.
11
Oport./Restricc.
Oport./Restricc. Unidad Muestreo Diseños Pasos
2. Unidad y método de aleatorización
Oport./Restricc. Unidad Muestreo Diseños Pasos
Unidad de aleatorización Existen dos posibilidades:
Aleatorizar al nivel individual.
Aleatorizar al
nivel de cluster.
T
T T
C
C
C
T
C
¿A qué nivel aleatorizar?
13
Unidad
Oport./Restricc. Unidad Muestreo Diseños Pasos
Unidad de aleatorización
Suponga se quiere estudiar el impacto de entregar un computador a cada niño.
14
Unidad
Oport./Restricc. Unidad Muestreo Diseños Pasos
Unidad de aleatorización: Individual
Unidad
Oport./Restricc. Unidad Muestreo Diseños Pasos
Unidad de aleatorización: Individual
Unidad
Oport./Restricc. Unidad Muestreo Diseños Pasos
Unidad de aleatorización: Clúster
Unidad
Oport./Restricc. Unidad Muestreo Diseños Pasos
Unidad de aleatorización: Clase
Unidad
Oport./Restricc. Unidad Muestreo Diseños Pasos
Unidad de aleatorización: Clase
Unidad
Oport./Restricc. Unidad Muestreo Diseños Pasos
Unidad de aleatorización: Escuela Unidad
Oport./Restricc. Unidad Muestreo Diseños Pasos
Unidad de aleatorización: Escuela Unidad
Oport./Restricc. Unidad Muestreo Diseños Pasos
En una campaña de educación sexual donde se ofrecen charlas a estudiantes en sus aulas de clase, ¿a qué nivel aleatorizarías si supieras que los estudiantes interactúan bastante con niños de diferentes grados?
A. A nivel de estudiante
B. A nivel de aula de clase
C. A nivel de grado
D. A nivel de colegio
A. B. C. D.
25% 25%25%25%
Oport./Restricc. Unidad Muestreo Diseños Pasos
Unidad de aleatorización
Algunas consideraciones: ¿Cuál es la unidad de tratamiento? ¿Sobre qué
unidad se quiere tener efectos? Por ejemplo: ¿Intervenimos escuelas o niños?
¿Cuál es la unidad de análisis? Por ejemplo: ¿Vamos a investigar el impacto de un
programa sobre escuelas o sobre niños?
Externalidades
Viabilidad
23
Unidad
Oport./Restricc. Unidad Muestreo Diseños Pasos
3. Muestreo vs. Asignación Aleatoria
Oport./Restricc. Unidad Muestreo Diseños Pasos
Muestreo versus asignación
Antes de entrar a los diseños, hablemos sobre la diferencia entre asignación aleatoria y muestreo aleatorio.
25
Muestreo
Oport./Restricc. Unidad Muestreo Diseños Pasos Muestreo aleatorio vs. Asignación aleatoria
El Muestreo
aleatorio es para
lograr una muestra
que sea
representativa de la
población de
interés
Oport./Restricc. Unidad Muestreo Diseños Pasos
La Asignación
aleatoria a los grupos
de tratamiento
y control elimina el
sesgo selección
Muestreo aleatorio vs. Asignación aleatoria
Oport./Restricc. Unidad Muestreo Diseños Pasos
4. Diseños de aleatorización
Oport./Restricc. Unidad Muestreo Diseños Pasos
Diseño de una evaluación aleatoria
Población objetivo
No en la evaluación
Muestra de evaluación
Población total
Asignación aleatoria
Grupo de Tratamiento
Grupo de Control
29
Miremos diferentes
diseños de
asignación aleatoria
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Aspectos de un programa
Hay tres aspectos de un programa que se pueden aleatorizar:
1. Acceso: Elegimos a quiénes se les ofrece el programa
2. Momento de acceso: Elegimos cuándo ofrecemos el programa
3. Estímulo: Elegimos quiénes reciben incentivos para
participar en el programa
30
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Diseños de aleatorización
Diferentes opciones: Lotería básica.
Diseño aleatorio por etapas.
Diseño de rotación.
Asignación aleatoria en la “burbuja”.
Diseño de estímulos.
Las alternativas no son excluyentes.
31
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Lotería básica
Las unidades (individuos, hogares, escuelas, etc.) se asignan aleatoriamente al grupo de tratamiento y al grupo de control.
El grupo de tratamiento obtiene acceso al programa; el grupo de control no.
32
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Tratamiento
Control
Lotería Básica
Oport./Restricc. Unidad Muestreo Diseños Pasos
Diseños de asignación aleatoria - recapitulación
• Lotería Básica Diseño
• La suscripción al programa es mayor al número de cupos
Son más útiles cuando…
• Familiares.
• Fáciles de entender.
• Fáciles de implementar.
• Se pueden implementar en público.
Ventajas
• Desgaste diferencial. Desventajas
34
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Diseño por etapas
Cuando todos los candidatos deben recibir el programa, podemos escoger aleatoriamente quién participa en la primera etapa y quién participa en las etapas subsiguientes.
En una fase dada, los grupos que no han participado aún forman el grupo de control. Los participantes forman el grupo tratado.
35
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos Diseño por etapas
Ronda 3 Tratamiento: 3/3
Control: 0 1
1
1 1
1
1
1
1
1
1 1
1
1
1
2
2
2 2
2
2
2 2
2
2
2
2 2
2
2
2
3
3 3 3
3
3
3
3 3
3
3 3
3
3
3 3
3
Ronda 1 Tratamiento: 1/3
Control: 2/3
Ronda 2 Tratamiento: 2/3
Control: 1/3
La evaluación
aleatoria finaliza
Oport./Restricc. Unidad Muestreo Diseños Pasos
Diseños por etapas
¿Cuándo es útil?:
Nadie está siendo excluido totalmente:
A la larga, todos obtienen algo.
Progresa/Oportunidades (1997) se implementó en etapas.
¿Qué posible restricción podría tener?
37
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Diseños de asignación aleatoria - recapitulación
• Diseño por etapas Diseño
• El programa es universal, pero se implementa en etapas.
Son más útiles cuando…
• Fáciles de entender.
• La restricción es fácil de explicar.
• El grupo de control cumple, porque ellos esperan beneficiarse más tarde.
Ventajas
• La anticipación del tratamiento puede afectar la conducta a corto plazo.
• Es difícil medir el impacto a largo plazo. Desventajas
38
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Aleatorización en “la burbuja”
Cuando la selección de los participantes de un programa se basa en un puntaje (e.g. programas de crédito, becas, o basados en necesidades), una lotería simple puede no ser viable.
La lotería se lleva a cabo solo para aquellos que están ligeramente por encima o ligeramente por debajo de cierto umbral de elegibilidad
39
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos Asignación aleatoria en “la burbuja”
Dentro de la
burbuja,
compare el
tratamiento
con el control
Muy apropiados Claramente no
elegibles
Tratamiento
Control
Oport./Restricc. Unidad Muestreo Diseños Pasos
Aleatorización en “la burbuja”
41
¿Costo de sacrificar buenos candidatos? Ejemplo: Microfinanzas.
La institución implementadora podría estar dispuesta a aleatorizar en “la burbuja”. Las personas “en la burbuja” están en el límite de elegibilidad.
Las personas justo por encima del umbral no son elegibles, pero casi.
Karlan and Zinman (2007) Aleatorizan la asignación de crédito entre las solicitudes
“marginales” de un banco en Sudáfrica, establecidas por un sistema de “credit scoring”.
¿Qué efecto del tratamiento se mide?
¿Qué significa esto para la validez externa?
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Diseños de asignación aleatoria - recapitulación
• Burbuja Diseño
• No se quiere aleatorizar dentro de todos los elegibles.
• Hay personas “en la burbuja”, próximos al umbral de elegibilidad.
Son más útiles cuando…
• Los que “deben” recibir el programa lo reciben. Ventajas
• Mide el impacto sobre aquellos que están en la burbuja. Desventajas
42
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Diseño de rotación
Las unidades elegibles se asignan aleatoriamente a dos grupos, y ambos grupos se turnan para recibir el programa.
El grupo que participa en el programa es el grupo tratado durante un periodo, y el otro grupo es el control. Posteriormente, se intercambian.
43
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Fase 1 Tratamiento: 1/2
Control: 1/2
Diseño de rotación
Fase 2 Tratamiento en
Fase 1
Control ——————————————————————————
Control en
Fase 1
Tratamiento
Fase 1 Tratamiento: 1/2
Control: 1/2
Oport./Restricc. Unidad Muestreo Diseños Pasos
• Rotación Diseño
• Todos deben recibir el tratamiento en algún momento
• No hay suficientes recursos para cubrir a todos a la vez
Son más útiles cuando…
• Más datos que en el diseño por etapas. Ventajas
• Dificultad de medir efectos a largo plazo. Desventajas
Diseños de asignación aleatoria - recapitulación
45
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Diseño de estímulos En ocasiones, es práctica o éticamente imposible asignar el
acceso al programa en forma aleatoria. Pero la mayoría de los programas tiene una aceptación inferior al
100%.
Puede asignarse aleatoriamente el estímulo de recibir tratamiento.
Ejemplo: Elecciones en Perú Votación en Perú es obligatoria y la ausencia supone una multa.
En el 2006, sin embargo, una ley redujo estas multas, aunque pocos sabían al respecto, especialmente en zonas más pobres.
Se hizo una asignación aleatoria de los barrios de Lima, de modo que en algunos se proveía información acerca de la reducción de la multa y en otros no.
46
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos Diseño de estímulos
Estimular
No estimular
Participó
No participó
Cumplió
No cumplió
Compare los
estimulados con los no
estimulados
No compare participantes
con no participantes
Ajuste por incumplimiento en la
fase de análisis
Estos deben estar correlacionados
Oport./Restricc. Unidad Muestreo Diseños Pasos
Diseños de asignación aleatoria - recapitulación
• Estímulo Diseño
• El programa debe estar abierto a todos los recién ingresados.
• Cuando la aceptación es baja, pero se puede mejorar fácilmente con un estímulo.
Son más útiles cuando…
• Se puede asignar en forma aleatoria a nivel individual, aún cuando el programa no sea administrado a ese nivel.
Ventajas
• Mide el impacto de aquellos que responden al estímulo.
• Necesita un aliciente suficientemente grande para mejorar la aceptación.
• El estímulo mismo puede tener un efecto directo.
Desventajas
48
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Tratamiento Múltiples
Para testear: Distintos componentes.
Diferentes intervenciones posibles.
Distintas hipótesis
Se puede aleatorizar múltiples tratamientos y
analizar cómo se comparan unos con otros, y
cómo se complementan.
49
Diseños
Oport./Restricc. Unidad Muestreo Diseños Pasos
Tratamiento 1
Tratamiento 2
Tratamiento 3
Tratamientos múltiples
Oport./Restricc. Unidad Muestreo Diseños Pasos
Te gustaría evaluar un programa de formación laboral, asignando a la mitad de los candidatos a participar en él. No obstante, no todos los candidatos a los que se les da la oportunidad de participar se inscribirán en el programa. ¿Qué método de aleatorización escogerías si no puedes forzar a participar?
A. Lotería básica
B. Lotería en la burbuja
C. Diseño por etapas
D. Diseño de rotación
E. Diseño de estímulo A. B. C. D. E.
20% 20% 20%20%20%
Oport./Restricc. Unidad Muestreo Diseños Pasos
¿Qué diseño de aleatorización escogerías si quieres que todos los candidatos reciban el programa en algún momento del tiempo?
A. Lotería básica
B. Lotería en la burbuja
C. Diseño por etapas
D. Diseño de rotación
E. Diseño de estímulo
A. B. C. D. E.
20% 20% 20%20%20%
Oport./Restricc. Unidad Muestreo Diseños Pasos
5. Aleatorización paso por paso
Oport./Restricc. Unidad Muestreo Diseños Pasos
Pasos: Aleatorización individual
Seleccionar lugar de estudio Dentro del lugar elegido, aplicar criterio de elegibilidad:
Ej.: programa ofrecido solo a mujeres
54
Pasos
Oport./Restricc. Unidad Muestreo Diseños Pasos
Pasos: Aleatorización individual
Aleatorizar acceso al programa entre participantes elegibles para formar el grupo Tratamiento
Encuestar a las personas del grupo Tratamiento (reciben programa) y del grupo Control (no reciben programa)
55
Pasos
Oport./Restricc. Unidad Muestreo Diseños Pasos
Pasos: Aleatorización por clúster
Opcional: Aleatorizar selección de departamentos.
Dentro de los departamentos elegidos, aplicar criterio de elegibilidad:
Ej.: solo comunidades grandes
56
Pasos
Oport./Restricc. Unidad Muestreo Diseños Pasos
Pasos: Aleatorización por clúster
De las comunidades elegibles, asignar aleatoriamente algunas al grupo Tratamiento (reciben programa) y el resto al grupo Control (no reciben programa)
encuestado
no encuestado
Encuestar una muestra aleatoria de personas de ambos grupos: Tratamiento y Control
57
Pasos
Oport./Restricc. Unidad Muestreo Diseños Pasos
¿Pero cómo aleatorizar en la práctica?
Lotería desde una canasta.
Excel
Programas estadísticos Stata
Optimal Design
58
¡Gracias!
Claudia Martínez A.
Profesora Asistente de Economía
Universidad de Chile