1 conferencia ernest lluch cesar g victora universidade federal de pelotas xii congreso sespas...
TRANSCRIPT
1
Conferencia Ernest Lluch
Cesar G VictoraUniversidade Federal de Pelotas
XII CONGRESO SESPAS
Barcelona, 20/06/2007
LOS SIETE PECADOS CAPITALES DE LA EVALUACION DE IMPACTO
2Hieronymus Bosch (1450–1516)
3
“El infierno está lleno de buenas
intenciones”
S. Bernardo de Claraval, 1091-1153
4
Los
7 p
eca
dos
cap
itale
s
5
1. No evaluar2. Iniciar tardíamente la
evaluación3. Evaluar impacto sin evaluar
proceso4. Usar un método
inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades
Los 7 pecados capitalesde la evaluación de impacto
6
1. No evaluar2. Iniciar tardíamente la
evaluación 3. Evaluar impacto sin evaluar
proceso4. Usar un método
inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades
Los 7 pecados capitalesde la evaluación de impacto
7
8
1. No evaluar2. Iniciar tardíamente la
evaluación 3. Evaluar impacto sin evaluar
proceso4. Usar un método
inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades
Los 7 pecados capitalesde la evaluación de impacto
9
AIEPI (IMCI)
AIEPI
Soporteal sistema
de salud
Desempeño del profesional de salud
Prácticas en la familia
y en la comunidad
10
Bangladesh: efecto del AIEPI en la utilización de los servicios de
salud
0
1
2
3
4
5Ju
l
Sep
No
v
Jan
Mar
May
Jul
Sep
No
v
Jan
Mar
May
Jul
Sep
No
v
Jan
Mar
May
Jul
Sep
No
v
Jan
Mar
May
Co
ns
ult
as
po
r n
iño
/an
oAIEPI intervención AIEPI comparación
AIEPI
Fuente: Arifeen et al, 2004
11
2001
2002
2003
2004
2005
2006
2007
ActividadesEstudios
ACSD-CDC
DHS
DHS
AIEPIEPI + ITN IPTp
Evaluación externa
Servicios Comunidad
Clave: Las barras representan distritos en el siguiente orden: Kolokani, Bla, Djenné, Banamba, Niono, Koro
ACSD implementation & surveys: Mali
12
1. No evaluar2. Iniciar tardíamente la
evaluación3. Evaluar impacto sin evaluar
proceso4. Usar un método
inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades
Los 7 pecados capitalesde la evaluación de impacto
13
Introducción y
Planeamiento
Entrenamiento de los trabajadores de salud y visitas de seguimiento
Mejoras en el manejo domiciliario y en el
cumplimiento de las recomendaciones
Mejoras en la búsqueda de cuidados a la salud y
en el aumento de la utilización
Redución de la mortalidad
Mejoría del estado nutricional
Mejoras en los sistemas de salud:
medicamentos, vacunas, supervisión,
etc
Intervenciones en las familias y en las
comunidades
Mejoras en la cualidad de atención en los servicios de salud
Modelo de impacto del AIEPIModelo de impacto del AIEPI
14
A step-wise approach to evaluationat country level
Are adequate services being provided?at health facility level?at community level?
Are these services being used by the population?
Have adequate levels of effective coverage been reached in the population?
I s there an impact on health and nutrition?
Are the interventions and plans for delivery technically sound and appropriate for the epidemiological and health system context? 1
4
3
2
5
Policies; results-based planning
Provision
Utilisation
Effective coverage
I mpact
15
• La intervención es adecuada a la realidad epidemiológica y asistencial?
• Hay oferta adecuada de servicios:– en las unidades de salud?– en la comunidad?
• La utilización es adecuada?• Fueron alcanzadas las metas de
cobertura?• Hubo impacto sobre
– morbi-mortalidad?– otros resultados biológicos o del
comportamiento?
Tipos de indicadores:enfoque paso-a-paso
16
1. No evaluar2. Iniciar tardíamente la
evaluación 3. Evaluar impacto sin evaluar
proceso4. Usar un método
inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades
Los 7 pecados capitalesde la evaluación de impacto
17
Estudios de eficacia
• La intervención funciona cuando es implantada en condiciones ideales?
• Características de los estudios:– Implementación integral– Cualidad excelente– Alta cobertura poblacional
• Incluyendo los más pobres– La intervención es altamente
necesaria– Factores contextuales son
raramente descriptos
18
Estudios de efectividad
• La intervención funciona en mi comunidad?• Características de los estudios:
– Implementación imperfecta– Cualidad media– Cobertura parcial
• Probable exclusión de los más pobres– Necesidad de la intervención puede ser
menor que en los lugares donde se realizaron estudios de eficacia
– Factores contextuales esenciales pueden estar ausentes
19
Tipos de inferencia en evaluaciones de impacto
• Adecuación (estudios descriptivos)– Los cambios esperados están
aconteciendo• Plausibilidad (estudios
observacionales)– Los cambios observados parecen
ser debidos al programa • Probabilidad (ensayos randomizados)
– Estudios randomizados muestran que el programa tiene un impacto estadísticamente significativo
20
Evaluaciones de adecuación
– Los objetivos iniciales fueron alcanzados?• Ex.: reducir en 20% la
mortalidad de menores de 5 años
– Las tendencias en los indicadores de impacto fueron • en la dirección esperada?• de la magnitud adecuada?
21
Programa de reducción de la mortalidad infantil, Pelotas, RS
02468
1012141618202224
2001 2002 2003 2004 2005 2006
Tasa m
ort
ali
dad
in
fan
til
Datos no publicados
22
• Metas:– Reducir la mortalidad infantil de
20 para 15 por mil» 15,5 POR MIL
– Menos de 65 muertes por año en Pelotas
» 66 muertes
Programa de reducción de la mortalidad infantil, Pelotas, RS
23
Cáncer de cervix en Rio Grande do Sul, Brasil, 1980-2000
0123456789
1983 1985 1987 1989 1991 1993 1995 1997 1999 2001
Año
Def
unci
ones
/100
.000
24
Evaluaciones de plausibilidad
• Es probable que el impacto observado sea debido a la intervención?
• Requiere descartar la influencia de factores externos:– Necesidad de grupo de
comparación– Ajuste para factores de confusión
• También denominados de “casi- experimentos”
25
HABILIDADES DE TRATAMIENTO Con AIEPI
Sin AIEPI
Prescripción correcta de antibióticos para niños que están necesitando
67% 51%
No prescripción de antibióticos para niños que no lo están precisando
93% 87%
Niño con neumonía tratada correctamente
58% 29%
Administración de la 1ª. dosis de medicamento en la unidad de salud
27% 0%
Aplicación de todas las vacunas necesarias
39% 38%
Desempeño del profesional de salud: 4 provincias, Brasil
Fuente: Amaral et al, 2005
26
Impacto del AIEPI sobre la mortalidad infantil, 3 provincias,
Brasil
0
12
3
45
6
78
%
SIAB SIM/ SINASC
Redución Anual de la TMI, 1999-2002 (ajustada para factores de confusión)
Fuerte AIDPI Algún AIDPI Sin AIDPI
27
Evaluaciones de probabilidadEnsayos controlados
randomizados
• Priorizan la validez interna– Asignación al azar reduce sesgo de
selección y confusión– Cegamiento reduce sesgo de
información• Esenciales para determinar la
eficacia de nuevas intervenciones• Adecuados para cadenas causales
cortas– Efecto biológico de drogas, vacunas,
suplementos nutricionales etc.• Generalmente miden eficacia y no
efectividad
28
Ejemplo de una intervención en salud pública: ECR de
aconsejamiento nutricional
Trabajadores de salud entrenados
Estado nutricional mejora
Conocimiento de T.S. aumenta
Desempeño de T.S. mejora
Conocimiento de las madres aumenta
Dieta del niño mejora
Ingesta energética aumenta
Programa nacional implementado
Source: Santos, Victora et al. J Nutr 2001
Niños 12-17.9 meses al ingresar en el estudio
Ganancia de peso:Intervención = 1.48 kg
Control = 1.14 kg(p<0.05)
29
Ejemplo de una intervención en salud pública: ECR de
aconsejamiento nutricional
Trabajadores de salud entrenados
Estado nutricional mejora
Conocimiento de T.S. aumenta
Desempeño de T.S. mejora
Conocimiento de las madres aumenta
Dieta del niño mejora
Ingesta energética aumenta
Programa nacional implementado
Source: Santos, Victora et al. J Nutr 2001
0.807=0.21
30
Ensayos randomizados en la evalución
de la efectividad de los servicios
La respuesta cierta para la pregunta errada?
31
1. No evaluar2. Iniciar tardíamente la
evaluación 3. Evaluar impacto sin evaluar
proceso4. Usar un método
inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades
Los 7 pecados capitalesde la evaluación de impacto
32
Planeamiento de la Evaluación de AIEPI
Brasilia, Oct 2001
33
Devolución para los gestores
Fuente: Amaral et al, 2005
34
1. No evaluar2. Iniciar tardíamente la
evaluación 3. Evaluar impacto sin evaluar
proceso4. Usar un método
inapropriado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades
Los 7 pecados capitalesde la evaluación de impacto
35
AIEPI lleva a mejoras en el rendimiento de los trabajadores
de salud
19
69
56
72
16
65
13
29
0
20
40
60
80
100%
niñ
os
man
ejad
os
corr
ecta
men
te
Bangladesh NE Brazil Tanzania Uganda
No AIEPIAIEPI
Fuente: Paryio et al, 2005
36
1. No evaluar2. Iniciar tardíamente la
evaluación 3. Evaluar impacto sin evaluar
proceso4. Usar u método inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades
Los 7 pecados capitalesde la evaluación de impacto
37
Cobertura de AIEPI según tasa de pobreza en el municipio, 2000
0% 20% 40% 60% 80% 100%
Menos pobres
2
3
Más pobres
Ausente Parcial Fuerte
Fuente: Victora, Amaral et al, 2006
38
Screening para cáncer de cuello uterino, según ingreso familiar,
Pelotas, 2002
4.4 9.1
30.238.0
50.0
16.1
0
20
40
60
Desconhecep<0,001
Nunca realizoup<0,001
Não realiza há 3anos p<0,001
>6 3,01 a 6,0 1,01 a3,0 ≤ 1,0
Fuente: Quadros & Victora 2004
39
1. No evaluar2. Iniciar tardíamente la
evaluación 3. Evaluar impacto sin
evaluar proceso4. Usar un método
inapropiado5. No involucrar los
gestores6. Ignorar el contexto7. No evaluar
desigualdades
Los 7 pecados capitalesde la evaluación de impacto