miguel foguel ipea e puc/rj. 1) introdução: principais questões e usos da avaliação econômica...
Post on 07-Apr-2016
213 Views
Preview:
TRANSCRIPT
Avaliação Econômica de Projetos Sociais
Miguel FoguelIPEA e PUC/RJ
Estrutura da Apresentação
1) Introdução: principais questões e usos da Avaliação Econômica
2) Panorama da área de Avaliação Econômica: Avaliação de Impacto Avaliação de Custo-Benefício
3) Exemplos: Jovenes en Acción – Colômbia Programa Mais Galpão Aplauso
4) Sumário
1. Introdução
IntroduçãoQuestões importantes podem ser
respondidas com a Avaliação Econômica (AE):
1) Avaliação de Impacto: O projeto teve o impacto almejado? Qual a magnitude do impacto?
2) Custo-Benefício: Qual o retorno econômico do projeto?
Recursos Privados e Públicos:Físicos, Humanos, Financeiros
Programa 1
Programa N...
Resultados
Resultados
Resultados
Benefícios Benefícios Benefícios
Impactos
Custos
Avaliação de Impacto
Avaliação Custo-Benefício
Introdução Usos da AE:
Gestão: auxiliar no redesenho e melhora na gestão do próprio programa (juntamente com monitoramento)
“Accountability”: ajudar na prestação de contas, sustentação do programa e obtenção de fundos para novos projetos
Eficiência: melhorar a alocação dos recursos disponíveis
2.Avaliação Econômica
Avaliação Econômica1) Avaliação de Impacto: O que faz: Mede em termos quantitativos os
impactos dos programas. Desafio: Assegurar que os resultados isolam o
efeito do programa dos efeitos causados por outros fatores.
Exemplo: como isolar o impacto de um programa voluntário de treinamento num ambiente complexo e mutável?
Avaliação Econômica Estratégia: encontrar um contrafactual para o
grupo que recebeu o programa (tratamento), ou seja, um grupo (de controle) que represente o que teria ocorrido com os tratados caso eles não tivessem participado do programa.
Dimensões: características observáveis e não observáveis (habilidades, motivações, preferências etc.) pelo analista
Não se recomenda: Comparar o grupo tratado com outro grupo
que seja muito distinto dele; Comparar a situação do grupo tratado antes e
depois do programa.
O programa teve efeito? Controles inadequados
Programa
1 2 3 4 538%
39%
40%
41%
42%
43%
44%
45%
46%
47%
48%
Indicador de resultado
Tratados Comparação
anos
O programa teve efeito? Controles inadequados
1 2 3 4 538%
39%
40%
41%
42%
43%
44%
45%
46%
47%
48%
Indicador de resultado
Tratados Comparação Controles
anos
Programa
Programa
O programa teve efeito? Antes e Depois
Programa
O programa teve efeito? Antes e Depois
Avaliação Econômica Métodos para construção do
contrafactual:1) Método experimental (aleatorização):
Seleciona-se de forma aleatória os grupos de tratados e controles e compara médias dos resultados dos grupos
2) Método não experimental: Necessita de bases de dados com informações
sobre beneficiários e não beneficiários Aplicam-se técnicas econométricas para
encontrar grupo de controle
Avaliação Econômica
2) Avaliação Custo-Benefício: Transforma os impactos em benefícios
monetários para comparar com os custos do projeto (contábeis e de oportunidade)
Simula os fluxos de benefícios e custos ao longo do tempo
Calcula o retorno econômico/social: Indicadores: Taxa Interna de Retorno (TIR) e
Valor Presente Líquido (VPL)
Limites da Avaliação Dados: é preciso dispor de informações de qualidade
e amostras de tamanho razoável. Validade interna: o efeito do programa foi
corretamente isolado? Método experimental:▪ Processo de aleatorização;▪ Atrito: perda de observações dos indivíduos;▪ Substituição: controles acabam participando do programa
ou similar. Métodos não experimentais: ▪ Grupo de controle adequado;▪ Modelo econométrico empregado.
Validade externa: resultados da avaliação podem ser levados para outras localidades, grupos de pessoas ou períodos do tempo?
3. Exemplos
3.1 – Jóvenes en Acción – Colômbia
3.2 – Programa Mais
3.3 – Projeto Galpão Aplauso
3.1 – Jóvenes en Acción(Attanasio, Kugler & Meghir,
2009)
JÓVENES EN ACCIÓN: Descrição do programa
Objetivo: Programa governamental de treinamento para melhorar a inserção de jovens no MT em 7 cidades da Colômbia. Entre 2001 e 2008 teve 80 mil participantes.
Público-alvo: jovens desempregados de baixa renda com idade entre 18 e 25 anos
Conteúdo: Oferece de treinamento em sala de aula (3 meses) e
nas empresas (3 meses). Cursos para várias ocupações: eletricista, bombeiro,
cabeleireiro, assistente administrativo, caixa, informática, etc.
Treinamento nas empresas por algumas horas por dia (média=2h)
Participantes receberam ajuda de custo durante o programa
JÓVENES EN ACCIÓN: Método
Método experimental: Houve excesso de demanda para as
vagas e a avaliação foi realizada com a aleatorização dos candidatos no nível da instituição de treinamento (análise para a coorte de candidatos de 2005)
Amostra: inicial=2859; final=2269, com cerca de metade no grupo de tratamento.
Indivíduos em ambos os grupos foram entrevistados antes e depois do começo do programa (entre 19 e 21 meses após)
JÓVENES EN ACCIÓN: Comparando os grupos
Attanasio et al. (2009)
Diferenças entre tratados e controles antes do treinamento Em 2004Emprego em geral 0.001
(0.021)Emprego pago 0.018
(0.020)Emprego formal 0.006
(0.011)Salário -6,806
(6,000)Rendimento conta-própria -3,002
(5,460)Experiência em empresas 0.768*
(0.440)Dias trabalhados por mês -0.312
(0.535)Dias trabalhados por semana -1.436
(1.190)Mulher 0.262
(0.174)Escolaridade 0.280***
(0.072)Idade -0.090
(0.085)Casado -0.015
(0.020)
Número de observações 2,269
JÓVENES EN ACCIÓN: Impactos estimados
Attanasio et al. (2009)
Efeito estimado Total Mulheres HomensEmprego em geral 0.018
(0.018)Emprego pago 0.041** 0.050* 0.010
(0.020) (0.029) (0.032)Emprego formal 0.053*** 0.051** 0.037
(0.019) (0.025) (0.034)Salário 25,475*** 30,010*** 4,155
(8,555) (11,256) (14,841)Rendimento conta-própria -2,283
(3,660)Experiência na empresa -1.211***
(0.462)Dias trabalhados por mês 0.609
(0.49882)Horas trabalhadas por semana 0.738
(1.170)
JÓVENES EN ACCIÓN: Retorno econômico Benefícios:
Ganhos salariais de P$306 mil por pessoa/ano considerando todos e P$360 mil por pessoa/ano considerando somente as mulheres.
Ganhos persistem por 40 anos: VP = US$2344 por pessoa e VP = US$2750 por mulher
Custos diretos: Pagamento das bolsas: US$ 2,5 por dia VP = US$750 por pessoa
Benefício Líquido: VPL = US$1595 (TIR=17,5%) por pessoa e VPL = US$2000 (TIR=20,5%) por mulher
3.2 – Programa Mais(CIEE Rio, 2014)
Programa Mais: Descrição do Programa
Objetivo: programa para promover o acesso e permanência de jovens no Ensino Superior que foi iniciado em 2004 no Rio de Janeiro pelo CIEE
Público-alvo: jovens de classes populares entre 16 e 24 anos que concluíram o ensino médio na rede pública
Conteúdo: Modulo I: encontros no CIEE e aulas de pré-vestibular. Oferece orientação
profissional, capacitação de comunicação e expressão e preparação para o vestibular. Somente este módulo será avaliado.
Modulo II: acompanhamento/orientação acadêmica após a realização do vestibular
Programa Mais: Método
Método não experimental: Compara os participantes com 3 grupos de controle:
GC 1: selecionados mas que desistiram logo após o início
GC2: alunos que só fizeram o curso pré-vestibular do Programa Mais
GC3: alunos que só fizeram o curso pré-vestibular de outro programa semelhante (Ser Cidadão)
Faz uso da metodologia regressão na qual insere variáveis para controlar diferenças observáveis entre os indivíduos (p.e., sexo, cor, estado civil, escolaridade do responsável, etc.)
Programa Mais: Comparando os grupos
Média das veriáveis por grupo
Grupos de Controle
Grupo de CIEE - Desistiram CIEE - Só pré- Ser Cidadão - Só
Tratados Início (I) vestibular (II) Pré-vistibular (III)
Homem 20,0% 22,6% 29,4% 32,0%
Branco 20,0% 16,1% 41,2%* 30,6%
Idade 22,1 23,2* 21,1 20,9*
Solteiro 94,6% 71,0%* 100% 90,0%
Escolaridade responsável:
Fund. Incompleto 29,1% 35,5% 29,4% 18,0%
Fund. Completo 21,8% 16,1% 23,5% 16,0%
Médio Incompleto 5,5% 3,2% 11,8% 4,0%
Médio Completo 23,6% 25,8% 29,4% 42,0%*
Superior 13,2% 10,0% 5,9% 14,0%
Renda dom. per capita R$ 536 R$ 586 R$ 550 R$ 577
Observações 55 31 17 50
Programa Mais: Impactos estimados
Desempenho no vestibular Inserção no mercado de
trabalho
Sucesso em Sucesso em Fez Frequenta SalárioEm relação ao grupo de tratamento:
Univ. em geral Univ. Pública Matrícula ou concluiu Trabalha Horário
CIEE - Desistiram no início (I) -0,0709 -0,1940*** -0,2408*** -0,2105** -0,0155 0,7998
(0,1252) (0,1019) (0,1105) (0,0974) (0,1284) (1,3690)
CIEE - Só pré-vestibular (II) 0,1359 -0,0729 0,2407 0,0479 -0,0693 1,9666
(0,1593) (0,1371) (0,1576) (0,1442) (0,1673) (2,2212)Ser Cidadão - Só pré-vestibular (III) 0,1106 0,0218 0,0336 0,1398 -0,0996 0,1993
(0,1439) (0,1293) (0,1387) (0,1269) (0,1518) (1,0823)
3.2 – Projeto Galpão Aplauso
(Calero et al., 2014)
Galpão Aplauso: Descrição do programa
Objetivo: programa para melhorar a situação socioeconômica e empregabilidade dos jovens em algumas comunidades carentes do Rio de Janeiro
Público-alvo: jovens com menos de 29 anos oriundos de famílias pobres nas favelas da cidade do RJ;
Conteúdo: oferece treinamento de habilidades vocacionais (p.e., marcenaria, soldagem), acadêmicas (p.e., matemática e português) e competências de vida (p.e., ética, educação ambiental) com base em métodos pedagógicos que também utilizam arte e dança;
Galpão Aplauso: Método
Método experimental:▪ Pré-seleção: realizada em etapas: anúncio, candidatos respondem
questionário, faz-se triagem com base na idade e renda declarada (menor de 2SM), ocorre entrevista e provas básicas de português e matemática;
▪ Excesso de demanda: houve número maior de pré-selecionados do que vagas => seleção aleatória dos participantes (tratamento) e não participantes (controles);
▪ Reserva de vagas: para pequeno grupo (até 10%) que apresentou condições especiais: p.e., irmãos, desempenho excepcional e muito pobre.
▪ Amostra: ao final: 451 candidatos: 194 tratamentos, 230 controles e 27 reserva de vagas.
Galpão Aplauso: Comparando os grupos
(1) (2) (3) (4)
Tratados ControleDiferença das
médias (Tratados – Controle)
Valor de t
Idade 22,78 23,20 -0,42 -0,94Fração de mulheres 12,90 14,60 -1,70 -0,44Fração de solteiros 78,20 69,10 9,10 1,85Fração que mora com o pai 36,70 31,50 5,20 1,00Fração que mora com a mãe 41,50 37,10 4,40 0,81
Tamanho da família 3,98 3,57 0,41 2,24Renda familiar 1719,50 1560,30 159,20 1,17Fração que já trabalhou 93,20 94,90 -1,70 -0,67Idade do primeiro emprego 16,36 15,59 0,77 2,24Fração Empregada 60,50 69,10 -8,60 -1,61Fração Desempregada 17,70 16,30 1,40 0,33Renda mensal do trabalho 744,00 760,50 -16,50 -0,34Horas semanais trabalhadas 41,97 42,75 -0,78 -0,39Fração com Ensino Secundário 84,80 87,10 -2,30 -0,53
Galpão Aplauso: Impactos estimados
Estimativas do Impacto: escola, trabalho e despesaAmostra Total
1 a 2 meses após o programa (coorte 1)
2 a 3 meses após o programa (coorte 3)
4 a 5 meses após o programa (coorte 2)
ResultadoEfeito do
Tratamento
valor de t
Efeito do Tratamento
valor de t
Efeito do Tratamento valor de t
Efeito do Tratamen
tovalor de t
Frequenta a escola -0,039 -0,9 -0,003 -0,05 0,021 0,17 -0,144 -1,46Trabalho na última semana 0,051 0,8 -0,057 -0,65 -0,006 -0,04 0,213 2,11
Trabalho assalariado na última semana
0,078 1,22 -0,036 -0,4 -0,006 -0,04 0,266 2,6
Renda mensal do trabalho 30,264 0,57 -102,407 -1,51 252,864 1.6 176,95 1.95
Contrato Formal -0,017 -0,2 -0,106 -0,87 0.036 0,15 0,070 0,49Contrato por prazo indeterminado -0,053 -0,81 -0,129 -1,41 -0,028 -0,19 0,080 0,59
Horas trabalhadas 0,346 0,15 2,812 0,84 -7,986 -1,24 1,129 0,32Principal despesa: Estudo 0,019 0,85 0,024 0,81 -0,037 -0,97 0,066 1,14Principal “despesa”: poupança
0,020 0,46 -0,046 -0,76 0,016 0,15 0,160 1,98
Principal despesa: Balada 0,056 1,07 0,134 1,84 -0,160 -1,22 0,045 0,44Principal despesa: Roupas 0,063 1.1 0,041 0,49 0,027 0,22 0,001 0,01
Galpão Aplauso: Impactos estimados
Estimativas do Impacto: competências de vida e consumo cigarros/álcool
Amostra Total1 a 2 meses após o
programa (coorte 1)
2 a 3 meses após o programa (coorte 3)
4 a 5 meses após o programa (coorte 2)
Desdobramentos ((Xi-Xc)/σc)
Efeito do Tratame
ntovalor de t
Efeito do Tratament
ovalor de t
Efeito do Tratament
ovalor de t
Efeito do Tratament
ovalor de t
CPS Total -0,100 -1,36 -0,084 -0,88 -0,046 -0,23 -0,026 -0,2Escala de Grit Total (perseverança)
-0,045 -0,38 -0,070 -0,44 0,192 0,62 -0,261 -1,32
Escala de Grit Total - Duckworth -0,065 -0,53 -0,156 -0,91 0,067 0.2 -0,056 -0,28
Amostra Total1 a 2 meses após o
programa (coorte 1)
2 a 3 meses após o programa (coorte 3)
4 a 5 meses após o programa (coorte 2)
ResultadoEfeito do Tratamen
tovalor de T
Efeito do Tratamen
tovalor de T
Efeito do Tratamen
tovalor de T
Efeito do Tratamen
tovalor de T
Já fumou 0,029 0,65 0,012 0,22 0,120 0,92 0,052 0,52Número de cigarros na última semana -0,026 -0,1 -0,041 -0,1 0,179 0,18 -0,110 -0,22Consumiu álcool na semana passada -0,025 -0,47 0,017 0,25 -0,262 -1,86 0,038 0,31Quantas bebidas na última semana 0,064 0,48 -0,063 -0,36 0,230 0,77 0,444 1,7
4.Sumário Avaliação Econômica de Programas Sociais é um
instrumento importante para verificar se programas estão atingindo seus objetivos.
Calcular impacto e retorno social: ajuda a aprimorar os programas, aumenta a transparência e permite alocar melhor os recursos disponíveis.
Importante pensar a avaliação desde o início do programa: definição da amostra, método, grupos de controle, coleta de informação, etc.
ÓTIMO CURSO!
top related