avaliaÇÃo de polÍticas pÚblicas: tipologias e tÉcnicas de...
TRANSCRIPT
-
AVALIAO DE POLTICAS PBLICAS: TIPOLOGIAS E TCNICAS DE ANLISE
ARMANDO A. SIMES
BRASLIA, 13 24 DE AGOSTO DE 2018
-
APRESENTAO DO CURSO
OBJETIVO: oferecer uma viso geral sobre o campo da avaliao de polticas eprogramas, distinguir diferentes tipos de avaliao e sua adequao s finalidadescom que se avalia; conhecer alguns dos mtodos e tcnicas utilizadas na avaliao,bem como os problemas prticos relacionados sua implementao.
PROFESSOR: Armando A. Simes
PERODO: 13 a 24 de agosto de 2018.
HORRIO: das 8h30 s 12h30
-
TPICOS:1. Introduo Geral Avaliao de Polticas Pblicas
Breve histrico da avaliao de polticas pblicas Avaliao de Polticas: conceitos e abordagens Perguntas centrais na avaliao de polticas
2. Tipologias de Avaliao e Tcnicas de Anlise Avaliao Normativa Pesquisa Avaliativa: perguntas e tcnicas de anlise2.1. Avaliao de Diagnstico
2.1.1. Anlise Estratgica2.1.2. Anlise Lgica
2.2. Avaliao de Implementao/Processo (Monitoramento)2.2.1. Anlise de Implementao2.2.2. Anlise dos Processos de Implementao (Produo)
2.3. Avaliao de Utilidade2.3.1. Anlise de Efeitos e Impacto
3. Projeto de Avaliao (Desenho, Gesto e Disseminao)4. Problemas e desafios da avaliao de programas e polticas
-
AVALIAO DO CURSO:1. A avaliao de aprendizagem no curso ocorrer em exame de mltipla escolha
realizado no ltimo dia do curso.2. Alm do exame ser exigida frequncia mnima de 80% das aulas dadas para
aprovao no curso.
BIBLIOGRAFIA: Bibliografia Bsica Bibliografia Complementar
-
1. INTRODUO
-
ALGUNS CONCEITOS
Poltica pblica
Um curso de ao escolhido pela autoridade pblica paratratar um dado problema ou um conjunto de problemasinterrelacionados. (Leslie A. Pal, 2014) Visa atingir um objetivo de mudana. viabilizada por instrumentos para lidar com o(s) problemas(s)
que afeta(m) a comunidade e atingir os objetivos planejados.
Se estrutura com base em conhecimento tcnico-cientfico, mas tambm sobre valores (e.g. interesse pblico, equidade, eficincia, justia etc.).
8/22/2018Footer Text 6
-
ALGUNS CONCEITOS
Anlise de Poltica (Policy Analysis) Analisa o sentido, desenvolvimento, contedo e consistncia de
uma poltica: o que a motiva; como se constri, como se decide, queproblema/oportunidade busca atender; qual a sua racionalidade;que objetivo busca atingir, que instrumentos utiliza, como se integracom outras polticas etc.
Avaliao de Programa (Program Evaluation) Avalia a necessidade, relevncia, desenho, implementao, utilidade
de uma interveno proposta que busca concretizar os objetivos de uma poltica.
8/22/2018Footer Text 7
-
AVALIAO DE INTERVENES (POLTICAS, PROGRAMAS, SERVIOS)
De que se trata ?
8/22/2018Footer Text 8
Capacidade de fazer perguntas. Ouvir o que tem a dizer os stakeholders. Aplicar mtodos de anlise Responder a expectativas sobre:
o Conhecer melhor a realidade e as intervenes.o Melhorar o desempenho das intervenes.o Prestar contas sociedade
-
ALGUNS CONCEITOS
Um modelo para anlise do processo de produo da Poltica Pblica:Poltica Pblica como Ciclo (Origens em Lasswell (1956) The Decision Process)
Definio da Agenda
Formulao
Tomada de Deciso
Implemen-tao
Avaliao
-
DESENHO DE POLTICA PBLICA
Formulao
Racionalidade(s)
Processo Pesquisa / Anlise
Colaborao
Escuta
Valores
Conflito
Negociao
Deciso
Resultado (plano, poltica, programa, projeto)
Desenho
nenhum desenho algum desenho redesenho
Agenda
Problema
Causas (explicao)
Instrumentos
Deciso
Implementao
Avaliao
DESENHO
ALGUNS CONCEITOS
Sucesso ou Fracasso ?
-
IMPLEMENTAO
Definio: implementao a fase/atividade do processo da poltica pblica em que asintenes e recursos so convertidos em ao que deve gerar os produtos e resultadospretendidos pela poltica.
A implementao um processo dinmico e multidimensional (poltico, tcnico, organizacional)
A implementao remete s organizaes, suas estruturas (recursos, atores, processos) e suacomunicao...
Mas, os problemas de implementao no derivam apenas do desenho e das capacidadesinstitucionais, mas tambm de fatores de contexto (alguns imprevisveis)..... mais como um jogo.
A implementao completa o desenho -> a operacionalizao e os burocratas de nvel de rua.
Quando agimos para implementar uma poltica, ns a mudamos. (Majone eWildavsky, 1984 apud Pal, 2014)
-
DESENHO DE POLTICA PBLICA
Formulao
Racionalidade(s)
Processo Pesquisa / Anlise
Colaborao
Escuta
Valores
Conflito
Negociao
Deciso
Resultado (plano, poltica, programa, projeto)
Desenho
nenhum desenho algum desenho redesenho
Agenda
Problema
Causas (explicao)
Instrumentos
Deciso
Implementao
Avaliao
DESENHO
ALGUNS CONCEITOS
Sucesso ou Fracasso ?
-
SUCESSO E FRACASSO
Sucessos e fracassos podem ocorrer em qualquer fase do ciclo da poltica pblica. (Howlett et al 2013)
O Sucesso pode ocorrer em alguns aspectos e no em outros .
A afirmao de sucesso ou fracasso depende de informao relevante.
Sucesso e fracasso de polticas em geral remete ideia de:
resultados + critrios. Atingir objetivos da poltica (modelo de objetivos) segundo determinados critrios (modelo normativo)
Diferentes grupos podem avaliar sucesso de modo distinto (por diferentes critrios).
Atores distintos a partir de diferentes critrios, avaliam distintamente o mesmo conjunto de resultados.
O sucesso ou fracasso no um evento em si, mas um julgamento sobre eventos.
Refletem relaes de poder processo poltico
-
SUCESSO E FRACASSO...
Sucesso para quem? (proponentes, opositores, beneficirios, os que perdem com a poltica, a burocracia etc.)
Em que momento? (curto, mdio, longo prazo)
Em que lugar? (contexto, cultura, condies econmicas etc.)
Se considerou as consequncias no previstas (positivas ou negativas)?
Se considerou os objetivos no declarados nas polticas pblicas?
A multiplicidade de fatores que influenciam o processo de implementao e os resultados da poltica dificuldade metodolgica em se isolar o efeito lquido da poltica.
-
1.1) BREVE HISTRICO DA AVALIAO DE POLTICAS PBLICAS
-
8/22/2018Footer Text 16
Estgio Tericos Perspectiva Terica nfase1960s Trazer a verdade cientfica para a soluo de problemas sociais
experimentalismo
Michael S. Scriven
Donald T. Campbell
Avaliao como cincia da valorao da ao (com base em fatos, no em opinies)
Metodologista da Sociedade Experimental.
Busca da verdade cientfica a respeito da efetividade das solues para os problemas sociais.
1970s Gerar alternativas enfatizando o uso e os stakeholders
pragmatismo
Carol H Weiss
Joseph S. Wholey
Robert E. Stake
Vinculao da avaliao com a pesquisa em polticas pblicas.
Avaliao para o aperfeioamento dos programas
Avaliao responsiva e mtodos qualitativos
Entender como as organizaes do setor pblico e seus tomadores de deciso operam de modo a oferecer alternativas teis do ponto de vista poltico e social para a apropriao do conhecimento avaliativo (uso) visando melhoria do desempenho das organizaes e de suas aes.
1980-90 Tentar integrar o passado
integracionismo
Lee J. Cronbach
Peter H. Rossi
Desenho funcional da avaliao para um mundo sujeito acomodao poltica
Avaliao global (desenho, implementao e utilidade), customizada e com base na teoria do programa.
Integrar diferentes perspectivas tericas anteriores de modo a reconhecer a legitimidade de diferentes abordagens em funo das circunstncias e propsitos da avaliao.
-
DEFINIES E FINALIDADESAutor Definio Finalidade
Suchman (1967) Determinao (...) dos resultados obtidos por uma atividade que fora estabelecida para realizar um objetivo ou quaisquer objetivos Determinar resultados (finalidade somativa)
Arnold (1971) Retroao planejada e sistemtica de informaes necessrias para guiar a ao futura. Guiar a ao futura (finalidade estratgica)
Weiss (1972) Apreciao sistemtica do funcionamento e (ou) dos resultados de um programa ou de uma poltica em funo de critrios explcitos ou implcitos, de modo a contribuir para a melhoria do programa ou da poltica.
Melhorar a interveno (finalidade formativa)
Beeby (1977) Coleta e interpretao sistemticas de provas (dos dados convincentes) que leva, de modo inerente ao processo, a um julgamento sobre o valor de um programa em uma perspectiva de ao.
Julgar o valor (finalidade valorativa)
Sociedade Canadense de Avaliao (1985)
Anlise de uma ao fundamentada, visando a certos objetivos, em termos de pertinncia, implantao e resultados. Avaliar a pertinncia (finalidade valorativa)
Scriven (1991) Processo de determinao do valor das coisas. Determinar o valor(finalidade valorativa)
Patton (1997) Coleta sistemtica de informaes sobre as atividades, as caractersticas e os resultados desses programas a fim de emitir julgamento sobre eles, melhorar sua eficcia e esclarecer as decises relacionadas a novosprogramas.
Esclarecer decises (finalidade administrativa)
-
Autor Definio Finalidade
Rossi, Freeman e Lipsey (1993, 2004)
Atividade que consiste em utilizar os mtodos de pesquisa das cincias sociais para analisar sistematicamente a eficcia dos programas de interveno social de um modo adaptado ao seu ambiente poltico e organizacional, e de maneira a iluminar a ao social tendo em vista a melhoria das condies sociais.
Melhoria das condies sociais
(finalidade transformadora)
Mark, Henry e Julnes(2000)
Anlise sistemtica que descreve e explica as atividades, os efeitos, as justificativas e as consequncias sociais dessa polticas e programas(...) com o objetivo ltimo da melhoria social(...).
Melhoria social (finalidade
transformadora)
Champagne, Contandriopoulos, Brousselle, Hartz e Denis (2011)
Juzo de valor sobre uma interveno, implementando um dispositivo capaz de fornecer informaes cientificamente vlidas e socialmente legtimas sobre essa interveno ou sobre qualquer um de seus componentes, com o objetivo de proceder de modo que os diferentes atores envolvidos, cujos campos de julgamento so por vezes diferentes, estejam aptos a se posicionar sobre a interveno para que possam construir individual e coletivamente um julgamento que possa se traduzir em aes.
Possibilitar o posicionamento dos
atores sobre a interveno(finalidade
democratizante)
-
1.2) AVALIAO DE POLTICAS: CONCEITOS E ABORDAGENS
-
1.2.1) PERGUNTAS CENTRAIS DA AVALIAO DE POLTICAS
Necessidade Valor
(social/econmico/ambiental etc.)
Decises Agendas Planos Programas Instrumentos
Implementao Processos Produtos Resultados Impactos Atores Contexto Percepes Sistemas
Servios Instituies Governana Capacidades Desempenho....etc etc..
1) O que se quer avaliar da poltica pblica?
-
2) Por que se quer avaliar (propsito da avaliao)?
Prestar contas (legal; fiscal; finalstico) Melhorar a interveno (desenho , gesto,
resultados) Gerar conhecimento Saber se funciona e por que funciona. Gerar aprendizagem para o futuro Informar a tomada de deciso (continuao,
ampliao, reduo, trmino)
Razes estratgicas (agenda oculta) Legitimar/contrapor a poltica Exaltar o desempenho do gestor Obter dividendos polticos, etc. Desviar a ateno de possveis falhas da poltica
-
Qual o escopo da avaliao?
Quais as perguntas avaliativas?
Quem vai realizar?
Com que mtodos / abordagens?
Com quais dados/informaes? De quais fontes?
Em quanto tempo?
Com que recursos?
Com quais parceiros?
3) Como ser organizada?
4) Qual o critrio de sucesso/fracasso?
Com base em quais critrios a poltica ser avaliada?
Quem define os critrios? Qual a sua justificativa?
Como sero comunicados? Como sero aplicados? Como sero revistos?
-
5) Qual o uso da avaliao?
Quem vai usar? Quando ser usada? De que modo? Com qual finalidade (checa a
segunda pergunta)?
-
1.2.2) ABORDAGENS NA AVALIAO DE POLTICAS (VEDUNG, 2017)
Abordagem
Modelos de Efetividade
Avaliao orientada a objetivos atingidosAvaliao orientada a resultados (goal free)Avaliao orientada ao cliente.Avaliao orientada aos stakeholders.Avaliao global (comprehensive evaluation).
Modelos Econmicos ProdutividadeEficincia
Modelos Profissionais Reviso de pares
-
MODELOS DE EFETIVIDADE1. Avaliao orientada objetivos atingidos
Medida de alcance Avaliao de Impacto
Questes bsicas: Os objetivos planejados foram alcanados? As mudanas so devidas poltica?
Critrio de mrito da poltica A discrepncia entre os objetivos declarados da poltica e os resultados alcanados a medida do sucesso
da poltica.
Tarefas Identificar e clarificar os objetivos da poltica. Avaliar os objetivos num dado ponto do tempo adequado para se alcanar os objetivos e monitorar a
evoluo de indicadores. Avaliar o impacto da poltica para os objetivos declarados.
-
Argumentos favor:
Democracia Os cidados esto interessados em saber se os objetivos foram atingidos; se o governo cumpriu suas
promessas; se houve desvio dos objetivos inicialmente traados etc. Pesquisa
Oferece uma soluo objetiva para o problema do critrio de avaliao (como atribuir valor a uma interveno)
Simplicidade Fcil comunicao, aplicao e entendimento.
Dificuldades:
No considera os custos da interveno. Objetivos so nebulosos, ambguos, mal definidos, sobreinclusivos etc.
Objetivos indeterminados (objetivo nibus) Catlogo de objetivos
Ignora efeitos no intencionais (efeitos perversos e efeitos colaterais) Agendas ocultas (objetivos declarados x objetivos no declardos) No considera os problemas de implementao Relao convencional da relao polticos-burocratas (modelo racional-legal)
-
2. Avaliao de efeitos colaterais Busca avaliar os efeitos no intencionais/declarados (previstos ou no previstos) da interveno que
podem ocorrer fora da rea/pblico-alvo da interveno. Os efeitos colaterais so analisados em relao aos efeitos previstos e intencionados pela interveno. Efeitos colaterais podem gerar problemas que vo exigir novas intervenes.
Questes bsicas:
Existem efeitos fora da rea / pblico-alvo da interveno (efeitos colaterais)? Estes so devidos poltica? Esses efeitos comprometem os efeitos intencionados pela interveno?
Critrio de mrito da poltica
O balano dos efeitos colaterais no deve levar a nulidade do valor dos resultados intencionados e alcanados pela interveno.
Tarefas
Identificar e clarificar os objetivos da poltica e o pblico-alvo. Identificar efeitos fora do pblico-alvo. Realizar o balano dos efeitos colaterais e dos efeitos intencionados e alcanados pela interveno..
-
Argumentos favor:
Complementa o mapa de efeitos de uma interveno, permitindo um melhor julgamento do mritoglobal da interveno quanto ao conjunto dos seus efeitos.
Dificuldades:
O processo de legitimao da poltica/programa tende a ressaltar os efeitos potencialmente positivos, omitindo potenciais efeitos perversos e colaterais.
A maior parte dos efeitos colaterais no so previstos, mas descobertos aps a interveno (ou no!).
A identificao de efeitos colaterais no simples. Podem ocorrer efeitos autoevidentes, mas podemocorrer efeitos silenciosos (exigem investigao e recursos).
Como em geral no so antecipados, no se pode especificar a priori os critrios de julgamento devalor desses efeitos, dificultando o julgamento de mrito global da interveno.
A revelao de efeitos colaterais negativos leva a necessidade de novas intervenes e virtualmente aoaumento dos custos da interveno original.
O interesse dos tomadores de deciso recai sobre os efeitos intencionados pela interveno (foco daavaliao) e raramente se ocupa de efeitos colaterais.
-
3. Avaliao orientada resultados (goal free) O foco so os resultados da interveno como um todo. O avaliador deve identificar os efeitos da interveno numa perspectiva de avaliao cega.
Questes bsicas:
Quais os resultados que se derivam da poltica? Qual o balano que se faz deles?
Resultado 3
Poltica/programa
Resultado 1
Resultado 2
Critrio de mrito da poltica
O julgamento de mrito, a relevncia dos achados e a ao futura deve ser deixada aos tomadores dedeciso.
Tarefas
Identificar os efeitos aps a interveno Identificar aqueles que se derivam da interveno Apresentar o balano dos efeitos produzidos pela interveno..
-
Argumentos favor:
Permite a identificao do conjunto de efeitos da poltica de modo livre em relao aquilo que ostomadores de deciso declaram como objetivos.
Os efeitos de uma poltica so mltiplos e a maioria deles no so conhecidos pelos seus proponentes apriori.
Dificuldades:
No considera os custos da interveno. relevante levar em conta os objetivos programticos do governo, pois interessa aos cidados saber se os
compromissos foram cumpridos pelo governo eleito.
-
4. Avaliao orientada ao cliente. Parte dos objetivos, expectativas, preocupaes e necessidades dos destinatrios da
poltica/programa. Considera-se que todos os aspectos da interveno podem ser considerados a partir da
perspectiva dos clientes.
Questes bsicas:
A poltica/programa atende s necessidades dos destinatrios? A poltica/programa atende as expectativas e desejos dos destinatrios?
Critrio de mrito da poltica
O julgamento de mrito, a relevncia da poltica/programa buscado junto aos destinatrios eportanto os critrios de valorao variam.
Tarefas
Identificar e localizar os destinatrios da interveno (clientes) Analisar a cobertura Analisar a viso dos destinatrios sobre a interveno (pesquisas de satisfao).
-
Argumentos favor:
Os destinatrios da poltica tem o direito de manifestar suas preferncias, demandas, reclamaes,desejos aos provedores da poltica.
Os destinatrios assumem responsabilidade sobre o contedo, forma, qualidade e quantidade daproviso de bens e servios na media que opinam e fazem escolhas sobre eles.
Dificuldades:
No considera os custos da interveno. A multiplicidade de critrios dificulta uma sntese ou balano da interveno. A opinio dos destinatrios variante e influencivel por aspectos conjunturais oscilao do valor
atribudo interveno.
-
5. Avaliao orientada aos stakeholders. Parte dos interesses e preocupaes daqueles que so afetados pela interveno. Difere da abordagem ao
cliente pelo escopo (inclui todos os afetados diretamente ou indiretamente pela interveno) Os stakeholders tomam parte na avaliao
1) protagonismo dos stakeholders em definir e conduzir a avaliao;2) responsividade dos avaliadores em ouvir e selecionar o foco da avaliao a partir do que dizem osstakeholders.
Modelos qualitativos predominam dessa abordagem. Observao e mtodos interativos (observao participante; entrevista em profundidade; grupos focais
etc.) Questes bsicas:
Quais as questes avaliativas de interesse dos stakeholders?
Critrio de mrito da poltica O mrito da poltica avaliado pelos stakeholders a partir dos resultados entregues da avaliao.
Tarefas Identificar e sondar com os stakeholders seus interesses e suas necessidades em torno da avaliao e seu
conhecimento sobre interveno. Conduzir a avaliao em estreita comunicao com os stakeholders. Entregar o conjunto dos resultados deixando aos stakeholders o julgamento de valor e as concluses sobre a
interveno.
-
Argumentos favor:
O maior conhecimento dos stakeholders para informar a avaliao (intenes da interveno,possveis efeitos colaterais, obstculos implementao, possveis desvios, contexto poltico einstitucional etc.) e definir os aspectos relevantes a serem investigados.
Utilizao dos resultados da avaliao na tomada de deciso (evita a sndrome doengavetamento)
Clarificao de objetivos no declarados. multiplos ou conflitantes no desenho dasintervenes.
Dificuldades:
No considera os custos da interveno. H dificuldades prticas em se considerar todos os stakeholders (limitao de tempo e recursos
da avaliao); os mais organizados tendem a ser ouvidos. No h um critrio nico para definir quem so os stakeholders (quem define?) e no se
considera o peso de cada um. Risco dos avaliadores adotarem uma teoria pragmtica da verdade: o valor de verdade fica
condicionado aos interesses e perspectivas dos stakeholders (o que til e aceitvel).
-
6. Avaliao global (comprehensive evaluation). A avaliao no deve se restringir aos resultados, mas incluir o desenho, a tomada de deciso e a
implementao. O foco da avaliao no julgamento entre o intencionado e o realizado.
Questes bsicas:
Os objetivos da interveno foram realizados? A estratgia de implementao ocorreu como planejada? Os resultados produzidos foramos esperados.?
Critrio de mrito da poltica
O mrito da poltica avaliado em relao s diversas fases do ciclo a partir da comparao entreo almejado e o obtido a partir de critrios pr-estabelecidos e explcitos.
Tarefas
Identificar e comparar as intenes em termos de objetivos, estratgias, resultados etc., com oproduzido de fato.
-
Argumentos favor:
Se ocupa explicitamente com o processo de implementao da interveno. Permite explicar o que se observa com os resultados a partir do que ocorreu na
implementao. Leva em considerao fatores do ambiente em que se d a interveno para explicar
o que ocorre nas diferentes fases do processo.
Dificuldades:
No considera os custos da interveno. No considera a viso dos destinatrios da interveno. O foco nos objetivos oficiais dificulta que se identifique efeitos colaterais.
-
MODELOS ECONMICOS
1. Produtividade Utiliza a produtividade como o equivalente para o setor pblico do lucro no setor privado (busca-se a
maximizao). Questes bsicas:
Os processos da interveno resultam produtivos segundo padres esperados? Critrio de mrito da poltica
A maximizao da produtividade.
= () ()
Com base em padres de desempenho (ex. desempenho passado; de outra instituio; em relao a metas traadas)
Tarefas
Identificar os inputs e outputs da interveno nos vrios processos que a compem. Estabelecer os critrios de produtividade. Avaliar o desempenho de cada processo que compe a interveno com base nos critrios definidos.
-
Argumentos favor:
Se ocupa explicitamente de medidas econmicas que avaliam a relao entre insumos eprodutos ou custos e produtos.
Os inputs, outputs e os custos para o clculo da produtividade tendem a estar disponveisnas informaes de execuo fsico-financeiras dos rgos.
Dificuldades:
Identificar o produto relevante de um processo da interveno nem sempre simples. Integrar o conceito de qualidade medida de produtividade , no mnimo, um desafio
complexo. A produtividade uma medida interna do sistema de entregas da poltica, nada pode
dizer sobre os resultados para os destinatrios da poltica.
-
2. Eficincia Utiliza a anlise custo-benefcio e a anlise custo efetividade para relacionar os custos de
uma interveno com seus resultados. Questes bsicas:
Os benefcios da interveno compensam os custos? Critrio de mrito da poltica
A maximizao da eficincia.
custo-benefcio =
custo-efetividade =
Tarefas
Identificar todos os custos gerados pela interveno nos vrios processos que a compem. Identificar todos os resultados gerados pela interveno e suas quantidades fsicas, e
atribuir valor monetrio a essas quantidades (quando possvel). Calcular o custo-benefcio e o custo-efetividade.
-
Argumentos favor:
Se ocupa explicitamente de medidas econmicas que avaliam a relao entre custos eresultados da interveno.
Os custos para o clculo da eficincia tendem a estar disponveis nas informaes fsico-financeiras dos rgos executores.
Dificuldades:
A abordagem econmica (produtividade ou eficincia) produz uma avaliao parcial dainterveno.
O conceito de eficincia sempre relativo e deve ser avaliado em contexto. Valores da poltica pblica como justia, equidade, representatividade etc. no so
considerados nessa abordagem.
-
MODELOS PROFISSIONAIS
1. Reviso de Pares A avaliao de desempenho profissional, produo, conduta tica etc. conduzido por colegas de mesma
profisso. O julgamento profissional preside a avaliao. Se baseia fortemente em metodologias interativas (comunicao) e estruturas colegiadas. A autoavaliao, visitas tcnicas, comits de julgamento etc., so procedimentos usuais.
Questes bsicas:
A interveno implementada e produz resultados segundo padres profissionais estabelecidos? Critrio de mrito da poltica
O critrio de mrito, de desempenho e padres de qualidade so definidos pelas corporaes profissionais. Tarefas
Formulao de normas de conduta, protocolos, padres de desempenho e de qualidade da produo. Avaliao por pares e feedback.
-
Argumentos favor:
Em reas da poltica pblica onde o nvel de complexidade tcnico-cientfica alto a avaliao conduzida por membros das corporaes de tcnicos e cientistas que dominam os contedos emtodos analticos adequados para cada campo (ex. poltica de cincia e tecnologia; ps-graduao).
Dificuldades:
Risco de captura corporativa da avaliao. Risco de vis da avaliao caso haja relao de interesse ou conflito entre avaliadores e
avaliados.
-
EFEITOS COLATERAIS E EFEITOS PERVERSOS
+ -
Efeito perverso (efeito boomerang )
Efeito almejado
Efeito Nulo
Pblico-alvo
+ -
Foco da avaliao de objetivos atingidos
Foco da avaliao de efeitos colaterais
Pblico - no alvo
+ -
Efeitos colaterais (previstos ou no previstos)
Efeito Nulo
+ -
-
EFEITOS COLATERAIS E EFEITOS PERVERSOS (EXEMPLO)
+ -
Aumenta a incidncia de obesidade.
Reduz a desnutrio.
Efeito Nulo
Pblico-alvo Pblico - no alvo
+ -
Efeito Nulo
Foco da avaliao de objetivos atingidos
Foco da avaliao de efeitos colaterais
Interveno: Bolsa-Famlia
Aumenta a frequncia
escolar.
Subdeclaraode renda
-
1.2.3) O CICLO DA INTERVENO E AS MODALIDADES DE AVALIAO
-
Interveno: um sistema organizado de ao que visa, em uma determinado ambiente edurante um determinado perodo, a modificar o curso previsvel de um fenmeno paracorrigir uma situao problemtica. (Champagne et al., 2011, p.45).
PROGRAMAS E POLTICAS COMO INTERVENO NA REALIDADE
Nota: Adaptao da Figura 2, pag.46 do livro Astrid Brousselle, Franois Champagne, Andr-Pierre Contandriopoulos, Zulmira Hartz(Orgs) (2011), Avaliao: conceitos e mtodos, Editora FioCruz.
Trajetria do fenmeno
Estrutura (recursos financeiros, fsicos, tcnicos e organizacionais)
Atores ProcessosIn
terv
en
o
Efeito
Ambiente
Situao problemtica
-
HIERARQUIA DE INTERVENES
Projeto/Atividade Sala de Aula
AoPrograma
Escola
Sistemas de Ensino
Sistema de Educacional
Poltica
-
TIPOLOGIA DAS INTERVENES(POR NVEL DE COMPLEXIDADE)
Simples Problema convergente
ComplicadasS
S
S
S
S
Complexas Problema divergente
-
S
S
S
S
S
S
Uma metfora ilustrativa
Simples
Complicada
-
8/22/2018Footer Text 53
Complexa
-
Simples
-
8/22/2018Footer Text 58
Complicada
-
Complexa
European ClimateChange Programme
-
CLASSIFICAES DA AVALIAO
a) Quanto pergunta avaliativa (o que se avalia) Diagnstico Processo Utilidade
b) Quanto finalidade com que se avalia (para que se avalia) Somativa Formativa
c) Quanto metodologia de avaliao (como se avalia) Quantitativa Qualitativa Mtodos combinados
d) Quanto ao tempo de sua realizao (quando se avalia) Ex-ante Ex-post
e) Quanto posio do avaliador (quem avalia) Interna Externa
8/22/2018Footer Text 60
-
Definio da Agenda
Formulao
Tomada de Deciso
Implemen-tao
Avaliao
AS FASES DOS PROGRAMAS E AS PERGUNTAS AVALIATIVAS
-
Tipo Avaliao de Diagnstico Avaliao de Implementao /
Processos
Avaliao de UtilidadeAvaliao de
ImpactoAvaliao de
Eficincia
Propsito
Planejamento e desenho de programas em acordo com objetivos propostos
Verificao da correspondncia entre
o desenho e a implementao
Verificao da efetividade do programa em
relao aos seus objetivos
Verificao da eficincia econmica
do programa
Questes centrais
Qual o problema?- Identificao e
explicao- Extenso- Distribuio
Qual a melhor interveno para lidar com o problema?
- Objetivo- Pblico Alvo- Estratgia de
implementao/modelo de interveno Como avaliar o
programa?- Plano de Avaliao
Atingiu-se o pblico-alvo?
O programa est sendo implementado conforme previsto?
Como so usados os recursos na implementao do programa?
O programa est produzindo as mudanas esperadas?
As mudanas so substantivas?
Quanto custa o programa?
Como custos e benefcios se comparam?
-
MODELO SIMPLIFICADO DE SISTEMA PARA ANALISAR INTERVENES
INPUT PROCESSO OUTPUT RESULTADO IMEDIATORESULTADO
INTERMEDIRIORESULTADO
FINAL
8/22/2018Footer Text 63
implementaoresultados
-
MODELO DE AVALIAO (UNIO EUROPEIA)
8/22/2018Footer Text 64
Nvel 2Interveno
Objetivo Insumos(Inputs)
Atividades Entregas(Outputs)
Nvel 1Sociedade,Natureza
Nvel 3Avaliao
Problema
Resultado da Interveno
Resultado Social
Relevnciado Objetivo
Produtividade
Eficincia (custo-efetividade)
Efetividade (alcance do objetivo)
Relevncia e sustentabilidade do resultado
Fonte: Verdung, Evert Public Policy and Program Evaluation, Piscataway, New Jersey: Transaction Publishers, 2009.
-
2. TIPOLOGIAS DE AVALIAO E TCNICAS DE ANLISE
-
- Avaliao Normativa- Pesquisa Avaliativa
i. Avaliao de Diagnstico (Anlise Estratgica e Anlise Lgica)ii. Avaliao de Processo (Anlise da Produo e Anlise da
Implementao)iii. Avaliao de Utilidade (Anlise dos Efeitos e Anlise da
Eficincia)
8/22/2018Footer Text 66
TIPOLOGIAS DE AVALIAO E TCNICAS DE ANLISE
-
Avaliao Normativa
Apreciao da
Estrutura
Apreciao do
Processo
Apreciao dos
Resultados
AVALIAO NORMATIVA
-
Tem por referncia a norma (aquilo que o administrador est autorizadoou obrigado a executar) e os critrios de:
- conformidade: a interveno foi implementada conforme havia sido previsto?
- cobertura: alcana quem deveria alcanar?
- qualidade: os recursos empregados, os processos desenvolvidos (atividades) e os resultados imediatos obtidos - bens ou servios (produtos) - e os resultados finalsticos correspondem s especificaes, expectativas em termos de qualidade?
- custos: ao custo previsto (oramento)?
- efeitos: tem os efeitos esperados (metas)?
8/22/2018Footer Text 68
-
Segue em geral as etapas:
1)Definir uma norma de desempenho
2)Comparar o realizado com as normas de desempenho
3)Dar feedback sobre os achados e as possveis medidas a serem tomadas.
8/22/2018Footer Text 69
Fontes de normas:- Leis e regulamentos- Opinio de especialistas (conhecimento cientfico)- Opinio de usurios (satisfao)- Observao das prticas (mdias (o que usual), benchmarking, unidades comparveis)- Literatura especializada
-
8/22/2018Footer Text 70
LEI N 9.503, DE 23 DE SETEMBRO DE 1997. (Cdigo Nacional de Trnsito)CAPTULO XIIIDA CONDUO DE ESCOLARES
Art. 136. Os veculos especialmente destinados conduo coletiva de escolares somente podero circular nas vias com autorizao emitida pelo rgo ou entidade executivos de trnsito dos Estados e do Distrito Federal, exigindo-se, para tanto:
I - registro como veculo de passageiros;II - inspeo semestral para verificao dos equipamentos obrigatrios e de segurana;III - pintura de faixa horizontal na cor amarela, com quarenta centmetros de largura, meia altura,
em toda a extenso das partes laterais e traseira da carroaria, com o dstico ESCOLAR, em preto, sendo que, em caso de veculo de carroaria pintada na cor amarela, as cores aqui indicadas devem ser invertidas;
IV - equipamento registrador instantneo inaltervel de velocidade e tempo;V - lanternas de luz branca, fosca ou amarela dispostas nas extremidades da parte superior dianteira
e lanternas de luz vermelha dispostas na extremidade superior da parte traseira;VI - cintos de segurana em nmero igual lotao;VII - outros requisitos e equipamentos obrigatrios estabelecidos pelo CONTRAN.Art. 137. A autorizao a que se refere o artigo anterior dever ser afixada na parte interna do
veculo, em local visvel, com inscrio da lotao permitida, sendo vedada a conduo de escolares em nmero superior capacidade estabelecida pelo fabricante.
Art. 138. O condutor de veculo destinado conduo de escolares deve satisfazer os seguintes requisitos:
I - ter idade superior a vinte e um anos;II - ser habilitado na categoria D;III - (VETADO)IV - no ter cometido nenhuma infrao grave ou gravssima, ou ser reincidente em infraes mdias
durante os doze ltimos meses;V - ser aprovado em curso especializado, nos termos da regulamentao do CONTRAN.Art. 139. O disposto neste Captulo no exclui a competncia municipal de aplicar as exigncias
previstas em seus regulamentos, para o transporte de escolares.
-
Pesquisa Avaliativa
Anlise Estratgica
Anlise Lgica
Anlise da Implementa-
o
Anlise da
Produo
Anlise da
Eficincia
Anlise dos
Efeitos
PESQUISA AVALIATIVA
-
Tipo de Anlise Perguntas Bsicas Tcnicas de AnliseAv
alia
o
de D
iagn
stic
o
i.1) Anlise Estratgica:
Analisa a pertinncia e a possibilidade de se intervir para resolver um problema que ser quer resolver, formula, descreve e explica o problema explicitando o modelo lgico causal (hiptese explicativa).
Qual problema necessrio/desejvel/possvel de se agir sobre?
Como se explica o problema? Quais as causas sobre as quais se quer e se
pode agir? Para qual grupo da populao a interveno
deve estar dirigida? Quem so os parceiros estratgicos para se
realizar a interveno?
Tcnicas de identificao e priorizao de problemas
Tcnicas de anlise das causas do problema
Anlise dos atores Tcnicas de construo de
consenso
i.2) Anlise Lgica:
Analisa o mrito da interveno do ponto de vista de seu modelo lgico terico (hipteses de interveno) e do modelo lgico operacional (hipteses de ao).
A interveno baseada em uma teoria adequada?
As aes so necessrias e suficientes para se atingir os objetivos da interveno?
A qualidade, quantidade e alocao dos recursos so adequadas e suficientes?
Anlise do Modelo Lgico
PESQUISAS AVALIATIVAS: PERGUNTAS E TCNICAS DE ANLISE (I)
-
Tipo de Anlise Perguntas Bsicas Tcnicas de AnliseAv
alia
o
de P
roce
sso
ii.1)Anlise de implementao:
Analisa a relao entre a interveno (estrutura, processos e contexto) e os efeitos esperados.
Como est se dando a implementao ao longo do tempo?
Como os fatores de contexto afetama implementao?
Como variaes na implementao se associam com os efeitos gerados?
Estudos de caso Mtodos comparativos Experimentos
ii.2) Anlise de Produo:
Analisa a relao insumos-produtos (bens/servios) quanto qualidadee produtividade.
possvel com os mesmo recursos gerar mais servios (bens) ou servios de maior qualidade?(aumentar a produtividade)
possvel produzir com menos recursos uma mesma quantidade de servios (bens) de qualidade idntica? (reduzir custos)
Mapeamento de processos
Anlise insumo-produto Anlise de custos
PESQUISAS AVALIATIVAS: PERGUNTAS E TCNICAS DE ANLISE (II)
-
Tipo de Anlise Perguntas Bsicas Tcnicas de AnliseAv
alia
o
de U
tilid
ade
iii.1) Anlise dos Efeitos:
Analisa as consequncias da interveno (seus resultados sociais esperados e no esperados)
Quais so os efeitos observveis? Os efeitos so imputveis interveno?
Experimentos Aleatrios Controlados
Experimentos Naturais Quase-experimentos Estudos qualitativos
iii.2) Anlise de Eficincia:
Analisa a relao entre recursos e efeitos observados
Os benefcios gerados justificam os custos?
possvel obter melhores resultados por um custo equivalente ou inferior?
Existem alternativas de interveno mais eficientes (maior utilidade ao menor custo)
Anlise custo-benefcio Anlise custo-efetividade
PESQUISAS AVALIATIVAS: PERGUNTAS E TCNICAS DE ANLISE (III)
-
2.1. AVALIAO DE DIAGNSTICO
2.1.1. ANLISE ESTRATGICA
2.1.2. ANLISE LGICA
-
8/22/2018Footer Text 76
Anlise Estratgica
Anlise do Problema
Anlise do Pblico-Alvo
-
Problemas no existem simplesmente l fora.
Problemas so reconhecidos, definidos, estruturados e feito visveis como interpretaes da realidade social a partir de processos tcnico-polticos socialmente construdos
Existem elementos genricos que devem fazer parte da definio e estruturao do problema para sua clareza. Formulao Descrio Explicao
Problemas exigem anlise para sua compreenso e enfrentamento representao por modelos
8/22/2018Footer Text 77
Anlise do Problema
-
um componente da realidade algo que existe no tempo (hoje) e no espao (lugar) - pertence ao contexto. No a falta de algo.
Expressa uma condio negativa dessa realidade (algo esterrado) em face do que deveria ser: uma discrepncia;
Est no foco de interesse de quem planeja (est na agendade quem governa);
algo que quem planeja (governa) deseja mudar e se dispe a mobilizar recursos para tanto (tem soluo).
-
Perguntas bsicas da modelagem do problema:1) De qual problema estamos falando?2) Como se manifesta na realidade (descritores)?3) Quais as suas causas ? Sobre quais agir? Com que
objetivo?4) Quais as consequncias de no agir?5) Por que, para que e para quem intervir?6) Quais as parcerias so estratgicas dado o
ambiente poltico e institucional?
Anlise do Problema
-
No nomear temas como problema (sade, educao etc.);No listar objetivos (concluir a escola X);No se reportar prpria poltica em implementao (programa X no funciona);
Um problema de origem social no a ausncia de soluo ou uma soluo ineficaz.
-
Um problema bem formulado no pode ser a falta de uma soluo pr-concebida.
No exemplo abaixo:
Falta de nibus escolar X Crianas da rea rural da regio Xno frequentam a escola.
(soluo preconcebida) (problema real)
-
TEMOS QUE PERGUNTAR VRIAS VEZES, POR QU?
Crianas da rea rural da regio X no freqentam a
escola
Crena dos pais na irrelevncia do currculo
As crianas trabalham -Trabalho Rural Infantil
(custo de oportunidade)
Educao de Baixa Qualidade
Os pais no deixam as crianas irem escola
As crianas tm dificuldade de acesso
escola
-
As crianas tm dificuldade de acesso escola
A escola no oferece todos os anos escolares
O acesso escola perigoso
A escola est muito longe de casa
Os pais no podem pagar o custo da taxa
escolar
No existe vaga na escola
-
A escola est muito longe de casa
Os pais residem em rea pouco populosa (baixa demanda)
As famlias foram deslocadas temporariamente para uma
regio sem oferta de escolas
As famlias residem em rea sem acesso terrestre
Oferta da rede fsica escolar limitada no territrio onde
reside a famlia
-
Falta de...condies de trabalhonormas nas escolasmaterial didticocondies tcnico-pedaggicasetc etc etc...
EXEMPLOS DE PROBLEMAS MAL FORMULADOS
-
Angola (frica) Cerca de 2 milhes de crianas em idade escolar esto fora da escola;
Existe grande nmero de analfabetos (33% da pop de 15 anos ou mais) com vis de gnero (46% mulheres e 18% homens);
60% da pop. vive abaixo da linha de pobreza absoluta (< 1 dlar/dia)
EXEMPLOS DE PROBLEMAS MELHOR FORMULADOS
-
8/22/2018Footer Text 87
Situao problemtica
rvore de Problema
-
8/22/2018Footer Text 89
-
As rvores de problemas so teis na construo de hipteses explicativas (causas potenciais) do problema, mas precisam ser testadas em sua consistncia lgica e base emprica.
Elas dependem dos atores envolvidos no processo de explicao/estruturao do problema.
A rvore de problema identifica mltiplas causas e preciso selecionar sobre quaiscausas agir e sobre a convenincia e a capacidade para agir. Causas crticas
Centro prtico de ao
Alto impacto sobre o problema
8/22/2018Footer Text 90
-
Qual o pblico-alvo? Unidades: pessoas, grupos sociais, organizaes, reas, prdios, rios, sistema virio etc,
Elegibilidade Critrios: necessidade, demanda, risco, histrico, localizao, faixa etria etc. Norma: especificao do critrio -> define quem de fato elegvel
sobreinclusiva (risco de ineficincia) x subinclusiva (risco de inefetividade) Viabilidade de aplicao da norma: medidas, instrumentos, agentes, custos de seleo. Diferentes perspectivas: gestores, polticos, potenciais beneficirios, potenciais no-beneficirios, ativistas
etc. Estimativa
Quantos e onde esto? Quanto custa a cobertura total?
Risco de no adeso Existe um aspecto voluntrio na maioria dos programas e, portanto, o risco de no adeso do pblico-alvo.
8/22/2018Footer Text 91
Anlise do Pblico-Alvo
-
8/22/2018Footer Text 92
Anlise LgicaTeoria do Programa
Modelo Lgico
-
Mas em que consiste a interveno?MODELAGEM DA INTERVENO
?Situao
problemtica
Antes de avaliar um programa/poltica preciso conhec-lo MODELO LGICO da interveno.
Identifica a cadeia causal que vincula aes e resultados esperados (mecanismos pelos quais o programa opera).
Explicita a teoria do programa: o modo como concebido intervir sobre a realidade (Rossi et al. 2004)
Conceitualizao das relaes entre um programa e seus efeitos (Weiss, 1972) Modelo de como o programa deve funcionar (Bickman, 1987) O que acontece na caixa preta durante a transformao de input em output (Lipsey, 1987)
-
Perguntas bsicas da modelagem da interveno:
1) Que objetivos estratgicos de longo prazo o programa pretende alcanar?
2) O que o programa realiza (aes)? O que feito com os recursos disponveis?
3) Quais os efeitos esperados e a quem se busca beneficiar?4) Que fatores de contexto podem influenciar o sucesso da
interveno?5) Como os elementos anteriores se vinculam logicamente em uma
relao de causa-efeito?
?
-
8/22/2018Footer Text 95
-
MODELOS LGICOSModelos Lgicos Descrio Fontes Perguntas
Modelo Lgico Causal
A rede de fatores determinantes (causas) do problema, os elementos crticos e como suas relaes explicam o problema.
Documentos do programa
Entrevistas Observaes Consulta a
especialistas / literatura
Como o problema gerado?
Quais as causas crticas? Como as causas se
articulam na gerao do probelma?
Modelo Lgico Terico
Explicao de como a interveno afetar o problema selecionado na direo esperada e gerar os benefcios sociais desejados. o fundamento terico da interveno.
Documentos do programa
Entrevistas Observaes Consulta a
especialistas / literatura
Como a interveno espera gerar mudanas e afetar as causas determinantes do problema?
Modelo Lgico Operacional
Cadeia de atividades (os processos) que concorrem para a consecuo dos objetivos do programa
Documentos do programa
Entrevistas Observaes
Quem faz o qu? Quais so os recursos
investidos? Quais as atividades
previstas/realizadas?
8/22/2018Footer Text 97
-
8/22/2018Footer Text 98
Exemplo Simplificado
Alta incidncia de HIV na populao 15-24 anos
Relaes sexuais no seguras
P
C
Modelo Lgico Causal(Hiptese Explicativa)
Modelo Lgico Terico(Hiptese da Interveno)
Prover informao e conhecimentos
Aumento do uso de preservativo
Mudana de atitude do jovem
Modelo Lgico Operacional(Hiptese da Ao)
Educao sexual nas escolas
Campanhas na TV
Servio de Orientao Sexual na UBS
Validade da Hiptese Causal Validade da Hiptese de Interveno Validade dos Meios
-
Vantagens /utilidade do modelo lgico.
Construo de consenso e compartilhamento da definio do problema, da teoria da interveno e do desenho do programa entre os stakeholders.
Explicitao dos mecanismos de funcionamento da interveno. Comunicao de forma esquemtica do desenho de uma interveno. Identificao de pontos crticos de M&A. Definio de forma estruturada da interveno a ser avaliada (inclusive
para o controle e acompanhamento da gesto). Permite confrontar o desenho da interveno e o que de fato
implementado. Fornece uma guia para a avaliao normativa de processos e resultados.
-
Desafios para a modelagem da interveno
Unicidade de entendimento sobre o modelo lgico. Quem deve participar de um processo de modelagem (legitimidade do
modelo). As hipteses causais em geral no derivam de um saber sistematizado
(cientfico) mas de um saber implcito: modelo lgico terico formal x modelo lgico terico tcito.
A modelagem da interveno deve: desafiar a lgica dos executores na sua consistncia; Evitar ser o empacotamento lgico de solues pr-concebidas, em
que no se processou a anlise dos problemas.
-
uma MUDANA (positiva) na realidade sobre a qual se intervm e que seja alcanvel.
Deve ser o RESULTADO da ao intencional, dirigida e coordenada do Governo (poltica / programa / ao).
passvel de VERIFICAO (metas ; indicadores)
OBJETIVO
-
Pessoas: aquisio de conhecimentos e habilidades; mudana de atitude e comportamento etc.
Servios/instituies: capacidade tcnica fortalecida, gesto melhorada, desempenho melhorado, maior utilizao, motivao da equipe etc.
Problemas sociais: analfabetismo reduzido; incidncia de doenas e mortalidade reduzidas; aumento da escolarizao etc.
OS OBJETIVOS (RESULTADOS) PODEM ESTAR RELACIONADOS:
-
A linguagem da ao expressa resultados do ponto de vista do promotor da ao (Poder Pblico).
Objetivo: Promover o uso de mosquiteiros impregnados para o controle de malria
Indicador: nmero de mosquiteiros distribudos
A linguagem da mudana descreve mudanas na condio das pessoas, a partir de sua perspectiva.
Objetivo: Pessoas em reas endmicas dormem sob mosquiteiro impregnado.
Indicador: % de pessoas que dormem sob um mosquiteiro impregnado.
LINGUAGEM DA AOX
LINGUAGEM DA MUDANA
-
A linguagem da ao expressa resultados do ponto de vista do promotor da ao (Poder Pblico).
Objetivo: Promover o desenvolvimento profissional de 180 inspetores escolares.Indicador: nmero de inspetores capacitados
A linguagem da mudana descreve mudanas na condio das pessoas, a partir de sua perspectiva.
Objectivo: At 2018, 180 inspetores escolares sero capazes de aplicar os novos mtodos e prticas de trabalho.Indicador: nmero de inspetores que sabem como aplicar novos mtodos e prticas de trabalho.
LINGUAGEM DA AOX
LINGUAGEM DA MUDANA
-
2.2. AVALIAO DE IMPLEMENTAO/PROCESSO
2.2.1. ANLISE DE IMPLEMENTAO
2.2.2. ANLISE DE PRODUO
-
O programa certo est sendo implementado da melhor forma possvel para as pessoas certas?
(Mary Ann Scheirer, 1994)
Se o seu trem est no trilho errado, toda estao a qual voc chega a estao errada.
(Bernard Malamud, citado em Patton, M. Q. (1997)
-
O monitoramento pode ser definido como o acompanhamento regular de atividades e processos, metas deprodutos e de resultados, verificando a execuo dos primeiros e a consecuo dos ltimos. Compreende aatividade de verificao, por meio de indicadores e informaes administrativas, se o que deve ser feitoest sendo feito e se os resultados esperados esto sendo gerados (produtos entregues, indicadoresmelhorando, metas sendo atingidas etc.) .
A anlise de implementao busca responder se a interveno est sendo implementada da melhorforma possvel dado o contexto em que ocorre, se os atores agem como esperado, se os beneficirios estosendo atingidos e respondendo interveno, se houve ou necessrio adaptaes ou alteraes naestratgia de implementao para que se produzam os resultados esperados. Em ltima anlise, busca-seexplicar por que uma interveno fracassou ou teve sucesso a partir do que ocorreu durante a suaimplementao em contexto.
A anlise de processos (de produo) da interveno busca explicitar os processos operacionais dainterveno identificando insumos, processos e produtos gerados e analisando a eficcia, a produtividade e aqualidade em cada etapa de produo da interveno. Pergunta sobre o que e como fornecido, ou seja, aqualidade do que se entrega, a produtividade com que se gera o que se entrega, e se o processo capaz degerar a entrega (eficcia).
-
POR QUE OS PROGRAMAS FALHAM?
O programa mal concebido (tratamento errado)
O programa no implementado (tratamento inexistente)
O programa implementado de modo parcial(tratamento incompleto)
O programa no atinge a quem deve atingir (tratamento cego)
O modo de implementao (estratgia) compromete o programa (e.g. incentivos adversos; burocratizao; acessibilidade etc) (tratamento sabotado)
O programa implementado sem qualidade ou com qualidade varivel (sem padro) (tratamento ruim)
8/22/2018Baseado em Rossi (1993) 109
-
2.2) AVALIAO DE IMPLEMENTAO\PROCESSO \ MONITORAMENTO
2.2.1) ANLISE DE IMPLEMENTAO (A QUEM E EM QUE CONDIES)- FOCALIZAO (TAXA DE EFICINCIA NA COBERTURA)- INFLUNCIAS DO CONTEXTO E VARIABILIDADE NA INTERVENO
2.2.2) ANLISE DE PRODUO ( O QUE E COMO FORNECIDO?)- PRODUTIVIDADE- QUALIDADE
-
8/22/2018Footer Text 111
2.2.1) Anlise de Implementao
Anlise de Focalizao
Influncias do contexto e variabilidade na interveno resultados
-
FOCALIZAO
8/22/2018Footer Text 112
Populao Brasileira
Crianas de 6 a 15 anos
Vivendo em famlias pobres
Matriculadas na escola
Frequentando
Com baixo desempenho
-
ANLISE DE FOCALIZAO (I)
8/22/2018Footer Text 113
Pblico- Alvo (P)
Populao
Atendidos (A)
(B)
(I)
(E)Erro de incluso
Erro de excluso
No Atendidos
Tx Bruta de Atendimento: (A / P) x 100
Tx Lquida de Atendimento: (B / P) x 100
Se Tx Liq < 1 erro de excluso
Erro de Incluso (%) = (I /A) x 100
Erro de Excluso (%) = (E/P) x 100
-
ANLISE DE FOCALIZAO (II)
8/22/2018 114
Pblico-Alvo(P) Pblico NO alvo
Atendidos (A)
Acerto(B) Erro de Incluso (I)
No Atendidos Erro de Excluso (E) Acerto
Taxa Liq de Atendimento Erro de Incluso (%)=
100
Taxa de eficincia da cobertura = . .
.
100 =
-
8/22/2018Footer Text 115
Obs.: As famlias demandantes (T) incluem as que preencheram cadastros que no foram enviados e as que no preencheram o cadastro, mas procuraram o programa. Taxa de Eficincia da cobertura
= +
x 100
-
8/22/2018Footer Text 116
Como alcanar uma boa taxa de eficincia na cobertura?
Sistema de informao com dados necessrios e suficientes dos candidatos ao programa.
Treinamento das equipes. Controle de qualidade em uma amostra das informaes
coletadas (e.g. cross-check dos mesmos inscritos registrados por diferentes funcionrios).
Auditoria nos registros do programa. Atualizao peridica dos registros do programa.
-
CASO MXICO
-
8/22/2018Footer Text 118
2.2.1) Anlise de Implementao
Anlise de Focalizao
Influncias do contexto e variabilidade na interveno resultados
-
INFLUNCIAS DO CONTEXTO E VARIABILIDADE DA INTERVENO NOS RESULTADOS
A anlise da implementao aumenta o potencial de generalizao da interveno, sua validade externa (Champagne et al., 2011) Princpio da similitude Princpio da robustez Princpio da explicao
Quando realizar? Quando os efeitos so no nulos ou pouco robustos Quando uma interveno nova implementada
8/22/2018Footer Text 119
-
1) Analisa as variaes na forma da intervenoa) Explicao das causas que operam na transformao da interveno durante sua
implementao.
b) Explicao das diferenas entre o desenho da interveno e a forma como de fato implementada (avalia o grau de implementao).
TIPOLOGIA DA ANLISE DE IMPLEMENTAO
8/22/2018 120
Interveno (T1)
Interveno (T2)
Interveno (T3)
Fatores de contexto
X1X2...Xn Integralidade
Intensidade Qualidade
Desenhado
X1X2...Xn
Implementado
X1
Caractersticas contextuais (C)
-
2) Analisa as variaes nos efeitos observados da interveno
a) Analisa a influncia da variao na implementao ( X) sobre os efeitos observados ( Y) .
b) Analisa a influncia da interao entre o contexto e a interveno sobre os efeitos observados ( Y) .
8/22/2018Footer Text 121
X Y
X Y
C Fatores moderadores sinrgicos ou antagnicos
-
8/22/2018Footer Text 122
2.2.2) Anlise de Produo
Anlise de Produtividade
Anlise de Qualidade acessibilidade, pertinncia, intensidade,
continuidade, integralidade
-
ANLISE DA PRODUO
8/22/2018Footer Text 123
MODELO DE UM PROCESSO DE PRODUO
INPUTS OUTPUTS
materiaisequipamentos
instalaespessoas
ambiente R$
mtodo
(INSUMOS) (OPERAES) (PRODUTOS)
OUTCOMES
PRODUTOSBENS/SERVIOS
PROCESSO
(RESULTADOS)
PROCESSADORES
CUSTOS
Perguntas tpicas:- Como funciona o programa (qual o seu
fluxo de processos)?- O que realizado em cada processo
durante a operao do programa?- Como realizado? Com que insumos?- Como os componentes da operao do
programa se articulam?- O que produzido?
MODELO DE UM PROCESSO DE PRODUO
INPUTS
OUTPUTS
materiais
equipamentos
instalaes
pessoas
ambiente
R$
mtodo
(INSUMOS)
(OPERAES)
(PRODUTOS)
OUTCOMES
PRODUTOS
BENS/SERVIOS
BENEFICIRIOS
PROCESSO
(RESULTADOS)
PROVEDORES
PROCESSADORES
-
SISTEMA DE PRODUO
Processo 1
Processo 2
Processo 3
Processo 4
Processo 5
8/22/2018Footer Text 124
Processo 1
Processo 2
Processo 3
Processo 4
Processo 5
Processo 1
Processo 2
Processo 3
Processo 4
Processo 5
Processo 1
Processo 2
Processo 3
Processo 4
Processo 5
Beneficirio Resultados
-
8/22/2018Footer Text 125
Ex.: Fluxo de execuo do Programa Bolsa Escola (Decreto 3.823/2001)
-
O detalhamento operacional do programa (seu sistema deproduo) contribui para:
Identificar elementos gerenciais e de controle Escolher os pontos de monitoramento de processos (onde pode ocorrer dificuldades, potenciais
gargalos para a implementao, riscos etc.) Construir indicadores para os pontos de controle no fluxo de processos e para os resultados da
produo
Identificar atores e perfil dos agentes para cada etapa do processo.
Identificar os processos para avaliao de produtividade equalidade
Redesenhar o sistema de produo Oferecer um mapa de execuo para replicao/adaptao em
contextos diversos.
8/22/2018Footer Text 126
-
ANLISE DE PRODUTIVIDADE
Conceitos Produtividade = outputs / inputs
Produtividade Total x Produtividade Parcial (econmica, tcnica, do trabalho etc.)
Produtividade como capacidade empregada: output produzido / output potencial
8/22/2018Footer Text 127
INPUTS (insumos) OUTPUTS (produtos)
Recursos Materiais (instalaes, equipamentos)
Bens, Servios, Informao, Conhecimento etc.
Recursos Financeiros
Recursos Humanos (experincia, formao, competncias)
Recursos organizacionais (informao, tecnologias, normas, procedimentos etc.)
-
Fatores que influenciam a Produtividade Caractersticas da Demanda
Intensidade da demanda (elasticidade da capacidade dos recursos humanos) Temporalidade da demanda (ex. picos de atendimento em unidades de urgncia) Distribuio espacial da demanda (ex. acessibilidade geogrfica x utilizao plena dos recursos)
Caractersticas dos Recursos Recursos mais raros ou mais onerosos (ex. especialista x agente de sade) gera uma produtividade
menor substituio e habilitao de recursos menos onerosos. Quantidade de recursos (ex. taxa decrescente de retorno da quantidade de trabalho). Caractersticas dos recursos humanos (experincia, formao, motivao etc.). Inovao tecnolgica(permite produzir mais servios, mas algumas novas tecnologias exigem
tambm melhores e mais onerosos recursos humanos ). Caractersticas do Processo
Simplicidade mantida a eficcia (nmero de etapas, nmero de pontos de deciso, nmero de recursos mobilizados)
Centralizao (risco para a acessibilidade) x descentralizao Integrao dos sistemas de informao (coleta, tratamento e controle) simplificao.
8/22/2018Footer Text
-
ANLISE DE QUALIDADE (ACESSIBILIDADE, PERTINNCIA, INTENSIDADE, CONTINUIDADE, INTEGRALIDADE)
Acessibilidade: Quais os obstculos para o acesso ao servio, benefcio, oportunidade etc.? Acessibilidade temporal (prazos, tempo de espera, fila etc.) Acessibilidade geogrfica (distncia ao servio, transporte, adaptao s PPNE
etc) Acessibilidade econmica (custos diretos e indiretos para o acesso) Acessibilidade cultural (lngua, costumes, religio, cultura tnica etc) Acessibilidade informacional (conhecimento e informao sobre servios,
benefcios, oportunidades etc.)
8/22/2018Footer Text 129
-
8/22/2018Footer Text 131
-
Intensidade: Qual a razo entre a quantidade de servios/benefciosofertados e a necessidade? Intensidade= Servios / Necessidades (dose)
A intensidade pode ser > 1 : interveno demasiada< 1 : interveno insuficiente
Produtividade= Servios / Recursos Disponibilidade = Recursos / Necessidades
Intensidade = Produtividade x Disponibilidade
A intensidade afetada pela acessibilidade (quanto mais difcil o acesso ao servio/benefcio maiores as chances de ser menos utilizado afetando a intensidade).
8/22/2018Footer Text 132
-
Pertinncia: A escolha da interveno (soluo tcnica) a maisadequada necessidade, ou seja, a mais eficaz em tratar anecessidade?
A interveno escolhida leva ao resultado esperado- eficaz ? O conceito de pertinncia , em geral, normativo (tem base no avano
da cincia e da tcnica): evidence-based practice uma critrio relativo, pois depende do contexto e da necessidade. A anlise de pertinncia depende de uma diagnstico de necessidades
(sociais, mdicas, econmicas etc).
8/22/2018Footer Text 133
-
Integralidade: os servios/benefcios ofertados so suficientes face ao rol denecessidades?
A anlise da integralidade seria a avaliao da pertinncia do conjunto das intervenes em facedo conjunto das necessidades.
Continuidade: as etapas sequenciais de um processo de interveno estoasseguradas? A descontinuidade pode acarretar perdas:
Temporais (perda de tempo) Espaciais (deslocamentos desnecessrios) Informacionais (perda de informao entre etapas) Relacionais (perda de relaes, mudanas de recursos)
A continuidade depende da acessibilidade a todas as etapas do processo.
8/22/2018Footer Text 134
-
Em sntese: fatores de desempenho internos aosistema de produo.
8/22/2018Footer Text 135
Qualidade Global do Processo
Acessibilidade
Pertinncia
Intensidade Produtividade
Continuidade
Integralidade
-
8/22/2018Footer Text 136
Contexto Organizacional
Objetivos e metas organizacionais. Decises de aquisio e alocao de
recursos no sistema de produo. Capacidade de avaliar, aprender e
inovar. Valores, incentivos, modos de
cooperao/participao na organizao do trabalho, na administrao de conflitos, na comunicao.
Influncia dos fatores de contexto organizacional
-
2.3. AVALIAO DE UTILIDADE
2.3.1. ANLISE DE EFEITOS / IMPACTO
2.3.2. ANLISE DE EFICINCIA
Perguntas: Que efeitos medir/observar? Quando medir/observar? Que parcela dos efeitos medidos/observados resultante da interveno? (Impacto)
-
Que efeitos medir/observar? O efeito buscado pelo programa deve ser identificado e justificado a priori.
No pela facilidade em medir No garimpar efeitos a posteriori
ANLISE DE EFEITOS (I)
EfeitoPrevisto
Sim NoD
esej
vel Sim (+) A D
No (-) B C
-
Quando observar/medir? A influncia do tempo na medio dos efeitos
a) Imediatos/mdio prazo/longo prazo
b) Efeitos que decaem (aumentam) com o tempo
c) Distncia entre a interveno e a avaliao dos efeitos.
ANLISE DE EFEITOS (II)
-
Que parcela dos efeitos medidos/observados resultante da interveno? (Impacto) Analisa a relao causal entre uma interveno e seus efeitos: X(causa) Y (efeito)
Condies para Causalidade XYi. Causa deve preceder o efeitoii. Causa e efeito devem estar ligadas empiricamenteiii. A relao entre as duas variveis no pode ser explicada por uma terceira
varivel (terceiro excludo) Exemplo de dificuldade: a causalidade reversa (XY)
ANLISE DE EFEITOS (III)
-
8/22/2018Footer Text 141
CAUSALIDADE DETERMINSTICA CAUSALIDADE PROBABILSTICA
A) Relao de determinismo absoluto
Critrio da necessidade e suficincia de X
X Y P(Y|X=1)=1~X ~Y P(Y|X=0)=0
i) X deve ocorrer para que Y ocorraE
ii) Se X ocorrer ento Y ocorre
Ex: A 3 Lei de Newton
B) Relao de determinismo no absoluto (parcial): causa suficiente ou necessria
i) X necessrio mas no suficiente para que Y ocorra.X ~Y ou Y P(Y|X=1)=[0, 1]
~X~Y P(Y|X=0)=0
ii) X no necessrio mas suficiente para que Y ocorra.~XY ou ~Y P(Y|X=0)=[0,1]
XY P(Y|X=1)=1
C) Relao de incerteza: causa no suficiente e no necessria
i) X no necessrio nem suficiente para que Y ocorra.Se X ocorre ento Y mais provvel
Se X no ocorre ento Y menos provvel
P(Y|X=1)>P(Y|X=0)
-
8/22/2018Fonte: Pal, L. A. (2014) Beyond Policy Analysis. Toronto: Nelson Education Ltd., p. 280. 143
Um modelo de impacto da interveno(viso simplista)
Reduzir o limite de velocidade nas
rodovias
Velocidade mdia nas estradas
Nmero de acidentes
-
8/22/2018Fonte: Pal, L. A. (2014) Beyond Policy Analysis. Toronto: Nelson Education Ltd., p. 280. 144
A realidade bem mais complexa...
Condies das estradas
Congestionamento
Condies climticas Desenho da
estrada
Dirigir embriagado
Imprudncia do motorista
Lei Seca
Educao para Trnsito
Nmero de acidentes
Reduzir o limite de velocidade nas
rodovias
Velocidade mdia nas estradas
-
8/22/2018Footer Text 145
-
8/22/2018Footer Text 146
Efeito Bruto Efeito LquidoEfeito de
outros processos
Efeito de Desenho
Diferena estimada no indicador de
resultado antes e depois do programa
Parcela da diferena estimada que
devida ao programa (impacto)
Parcela da diferena estimada que devida
a outros fatores externos ao programa
Parcela da diferena
estimada que devida ao
desenho da prpria avaliao
de impacto
O que o impacto de um programa?
VALIDADE INTERNA
-
8/22/2018Footer Text 147
Efeitos de outros processos Descrio
Seleo no controlada Autoseleo (local de moradia,
motivao, letrados etc.) Seleo induzida (deciso
administrativa, poltica etc.) Evaso do programa (atrito).
Alguns indivduos do pblico-alvo tem maior probabilidade de participar do programa devido a caractersticas prprias, eventos ou processos fora do controle do avaliador.
Os participantes do programa diferem de forma sistemtica dos no participantes antes da interveno, quando ambos fazem parte do pblico-alvo.
Os mesmos fatores que levam seleo de alguns participantes do programa so os mesmo fatores que podem explicar a diferena entre o seu resultado e o dos no participantes aps a interveno vis de seleo.
Mudanas endgenas Tendncia secular (longo prazo) Eventos repentinos (curto prazo) Maturao
Ocorrncias naturais ou de contexto que afetam o efeito de interesse de forma independente doprograma.
Outros programas Interveno de outros programas sobre o mesmo pblico-alvo ao mesmo tempo.
-
8/22/2018Footer Text 148
Efeitos de desenho DescrioEfeitos Estocsticos (Validade Estatstica)
Flutuaes estatsticas tomadas como efeito do programa (Erro tipo I falsos positivos).
Baixo poder estatstico levando a concluso de no efeito quando de fato existe um (Erro tipo II falso negativo)
Efeitos do Instrumento e da Estratgia de Medida(Validade da Medida)
Validade da varivel: A varivel escolhida mede adequadamente o fenmeno que se quer medir? (ex. renda mede pobreza?)
Confiabilidade do instrumento de medida: variaes de diferenas estimadas na varivel de interesse em funo da capacidade de se gerar o mesmo resultado em diferentes aplicaes. (ex. o Cad.nico oferece uma medida de renda confivel - renda declarada?);
Sensibilidade da medida para detector mudanas: a medida dos efeitos (resultados) desejados deve ser sensvel o suficiente para detector mudanas na magnitude almejadapela interveno.
-
Observado
No observado
Antes da interveno
Depois da interveno
Mundo Real:O indivduo foi tratado
Mundo ContrafactualO indivduo no foi tratado
PROBLEMA FUNDAMENTAL DA AVALIAO DE IMPACTO
-
Observado
No observado
Antes da interveno
Depois da interveno
PROBLEMA FUNDAMENTAL DA AVALIAO DE IMPACTO
0
= 1 0
?
Mundo Real:O indivduo foi tratado
Mundo ContrafactualO indivduo no foi tratado
1
MEDIDO
ESTIMADO
-
Observado
Observado
Antes da interveno
Depois da interveno
PROBLEMA FUNDAMENTAL DA AVALIAO DE IMPACTO
0
= 1 ?
Mundo Real:O indivduo foi tratado
Mundo RealUm outro indivduo que no foi tratado
1
Para inferir causalidade preciso identificar um substituto para o indivduo do mundo CONTRAFACTUAL que seja VLIDO.
-
CASO CONCRETO: A INFLUNCIA DO PLANO DE SADE NA SADE DA POP. AMERICANA.
Homens MulheresAlgum Plano
de SadeNenhum Diferena Algum Plano
de SadeNenhum Diferena
Sade
ndice de Sade
4,01 3,70 0,31 4,02 3,62 0,39
Caractersticas
No Brancos 0,16 0,17 -0,01 0,15 0,17 -0,02
Idade 43,98 41,26 2,71 42,24 39,62 2,62
Educao 14,31 11,56 2,74 14,44 11,80 2,64
Tamanho da Famlia
3,50 3,98 -0,47 3,49 3,93 -0,43
Empregado 0,92 0,85 0,07 0,77 0,56 0,21(0,02)
Renda Familiar $106.467,00 $45.656,00 $60.810,00 $106.212,00 $46.385,00 $59.828,00
Tamanho da Amostra
8.114 1.281 8.264 1.131
8/22/2018Fonte: Angrist, J. D., Pischke, J.S. (2015) Mastering Metrics: the Path from Cause to Effect. Princeton: Princeton University Press. 152
-
ATIVIDADE
8/22/2018Footer Text 153
Discutir em 5 minutos nos grupos:
As diferenas observadas podem ser atribudas ao plano de sade? Por que?
-
8/22/2018Footer Text 154
Antes da interveno
Depois da interveno
Observado
No Observado
VIS
Observado
= + -
VIS
-
8/22/2018Footer Text 155
Estimativa no enviesada
Estimativa no enviesada
VIS
Trs condies devem ser satisfeitas para a validade de uma estimativa de impacto:i) Na mdia, as caractersticas (observveis e no observveis) dos grupos de tratamento e
de comparao devem ser as mesmas.ii) O grupo de tratamento e o grupo de comparao devem apresentar a mesma reao ao
programa.iii) Os grupos de tratamento e de comparao no podem ser expostos de maneira diferente
a outras intervenes durante o perodo de avaliao.
-
Desenho da Avaliao Descrio Obs.
1) Mtodo No Experimental Estudo que simplesmente observa o tamanho e a direo da relao entre variveis, usando ou no controlesestatsticos para possveis alternativasde explicao.
No permite atribuir causalidade .
2) Experimento Aleatrio Controlado As unidades de anlise so alocadas aleatoriamente aos grupos de tratamento (T) e controle (C).
O desenho considerado mais rigoroso para atribuio de causalidade.
3) Experimento Natural As unidades de anlise sosubmetidas ao T ou ao C por eventosnaturais ou exogenamenteproduzidos; causas no manipuladas.
Utiliza fatores exgenos como eventos naturais ou polticas como estratgiade identificao do efeito causal.
4) Quase-Experimento As unidades de anlise no so alocadas aleatoriamente aos grupos de T e C.
Utiliza mtodos de anlise quebuscam aproximar do experimentocontrolado.
MTODOS PARA ANLISE DE IMPACTO
-
8/22/2018Footer Text 158
1) Mtodo No-Experimental
-
8/22/2018Footer Text 159
T
INTERVENO
x
0 C
A) DESENHO COMPARAO ESTTICA ou COM e SEM o programa
depois
Pressuposto:
Estimativa-
-
Objetivo: Aumentar a renda dos jovens.
Dois anos aps o programa os jovens que se inscreveram no programa ganham duas vezes mais do que aqueles que no se inscreveram.
Perguntas:
1. Pode-se dizer que o impacto do programa foi de 100% sobre a renda dos jovens? Por qu?
2. Essa estimativa pode estar enviesada? Nesse caso a estimativa de impacto estaria subestimada ou sobrestimada?
8/22/2018Footer Text 160
CASO: PROGRAMA DE TREINAMENTO PROFISSIONALPARA JOVENS DESEMPREGADOS.
-
8/22/2018Footer Text 161
T T
INTERVENO
x
0
B) DESENHO ANTES-DEPOIS
antes depois
Pressuposto:
Estimativa
-
-
Objetivo: aumentar a produo de arroz
Antes do programa: mdia de 1.000 quilogramas (kg) de arroz por hectare
Um ano aps o incio do programa: mdia de 1.100 quilogramas (kg) de arroz por hectare.
Perguntas:
1. Qual seria a estimativa de impacto usando o desenho antes-depois?
2. Essa estimativa pode estar enviesada? Por qu?
3. Suponha que no ano de implementao do programa tenha ocorrido uma seca. Nesse caso a estimativa antes-depois estaria subestimada ou sobrestimada?
8/22/2018Footer Text 162
CASO: PROGRAMA DE MICROCRDITO PARAAGRICULTORES ADQUIRIREM FERTILIZANTES.
-
8/22/2018Fonte: Gertler, P., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C.M. 2011. Impact Evaluation in Practice. Washington DC: World Bank, P.41.
163
-
2) EXPERIMENTO ALEATRIO CONTROLADO
8/22/2018Footer Text 164
Pop.Elegvel
Amostra de
Elegveis
T
C
Aleatorizao 2
T
C
INTERVENO
x
0
Linha de base
antes depois
= 1 0
0
1
Aleatorizao 1
-
Objetivo: Reduzir o gasto per capita das famlias em sade pelo menos US$9.00
100 municpios foram aleatoriamente escolhidas para a proviso do subsdio.
8/22/2018Footer Text 165
CASO: PROGRAMA DE SUBSDIO A FAMLIAS RESIDENTES EMREAS RURAIS PARA AQUISIO DE PLANOS DE ASSISTNCIABSICA A SADE PARA CONSULTAS E MEDICAMENTOS.
-
8/22/2018Fonte: Gertler, P., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C.M. 2011. Impact Evaluation in Practice. Washington DC: World Bank, P.62. 166
-
8/22/2018Fonte: Gertler, P., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C.M. 2011. Impact Evaluation in Practice. Washington DC: World Bank, P.63. 167
-
POTENCIAIS PROBLEMAS DE VALIDADE INTERNA E EXTERNA EM EXPERIMENTOS ALEATRIOS CONTROLADOS
Contaminao do grupo de controle: Influncia devido interao com o grupo de tratamento.
Cross-over: passagem de participantes do grupo de controle para o grupo de tratamento ou vice-versa aps a alocao aleatrio.
Atrito: sada de participantes do experimento ao longo do perodo de avaliao da interveno.
Efeito Hawthorne: mudana de comportamento entre os indivduos de um grupo detratamento pelo simples fato de saberem estar participando de um estudo.
Efeito John Henry: os indivduos do grupo de controle mudam seu comportamento dadireo do efeito buscado pelo tratamento por terem sido excludos do grupo detratamento.
8/22/2018Footer Text 168
-
Definido por situaes nas quais um agente externo (Z) interveno de interesse (X) aloca aleatoriamente indivduos aos grupos de tratamento e de controle.
Agentes exgenos (Z): desastre natural, caracterstica geogrfica, mudanas repentina em polticas. Exemplo 1: Furaco Katrina gerou a alocao de crianas de escolas de baixo desempenho da cidade de
Orleans para escolas de alto desempenho de reas suburbanas da regio. Bruce Sacerdote estimou oimpacto da mudana da qualidade da escola frequentada no resultado educacional dessas crianas(comparado s crianas que no foram deslocadas).
Exemplo 2: Uso da diferena de linha de corte utilizada por diferentes estados americanos para conferir ocertificado de concluso do ensino mdio (General Educational Development-GED) de alunos queabandonaram a escola e prestaram a bateria de exames que permitem conferir o certificado. Tyler,Murnane e Willett estimaram o impacto da obteno do GED na renda do trabalho de alunos evadidos combaixo nvel de qualificao.
Exemplo 3: Sorteio realizado entre 1970-1975 pelo Departamento de Defesa nos EUA para definir osjovens (19-20 anos) que seriam elegveis ao recrutamento para a guerra do Vietnam foi utilizado porJoshua Angrist para estimar o impacto do servio militar no renda do trabalho.
Dificuldade: Argumentar que a alocao natural ao tratamento foi de fato exgena, ou seja, a participao notratamento no sofreu influncia dos participantes.
8/22/2018Footer Text 169
3) EXPERIMENTO NATURAL
-
3.1) Variveis Instrumentais
O desenho explora algo que seja aleatrio e se relaciona com a condio de tratamento(instrumento).
A varivel instrumental deve ser: Correlacionada com o tratamento (relevncia) testvel No correlacionada com o resultado na condio de no tratamento (validade)
pressuposto
8/22/2018Footer Text 170
instrumento
resultadotratamento
-
8/22/2018Footer Text 171
-
EXEMPLO (KEARNY E LEVINE, 2015)
8/22/2018
Footer Text
172
Instrumento: a distncia da localidade torrede TV mais prxima que transmitia o programae se a torre transmitia em UHF ou VHF
Dois grupos:i) Localidades com forte recepo: a menos
e 60 milhas das torres e com transmissoUHF.
ii) Localidades com fraca recepo: todas asdemais que violam uma das duascondies.
-
8/22/2018Footer Text 174
As crianas em reas com forte recepo do programa tinham, em 1980, maior probabilidade de estar na srie adequada idade (1,5 e 2,0 p.p)
-
8/22/2018Footer Text 175
-
3.2) Regresso descontnua
Usa o prprio critrio de seleo do programa como estratgia de identificao caso duas condies ocorram: O indicador usado para eleger o indivduo para o programa uma varivel contnua. O critrio de elegibilidade bem especificado utilizando esse indicador.
Exs.: Idade de aposentadoria; ndice de pobreza com base na renda; idade legal para ingresso no mercado de trabalho; resultado de exame para ingresso na universidade (e.g. ENEM).
Os indivduos logo acima do ponto de corte (tratados) e logo abaixo do ponto de corte (comparao) tendem a ser equivalentes a menos da condio de participao no programa.
A RD estima o impacto pela diferena nos resultados observados dos grupos em torno do ponto de corte (logo um LATE).
Pressuposto: o resultado de interesse (Y) na condio de no tratamento cresce de modo contnuo com a varivel de seleo (X) em torno do ponto de corte.
Permite estimar o impacto sem excluir ningum elegvel.
8/22/2018Footer Text 177
-
8/22/2018Footer Text 178
1
Di
0
Di=1 se Xi < c
0 se Xi > c
Xc X
Y
Critrio de elegibilidade Resultado de interesse
-
Objetivo: Aumentar o consumo dealimentos pelas famlias pobres (at50 pontos no indicador de pobreza)
8/22/2018Fonte: Gertler, P., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C.M. 2011. Impact Evaluation in Practice. Washington DC: World Bank, P.84. 179
CASO: PROGRAMA DE TRANSFERNCIA DE RENDA PARAFAMLIAS POBRES.
No elegvel
Elegvel
-
8/22/2018Fonte: Gertler, P., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C.M. 2011. Impact Evaluation in Practice. Washington DC: World Bank, P.86 180
Limitaes da RD:- Produz uma estimativa local (LATE) do impacto, no sendo possvel generaliz-la para grupos distantes da
linha de corte.- H um trade-off entre vis e poder estatstico determinado pelo intervalo de casos em torno do ponto de corte.
O poder estatstico diminui quando se reduz o intervalo de casos em torno do ponto de corte mas o risco de vis se reduz. O contrrio ocorre quando se aumenta o intervalo de casos em torno do ponto de corte.
-
4) QUASE-EXPERIMENTO
4.1) Diferenas em diferenas (DiD)4.2) Pareamento (Matching)
8/22/2018Footer Text 187
-
A
4.1) Diferenas em Diferenas (DiD)
Compara as mudanas nos resultados ao longo do tempo entre o grupo de tratamento e o grupo de comparao.
8/22/2018Footer Text 188
antes depois
B
Y
Estimativa enviesada do impacto:B-A (primeira diferena)
CD
Mudana devida a fatores externos que variam com o tempo: D-C (segunda diferena)
DiD=(B-A) (D-C)
-
4.1) Diferenas em Diferenas (DiD)
Compara as mudanas nos resultados ao longo do tempo entre o grupo de tratamento e o grupo de comparao.
8/22/2018Footer Text 189
antes depois
B
Y
Estimativa enviesada do impacto:B-D (primeira diferena)
DiD=(B-D) (A-C)
DC
A Vis
ImpactoDiferena existente entre o grupo de tratamento e de controle antes do tratamento:A-C (segunda diferena)
-
Antes Depois DiferenaTratamento A B (B-A)Comparao C D (D-C)Diferena (A-C) (B-D) DiD
8/22/2018Footer Text 190
A estimativa DiD representada em tabela:
DiD=(B-A) (D-C)
ou
DiD= (B-D) - (A-C)
-
Um pressuposto precisa ser satisfeito para que DiD gere uma estimativa no enviesada do impacto:
Tendncias equivalentes entre controle e tratamento na ausncia doprograma, ou seja, que no ocorram eventos durante o transcurso daavaliao que possam afetar de modo diferente o grupo de tratamento eo grupo de controle afetando o resultado de interesse.
8/22/2018Footer Text 193
-
Violao do pressuposto de tendncias equivalentes na estimativa DiD
8/22/2018Footer Text 194
antes depois
C
B
Y
A
D
Estimativa enviesada do impacto:B-D
Vis assumido
Impacto estimado
Vis real
Impacto real
Diferena existente entre o grupo de tratamento e de controle antes do tratamento:A-C (segunda diferena)
DiD=(B-D) (A-C) Estimativa enviesada!
-
Teste (I): avaliar se as tendncias temporais dos grupos de controle etratamento antes da implementao do programa so equivalentes.
8/22/2018Footer Text 195
antes depois
B
Y
D
A
C
DiD=(B-D) (A-C)
-
Teste (II): teste do placebo
Estimar a DiD utilizando um grupo de tratamento falso.A estimativa de impacto deve ser zero.
Estimar a DiD sobre um resultado falso (um que nopossa ser afetado pelo programa). A estimativa deve sezero.
Teste (III): Estimar a DiD utilizando mais de um grupo de comparao. As estimativas devem ser aproximadamente iguais.
8/22/2018Footer Text 196
-
4.2) Mtodo de pareamento (MATCHING)
Identifica unidades equivalentes, segundo um conjunto de variveis observveis , entre participantes e no participantes do programa (ajuste estatstico ): pareamento
Assume que o vis de seleo depende apenas de variveis observveis(pressuposto)
No funciona caso o vis de seleo dependa de variveis no observveis Ex> Programas de participao voluntria
8/22/2018Footer Text 197
= + -
VIS
-
A estimativa utilizando o pareamento segue os seguintes passos:
1. Escolhe um indivduo tratado
2. Encontra-se o(s) indivduo(s) mais parecido(s) com ele no grupo de comparao (no tratados).
3. Calcula-se o impacto estimado para cada indivduo tratado fazendo a diferena entre o resultado aps o tratamento neste indivduo e a mdia dos resultados do no tratamento nos indivduos com ele pareados pertencentes ao grupo de comparao (no tratados).
4. Toma-se a mdia dessas diferenas.
8/22/2018Footer Text 198
-
8/22/2018Fonte: Gertler, P., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C.M. 2011. Impact Evaluation in Practice. Washington DC: World Bank, P.108 199
Quanto menos variveis so consideradas, mais h risco de deixar de fora variveisrelevantes que interferem simultaneamente na participao no programa e noresultado de interesse.
Quanto mais variveis se considera no pareamento mais difcil se torna encontrarpares equivalentes na base de dados disponvel (Maldio da dimensionalidade)
-
O uso do pareamento por escore de propenso (propensity scorematching) ajuda a resolver a dificuldade da muldimensionalidade nopareamento. Ao invs de parear um a um os indivduos que participam e no participam do
programa a partir de cada varivel, calcula-se a probabilidade de cada indivduo departicipar do programa dado suas caractersticas observveis (escore depropenso).
P(Xi)=Prob (Di=1| Xi) = [0,1]
8/22/2018Footer Text 200
Escore de propenso
-
O mtodo de pareamento por escore de propenso exige um suportecomum entre o grupo de tratamento e o grupo de comparao.
8/22/2018Fonte: Gertler, P., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C.M. 2011. Impact Evaluation in Practice. Washington DC: World Bank, P.110
201
-
Passos bsicos na pareamento por escore de propenso:
1. Ter uma base de dados com indivduos participantes e no participantes do programa que contenha muitas caractersticas relevantes (que afetam a prob. de participar e o resultado) medidas na linha de base.
2. Estimar a probabilidade do indivduo participar do programa condicionada s suas caractersticas (P(Xi)).
3. Verificar a existncia de um suporte comum e restringir a amostra aos indivduos cujo P(Xi) se localize no suporte comum.
4. Para cada indivduo do grupo de tratamento associar o seu vizinho mais prximo no grupo de comparao com base no P(Xi).
5. Verificar aps o pareamento se h um balanceamento entre as caractersticas (Xi) do grupo de tratamento e o de comparao pareado.
6. O impacto do programa estimado pela diferena mdia do resultado de interesse entre o grupo de tratamento e o de comparao pareado.
8/22/2018Footer Text 202
-
Limitaes do mtodo do pareamento por escore de propenso:
1. Requer bases de dados grandes com muitas variveis e um suporte comum entre grupo de tratamento e de comparao.
2. O pareamento s pode ser feito com base em caractersticas observveis (variveis no observveis ainda podem gerar diferenas sistemticas entre os grupos de tratamento e comparao).
3. menos robusto RCT, IV, RDD, DiD!
8/22/2018Footer Text 203
-
2.3. AVALIAO DE UTILIDADE
2.3.1. ANLISE DE EFEITOS / IMPACTO
2.3.2. ANLISE DE EFICINCIA
Perguntas:
Os benefcios gerados justificam os custos?
possvel obter da interveno melhores resultados por um custo equivalente ou o mesmo resultado por um custo inferior?
Existem alternativas de interveno mais eficientes (maior utilidade ao menor custo)?
-
Eficincia um conceito relativo. S faz sentido por comparao entre intervenes em termos de custos e benefcios
gerados.
A eficincia no o nico valor a ser levado em conta na elaborao e implementao daspolticas pblicas.
Os benefcios so em geral estimados por meio da anlise de efeitos (seo anterior)
A anlise de eficincia exige a estimativa de custos Custos diretos da interveno (fixos e variveis)
Quais os recursos necessrios para implementar o programa? Qual o volume ser utilizado? Qual o preo da unidade de consumo por recurso utilizado?
Que outros custos devem ser considerados? Custos indiretos Externalidades (negativas) Custos de oportunidade
8/22/2018Footer Text 205
-
Mtodos de avaliao de eficincia:
Anlise custo-benefcio Anlise custo-efetividade
8/22/2018Footer Text 206
-
Anlise custo-benefcio
Alte
rnat
iva
Bene
fcio
Cust
os
Bene
fcio
L
quid
o
Raz
o Be
nefc
io/
Cust
o
A $ 9.000.000
$ 6.000.000
$ 3.000.000 1.50
B $ 6.000.000
$ 4.000.000
$ 2.000.000 1.50
C $ 2.000.000
$ 1.000.000
$1.000.000 2.00
Entre duas ou mais intervenes se comparam oscustos totais com os benefcios totais monetizados e seopta pela alternativa de menor razo custo/benefcio(ou de maior razo benefcio/custo).
Dificuldades:
i) Custos e benefcios apurados sobre quem(participantes, financiador, sociedade)?
ii) Monetizar benefcios nem sempre possvel.
8/22/2018Footer Text 207
Para discusso ...
Pergunta: Qual a alternativa de interveno voc adotaria? Por qu?
-
Anlise custo-efetividade
Alte
rnat
iva
Bene
fcio
Cust
os
Raz
oCu
sto
/ Ef
etiv
idad
e
A100 km $ 6.000.000 $ 60.000 / km
B200 km $ 4.000.000 $ 20.000 / km
C100 km $ 1.000.000 $ 10.000 / km
Entre duas intervenes com o mesmo nico objetivo,opta-se pela que produz a maior quantidade do resultadodesejado (ex. nmero de graduados, vidas salvas, kmconstrudo) ao menor custo.
Dificuldade: No possvel comparar o retorno deprogramas com diferentes objetivos.
8/22/2018Footer Text 208
Para discusso ...
Pergunta: Qual a alternativa de interveno voc adotaria? Por qu?
-
3. PROJETO DE AVALIAO (DESENHO, GESTO E DISSEMINAO)
-
CICLO DE UM PROJETO DE AVALIAO