Desenho e Marco Lógico para Avaliação de Programas

Victor Maia Senna Delgado – Fundação JoãoPinheiro - MG

II Seminario de Avaliacao de Políticas Publicas FEE-RS28 - Setembro de 2009

Porto Alegre

F J PU N D A Ç Ã O O Ã O I N H E I R O

Introdução.

O marco lógico resgata princípios da política de planejamento estratégico.

Todo programa necessita de um planejamento que o insira em um plano maior de estado ou de governo.

Além de ser também necessário inseri-lo

em uma teoria que justifique sua atuação.

Mas o principal motivador para o surgimento de programas é o componente político.

Introdução.

1.Vontade Política.

2.Recursos Financeiros.

3.Contexto.

4.Estrutura.

5.Teoria.

Introdução.

Todo projeto tem implícito um modelo causal, uma hipótese ou conjunto de hipóteses que orientam a intervenção!

A formulação do modelo causal não é tarefa simples! Problemas sociais são multifacetados, com causas múltiplas que interagem. Exemplo: Pobreza.

É difícil estabelecer as cadeias de causalidade.

Assim, às vezes é difícil definir os mecanismos necessários para enfrentar o problema!

Frequentemente, as bases teóricas que sustentam as intervenções são frágeis!

Planejamento:

Objetivos

Metas

Ações

Indicadores

Planejamento:

Objetivos

Metas

Ações

Indicadores

Resultados

Planejamento:

Objetivos

Metas

Ações

Indicadores

Resultados

Avaliação

Planejamento:

Objetivos

Metas

Ações

Indicadores

Resultados

Avaliação

Planejamento:

Objetivos

Metas

Ações

Indicadores

Resultados

Avaliação

Planejamento:

Objetivos

Metas

Ações

Indicadores

Resultados

Avaliação

Planejamento:

Objetivos

Metas

Ações

Indicadores

Resultados

Avaliação

O Ciclo da Política Pública

Fase 1Identificação do Problema

Fase de Desenvolvimento da PolíticaAnálise Ex-ante

Fase de Avaliação de PolíticaAnálise Ex-post

Fase 2Formulação da Política

Fase 3Implementação da Política

Fase 6Feedback

Fase 5Pesquisa de Avaliação

Fase 4 Desenho da Avaliação

Processo de desenvolvimento de uma política

Análise de custo-benefícioOs impactos são alcançados com um custo razoável?

Eficiência do Programa

Avaliação de ImpactoO programa está tendo os efeitos desejados?

Resultados do programa

Avaliação de processo, monitoramento

A operação está de acordo com o planejado?

Operação do programa

Avaliação de processoComo o programa deve operar?

Implementação do programa

Avaliação ex-ante, simulações

Qual é a melhor abordagem?Seleção de programa

Desenvolvimento e avaliação da teoria do programa

Quais intervenções poderiam produzir as mudanças desejadas?

Design de alternativas para o programa

Avaliação de necessidadeO que precisa ser feito?Estabelecimento de objetivos

Avaliação de necessidade, trabalho diagnóstico

Qual é o problema e quais são as necessidades?

Avaliação do problema e das necessidades

Estratégia de AvaliaçãoPerguntaEstágio do Programa

Planejamento e Marco Lógico.

A construção de um marco lógico é muito auxiliada pelos itens de planejamento.

Mas não se constitui exatamente o planejamento. Nem mesmo é um projeto do programa.

Marco Lógico é um conjunto de estruturas e modelos que nos permitem compreender o programa por inteiro.

Ele exige que haja definição de público-alvo, métodos e maneiras de implementação, avaliação de recursos (Humanos e de Capital), definição clara de objetivos e dos resultados.

Marco Lógico. Bamberguer (2006) ressalta que o marco lógico deve nos

servir para pensar de forma mais analítica sobre causa e efeito do programa:

identificar relações entre componentes do programa (considerar relações internas do programa)

Clarificar os objetivos e metas de longo prazo do programa.

Identificar os principais indicadores para M&A.

Identificar as principais premissas que fundamentam o programa.

Desenvolver nossas perguntas para avaliação.

visualizar um programa dentro do contexto (considerar fatores no ambiente social/físico que são externos ao programa, mas podem influenciar os resultados do programa)

Marco Lógico.

O Roteiro (Plano de Trabalho) proporcionado pelo marco lógico permite identificar também possíveis falhas do programa.

O marco lógico permite esclarecer à sociedade e planejadores (“por no papel”) tudo que os gestores do programa estão pensando.

Já o desenho do programa é a identificação de como o programa ira atuar, prevendo a cadeia de atuação da maneira mais completa possível.

Identificando possíveis incentivos contrários ao funcionamento ao programa juntamente com outros pontos críticos.

Desenho do Programa.

Insumos Atividades Produtos Objetivos

Quais os insumos necessários para

operar o programa?

Esses insumos são usados

para realizar as ações

necessárias

Se as atividades forem

feitas de maneiracorreta,

estes produtos serão alcançados

Se esses benefícios forem

atingidos, espera-se que

ocorram estas mudanças na sociedade ou comunidade.

Desenho do Programa.

Desenho InsumosProcessode Imple-mentação

Produtos Resultados ImpactosSustentabi-

lidade

Contexto econômico no qual o projeto opera

Contexto político no qual o projeto opera

Contexto institucional e operacional

Características sócio-econômicas e culturais das populações afetadas

Ambiente físico

Entender os componentes do Desenho do Programa e de seu marco lógico é fundamental para que se possa então medir seu impacto.

Ou avaliar o por quê de não ter havido impacto.

Permite obter um previsão de quais os fatores sociais mediadores são mais importantes e quais não são.

Além de expor a lógica causal do modelo explícitamente, o que permite até uma avaliação metodológica mais adequada.

Ferramentas para o Diagnóstico:

20

Mulheres tem acesso limitado a oportunidades econômicas devido à falta de acesso ao crédito e outros recursos produtivos e ao controle social

O projeto oferece crédito, assistênciaTécnica e formação

em grupoMulheres criamempresas

Mulheres nãocriam empresas

Uso para doteMulheres pagam

as dívidasMarido toma

Os lucros

Geração delucros

Melhora do bem-estar da família nocurto prazo

Lucro re-investido

Empresamantida

Empresafracassa

Limitaçõesde tempo

Falta de demanda

Pressões sociais

Falta de recursos produtivos

Melhora permanente dobem-estar familiar

Moradiamelhorada

Nutrição, saúde,roupas

Educação melhorada,especialmente p/ meninas

Melhoras econômicas

Modelo da Cadeia de Resultados para o Programa de Desenvolvimento de Pequenos Negócios de Mulheres

Resultados Positivos Resultados

negativos

Ferramentas para o Diagnóstico:

Identifica os atores envolvidos no problema (indivíduos ou instituições que podem ser afetados pelo projeto direta ou indiretamente)

Identifica riscos e conflitos que interferem no êxito de uma intervenção.

Identifica os interesses dos atores.

Ferramentas para o Diagnóstico:

Identifica o problema central e estabelece as relações de causalidade envolvidas.

Estabelece as causas e conseqüências de determinado problema.

Auxilia na concepção e previsão de um tempo de maturação de um programa.

23

A

B

C

1 2 3 4 5 6 7Ano

E

F

E

I

T

O

Início do

projeto

Final do projeto

Diferentes cenários para a variação dos efeitos do projeto ao longo do tempo

Ferramentas para o Diagnóstico:

Muitos projetos são bem desenhados, mas não conseguem alcançar seus impactos por causa de problemas durante a implementação. Esses problemas podem:

Reduzir a efetividade (reduz a potencialidade). Resultar em alguns grupos serem mais

beneficiados do que outros (Erro de Vazamento). Afetar a sustentabilidade e replicabilidade (não

como manter ou realizar o scalling up do programa).

Ferramentas para o Diagnóstico:

O Marco Lógico e o desenho são aliados que auxiliam na metodologia da avaliação de impacto.

São aliados dos gestores para entender e divulgar o processo.

São aliados da sociedade pois permitem um entendimento mais claro das diretrizes das ações e medidas adotadas.

No entanto no Brasil são muito pouco utilizados e há muito poucas avaliações de processo e de implementação.

Conclusões. Marco Lógico e desenho do programa são importantes

ferramentas de implementação e avaliação

Podem ser desenvolvidos no âmbito do planejamento e em linha com os planos Plurianuais.

Comunica informação essencial aos envolvidos no projeto de forma eficiente e estrutura o projeto de forma lógica.

Auxilia no desenho do plano de avaliação e na determinação das perguntas a serem respondidas.

Apesar da importância no Brasil, há pouca programação para o seu uso e pouca avaliação dos procedimentos adotados que envolvem o marco lógico de um programa.

Obrigado!