Ministério
do Planejamento 1
Avaliação do Plano Plurianual
Experiência Recente e Perspectivas
Pedro Bertone SPI/MP
Dezembro de 2011
Ministério
do Planejamento
• Avaliação – Algumas Reflexões
• Sistema de Monitoramento de Avaliação – M&A
• Evolução do M&A do PPA
• Características do modelo atual de M&A do PPA
• Estrutura do PPA 2012-2015
• Diretrizes para a Avaliação do PPA 2012-2015
• Principais Mudanças – Etapas e Desafios
Sumário
Ministério
do Planejamento
A avaliação é um julgamento de valor ou mérito
sobre uma intervenção, que pode ser resultado
da aplicação de critérios e normas (avaliação
normativa) ou de procedimentos científicos
(pesquisa avaliativa).
Scriven (1967, apud Worthen, Sanders e Fitzpatric, 2004)
O que é Avaliação
Ministério
do Planejamento
Alguns enxergam a avaliação como um modismo que cria burocracia e gera poucos resultados. Outros a vêem como essencialmente teórico e de pouca aplicação prática, tendo seu efeito limitado a questões marginais. Há quem receie que possam levar a um controle excessivo, ou ainda aqueles que simplesmente não querem se responsabilizar. (Ala-Harja e Helgason, 2000).
Ao contrário, a avaliação contribui para aumentar o grau de eficiência, eficácia e efetividade do setor público, na medida em que possibilita verificar:
se o modelo de intervenção é apropriado aos fins desejados;
se a implementação está acontecendo conforme previsto;
se estão sendo alcançados os objetivos e as metas estabelecidas;
qual o valor da intervenção e o custo-efetividade;
e até mesmo a necessidade e continuidade das ações planejadas.
O que é Avaliação
Ministério
do Planejamento
Tem a finalidade de assegurar que o monitoramento
e a avaliação sejam utilizados, de modo
descentralizado pela administração pública federal,
como ferramentas gerenciais para a melhoria da
qualidade da decisão e da alocação dos recursos no
Plano e nos Orçamentos anuais, com vistas à
obtenção de resultados pelo governo.
Sistema de Monitoramento e Avaliação
Ministério
do Planejamento
Avaliação do Plano Plurianual – Algumas Reflexões
• Contribui para a tomada de decisão
• Promove disseminação do conhecimento
• Induz aperfeiçoamentos na concepção e na gestão dos planos e programas
• Comunica resultados da ação governamental:
– prestação de contas, transparência
• O tempo das avaliações nem sempre dialoga com os tempos da política
• Resultados das avaliações nem sempre são tempestivos para correção de rumos
(nem sempre contribuem para atingir de metas de governo)
• Avaliações externas, baseadas em evidências, tendem a fornecer um olhar mais isento,
com críticas mais assertivas
Ministério
do Planejamento
Dilemas na Concepção da Avaliação do PPA
Formalidade Utilidade
Ministério
do Planejamento
PPA 2000-2003
A tentativa de implementação do orçamento-programa
Inovações do PPA • organiza a ação do governo, baseada em problemas e oportunidades, por programas (tentativa de implantação do orçamento-programa) • o programa como elo entre planejamento, orçamento e gestão das políticas • orientação para resultado (indicador dos programas e produtos das ações) • transparência da ação governamental Avaliação na Lei do PPA: Executivo enviará ao Congresso Nacional relatório de avaliação do PPA contendo: - o caso, medidas ccomportamento das variáveis macroeconômicas - demonstrativo da execução físico e financeira do exercício - demonstrativo por programa do índice alcançado, da possibilidade de alcance dos índices ao final do período, do cumprimento das metas físicas, da previsão de custo por ação, relacionando, se for o caso, medidas corretivas necessárias. Processo de Avaliação Mista: SPI: elabora e envia roteiro com questionário de avaliação Gerente de Programa: preenche o questionário SPI: elabora os textos Gerente de Programa: valida Produto: relatório de avaliação para o Congresso
Ministério
do Planejamento
PPA 2004-2007
O Reforço do conteúdo estratégico e das estruturas de M&A
• Inovações do PPA
– Declara uma estratégia de Desenvolvimento
– Cria o conceito de projeto de grande vulto, com avaliação ex ante
– Diferencia dois níveis de gestão: Estratégico e tático-operacional
– Lei do PPA cria sistema de avaliação
– Decreto e Portaria detalham o sistema de avaliação:
•Comitê de Coordenação de Programas,
•Comitê Gestor dos Programas,
•UMA, CMA e CTMA
– Tentativa de institucionalizar e descentralizar o processo de avaliação (UMA)
• Produto: relatório de avaliação para o Congresso
Ministério
do Planejamento
Organização
Sistema de Monitoramento e Avaliação
Órgãos Setoriais Ministério do Planejamento
Comissão de
Monitoramento e
Avaliação (CMA)
Câmara Técnica de
Monitoramento e
Avaliação (CTMA)
Suporte ao Comitê de
Coordenação dos
Programas
Apoio aos Gerentes de
Programa e
Coordenadores de Ação
Consultores Internos aos
processos de
Monitoramento e
Avaliação
Asse
ssora
me
nto
Comitê de
Coordenação dos
Programas
Gerente de
Programa
Unidade de
Monitora-
mento e
Avaliação
(UMA)
Ministério
do Planejamento
Avaliação da Dimensão Estratégica
(por fora do sistema formal)
Definição de um recorte em relação as famílias que compõem o mercado de massa
que permita acompanhar a evolução do emprego e da renda destes segmentos durante
o PPA 2004-2007
Definição de uma cesta de bens e serviços tipicamente associadas ao consumo de
massa que permita acompanhar o desempenho do comércio e dos setores industriais
responsáveis pela produção destes bens
Seleção de uma “cesta” de indicadores associados as variáveis centrais da Estratégia
de Desenvolvimento e utilização das fontes oficiais de pesquisa que apuram estes
índices
Tratamento das informações nos diversos bancos de dados, tais como: POF, PNAD,
PIMES, CAGED, Contas Nacionais, Boletim BACEN. (Não utilizou-se o sistema de
informações desenhado a partir do recorte do orçamento - SIGPlan)
Produto: Relatório de Avaliação para o Congresso, com uma avaliação da estratégia
de desenvolvimento do Plano elaborada pela SPI.
Ministério
do Planejamento
Diferença de Perspectiva
formal
organizar o questionário e o
processo de avaliação
habilidade do servidor em
organizar processos
produto é a soma das leituras
setoriais
foco no processo e no método
avaliação pré-formatada e
institucionalizada
útil
fazer a avaliação
habilidade em tratar e analisar
dados – produzir informação
produto uma leitura resultante da
ação governamental
foco nas informações com vistas
a subsidiar a ação governamental
avaliação flexível, moldada às
circunstâncias
Ministério
do Planejamento
PPA 2008-2011 Avanços Menos Significativos e Suporte ao M&A Exercido por Outras Vias
Descentralização para os órgãos setoriais
Direcionamento do trabalho da SPI para avaliação da Estratégia de Desenvolvimento, dos Objetivos de Governo e das metas prioritárias (mensagem do PPA)
O órgão central de planejamento orientado para produzir conhecimento sobre as razões do estágio de desenvolvimento nacional, a dinâmica de implementação das políticas e as possibilidades para ampliar os canais de atendimento do Estado
Minimiza as exigências legais (direito administrativo x racionalidade gerencial) e maximiza o subsídio à coordenação do governo (regionalização e medidas institucionais do PAC 2)
Ministério
do Planejamento
• O formato (auto-avaliação) aproveita os conhecimentos e experiências dos envolvidos na execução de programas;
• Estabeleceu uma cultura de avaliação periódica;
• Os anexos constituem um importante instrumento de transparência na aplicação de recursos públicos e de controle externo/social;
• Porém, do ponto de vista da gestão:
Os resultados têm pouca utilidade, pois o caráter universalista e padronizado não considera prioridades, características, níveis de maturidade e as especificidades de programas e instituições;
Assim as informações produzidas pouco contribuem para aperfeiçoamentos, tomada de decisão, alocação de recursos etc.;
O modelo forçou a criação de instâncias paralelas e papéis pré-definidos desconexos com a implementação dos programas;
Há também uma forte desconexão com os objetivos estratégicos do Governo.
Características do Modelo Atual de M&A
Ministério
do Planejamento
Os avanços estruturais visam a:
1. Resgatar a função Planejamento;
2. Incorporar ao PPA os Objetivos de Governo tais como declarados;
3. Permitir o efetivo monitoramento de Objetivos e Metas;
4. Criar espaço para tratar políticas transversais;
5. Criar espaço para tratar a regionalização das políticas;
6. Induzir a reorganização gradual do orçamento na lógica do resultado;
7. Usar linguagem capaz de comunicar o seu conteúdo dentro e fora do Governo.
Plano Mais Brasil
Ministério
do Planejamento
Bases do Plano Mais Brasil
Ministério
do Planejamento
Dimensões do Plano Mais Brasil
PPA 2008-2011 PPA 2012-2015
Auto-avaliação continuará aproveitando conhecimentos e experiências dos gestores públicos
Ministério
do Planejamento
Define caminhos exequíveis para o alcance dos objetivos e das
transformações definidas na dimensão estratégica, considerando as
variáveis inerentes à política pública tratada. Vincula os Programas
Temáticos para consecução dos Objetivos assumidos, estes
materializados pelas Iniciativas expressas no Plano.
Relaciona-se com o desempenho da ação Governamental no nível
da eficiência e é especialmente tratada no Orçamento. Busca a
otimização na aplicação dos recursos disponíveis e a qualidade dos
produtos entregues.
É a orientação estratégica que tem como base os Macrodesafios e
a Visão de Longo Prazo do Governo Federal. Estratégico
Tático
Operacional
Dimensões do Plano Mais Brasil
Foco da Avaliação do PPA
Ministério
do Planejamento
• Produção de Informações orientadas ao (à):
Aperfeiçoamentos das políticas públicas;
Tomada de decisão (priorização, continuidade, alocação de recursos etc.);
Comunicação interna (horizontal e vertical), entre Poderes e esferas, com a Sociedade;
Transparência e efetividade das ações de Governo.
• Criação de fóruns (ou aproveitamento de existentes) para avaliação de políticas públicas considerando especificidades, grau de avaliabilidade e outros quesitos para, dentre outras formas:
Avaliar o comportamento de indicadores (IBGE, registros administrativos, agências sub-nacionais, organismos internacionais);
Analisar os resultados de eventuais pesquisas avaliativas (IPEA, desenhos qualitativos, quantitativos, outros).
• Avaliação pelo MP da dimensão estratégica do Plano (cenários e macro-desafios), à luz dos resultados obtidos pelas avaliações dos diversos programas e agendas prioritárias.
Diretrizes para a Avaliação do PPA Mais Brasil
Ministério
do Planejamento
Informações para a implementação
Imersão na execução das políticas Agendas prioritárias (seletividade) Pacto (governabilidade) Espaços de coordenação efetivos Provisão de meios e soluções Normas: apenas orientações
Chamar a sociedade para o jogo Mediado pelos Conselhos Divulgar realizações e prestar contas Inovar na comunicação (portal, redes sociais) Assessorias de Comunicação e SECOM Normas: Decreto e Portaria (MP/SG/SECOM)
Cobertura de todos os Programas Foco nos objetivos (requisito legal) Sistema de Informações simples integrado ao monitoramento da LOA (iniciativas) Exigências legais mínimas Norma: Portaria (MP)
No PPA: lacuna Efetivo: PAC Tentativas: • Câmaras Setoriais • Agenda Social
No PPA: lacuna Efetivo: • SECOM • ASCOM dos órgãos • Relatórios de Gestão • PCPR (BGU) • Mensagem Presidencial
No PPA: intensivo • SIGPLAN • Relatório Anual de Avaliação (1.200 páginas) • Autoavaliação anual de Programas
Informações para a sociedade
Informações para o controle
PPA 2012-2015 PPA 2008-2011
Ministério
do Planejamento
• Estabelecimento de política nacional de monitoramento e avaliação de políticas públicas;
• Melhor geração e utilização das informações existentes (coordenação do sistema estatístico nacional por meio de um conselho nacional);
• Aproximação das agendas de pesquisa do IBGE, IPEA e das agências sub-nacionais de estatística às demandas do ciclo de gestão das políticas públicas, particularmente na fase de avaliação;
• Reconhecimento da importância da utilização de diferentes métodos na avaliação de resultados (eficácia) e impacto (efetividade);
• Maior uso de avaliações ex-ante (análise e escolha dentre cenários possíveis) no planejamento governamental, para posterior comparação.
Desafios
Ministério
do Planejamento
O que muda?
PPA 2008-2011
Orientado pelo Sistema
Restrito à execução físico-financeira
Cobertura universal
Difícil de acompanhar agendas
Periodicidade padronizada
Ênfase em informações quantitativas
Criação de instâncias paralelas
Linguagem formalista e orçamentária
PPA 2012-2015
Orientado para o fazer
Dialoga com conteúdo das políticas
Seletividade e progressividade
Induz a gestão de agendas
Periodicidade pactuada
Múltiplas fontes de informação relevante
Aproveita estruturas existentes
Linguagem de gente
SIGPLAN, CMA, CTMA, CTPGV
produtos de ações, localizadores
300 programas, 5.000 ações, 24 mil localizadores
produtos dispersos em 24 mil localizadores
trimestral e anual
físico-financeiro por localizador
UMA, CMA, Gerentes de Programas...
espaços de coordenação e sistemas flexíveis
agendas prioritárias, metas, entregas
garantia de metas e iniciativas prioritárias
subsidia decisões do governo
negociação com cada agenda
aspectos qualitativos, metas, entraves
pactuação com responsáveis pela execução
matéria-prima para o controle e a burocracia comunicação de entregas à sociedade
Ministério
do Planejamento
definiçã
o
• validação da estratégia no MP
• definição dos instrumentos normativos mínimos
• início do levantamento de requisitos de informação e comunicação
• apresentação e oitiva junto aos setoriais
SPI elabora propostas de
partida para cada
ministério/agenda
• escolhas das agendas prioritárias (negociação no governo)
• identificação das estruturas existentes e interlocutores efetivos
• concepção individualizada das metodologia de monitoramento : escopo,
periodicidade, fluxo de informações, interlocução, modelo de coordenação.
oficinas de pactuação das
propostas com órgãos
finalísticos
• avaliação dos recursos disponíveis, requisitos e condições políticas
• compromissos de execução (setorial) e provisão de meios (MP)
• negociação a partir das propostas individuais com envolvimento dos finalísticos
harmonização e ajustes a
partir da visão global das
propostas
• revisão e ajustes no conteúdo das propostas
• identificação de lacunas, sobreposições e riscos
• validação sob perspectiva do órgão central
formalização e definição da
agenda de implementação
• publicação dos instrumentos normativos
• disponibilização dos sistemas de informação
• definição do cronograma
Etapas
Construção do modelo
Propostas individuais (por
agenda)
Pactuação
Validação no MP
Produção de Normas e Sistemas
Ministério
do Planejamento
Obrigado!
Pedro Bertone Secretaria de Planejamento e Investimentos Estratégicos