avaliação econômica programa excelência em gestão · programa excelência em gestão questões...

Avaliação Econômica Programa Excelência em Gestão

Gerência de Avaliação de Projetos

São Paulo, 27 de agosto de 2012 1

Programa Excelência em Gestão

O Programa

•Parceria entre a Secretaria de Educação do Estado de São Paulo e Fundação Itaú Social;

– Coordenação técnica do Projeto Piloto: Instituto Fernand Braudel

• Regional de Ensino Leste 3;

• 10 escolas de Ensino Fundamental II e Ensino Médio; – critério de escolha: IDESP;

• Período: 2009 a 2011.

2


O Programa

• OBJETIVO: • Fortalecer as práticas da coordenação escolar e do corpo docente na oferta

de ensino: • Planejamento das aulas • Gestão da sala de aula • Uso da avaliação dos alunos

• ESTRATÉGIA: Tutoria

Formação continuada customizada; Caráter prático e modelar; Realizada no cotidiano da escola, especialmente na sala de aula; Tutor: par avançado também atuante na rede pública de ensino.

• FOCO (adesão voluntária): Professores Coordenadores; Professores de

Língua Portuguesa e Matemática.

3


O Programa

• OBJETIVO: Intensificar a participação dos pais; aproximação família-escola.

• ESTRATÉGIA: Coordenador de Pais; Visita domiciliar; Organização de atividades para pais e alunos; Mobilização de voluntários; organização do espaço escolar; Atendimento e acompanhamento de alunos (evasão escolar); Atendimento a pais; Participação das reuniões de pais; Coordenador de Pais: Profissional dedicado exclusivamente à

aproximação entre família e escola, com conhecimento da comunidade;

– FOCO: Famílias e alunos.

4


Matriz Avaliativa

5

Desempenho

do Professor

• Planejamento

• Gestão da sala de aula

• Avaliação

Gestão Pedagógica

• HTPC

• Liderança Pedagógica

Relação Família-escola

• Atendimento a pais

• Participação em atividades da escola

Formação do aluno

• Participação na vida escolar

• Relação entre alunos

• Relação do aluno com conhecimento

• Desempenho Escolar


Estratégias de Avaliação

Perspectivas complementares:

I - Monitoramento das estratégias de intervenção no campo (relatórios,

visitas técnicas, questionários)

II - Avaliação de métodos mistos: com uso de metodologias quantitativas

e qualitativas para as quatro dimensões

III - Avaliação econômica: análise de impacto e cálculo do retorno

econômico com foco em desempenho dos alunos nas notas de Língua

Portuguesa e Matemática (SARESP)

6

AVALIAÇÃO ECONÔMICA

7


A Avaliação Econômica

• Objetivos avaliados:

– Efeito do programa no desempenho escolar: notas no exame do Saresp de Língua Portuguesa e Matemática.

• Público alvo: alunos do segundo ciclo do fundamental e ensino médio: – Observamos o desempenho dos alunos do 7º e 9º ano do ensino Fundamental e 3º ano do

ensino médio.

8

Total de escolas no programa Total de alunos avaliados

5º - 7º 6 375

(2008-2010) 5º - 9º

6 296 (2007-2011)

7º - 9º 9 523

(2008-2010) 9º - 3ºEM

10 295 (2008-2011)

9º - 3ºEM 10 279

(2007-2010)


Questões no Desenho da Avaliação

1) Intervenções

• Intervenções concomitantes – Não permitem identificar os efeitos de cada uma delas

• Mudança nas intervenções ao longo do tempo – Ex-post não sabemos o que deu certo

2) Amostra

• Apenas 10 escolas – Análise de impacto possível apenas no nível dos alunos

– O contexto de cada escola tem grande poder de alterar a média

• Validade externa – Todas da mesma regional

– Escolas mais vulneráveis 9


A Avaliação

• Metodologia:

– Painel de alunos (controla por características não observadas fixas no tempo)

– Observa dois pontos do tempo: antes e depois da intervenção (primeira diferença)

– Usa grupo de controle:

• Escolas de baixo IDESP da RMSP (vantagem: busca pares de escolas mais similares)

• Demais escolas da Leste 3 (vantagem: controla por variável não observada de contexto)

– Usa método econométrico que garante que os grupos tratado e controle sejam muito similares (pareamento duplo robusto: variáveis de controle e ponderação por escore de propensão).

• Escore de propensão = probabilidade de ser tratado predita com base em características observáveis; usado como fator de correção da composição da amostra

• Explica razoavelmente o viés de composição: R² por volta de 20%

• Corrige satisfatoriamente a composição: diferença de média não significante entre os grupos nas variáveis consideradas (balanceamento de 70% a 80%)

10


Metodologia

• ΔYi = α + β*Ti + βj*Xij + μi

Onde:

• ΔYi = Yi ano(1) – Yi ano(0)

• Ti = identifica se aluno estuda em escola piloto

• Matriz Xij :Variáveis de controle “j” para cada aluno “i”:

– Alunos: gênero, idade, raça, se fez pré-escola e escolaridade dos pais

– Diretores: tempo no cargo

– Professores: tempo no cargo

– Escolas: total de matrículas, IDESP 2007, oferta de ensino

– Componentes de IPVS (Índice Paulista de Vulnerabilidade Social): • Proporção de famílias pobres na escola (renda familiar menor que 850 reais)

• Proporção de famílias com crianças de 0 a 5 anos

• Proporção de mães com ensino fundamental e ensino médio completos

11

Histórico de proficiência por ano escolar

Programa Excelência em Gestão 12

150

155

160

165

170

175

180

185

190

195

200

2007 2008 2009 2010 2011

5º ano - Matemática

*Leste 3 *RMSP com pior IDESP Tratamento

170

175

180

185

190

195

200

205

210

2007 2008 2009 2010 2011



* Não inclui as escolas beneficiadas pelo programa

•As escolas tratadas têm proficiência mais similar às escolas da RMSP com pior IDESP. •As demais escolas da Leste 3 têm desempenho média melhor que as escolas tratadas. •A tendência das escolas tratadas é paralela às demais escolas da Leste 3



210

215

220

225

230

235

240

245

2007 2008 2009 2010 2011



240

245

250

255

260

265

2007 2008 2009 2010 2011

3º ano EM - Matemática





155

160

165

170

175

180

185

2007 2008 2009 2010 2011

5º ano - Língua Portuguesa



190

192

194

196

198

200

202

204

206

208

2007 2008 2009 2010 2011





210

215

220

225

230

235

2007 2008 2009 2010 2011




240

245

250

255

260

265

270

2007 2008 2009 2010 2011

3º ano EM - Língua Portuguesa


Exemplo Gráfico do Resultado


160

165

170

175

180

185

190

195

200

2008 2010

5ª a 7ª ano - Língua Portuguesa

Tratado Controle Contrafactual

} 3.1


Resultados vis a vis escolas de pior IDESP da RMSP

17

Linha de Base Anos de Programa Matemática Língua Portuguesa

2007 2008 2009 2010 2011 Impacto Impacto

1 6° Ano

2 6°Ano 7°Ano

3 5º Ano 6°Ano 7°Ano 8° Ano 3,3**(12%) 3,1*(11%)

4 5º Ano 6º Ano 7°Ano 8°Ano 9°Ano -5,9*(-11%) -

5 6º Ano 7º Ano 8°Ano 9°Ano 1° EM - -

6 7º Ano 8º Ano 9°Ano 1° EM 2° EM

7 8º Ano 9º Ano 1° EM 2° EM 3° EM - 5,7** (17%)

8 9º Ano 1º EM 2° EM 3° EM - -

9 1º EM 2º EM 3° EM

Coortes laranja = 3 anos de programa Coortes azuis =2 anos de programa

*** 99% de significância ** 95% de significância *90% de significância

Comparação dentro da Leste 3

• Os resultados usando como grupo de controle as demais escolas da Leste 3 confirmam os resultados acima: – LP para o 3º ano do EM 2011. – LP e MT para 7º ano do EF 2010.

• No entanto, os resultados não são significativos para as coortes do 9º ano. – O pior resultado em matemática é comum a todas as

escolas da Leste 3 e não parece estar relacionado com o programa.


Resultados: hipóteses interpretativas

• Por que impacto positivo?

– Início do FUND II: mais fácil gerar impacto com séries de alunos mais jovens

– EM: o último ano do programa foi mais efetivo:

• Maior número de tutorias (relatórios de gestão corroboram)

• Coordenador de pais mais bem definido (segundo estudo qualitativo)

• Por que impacto negativo no final do Fund II?

– O pior resultado em matemática é comum a todas as escolas da Leste 3 e não parece estar relacionado com o programa.

19


Resultados: hipóteses interpretativas

• Por que impacto diferenciado em Língua Portuguesa?

– Melhor aceitação das tutorias por esses professores (percepção gestores do programa)

– As tutorias são mais efetivas entre os professores de língua portuguesa (estudo qualitativo)

• Problemas levantados pelos gestores que enfraquecem a possibilidade de resultado:

– Dificuldade de realizar tutorias no turno noturno

– Algumas escolas não aceitaram o programa

– Resistência de alguns professores em receber as tutorias

– Elevada rotatividade/ausência de professores descontinua a ação

– Heterogeneidade das escolas (composição da equipe e gestão escolar)

20

AVALIAÇÃO DE MÉTODOS MISTOS

21


Resultados avaliação de métodos mistos

Formação dos Alunos: percepção sobre a ação das tutorias no ambiente escolar e

sala de aula

• Melhora a relação entre alunos

• Relação dos alunos com conhecimento mais positiva

• Alunos reconhecem ter maior possibilidade para participação em sala de aula

• Professores de português e matemática são indicados como referência de bons professores

• Inquietação dos jovens para serem melhor percebidos e cuidados na escola

• Obs: Mudanças do desempenho do professor convergem com inquietações

e expectativas dos alunos

22



Desempenho do Professor: percepção sobre o aprendizado das tutorias

I - Planejamento:

• Maior utilização dos referenciais curriculares da Secretaria de Educação e utilização das

sequências didáticas

• Compreensão sobre o significado das competências desejadas para os alunos

• Ampliação do uso de recursos didáticos em sala de aula e maior observação das necessidades

específicas de aprendizagem dos alunos

II - Gestão de sala de aula:

• Maior participação dos alunos em sala

• Atenção ao tempo de uso de fala, circulação física pela classe, configuração de dinâmicas para

estudos individuais

III - Avaliação:

• Uso da avaliação como instrumento de aprendizagem dos alunos

• Elaboração de provas com clareza sobre quais competências e habilidades se quer

conhecer e a confecção de exercícios adequados

• Realização de devolutivas das provas para os alunos

23



Gestão Pedagógica: percepção sobre a necessidade da tutoria e fortalecimento

dos papeis

• Professores Coordenadores indicam melhor compreensão de sua função. Entretanto, essa

compreensão não se transformou em ação prática na gestão pedagógica das escolas

• Percepção pelos PCs de que o modelo de HTPC das escolas é uma reprodução das reuniões

formativas da DRE

• Reconhecimento de que o HTPC se tornou mais formativo, mas ainda distante da realidade

concreta da sala de aula e das necessidades dos professores

• PCs ainda se encontram em situação de certo isolamento nas escolas

24



Relação Família-Escola: percepção sobre a ação efetiva do coordenador de pais

• Citadas por todos os públicos, sempre associadas a elogios e atributos positivos

• Alunos e familiares afirmam que estas profissionais reforçam os laços entre famílias e escolas por

constituírem uma referência clara a quem ambos podem recorrer

• Relação horizontal estabelecida facilita e potencializa a aproximação destes dois universos

• Proximidade de perfil entre as coordenadoras de pais e as famílias é determinante para que os

familiares estabeleçam com elas uma relação de referência no ambiente escolar

• Visitas realizadas pelas coordenadoras de pais permitem compreender melhor a situação de

alguns alunos e orienta a escola na relação pedagógica com eles estabelecida

• Diretores identificam importância das coordenadoras de pais para apoiar a relação com as

famílias e destacam que exercem papel diferente dos professores mediadores

25

USOS DAS AVALIAÇÕES

26


Considerações

• Avaliação mostrou convergência entre as expectativas dos alunos (espaço para

participação, maior atenção dos professores) e as mudanças das práticas dos

professores (planejamento, avaliação e gestão da sala de aula)

• A implantação do Programa aconteceu de forma gradativa nos 3 anos de duração:

- 1º ano de aprendizagem: identificação dos papéis; fortalecimento do vínculo

com as escolas e a Regional de Ensino; estratégias de comunicação

- 2º e 3º anos: intensificação da estratégia de tutoria e das ações com as

famílias e os alunos

• Heterogeneidade das unidades escolares (gestão; composição das equipes; porte)

• Necessidade de atuação conjunta entre diferentes líderes escolares (supervisor,

diretor, coordenador pedagógico)

27


Expansão e transferência de tecnologia

FORMAÇÃO CENTRALIZADA NA REGIONAL

• PCNPs e Supervisores: conteúdos de gestão pedagógica com foco nas estratégias de tutoria

(8h/mês).

• PCs (EFII e EM): alcançar em escala o público alvo nos conteúdos de gestão pedagógica com foco nas

estratégias de tutoria (8h/mês).

FORMAÇÃO DESCENTRALIZADA NAS ESCOLAS

• Diretor e Professor Coordenador

• Acompanhamento de caráter formativo e modelar e in loco.

• Visitas técnicas quinzenais -> com equipe gestora.

28

Diretoria Regional Leste 3

3 TUTORES

12 ESCOLAS MODELARES

11 SUPERVISORES

12 PCNPs

ESTRATÉGIAS DE TUTORIA

FOCO DA TRANSFERÊNCIA

Supervisores e PCNPs assumindo tutoria como estratégia central de trabalho com

Diretores e PCs

TRANSBORDAMENTO: 50 ESCOLAS

Diretoria Regional Leste 2

3 TUTORES

14 ESCOLAS MODELARES

13 SUPERVISORES

13 PCNPs

ESTRATÉGIAS DE TUTORIA

FOCO DA TRANSFERÊNCIA

Supervisores e PCNPs assumindo tutoria como estratégia central de trabalho com

Diretores e PCs

TRANSBORDAMENTO: 60 ESCOLAS

avaliação econômica programa excelência em gestão · programa excelência em gestão questões...

Documents