o quanto estamos aprendendo?pt.braudel.org.br/eventos/arquivos/downloads/o-quanto-estamos... · –...

40
O quanto estamos aprendendo? Os avanços na avaliação da aprendizagem nas escolas públicas de Nova York e de São Paulo 19 de maio de 2010 Jesse Margolis Instituto Braudel

Upload: voquynh

Post on 10-Jan-2019

217 views

Category:

Documents


0 download

TRANSCRIPT

O quanto estamos aprendendo?

Os avanços na avaliação da aprendizagem nas escolas públicas de Nova York e de São Paulo

19 de maio de 2010

Jesse Margolis

Instituto Braudel

2

• Observações gerais das escolas de São Paulo

– Caracteristicas em comum com Nova York

– Diferenças notáveis

• Breve apresentação do sistema de “accountability” de Nova York

• Análises da avaliação das escolas no estado de São Paulo

– Melhores práticas

– Oportunidades para melhorar

– Recomendações

O quanto estamos aprendendo?

3

Escolas de São Paulo compartilham desafios com Nova York

• Ambos estados matriculam um número grande de alunos nas escolas públicas…– O estado de Nova York tem 2,7 milhões de alunos em 4,6 mil escolas públicas– O estado de São Paulo tem 7,8 milhões de alunos em 11,8 mil escolas públicas

(aprox. 10 Federais, 5,7 mil Estaduais e 6,1 mil Municipais)

Fonte: NYSED, Censo Escolar 2008, SARESP Cuestionário 2008; Nota: exclue eucação infantil para São Paulo. Exclue PK para NYC e inclue K-12.

• …e tem cidades grandes com uma fração importante das matrículas– A cidade de Nova York tem 1,0 milhão de alunos matriculados em 1,5 mil escolas

públicas– A cidade de São Paulo tem 2,0 milhões de alunos matriculados em 1,6 mil escolas

públicas (aprox. 2 Federais, 1,1 mil Estaduais e 500 Municipais)

• Em ambas, uma parte importante dos jovens estão matriculados em escolas privadas– Na cidade de Nova York, 19% dos alunos estão matriculados em escolas

particulares, comparado com 10% no resto do estado e 10% nos EUA– Na cidade de São Paulo, 18% dos alunos estão matriculados em escolas

particulares, comparado com 14% no resto do estado e 12% no Brasil

• …deixando o sistema público principalmente para famílias de baixa renda– Na cidade de Nova York, 66% dos alunos nas escolas públicas recebem almoço de

graça porque sua renda familiar é baixa– Em São Paulo, 68% dos pais de alunos nas escolas do Estado, dizem ter uma

renda de R$1.275 ou menos por mês

4

• Observações gerais das escolas de São Paulo

– Caracteristicas em comum com Nova York

– Diferenças notáveis

• Breve apresentação do sistema de “accountability” de Nova York

• Análises da avaliação de escolas no estado de São Paulo

– Melhores práticas

– Oportunidades para melhorar

– Recomendações

O quanto estamos aprendendo?

5

• Estado: supervisão e regulação• Estabelecer padrões• Certificar professores• Avaliar alunos, escolas, e distritos• Definir distritos escolares e sua

governança• Equilibrar financiamento entre distritos

ricos e pobres

• Cidade: gerir escolas• Construir escolas• Contratar e estabelecer salário e

carreira de diretores, professores e outros profissionais

• Desenvolver um sistema de matrícula para alunos

• Estabelecer o curriculo e capacitar professores

• Pagar os profissionais e outros gastos

Responsabilidades para governança escolar são dividas diferentemente em São Paulo e Nova York

0%

20%

40%

60%

80%

100%

EnsinoFundamental

- Ciclo I

EnsinoFundamental

- Ciclo II

Ensino Médio

Por

cent

agem

de

alun

os

São Paulo: O governo Estadual e os municipios regulam e gerem escolas

Escolas estaduias

Escolas municipais

Nova York: Estado regula e Município gere escolas

2.5MM 2.5MM 1.5MM

Fonte: Censo Escolar 2008

6

0

50,000

100,000

150,000

200,000

Acc

ounta

nts

Regi

ster

ed

nurs

es

Sale

s(m

anufa

cturi

ng)

ES

,M

S&

HS

Teach

ers

Polic

eof

fice

rsO

ffic

esu

per

vis

ors

Car

pente

rs

Exe

cse

creta

ry

Tru

ckdr

ivers

Main

tenance

work

ers

Acc

ounting

cler

ks

Cust

omer

serv

ice

reps

Sec

reta

ries

Nurs

ing

aid

es

Secu

rity

guar

ds

Janitors

and

clean

ers

Off

ice

clerk

s,gen

era

l

Reta

ilsa

lesp

ers

ons

Tea

cher

ass

ista

nts

Wai

ters

Hom

ehea

lth

aid

es

Sto

ckcl

erks

Cash

iers

Chief executivesPhysicians

LawyersFinancialmanagers

Operationsmgr.

Nota: inclui categorias 25-2031, 25-2022 e 25-2021 para professores de ensino médio, fundamental II, e fundamental I. Não inclui professores de educação infantil ou educação especialFonte: Occupational Employment Statistics (OES) Survey, May 2008. Bureau of Labor Statistics and Department of Labor

Méd

ia S

alar

ial (

$US

/ an

o)Professores no estado de Nova York ganham acima da média salarial, porém menos do que as outras profissões que requerem educação superior

US$ 65.899 / ano

7

0

2,000

4,000

6,000

8,000Pro

f(e

nsi

no

super

ior)

Advo

gad

os

Ger

ente

soper

açõ

es

Gere

ntes

de

apoio

Sec

retá

rias

exe

cutiva

sEnfe

rmeiros

Pro

fess

ore

sEF

&EM

Con

duto

res

(dis

trib

)Pol

icia

is

Aux.enfe

rmag

em

Esc

ritu

rári

osem

gera

l

Vend

edor

es

em

loja

s

Alv

enaria

Guar

das

evi

gia

s

Gar

çons

ebar

men

Em

bel

ezam

ent

o

Rece

pci

onis

tas

Tele

mark

eting

Cozi

nheiros

Tra

balh

adore

sagríco

las

Manute

nçã

ode

edi

fíci

os

Cost

ura

de

roupa

s

Ser

viç

os

dom

éstico

s

Ate

nd.

de

crech

e/id

osos

MédicosDiretoresgerais

EngenheiroscivisDirigentesde empresas

Rep

sco

mer

ciai

s

Nota: inclui professores de escolas federais, estaduais, municipais, e particulares.Fonte: PNAD 2008

Méd

ia S

alar

ial (

$R /

mês

)O estado de São Paulo mostra uma tendencia similar apesar dos salários em geral, serem menores

R$ 1.706 / mês

0

2,000

4,000

6,000

8,000

10,000

Médic

os

Engenhei

ros

civi

s

Cir

urg

iões

-dentist

as

Engen

hei

ros

mec

ânic

os

Pro

f(e

nsi

no

super

ior)

Pes

q.

Eco

nôm

ica

Conta

dor

es

Journ

alis

tas

Advo

gad

os

Direto

res

de

pro

duçã

o

Psic

ólog

os

Enfe

rmeiros

Far

macê

utico

s

Fis

iote

rapeu

tas

eaf

ins

Pro

fess

ore

sEF

&EM

8

Dentro das profissões com alto indice de estudo superior, professores de ensino fundamental e medio representam o maior grupo e com menor salário

Nota: inclui só as profissões onde 80% ou mais dos respondentes indicaram que o “curso mais elevado que frequentou anteriormente” foi “Superior –graduação” ou “Mestrado ou doutorado”.Fonte: PNAD 2008

Méd

ia S

alar

ial

(R$

/ mês

)

R$ 1.706 / mês

9

Professores de tempo integral em São Paulo passam mais horas em aula durante uma semana

0

5

10

15

20

25

30

35

40

45

NYC (Alta Pobreza) NYC (Baixa Pobreza) Estado de São Paulo

Hor

as-a

ula

(50

min

utos

)

Aula(22 horas-aula)

Preparação(8 horas-aula)

Atividades profissionais

(5 horas-aula)

Almoço / transicões / outro (6 horas-aula)

Aprox. 41 horas-aula(34hr 10min / semana)

Aula(25 horas-aula)

Preparação(5 horas-aula)

Aprox. 41 horas-aula(34hr 10min / semana)

Aula(33 horas-aula)

HTPC (3 horas-aula)

Prep. (4 horas-aula)

40 horas-aula(33hr 20min / semana)

Dentro ou fora da escola (sem aula)Dentro da escola (sem aula)Dentro da escola (em aula)

Fonte: NYC DOE teachers contract (2007-2009); DECRETO Nº 55.078, DE 25 DE NOVEMBRO DE 2009

Atividades profissionais

(5 horas-aula)

Almoço / transicões / outro (6 horas-aula)

10

46% de professores nas escolas públicas do Estado de São Paulo relatam que trabalham em duas ou mais escolas

0%10%

20%30%

40%50%60%

70%80%

90%100%

EF1 (4a seríe) EF2 & EM (LinguaPortuguesa)

EF2 & EM(Matemática e

Física)

EF2 & EM(Ciências,

Química, Biologia)

Respondentes: 7,102 15,874 17,542 11,763

Por

cent

agem

de

Pro

fess

ores

Fonte: Questionário SARESP 2008

Uma escola

Duas escolas

Tres ou mais

11

Em todas as séries, o número médio de alunos por sala em São Paulo é maior que em Nova York

Nota: Alunos por sala em São Paulo para educação regular em escolas urbanas estaduais. Alunos por sala em Nova York e para “General Education” e “Gifted & Talented”Fonte: Censo Escolar 2008 para São Paulo; 2009/10 Class Size Report para Nova York

31 32 31 3235 35 35 36

3736 35

22 2325 25

26 27 28 27 27 27 27

0

5

10

15

20

25

30

35

40

1 2 3 4 5 6 7 8 9 10 11

Núm

ero

de a

luno

s po

r sal

a (m

édia

)

Estado de São Paulo (Média = 34.7)(escolas urbanas)

Série

Cidade de Nova York (Média = 26.1)

12

Ausência de professores é duas vezes e meia maior em São Paulo que em Nova York

15%

6%

0%

2%

4%

6%

8%

10%

12%

14%

16%

Estado de SãoPaulo (2008)

New York City(2006)

Por

cent

agem

de

dias

letiv

os

Taxa Média de ausência

Fonte: taxa para São Paulo baseada numa entrevista na revistaVeja com Paulo Renato Souza no 24/10/09. Taxa para Nova York baseada no artigo de Chicago Tribune “Teachers miss days; poor kids miss out; Educators at some struggling schools take most time off, analysis shows”, 25/09/06. Comentário de um professor em, “Paralisação dos professores em SP tem baixa adesão”, Estado de São Paulo, 09/03/10

Póliticas públicas nos últimos anos dão enfoque às faltas de professores

• Bônus por resultado (2008): bônus por resultado de até 22% do salário anual do professor e proporcional a sua taxa de frequência (mínimo de 67% de presença)

• Valorização pelo mérito (2010):professores precisam ter um mínimo de frequência para se qualificarem a receber um aumento salarial de 25%

• “Não penso em fazer greve porque, se faltar, perco a única chance de ter um aumento de verdade”

– Professor do Estado de São Paulo, 9 de março de 2010.

13

Em São Paulo, mais alunos de ensino médio estudam a noite

43,6%

5,7% 5,5%

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

50%

Escolas públicasestaduais de São Paulo

Escolas particulares deSão Paulo

Escolas públicas dacidade de Nova York

Matrículados (EM): 981,767 132,593 331,437

Por

cent

agem

de

alun

os d

e en

isno

méd

io

Fonte: Censo Escolar 2009 (Sinopse Tabela 2.16); NYCDOE ATS System as of 4/02/10

14

• Os alunos em São Paulo passam menos horas na escola

– O ano escolar é mais longo (200 dias em São Paulo vs. 185 dias em Nova York)

– O dia escolar para o aluno é mais curto (4 horas a 5 horas e 20 minutos em São Paulo vs. 6 a 7 horas em Nova York)

Outras observações sobre os alunos

• Os alunos de ensino médio em São Paulo tem mais matérias

– São Paulo: os alunos normalmente estão matriculados em 10 a 13 matérias.

– Nova York: alunos matriculados em 5 a 7 matérias.

15

• Os professores em São Paulo

– Lecionam por mais horas durante a semana

– Tem mais alunos por aula

– E apresentam maior probabilidade de dar aula em mais de uma escola

Professores de Ensino Fundamental II e Medio em São Paulo são responsáveis por mais alunos do que os professores de Nova York

Professores de São Paulo são responsáveis por muito mais alunos

Professores precisam conhecer os nomes, avaliar, e seguir o progresso de muito mais alunos

• Os alunos em São Paulo

– Estudam menos horas por semana

– E mais matérias ao mesmo tempo

16

• Observações gerais das escolas de São Paulo

– Caracteristicas em comum com Nova York

– Diferenças notáveis

• Breve apresentação do sistema de “accountability” de Nova York

• Análises da avaliação das escolas no estado de São Paulo

– Melhores práticas

– Oportunidades para melhorar

– Recomendações

O quanto estamos aprendendo?

17

Nova York: Monitoramento e Responsabilização por Resultados

O Q

UÊ AVALIAR IMPOR

CONSEQUÊNCIAS HABILITAR

CO

MO

Boletim de ProgressoNotas de “A” a “F” baseadas no rendimentoe progresso dos alunos.

Avaliações QualitativasAvaliação da organização e da prática escolar.

Questionário escolarQuestionários para pais, alunos e professores.

DemandaMedimos a demanda de matrícula na escola.

PrêmiosBônus monetários aosdiretores e professores.

ConsequênciasCaso tenham resultados ruins e não haja melhora, substituem o diretor. Nos casos mais sérios, háo fechamento da escola

AutonomíaAutonomia aos diretorespara tomar decisõessobre: orçamento, contratação de professores e capacitação

Sistema de Rendimentoe Inovação (ARIS)

Avaliações diagnosticas

Equipes de InvestigaçãoEquipes de educadores em cada escola que utilizam os dados para eleger um problema sobre o qual possam trabalhar.

18

Princípios do Boletim de Progresso

O boletim de progresso está desenhado levando em conta vários princípios:

• Baseado em Resultados: Focar a conversa nos resultados dos alunos, e não nos insumos (ex. gasto por aluno, espaço físico da escola) do processo educacional

• O Rendimento e o Progresso: Medir ambos, o rendimento atuale o progresso individual dos alunos.

• Comparar Escolas Parecidas e a Cidade: Comparar uma escola a outra que trabalha com alunos semelhantes e também compará-las a uma escola que seja padrão para toda a cidade.

• Simples, Válido, e Possível de Verificar: Assegurar que os profissionais das escolas entendam o que está sendo avaliado e que possam verificar os resultados, para que assim saibam como melhorar seu rendimento.

19

As diferentes medidas do Boletim de Progresso

Ambiente Escolar15 pontos

Rendimento dos Alunos

25 pontos

Progresso dos Alunos60 pontos

Crédito AdicionalAté 15 pontos

• Questionário aos pais, alunos e professores

• Presença dos alunos

• Resultados nas provas de Língua Inglesa e Matemática

• Progresso individual dos alunos nas provas de Língua Inglesa e Matemática

• Taxa de graduação (4 e 6 anos)

• Adicional para alunos com melhor desempenho

• Progresso impressionante com alunos de baixo rendimento

• Progresso impressionante com alunos de baixo rendimento

• Questionário aos pais, alunos e professores

• Presença dos alunos

• Resultados nas provas finais por áreas

• Aprovação em cursos

Escolas de ensino fundamental

Escolas de ensino médio

20

• Observações gerais das escolas de São Paulo

– Caracteristicas em comum com Nova York

– Diferenças notáveis

• Breve apresentação do sistema de “accountability” de Nova York

• Análises da avaliação das escolas no estado de São Paulo

– Melhores práticas

– Oportunidades para melhorar

– Recomendações

O quanto estamos aprendendo?

21

O SARESP é um bom instrumento para medir a aprendizagem dos alunos

• Escala de Desempenho: Utiliza a Teoria de Resposta aoItem (TRI) para assinalar um ponto a cada aluno em cadamatéria baseado numa escala de 0 a 500, com a maioriados alunos entre 125 e 400

• Níveis de Proficiência: Em cada disciplina e série, a escala se divide em quatro categorias

• Avançado

• Adequado

• Básico

• Abaixo do Básico

22

IDESP combina dois objetivos de uma maneira simples: melhora do desempenho com melhora da taxa de aprovação

• O IDESP baseia-se em dois indicadores:

• Indicador de Desempenho: Baseado nos níveis de proficiência dos alunos nas provas do SARESP de Língua Portuguesa e Matemática

• Indicador de Fluxo: Taxa de Aprovação dos alunos

IDESP = Indicador de Desempenho X Indicador

de Fluxo

23

IDESP tem um sistema bem pensado de metas de curto e longo prazo

Fonte: Nota técnica de IDESP, Secretaria Estuadual de Educação do Estado de São Paulo

• Metas de Longo Prazo (2030): A Secretaria de Educação do Estado de São Paulo (SEE-SP) estabeleceu metas de longo prazo baseado nos resultados dos países desenvolvidos da OCDE.

• Metas para cada escola: A SEE-SP estabeleceu metas intermediárias para cada escola, baseado na distância entre seu resultado atual e a meta de longo prazo

24

O cálculo do IDESP é relativamente simples, mas a explicação fornecida pelo Estado poderia ser melhor

O cálculo de Indicador de Desempenho (ID) se baseia nos níveis de proficiência• Av = porcentagem de alunos no nível avançado• Ad = porcentagem de alunos no nível adequado• B = porcentagem de alunos no nível básico• AB = porcentagem de alunos no nível abaixo de básico

IDjs = (10 x Av) + (6,66 x Ad) + (3,33 x B) + (0 x AB)

A. Fórmula de dois passos descrita na Nota Técnica do IDESP

Passo 1: Calcular Desfasagem Passo 2: Calcular Indicador de Desempenho

B. Formula equivalente de um passo

Nota: outra formula para “B” sería IDjs = (10 x Av) + (20/3 x Ad) + (10/3 x B) + (0 x AB)

25

IDESP é reforçado pelo programa de bônus por resultado

22.3%

4.6%

0%

5%

10%

15%

20%

25%

Estado de São Paulo Cidade de Nova York

Por

cent

agem

de

salá

rio m

édio

anu

al

Bônus máximo com porcentagem de salário médio do professor

Nota: Bônus de Nova York é US$3,000 por professor dado as 200 escolas no projeto piloto que alcancam suas metas do Progress Report. Bônus de São Paulo é até 2,9 salarios mensais adicionais aos professores cuja escola melhora no IDESP.Fonte: salarios de professores baseado no PNAD 2008 para São Paulo e o Bureau of Labor Statistics May 2008 Occupational Employment Statistics survey para Nova York

26

• Observações gerais das escolas de São Paulo

– Características em comum com Nova York

– Diferenças notáveis

• Breve apresentação do sistema de “accountability” de Nova York

• Análises da avaliação das escolas no Estado de São Paulo

– Melhores práticas

– Oportunidades para melhorar

– Recomendações

O quanto estamos aprendendo?

27

Mudança do IDESP de 2007 a 2008

0

1

2

3

4

5

6

7

8

9

10

0 1 2 3 4 5 6 7 8 9 10

IDESP 2007

IDES

P 20

08

Nota: inclui cada nível de uma escola como um ponto separado Fonte: Boletim IDESP

0

1

2

3

4

5

6

7

8

9

10

0 1 2 3 4 5 6 7 8 9 10

IDESP 2008

IDES

P 20

09

28

Mudança do IDESP de 2008 a 2009

Nota: inclui cada nível de uma escola como um ponto separado Fonte: Boletim IDESP

Recomendação: Entrevistar pessoal da escola para identificar melhores práticas e revisar microdados para identificar debilidades potenciais na confiabilidade dos indicadores

29

Recomendação: incorporar a porcentagem de alunos que fazem o SARESP no cálculo do IDESP, potencialmente multiplicando o IDESP por esta porcentagem

Não existe incentivo para que os alunos fracos façam a prova

Fonte: Boletim SARESP 2008; Censo Escolar 2008; Entrevista com pesquisador

0

50

100

150

200

250

40% 50% 60% 70% 80% 90% 100%

93%85%

78%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

5th Grade 9th Grade 12th Grade

Porcentagem de alunos que fazem a prova(SARESP 2008)

Porcentagem de alunos que fazema prova por escola

(SARESP 2008, 8a série)

“Tinha muita escola que mandavam só os bons, e se só mandam os bons, o IDESP é melhor. O grande falha do IDESP é que não considera o número de alunos que faz a prova”

-- Diretora de Escola, Estado de São Paulo (Abril, 2010)

4a série 8a série 3o ano (EM)

30

“O SARESP não é ferramenta para melhorar a educação...Nós não temos acesso aos resultados dos alunos”

- Professor de Ensino Médio, Estado de São Paulo

Os resultados dos alunos no SARESP não são entregues as escolas, limitando seu uso na melhoria da educação

Recomendação: fazer um plano para entregar os resultados individuais do SARESP para as escolas e pais

“Quais são os alunos que estão abaixo do básico; nós não sabemos. Que erraram; nós não sabemos...Como é que vou trabalhar com os alunos este ano se eu não sei o que erraram”

- Coordenadora Pedagógica, Estado de São Paulo

31

Pais: Leia as frases abaixo e diga se concorda ou não com as afirmações:

Comunicação com os pais• 2.1. Eu recebo informação da escola sobre o progresso de meu filho.• 2.11. A escola sempre faz reuniões com os pais para informar sobre os filhos.

Envolvimento dos pais• 2.17. Quando há algum problema, sou rapidamente chamado na escola.• 2.19. A escola dá importância para a opinião dos pais.

Segurança dos alunos• 2.3. Meu filho está seguro na escola.• 2.16. Meu filho se sente seguro na escola.• 2.23. Esta escola tem muitos problemas de comportamento dos alunos.

Opinião sobre os professores• 2.4. Os professores da escola têm respeito pelos alunos.• 2.12. Eu considero que os professores são muito capazes.

Opinião sobre a escola• 2.15. Eu gostaria que meu filho estudasse em outra escola.• 2.24. Se eu pudesse pagar, meu filho iria para uma escola particular.

O questionário do SARESP dirigido aos pais, faz muitas perguntas que poderiam esclarecer muito sobre o ambiente escolar

Fonte: SARESP 2008 Questionário dos pais

32

O questionário poderia fornecer informações valiosas para avaliar o trabalho do sistema escolar

Fonte: SARESP 2008 Questionário dos pais

48%40%

57%

30%

36%41%

38%

23%

17% 19%5%

48%

58%

32%

10%

0%10%20%30%40%50%60%70%80%90%

100%

2.1. Eu receboinformação daescola sobre oprogresso de

meu filho.

2.19. A escoladá importânciapara a opinião

dos pais.

2.3. Meu filhoestá seguro na

escola.

2.12. Euconsidero queos professores

são muitocapazes.

2.15. Eugostaria que

meu filhoestudasse emoutra escola.

Por

cent

agem

de

Res

pond

ente

s

Concordo plenamente

Concordo em parte

Discordo

1,174,660 1,119,737 1,130,132 1,195,661 1,136,501

33

O questionário poderia fornecer aos pais, professores e alunos uma perspectiva interna da qualidade das escolas

Fonte: SARESP 2008 Questionario dos pais

58%

48%

40%

57%

30%

77%

61%

69% 71%

9%

27% 29%

22%

37%43%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

2.1. Eu receboinformação daescola sobre oprogresso de

meu filho.

2.19. A escoladá importânciapara a opinião

dos pais.

2.3. Meu filhoestá seguro na

escola.

2.12. Euconsidero que osprofessores sãomuito capazes.

2.15. Eu gostariaque meu filhoestudasse emoutra escola.

Por

cent

agem

que

Con

cord

am P

lena

men

te

Est

ado

de S

ão P

aulo

Esc

ola

A

Esc

ola

B

Recomendação: publicar resultados do questionário de pais, professores, e alunos, agregando ao nível da escola para manter a confidencialidade

34

IDESP Simulação para NYC: Na média, escolas com melhores notas no Boletim de Progresso apresentariam maiores resultados no IDESP simulado em 2009

4.5

5.25.7

6.1

0

1

2

3

4

5

6

7

D C B A

N* = 2 11 138 886

IDE

SP

Sím

ulad

o (2

009)

* inclui Ensino Fundamental I (4ª série) e Ensino Fundamental II (8ª série) separadamente, então escolas com ambas as séries podem aparecer duas vezes no gráfico.

IDESP Simulação para NYC: Entretanto, existiu muita variação sobre essas tendências

* inclui Ensino Fundamental I (4ª série) e Ensino Fundamental II (8ª série) saparadamente, então escolas com ambas as séries podem aparecer duas vezes no gráfico.

R = 0.20

0

20

40

60

80

100

120

140

2 3 4 5 6 7 8 9 10

IDESP Simulado (2009)

Res

ulta

do n

o B

olet

im d

e Pr

ogre

sso

(200

9)

36

1. Os dois instrumentos medem coisas diferentes

• O Boletim de Progresso inclui o questionário de pais como 15% da nota

• O IDESP inclui a taxa de promoção dos alunos

2. O Boletim de Progresso inclui mais alunos

• IDESP só inclui a série final de um ciclo (ex. 4a para ensino fundamental e 8a para ensino fundamental II)

• O Boletim de Progresso inclui todos os alunos que fazem a prova (anos 3 a 5 para ensino fundamental I e anos 6 a 8 para ensino fundamental II)

3. 75% do Boletim de Progresso é baseado numa comparação com escolas similares; o IDESP está calculado igual para todas as escolas do Estado

4. O Boletim de Progresso mede o progresso individual dos alunos; a mudança no IDESP compara o rendimento de um grupo de alunos com outro grupo na mesma série no ano seguinte

Hipóteses para explicar a diferença entre o Boletim de Progresso e o IDESP

Recomendações: Considerar um “Adicional de Qualidade” para:• Rendimento comparado entre escolas semelhantes• Progresso individual dos alunos

37

Continuar desenvolvendo ferramentas para ajudar diretores, professores, e outros profissionais das escolas a fazerem melhor seu trabalho

• Ferrementa em Excel que permite que a escola simule o desempenho na prova do SARESP e na promoção do alunos, observando o impacto destes no alcance das metas do IDESP.

IDESP Modelo

Escola:

Lingua Portuguesa 2009 Atual* 2010 Proj. 2009 Atual* 2010 Proj. 2009 Atual* 2010 Proj. EF1 EF2 EMAvançado (AV) 4% 4% 1% 1% 0% 0% IDESP 2009 2.93 2.08 0.79Adequado (AD) 21% 21% 11% 11% 17% 17% Meta 2010 3.09 2.21 0.88

Básico (B) 48% 48% 56% 56% 31% 31% Proj 2010 2.88 2.06 0.79Abaixo do Básico (AB) 26% 27% 32% 32% 52% 52%

Total 99% 100% 100% 100% 100% 100%

Indicador de Desempenho (LP) 3.4615 3.400 2.7451 2.700 2.1839 2.167

MatimáticasAvançado (AV) 2% 2% 1% 1% 0% 0%Adequado (AD) 14% 14% 4% 4% 2% 2%

Básico (B) 48% 48% 58% 58% 19% 19%Abaixo do Básico (AB) 36% 36% 37% 37% 79% 79%

Total 100% 100% 100% 100% 100% 100%

Indicador de Desempenho (Mat) 2.7677 2.733 2.3039 2.300 0.7471 0.767

Taixa de Promoção 94.0% 94.0% 82.4% 82.4% 54.0% 54.0%

IDESP 2.93 2.88 2.08 2.06 0.79 0.79

Meta para 2010 3.09 2.21 0.88

% de meta alcançada 0% 0% 2%

* No cálculo atual de 2009, os porcentagems em cada nível estão com uma grau de precisão maior de o que esta disponivél aqui Isso resulta que as sumas das porcentagems pode não igualar 100% por causa de "rounding"

Ensino Fundamental I Ensino Fundamental II Ensino Médio

2.93

2.08

0.79

3.09

2.21

0.88

2.88

2.06

0.79

0.00

0.50

1.00

1.50

2.00

2.50

3.00

3.50

EF1 EF2 EM

IDES

P

IDESP 2009Meta 2010Proj 2010

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Entendo como o IDESP estárelacionado ao bônus por

resultado

Por

cent

agem

de

Res

pond

ente

s

n = 37

Concordo plenamente

Concordo

Discordo

Discordo plenamente

Pesquisa com Professores Coordenadores (Abril, 2010) IDESP Modelo

38

• Observações gerais das escolas de São Paulo

– Caracteristicas em comum com Nova York

– Diferenças notáveis

• Breve apresentação do sistema de “accountability” de Nova York

• Análises da avaliação das escolas no estado de São Paulo

– Melhores práticas

– Oportunidades para melhorar

– Recomendações

O quanto estamos aprendendo?

39

• Curto prazo

• Simplificar a explicação do IDESP e implementar um programa ativo de capacitação para que o pessoal das escolas entendam o cálculo

• Estudar os grandes saltos no IDESP para identificar melhores práticas e/ou debilidades potenciais na confiabilidade dos indicadores

• Incorporar a porcentagem de alunos que fazem o SARESP no cálculo do IDESP

• Publicar resultados do questionário de pais, professores e alunos, agregando resultados a nivel de escola para manter a confidencialidade

• Longo prazo

• Fazer um plano para entregar os resultados individuais do SARESP para as escolas e pais

• Considerar um “Adicional de Qualidade” para rendimento comparado entre escolas semelhantes e progresso individual dos alunos

• Continuar desenvolvendo ferramentas para ajudar diretores, professores coordenadores, professores, e outros profissionais a realizarem melhor seu trabalho

Recomendações

40

Thank you!

Jesse Margolis [email protected]