oficina de apropriaÇÃo de resultados 2011 · programas de avaliação sobre o rendimento escolar...
TRANSCRIPT
O CAEd – Centro de Políticas Públicas e Avaliação daEducação, da UFJF, é uma instituição que elabora e desenvolveprogramas de avaliação sobre o rendimento escolar dos alunosde escola públicas, promovidos pelas Secretarias Estaduais deEducação. Também cria e promove cursos de formação,qualificação e aprimoramento aos profissionais da Educaçãode diversos Estados do Brasil, além de desenvolver softwarepara a gestão de escolas públicas (como por exemplo, osprojetos SisLame e SIMADE) com o objetivo de modernizar agestão educacional.
O CAEd também presta serviços de apoio para odesenvolvimento de projetos educacionais promovidos poriniciativas privadas, a exemplo de algumas ações da FundaçãoRoberto Marinho, do Instituto Unibanco e da Fundação OiFuturo.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
AVALIARÉ refletir sobre uma determinada realidade, a partir de
dados e informações, e emitir um julgamento que possibilite uma ação.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Por que avaliar um sistema educacional
Obter informações sobre o nível dedesenvolvimento das habilidadesdos estudantes com vistas àimplementação de políticas públicase à organização dos processos deensino e de aprendizagem.
Objetivo
• Analisar e interpretar os resultados do SAEPIpara (re)planejamento das ações pedagógicasimplementadas em sala de aula, a seremdefinidas pelas escolas envolvidas no processode avaliação.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Algumas características do SAEPI
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
•Quais são os objetivos do Sistema de Avaliação Educacional do Piauí?
• O que o SAEPI avaliou em sua edição de 2011?
• Você acha que os resultados dessa avaliação podem ser utilizados para a melhoria da educação em nossa escola? Se sim, como?
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Alguns objetivos do SAEPI• Avaliar as escolas estaduais e municipaiscom relação às habilidades e competênciasdesenvolvidas em Língua Portuguesa eMatemática;•Desempenho escolar;• Análise dos resultados possibilitaintervenção pedagógica;• Dados do SAEPI devem fazer parte daproposta de melhoria da qualidade daeducação ofertada pela escola.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
O CAEd e o SAEPI
Nessas avaliações, utilizam-se instrumentoschamados de testes de proficiência e tambémquestionários contextuais aplicados aosestudantes, professores e diretores dasunidades escolares, com o objetivo de oferecerà sociedade uma medida do desempenhoescolar.
11
Objetivos da oficina
Agora, vamos analisar os descritores da matriz de referência que norteiam a elaboração dos itens presentes nos testes de Matemática do SAEPI
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Como são construídos os testes de proficiência que permitem medir o desempenho escolar?
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Matriz de Referência para Avaliação
Elemento base de origem dos testes utilizados no SAEPI.Garante legitimidade e transparência à avaliação.
É formada por um conjunto de descritores que, agrupadosem tópicos/temas, apresentam as habilidades consideradasbásicas e possíveis de serem aferidas por meio do instrumentoutilizado em avaliações em larga escala.
Não abarca todo currículo escolar. Por isso, não pode serconfundida com parâmetros curriculares, Base CurricularComum - BCC, procedimentos ou estratégias de ensino ouOrientações Teórico-Metodológicas - OTM, nem com o conteúdoa ser trabalhado pelo professor em sala de aula.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
• Constitui um parâmetro de orientação;
• Apresenta o objeto da avaliação;
• Caráter de universalidade;
• Orienta a elaboração de itens.
Como a Matriz de Referência dá origem aos testes?
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Ressaltamos que as matrizes dereferência não englobam todo ocurrículo escolar.
Um recorte é feito com base no que épossível aferir por meio do tipo deinstrumento de medida utilizado naavaliação e que, ao mesmo tempo, érepresentativo do que está contempladonos currículos.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Algumas interpretações teóricas
Competências e Habilidades
Competências referem-se às diferentes modalidadesestruturais da inteligência que compreendem determinadasoperações que o sujeito utiliza para estabelecer relações com eentre os objetos físicos, conceitos, situações, fenômenos epessoas.
As habilidades instrumentais referem-se especificamente aoplano do saber fazer e decorrem, diretamente, do nível estruturaldas competências já adquiridas e que se transformam emhabilidades.
PERRENOUD, P. Práticas pedagógicas, profissão docente e formação. Lisboa: Dom Quixote, 1993
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
A Matriz de Matemática está estruturada em Temas/tópicos:
I − Espaço e Forma;II – Grandezas e Medidas;III – Números e Operações / Álgebra e Funções;IV – Tratamento da Informação.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Destes temas selecionados:Espaço e Forma, Grandezas e Medidas, Números e Operações e Tratamento da
Informação
temos cada um deles representandoconteúdos com base nos quais sãoelaborados descritores que expressamhabilidades em Matemática.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Aspectos a considerar sobre Descritores
• Os descritores têm origem na associação entre osconteúdos curriculares e as operações mentaisdesenvolvidas pelo aluno que se traduzem em certashabilidades.
• Constituem uma sumária “descrição” das habilidades esperadas ao final de cada período escolar avaliado.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Simulação de Pesquisas
Elaboração e aplicação de
questionários
Interpretação dos resultados da
Pesquisa
Tabelas
Gráficos
Resolver problemas envolvendo informações
apresentadas em Gráficos e Tabelas
Ler, selecionar e interpretar
informações em Gráficos
Construção de Tabelas
Construção de Gráficos
Conteúdo: Probabilidade e EstatísticaExemplo:
•Descreve cada uma das habilidades da Matriz
• Avalia apenas uma única habilidade
• Representa uma subdivisão de acordo com o conteúdo, competências de área e habilidades.
• Agrupa as habilidades passíveis de avaliação em um teste de proficiência.
Matriz Tema Tópico
DescritorItem
Das Matrizes aos itens dos testes de proficiência
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
O QUE É UM ITEM?
• É uma questão do teste de larga escala.• Avalia uma única habilidade, portanto o item é
unidimensional.• Obtém um resultado por estudante, que
permite avaliar as hipóteses levantadas por ele.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Considerar
Grau de Dificuldade – diz respeitoà adequação entre a formulaçãodo item e a capacidade deresposta do estudante.
Discriminação – capacidade do itemde distinguir estudantes comdiferentes níveis de habilidade.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Comando
Distratores
Gabarito
O ITEM E SUAS PARTES
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Suporte
- enfocar uma única situação-problema;- incluir no enunciado uma figura, um
recorte de jornal ou revista, uma fotografia,uma elaboração;
- redigir o enunciado de forma direta e afirmativa;
- utilizar vocabulário adequado ao nível de escolaridade do estudante;
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
- excluir qualquer referência discriminatória quanto a etnia;
religião, gênero ou orientação sexual;- observar as normas da ABNT na
apresentação de textos e figuras;- não utilizar “pegadinhas” nem “dicas”;- não utilizar termos como “sempre”,
“nunca”, “todo”, “totalmente”.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
estar diretamente relacionada a um único descritor da Matriz de Referência;
formular de maneira positiva;
a tarefa desejada em conexão com o problema proposto.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Quanto à Redação
Enunciado: deve ser claro, preciso e conciso.
Gabarito: exclusivamente um.
Distratores: devem ser plausíveis.
Suportes: devem conter informações relevantes.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Atividade 1: Os Itens do Teste
Resolvam os itens.
Identifiquem a habilidade avaliadapelo item em análise.
Elaborem hipóteses cognitivas paraos distratores (alternativas erradas).
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Acertos por descritor – SAEPI – MT 3EM -ESTADUAL
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
25,1
34,6
41,9
20,9
35,4
18,5
37,2
48,1
34,6
30,9
50,5
24,222,1
46,3
41,3
33,134,3
43,9
38,8
33,9
23,8
46,8
23,024,9
42,1
33,9
16,0
21,1
34,7
43,3
29,6
14,6
23,2
44,8
23,2
66,0
13,1
60,5
9,7
14,5
29,8
12,4
29,1
62,6
54,0
69,4
28,6
36,7
0,0
10,0
20,0
30,0
40,0
50,0
60,0
70,0
80,0
D01
D02
D03
D04
D04
_9EF
D05
D05
_9EF
D06
D07
D08
D08
_9EF
D09
D10
D11
D12
D13
D14
D15
D15
_9EF
D16
D17
D17
_9EF
D18
D18
_9EF
D19
D20
D21
D21
_9EF
D22
D22
_9EF
D23
D24
D25
D25
_9EF
D26
D26
_9EF
D27
D27
_9EF
D29
D30
D31
D32
D33
D33
_9EF
D34
D35
D35
_9EF
Perc
entu
al T
otal
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Acertos por descritor – SAEPI – MT 3EM - ESTADUAL
25,1
34,6
41,9
20,9
35,4
18,5
37,2
48,1
34,6
30,9
50,5
24,222,1
46,3
41,3
33,134,3
43,9
38,8
33,9
23,8
46,8
23,024,9
42,1
33,9
16,0
21,1
34,7
43,3
29,6
14,6
23,2
44,8
23,2
66,0
13,1
60,5
9,7
14,5
29,8
12,4
29,1
62,6
54,0
69,4
28,6
36,7
0,0
10,0
20,0
30,0
40,0
50,0
60,0
70,0
80,0
D01
D02
D03
D04
D04
_9EF
D05
D05
_9EF
D06
D07
D08
D08
_9EF
D09
D10
D11
D12
D13
D14
D15
D15
_9EF
D16
D17
D17
_9EF
D18
D18
_9EF
D19
D20
D21
D21
_9EF
D22
D22
_9EF
D23
D24
D25
D25
_9EF
D26
D26
_9EF
D27
D27
_9EF
D29
D30
D31
D32
D33
D33
_9EF
D34
D35
D35
_9EF
Perc
entu
al T
otal
Resolver problema utilizando propriedades dos polígonos (soma de seus ângulos internos,número de diagonais, cálculo da medida de cada ângulo interno nos polígonos regulares).
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Acertos por descritor – SAEPI – MT 3EM -ESTADUAL
25,1
34,6
41,9
20,9
35,4
18,5
37,2
48,1
34,6
30,9
50,5
24,222,1
46,3
41,3
33,134,3
43,9
38,8
33,9
23,8
46,8
23,024,9
42,1
33,9
16,0
21,1
34,7
43,3
29,6
14,6
23,2
44,8
23,2
66,0
13,1
60,5
9,7
14,5
29,8
12,4
29,1
62,6
54,0
69,4
28,6
36,7
0,0
10,0
20,0
30,0
40,0
50,0
60,0
70,0
80,0
D01
D02
D03
D04
D04
_9EF
D05
D05
_9EF
D06
D07
D08
D08
_9EF
D09
D10
D11
D12
D13
D14
D15
D15
_9EF
D16
D17
D17
_9EF
D18
D18
_9EF
D19
D20
D21
D21
_9EF
D22
D22
_9EF
D23
D24
D25
D25
_9EF
D26
D26
_9EF
D27
D27
_9EF
D29
D30
D31
D32
D33
D33
_9EF
D34
D35
D35
_9EF
Perc
entu
al T
otal
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Acertos por descritor – SAEPI – MT 3EM - ESTADUAL
25,1
34,6
41,9
20,9
35,4
18,5
37,2
48,1
34,6
30,9
50,5
24,222,1
46,3
41,3
33,134,3
43,9
38,8
33,9
23,8
46,8
23,024,9
42,1
33,9
16,0
21,1
34,7
43,3
29,6
14,6
23,2
44,8
23,2
66,0
13,1
60,5
9,7
14,5
29,8
12,4
29,1
62,6
54,0
69,4
28,6
36,7
0,0
10,0
20,0
30,0
40,0
50,0
60,0
70,0
80,0
D01
D02
D03
D04
D04
_9EF
D05
D05
_9EF
D06
D07
D08
D08
_9EF
D09
D10
D11
D12
D13
D14
D15
D15
_9EF
D16
D17
D17
_9EF
D18
D18
_9EF
D19
D20
D21
D21
_9EF
D22
D22
_9EF
D23
D24
D25
D25
_9EF
D26
D26
_9EF
D27
D27
_9EF
D29
D30
D31
D32
D33
D33
_9EF
D34
D35
D35
_9EF
Perc
entu
al T
otal
Resolver problema com números racionais envolvendo as operações (adição, subtração, multiplicação, divisão, potenciação).
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
25,1
34,6
41,9
20,9
35,4
18,5
37,2
48,1
34,6
30,9
50,5
24,222,1
46,3
41,3
33,134,3
43,9
38,8
33,9
23,8
46,8
23,024,9
42,1
33,9
16,0
21,1
34,7
43,3
29,6
14,6
23,2
44,8
23,2
66,0
13,1
60,5
9,7
14,5
29,8
12,4
29,1
62,6
54,0
69,4
28,6
36,7
0,0
10,0
20,0
30,0
40,0
50,0
60,0
70,0
80,0
D01
D02
D03
D04
D04
_9EF
D05
D05
_9EF
D06
D07
D08
D08
_9EF
D09
D10
D11
D12
D13
D14
D15
D15
_9EF
D16
D17
D17
_9EF
D18
D18
_9EF
D19
D20
D21
D21
_9EF
D22
D22
_9EF
D23
D24
D25
D25
_9EF
D26
D26
_9EF
D27
D27
_9EF
D29
D30
D31
D32
D33
D33
_9EF
D34
D35
D35
_9EF
Perc
entu
al T
otal
Acertos por descritor – SAEPI – MT 3EM -ESTADUAL
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
22,4
36,8
39,5
24,3
30,0
20,024,0
41,6
24,0
28,8
45,0
19,6
25,5
46,0
38,239,0
30,4
43,6
37,3
27,6
22,7
34,7
22,8
29,4
34,931,8
17,9 18,0
32,0
40,4
34,2
13,0
19,6
40,2
23,1
60,0
13,1
55,9
2,0
10,5
25,5
8,1
26,7
57,8
51,0
64,1
32,033,9
0,0
10,0
20,0
30,0
40,0
50,0
60,0
70,0
D01
D02
D03
D04
D04
_9EF
D05
D05
_9EF
D06
D07
D08
D08
_9EF
D09
D10
D11
D12
D13
D14
D15
D15
_9EF
D16
D17
D17
_9EF
D18
D18
_9EF
D19
D20
D21
D21
_9EF
D22
D22
_9EF
D23
D24
D25
D25
_9EF
D26
D26
_9EF
D27
D27
_9EF
D29
D30
D31
D32
D33
D33
_9EF
D34
D35
D35
_9EF
Perc
entu
al T
otal
Acertos por descritor – SAEPI – MT 3EM -MUNICIPAL
Objetivos da oficina
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Nessa etapa da nossa oficina, iremos:
• apresentar a descrição dos Intervalos de Proficiênciade Matemática e a sua relação com as Matrizes deReferência para a Avaliação.
• interpretar os Intervalos de Proficiência de Matemáticaconsiderando os agrupamentos de seus intervalos(Padrões de Desempenho Estudantil).
• analisar e interpretar pedagogicamente os resultados
Formas de Apresentação dos Resultados
Proficiência média – médias comparadas
Participação
Distribuição do percentual de alunos por nível de proficiência e padrão de desempenho
Evolução do percentual de alunos por padrão de desempenho
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Os padrões de desempenho estudantil são os balizadores dos diferentes graus derealização educacional alcançados pela escola. Por meio deles é possível analisar adistância de aprendizagem entre o percentual de estudantes que se encontra nosníveis mais altos de desempenho e aqueles que estão nos níveis mais baixos. Adistância entre esses extremos representa, ainda que de forma alegórica, o abismoexistente entre aqueles que têm grandes chances de sucesso escolar e,consequentemente, maiores possibilidades de acesso aos bens materiais, culturais esociais; e aqueles para os quais o fracasso escolar e a exclusão social podem sermera questão de tempo, caso a escola não reaja e promova ações com vistas àpromoção da equidade.
PADRÕES DE DESEMPENHO ESTUDANTIL
Padrões de desempenho
estudantil
Estabelecimento e monitoramento das metas de qualidade
educacional
Caracterização do desempenho escolar
Grau de realização das ações
educacionaisPolíticas públicas
voltadas à promoção da
equidade
Identificação do percentual de
alunos em risco pedagógico (evasão,
reprovação ou abandono)
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Vamos observar a escala...Vamos localizar as proficiências médias na escala de proficiência?
Como você interpreta a posição de “sua” escola?
Agora observe o percentual de participação da “sua” Regional e “sua “ Escola.Quantos alunos não participaram da avaliação nesta Regional? E na escola?
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Se 10 fosse o número de estudantes que NÃO participaram da avaliação na
ESCOLA? Como seria esse percentual?
92,4%
Participação
De que forma você acha que a participação pode interferir nos resultados de nossa escola?
Pense em aspectos positivos e negativos!
.
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Quais são as habilidades desenvolvidas por aproximadamente 58,8% dos estudantes?
E por 27,5% dos estudantes? E por 10,8% dos estudantes? E nos 2,9%?
De acordo com o número de alunos que participaram da avaliação da escola, calcule:Quantos alunos estão em cada Padrão de Desempenho
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Cálculo... variação proporcional direta
? = x102. 58,8 = 100.x
5997,6 = 100.x5997,6/100 = x
59,976 = xX= 60
Número de Alunos Percentual102 100%? 58,8%
117
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
122
Como você interpreta a posição de “sua” escola em relação ao resultado do município?
Vamos localizar as proficiências médias na escala de proficiência?
Qual é a quantidade de estudantes do GRE em cada padrão de desempenho?
Qual é o percentual de estudantes do GRE que estão ABAIXO DO BÁSICO, BÁSICO, ADEQUADO e AVANÇADO?
Qual é a quantidade de estudantes da “sua” escola em cada padrão de desempenho?
Qual é o percentual de estudantes da “sua” ESCOLA que estão ABAIXO DO BÁSICO, BÁSICO, ADEQUADO e AVANÇADO?
Como você interpreta a participação de alunos no MUNICÍPIO e em “sua” escola? Essa participação é representativa?
Qual é o percentual de estudantes da Escola nos intervalos anteriores ao padrão de desempenho “Adequado”? E na “sua” escola?
Retomando os conceitos
• Vocês viram que, na escala de proficiência,
existem diferentes cores. O que isso quer dizer?
• Quais são os intervalos, na escala de proficiência,
para cada padrão de desempenho?
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
De Rede: Planejamento e execução de políticas públicas;
Criação de metas de qualidade e equidade educacionais;
Implementação de medidas de responsabi-lização;
Políticas de incentivos diretos ou indiretos;Ações de formação continuada de
professores.
De Escola: Elaboração do projeto da escolaMonitoramento da qualidade de ensino Subsídio para avaliação institucional
Uso dos Resultados1. Gestor
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Uso dos Resultados2 . Professor
• Intervenção pedagógica
• Elaboração de projetos especiais
• Foco nos estudantes com dificuldades
• Ações de reforço escolar
• Planejamento das ações de sala de aula
• Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Uso dos Resultados3. estudante
• Acompanhamento individual do desempenho escolar pelos estudantes e seus familiares
• Informações sobre a qualidade dos serviços educacionais oferecidos
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
Quais ações pedagógicas podemos implementar em
sala de aula para o desenvolvimento de habilidades
nesses grupos de estudantes?”
OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011
OFICINA DE APROPRIAÇÃO
DE RESULTADOS 2011
Carolina de Lima Gouvêa