PROVA FLORIPA 2015
PROVA FLORIPA 2015
Avaliação do Desempenho Escolar
PROVA FLORIPA 2015
2
O que é avaliar?
PROVA FLORIPA 2015PROVA FLORIPA 2015
Como funciona a avaliação em larga escala?
PROVA FLORIPA 2015
4
Breve Histórico da Avaliação
• A avaliação de desempenho é uma preocupação desde o final dos anos 1980.
• No início dos anos 1990, já havia uma forte preocupação em avaliar os alunos assim que eles completassem as etapas do Ensino Fundamental, anos iniciais (4ª/5º) e anos finais (8ª/9º).
PROVA FLORIPA 2015
5
Breve Histórico da Avaliação
PROVA FLORIPA 2015
6
Breve Histórico da Avaliação
PROVA FLORIPA 2015
7
Breve Histórico da Avaliação
PROVA FLORIPA 2015
8
Breve Histórico da Avaliação
PROVA FLORIPA 2015
9
Sistemas próprios de Avaliação
Por que criar um sistema de avaliação do município?
Constituição Federal de 1988:Art. 205. A educação, direito de todos e dever do Estado e da família (...)
LDB, 9394/96:Art. 9º. A união incumbir-se-á de:(...)V - coletar, analisar e disseminar informações sobre a educação; VI - assegurar processo nacional de avaliação do rendimento escolar no ensino fundamental, médio e superior, em colaboração com os sistemas de ensino, objetivando a definição de prioridades e a melhoria da qualidade do ensino.
Meta 7 PNE 2011-2020 - fomentar a qualidade da educação básica em todas as etapas e modalidades, com melhoria do fluxo escolar e da aprendizagem (...)7.32) fortalecer, com a colaboração técnica e financeira da União, em articulação com o sistema nacional de avaliação, os sistemas estaduais de avaliação da educação básica, com participação, por adesão, das redes municipais de ensino, para orientar as políticas públicas e as práticas pedagógicas, com o fornecimento das informações às escolas e à sociedade.
PROVA FLORIPA 2015PROVA FLORIPA 2015
PROVA FLORIPA 2015Contribuição da Avaliação em Larga Escala
para a Educação
PROVA FLORIPA 2015
12
Etapas básicas dos programas de avaliação
PROVA FLORIPA 2015
Diagnóstica Formativa Somativa
Pequena escala Larga escala
Tipos de Avaliação
PROVA FLORIPA 2015
Provas abertasProvas objetivas
Observação/RegistroPortfólio
TEORIA CLÁSSICA TEORIA DA RESPOSTAAO ITEM
Avaliação Interna/Escola
Processo da aprendizagem
AVALIAÇÃO EDUCACIONAL
Avaliação Externa/Sistemas
Testes de proficiência Questionários contextuais
Desempenho dos alunos
Avaliação Interna X Avaliação Externa
PROVA FLORIPA 2015PROVA FLORIPA 2015
Como é calculado e analisado o desempenho dos estudantes nas avaliações em larga
escala?
PROVA FLORIPA 2015
16
ANÁLISE DE DESEMPENHO
Um dos resultados mais importantes de uma avaliação educacional é a medida do desempenho dos estudantes.
Existem, principalmente, duas formas de produzir essa medida:
1. Teoria Clássica dos Testes (TCT)2. Teoria de Resposta ao Item (TRI)
PROVA FLORIPA 2015
17
1. Teoria Clássica dos Testes (TCT)
• o resultado via TCT é calculado de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor em sala de aula.
• as análises realizadas a partir da TCT têm como foco o escore obtido no teste. Assim, um estudante que responde a uma série de itens e recebe um ponto por cada item corretamente respondido, obtém, ao final, um escore total, que é a soma destes pontos.
• consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado.
• em 2014, a Prova Floripa utilizou a Teoria Clássica dos Testes (TCT) para analisar e divulgar os resultados de desempenho dos estudantes.
PROVA FLORIPA 2015
18
1. Teoria Clássica dos Testes (TCT)
• quando se utiliza a TCT, espera-se que estudantes obtenham notas mais altas em testes fáceis e notas mais baixas em testes difíceis.
PROVA FLORIPA 2015
19
2. Teoria de Resposta ao Item (TRI)
• a TRI é um conjunto de modelos matemáticos no qual a probabilidade de acerto a um item é calculada em função da proficiência do estudante.
• a proficiência é uma medida que representa um determinado traço latente (aptidão) de um estudante.
• o conhecimento de um estudante em determinada disciplina é uma aptidão que pode ser medida por meio de itens de testes.
• leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes.
PROVA FLORIPA 2015
20
2. Teoria de Resposta ao Item (TRI)
• a proficiência resulta da quantidade e qualidade dos itens respondidos corretamente.
• nos testes de proficiência, os estudantes respondem a itens com um valor/peso diferenciado.
• dois estudantes podem ter acertado o mesmo número de itens e apresentarem proficiências diferentes, devido às características dos itens respondidos corretamente por cada um deles.
PROVA FLORIPA 2015
21
2. Teoria de Resposta ao Item (TRI)
• através dos modelos matemáticos da TRI, é estabelecida a relação entre a proficiência e a probabilidade do estudante acertar o item.
PROVA FLORIPA 2015PROVA FLORIPA 2015Uso da TRI
A TRI nos permite:
Comparar resultados de diferentes avaliações ao longo do tempo.Avaliar com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetê-los a longos testes.
Comparar os resultados entre diferentes etapas, como o início e fim da Educação Básica.
PROVA FLORIPA 2015PROVA FLORIPA 2015
Parâmetros da Teoria de Resposta ao Item (TRI), que é utilizada para correção dos testes aplicados pelo CAEd.
Como os testes são corrigidos?
PROVA FLORIPA 2015
24
2 + 2
2 x 3
2/7³
2² x (√3)
Como são corrigidos os testes
PROVA FLORIPA 2015
25
Como são corrigidos os testes
http://blogs.estadao.com.br/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/
PROVA FLORIPA 2015PROVA FLORIPA 2015
O que é avaliado nas avaliações em larga escala?
PROVA FLORIPA 2015PROVA FLORIPA 2015O que é avaliado nas avaliações em larga escala?
PROVA FLORIPA 2015PROVA FLORIPA 2015A Matriz de Referência
• É formada por um conjunto de habilidades que tem como fonte as diretrizes curriculares da rede avaliada (estado ou município), e é ela que dá origem aos itens que compõem os testes das avaliações em larga escala.
• Pode ser compreendida como um recorte do currículo e, por isso, não deve ser confundida com o mesmo.
• Os conhecimentos selecionados para a composição dos testes são escolhidos por serem considerados essenciais para o período de escolaridade avaliado e por serem passíveis de medição por meio de testes padronizados de desempenho, compostos, na maioria das vezes, apenas por itens de múltipla escolha.
• Há, entretanto, outros conhecimentos necessários ao pleno desenvolvimento do estudante que não se encontram na Matriz de Referência, por não serem compatíveis com o modelo de teste adotado.
PROVA FLORIPA 2015Matriz de Referência
PROVA FLORIPA 2015Matriz de Referência
PROVA FLORIPA 2015
PROVA FLORIPA 2015PROVA FLORIPA 2015Matriz de
Referência
PROVA FLORIPA 2015
ENUNCIADOSUPORTE
COMANDOGABARITO
DISTRATORES
Itens
PROVA FLORIPA 2015Os itens que compõem os testes
• Então quer dizer que...1) Um Item é mais que uma questão comum: ele precisa
atender aos requisitos estatísticos da TRI.2) Os Itens são independentes das características dos
estudantes: sua discriminação, dificuldade e acerto ao acaso não mudam quando os alunos mudam.
3) Cada estudante responde sobre apenas uma pequena parte em relação ao total da Matriz de Referência, e a contribuição de cada um deles é importante para saber a qualidade do ensino no sistema ou rede avaliados.
PROVA FLORIPA 2015Interpretação dos resultados: Escala de
Proficiência
Tem como objetivo traduzir medidas em diagnósticos qualitativos do desempenho escolar.
Apresenta os resultados de um teste de larga escala em uma espécie de régua, onde os valores obtidos são ordenados e categorizados em intervalos ou faixas que indicam o grau de desenvolvimento das habilidades para os estudantes que alcançaram determinado nível de desempenho.
PROVA FLORIPA 2015
PROVA FLORIPA 2015
Exemplo hipotético:
Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer.
Possíveis questões:Você consegue guardar as malas no bagageiro interno de um ônibus?Quando dorme à noite, seus pés ficam do lado de fora?Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados?
Como os valores de proficiência são gerados?
PROVA FLORIPA 2015Exemplo de escala para a altura de uma pessoa
• Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus?
• Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada?
• Item 3 Para conversar com as pessoas, você precisa olhar para baixo?
PROVA FLORIPA 2015
1,5 1,6 1,7 1,8 1,9
Item 1 Item 2 Item 3
Carolina Priscila Leonardo
Exemplo de escala para a altura de uma pessoa
Como as questões estão associadas à altura da pessoa,podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.
PROVA FLORIPA 2015
Vamos, agora, calcular a altura de alguém aqui da sala?
Questionário
PROVA FLORIPA 2015Escala de Proficiência
PROVA FLORIPA 2015
PROVA FLORIPA 2015
A Escala de Proficiência:
Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência.
Isso permite colocar numa mesma “régua” – escala – todas as habilidades.
Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho.
Como os valores de proficiência são gerados?
PROVA FLORIPA 2015Como ler a Escala de Proficiência PROVA FLORIPA 2015
PROVA FLORIPA 2015PROVA FLORIPA 2015Como ler a Escala de Proficiência
PROVA FLORIPA 2015
Ainda não desenvolvera
m a habilidade.
Começam a desenvolver a competência.
Identificam o tema de textos curtos, de
linguagem simples, cujo tema vem
indicado no título.
Identificam o tema de um
texto valendo-se de pistas
textuais.
Identificam o tema a partir da conjugação das
pistas textuais e do conhecimento de mundo do leitor, desde que seja em textos de temática e
gênero familiares.
Identificam o tema em textos
menos familiares que exijam a realização de inferências.
Esses estudantes já consolidaram
essa habilidade.
Como ler a Escala de Proficiência
PROVA FLORIPA 2015
• Uma das formas mais simples e objetivas de se analisar os resultados da avaliação é através dos Padrões de Desempenho.
• Os Padrões de Desempenho são grandes intervalos de valores dentro da Escala de Proficiência.
• Conferem uma interpretação pedagógica mais ampla do resultado dos estudantes, agrupando-os segundo diferenças de aprendizado apresentadas pelos mesmos nos testes.
• Estes padrões representam recortes na Escala de Proficiência, definidos a partir dos objetivos e metas de aprendizagem de cada etapa e disciplina avaliada, de cada rede de ensino.
Como ler e interpretar os resultados de proficiência?
PROVA FLORIPA 2015Características dos Padrões
Os alunos que se encontram no Padrão de Desempenho Abaixo do Básico demonstram um desenvolvimento ainda incipiente das principais habilidades associadas à sua etapa de escolaridade, de acordo com a Matriz de Referência. Nos testes de proficiência, tendem a acertar apenas aqueles itens que avaliam as habilidades consideradas basilares, respondidos corretamente pela maior parte dos alunos e, portanto, com maior percentual de acertos. A localização neste padrão indica carência de aprendizagem em relação ao que é previsto pela Matriz de Referência e aponta, à equipe pedagógica, para a necessidade de planejar um processo de recuperação com esses alunos, a fim de que se desenvolvam em condições de avançar aos padrões seguintes.
Abaixo do Básico Básico
Neste Padrão de Desempenho, os alunos ainda não demonstram o desenvolvimento considerado apropriado das habilidades básicas avaliadas pela Matriz de Referência, para a etapa de escolaridade em que se encontram. Contudo, respondem itens com menor percentual de acerto e que avaliam habilidades mais complexas, quando comparados com o verificado no padrão anterior. A equipe pedagógica deve elaborar um planejamento em caráter de reforço para os alunos que se encontram neste padrão, de modo a consolidaraquilo que eles já aprenderam, sistematizando esse conhecimento e dando suporte para uma aprendizagem mais ampla e densa.
PROVA FLORIPA 2015Características dos Padrões
As habilidades básicas e essenciais para a etapa de escolaridade avaliada, baseadas na Matriz de Referência, são demonstradas pelos alunos que se encontram neste Padrão de Desempenho. Esses alunos demonstram atender às condições mínimas para que avancem em seu processo de escolarização, ao responder aos itens que exigem maior domínio quantitativo e qualitativo de competências, em consonância com o seu período escolar. É preciso estimular atividades de aprofundamento com esses alunos, para que possam avançar ainda mais em seus conhecimentos.
Adequado AvançadoQuando o aluno demonstra, nos testes de proficiência, ir além do que é considerado básicopara a sua etapa escolar, como ocorre com os alunos que se encontram neste Padrão de Desempenho, é necessário proporcionar desafios a esse público, para manter seu interesse pela escola e auxiliá-lo a aprimorar cada vez mais seus conhecimentos. Esses alunos costumam responder corretamente, com base na Matriz de Referência, a um maior quantitativo de itens, englobando aqueles que avaliam as habilidades consideradas mais complexas e, portanto, com menor percentual de acertos, o que sugere a sistematização do processo de aprendizagem de forma consolidada para aquela etapa de escolaridade. Entretanto, há que se considerar que o desenvolvimento cognitivo é contínuo, permitindo aprendizagens constantes, conforme os estímulos recebidos
PROVA FLORIPA 2015
Possibilidades e necessidades de intervenção a partir dos Padrões de Desempenho
47
PROVA FLORIPA 2015
48
Resultados Escola pela TRI: como analisá-los?
Participação
Proficiência Média
Distribuição dos estudantes pelos Padrões de
Desempenho
PROVA FLORIPA 2015
49
Resultados Escola pela TRIProficiência Média da unidade
educativa
Proficiência Média
Distribuição dos estudantes pelos Padrões de
Desempenho
PROVA FLORIPA 2015PROVA FLORIPA 2015As dimensões avaliadas nas avaliações
em larga escala
PROVA FLORIPA 2015PROVA FLORIPA 2015Fatores associados ao desempenho
Fatores Extraescolares
Fatores Intraescolares
Fatores socioeconômicos
Fatores familiares
Fatores individuais
Gestão e administração
Prática pedagógica
Condições de infraestrutura
Qualificação dos profissionais
PROVA FLORIPA 2015Fatores intra e extraescolaresPROVA
FLORIPA 2015
PROVA FLORIPA 2015
53
Língua Portuguesa
Etapa Nº de itens por caderno
Nº de modelos de caderno
1º ano 24 12º ano 24 13º ano 24 1
Matemática
Etapa Nº de itens por caderno
Nº de modelos de caderno
1º ano 24 12º ano 24 13º ano 24 1
O novo desenho da Prova Floripa a partir de 2015: Ciclo de alfabetização
PROVA FLORIPA 2015
54
Língua Portuguesa e Matemática e Questionário
Etapa Nº de itens por caderno
Nº de modelos de
caderno4º ano 20 LP e 20 MT 1
5º ano 22 LP e 22 MT 1
6º ano 22 LP E 22 MT 1
7º ano 26 LP E 26 MT 1
8º ano 26 LP E 26 MT 1
9º ano 26 LP E 26 MT 1
O novo desenho da Prova Floripa a partir de 2015: 4º ao 9º anos – Língua Portuguesa e Matemática
PROVA FLORIPA 2015
55
O novo desenho da Prova Floripa a partir de 2015: 4º ao 9º anos – demais componentes curriculares
Ciências, História, Geografia, Ed. Física, Artes e Língua Estrangeira
EtapaNº de itens por caderno Total de itens por
cadernoNº de modelos de
cadernoTRI TCT
6º ano 20 CI, 5 HIS, 5 GEO 5 ED, 5 AR, 5 LE 45 1
7º ano 20 CI, 5 HIS, 5 GEO 5 ED, 5 AR, 5 LE 45 1
8º ano 20 CI, 5 HIS, 5 GEO 5 ED, 5 AR, 5 LE 45 1
9º ano 20 CI, 5 HIS, 5 GEO 5 ED, 5 AR, 5 LE 45 1
PROVA FLORIPA 2015
56
Curso de Capacitação em Avaliação Educacional em larga escala: um olhar sobre a Prova Floripa
O objetivo desse curso é auxiliá-los na compreensão da avaliação em larga escala, suas principais características e metodologia, criando condições para que vocês possam analisar os resultados alcançados pelos alunos e apropriar-se deles como ferramentas importantes para o planejamento e desenvolvimento do trabalho pedagógico que se realiza em cada unidade educativa.
PROVA FLORIPA 2015
57
Curso de Capacitação em Avaliação Educacional em larga escala: um olhar sobre a Prova Floripa
Estrutura do curso
Ambiente: Plataforma Moodle Carga horária: 16 horas Apoio e acompanhamento por meio de tutoria Material e recursos: fórum de discussões, recursos audiovisuais e conteúdos de aprofundamento
PROVA FLORIPA 2015
58
Curso de Capacitação em Avaliação Educacional em larga escala: um olhar sobre a Prova Floripa
Proposta Pedagógica
Módulo I - A avaliação educacional em larga escala no contexto das políticas educacionais.
Módulo II- A avaliação educacional em larga escala: características e instrumentos.
Módulo III – Avaliação e Currículo.
PROVA FLORIPA 2015
Como os resultados da Prova Floripa 2014 foram divulgados?
PROVA FLORIPA 2015Divulgação dos Resultados
Revistas
Site
PROVA FLORIPA 2015Canais de divulgação dos resultados - 2014
Revista da Avaliação Revista da Unidade EducativaOficinas e curso sobre avaliação educacional
PROVA FLORIPA 2015
Canais de divulgação dos resultados – 2015
Revista da Gestão Escolar Revista Pedagógica Oficinas de Apropriação de Resultados
PROVA FLORIPA 2015Site
Além das informações trazidas nesses materiais impressos, a Unidade Educativa pode acessar o portal www.provafloripa.caedufjf.net para obter maiores detalhes sobre os seus resultados.
PROVA FLORIPA 2015
PROVA FLORIPA 2015
Os resultados de 2014 - Site
PROVA FLORIPA 2015
PROVA FLORIPA 2015Os resultados de 2014
Resultados Escola
PROVA FLORIPA 2015Os resultados de 2014
PROVA FLORIPA 2015
PROVA FLORIPA 2015Os resultados de 2014
PROVA FLORIPA 2015ResultadosPROVA FLORIPA
2015
Até 25% de acertos
De 25,1% a 50% de acertos
De 50,1% a 75% de acertos
Acima de 75% de acertos
PROVA FLORIPA 2015
Os resultados de 2014 - Revista
PROVA FLORIPA 2015
PROVA FLORIPA 2015
Resultados Gerais – rede, região e escola
PROVA FLORIPA 2015
Resultados gerais da rede
PROVA FLORIPA 2015
Resultados da região
PROVA FLORIPA 2015
Resultados da escola
PROVA FLORIPA 2015
Anexo às revistas – Resultados de Turma
PROVA FLORIPA 2015
Anexo às revistas – Resultados de Aluno
PROVA FLORIPA 2015
Atividades
Com base nos resultados alcançados pelos estudantes na Prova Floripa, discuta com seus colegas sobre o desempenho dos estudantes e as possíveis intervenções de acordo com as dificuldades apresentadas por cada turma e por cada estudante, em particular.
Para tanto, utilize o material de apoio disponibilizado e as orientações presentes na revista que a unidade educativa recebeu.
PROVA FLORIPA 2015
Orientações para interpretação e apropriação dos resultados de 2014
Com base nos resultados alcançados pelos estudantes na Prova Floripa 2014, discuta com seus colegas sobre o desempenho dos estudantes e as possíveis intervenções de acordo com as dificuldades apresentadas por cada turma e por cada estudante, em particular.
Para tanto, utilize o roteiro disponibilizado e as orientações presentes na revista que a unidade educativa recebeu.
Vamos discutir com os colegas como isso poderia ser feito?
PROVA FLORIPA 2015
77
Agradecemos a participação de todos!