simare 2014 formação continuada aprofundamento tri simare 2014
TRANSCRIPT
![Page 1: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/1.jpg)
SIMARE 2014
Formação Continuada
Aprofundamento TRI
SIMARE 2014
![Page 2: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/2.jpg)
SIMARE 2014
MÓDULO 1Estatística Aplicada à Teoria de Resposta ao Item (TRI)
COORDENAÇÃO DE MEDIDAS EDUCACIONAIS 32 4009 2071 | [email protected] 2
![Page 3: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/3.jpg)
SIMARE 2014SIMARE 2014
• Ferramentas de qualidade de Deming e Juran• Normas de Qualidade ISO 9000• Qualidade nas escolas
3
Qualidade na educação
![Page 4: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/4.jpg)
SIMARE 2014SIMARE 2014
Interpretação por item pela TCT• Realizada de forma intuitiva• Cálculo do percentual de alunos que acertam cada
item do teste• Quanto maior a nota maior a chance de acertar os
itens mais difíceis
4
![Page 5: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/5.jpg)
SIMARE 2014SIMARE 2014
Interpretação por item pela TCT• Realizada por meio de modelagem matemática• Cálculo de parâmetros de itens• CCI
5
![Page 6: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/6.jpg)
SIMARE 2014
ESTATÍSTICA DESCRITIVA
6
![Page 7: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/7.jpg)
SIMARE 2014SIMARE 2014
Estatística Descritiva• É composta por ferramentas que permitem
organizar e resumir um conjunto de dados auxiliando a descrição dos atributos de um grupo ou de uma população;
• As ferramentas da estatística descritiva podem ser utilizadas na análise e interpretação de dados de diversas áreas.
7
![Page 8: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/8.jpg)
SIMARE 2014SIMARE 2014
Estatística Descritiva• 1ª Etapa: organizar e resumir os dados com o
objetivo de conhecê-los, detectar informações importantes e valores atípicos.
• FERRAMENTAS: Tabelas, gráficos e medidas.• Dados brutos: são apresentados em tabelas,
através de variáveis. Não obtemos muita informação por meio deles. Normalmente não são apresentados nas publicações.
8
![Page 9: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/9.jpg)
SIMARE 2014SIMARE 2014
Estatística descritiva: Gráficos• Gráfico de barras: adotado para representações de
dados qualitativos.
9
![Page 10: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/10.jpg)
SIMARE 2014SIMARE 2014
Estatística descritiva: Gráficos• Histograma: barras justapostas
• Serve para a visualização da forma da distribuição da variável estudada;
• Dispersão; • Assimetria; • Curtose.
10
![Page 11: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/11.jpg)
SIMARE 2014SIMARE 2014
Estatística descritiva: Medidas• Medidas de Tendência Central
• Notas de prova de 45 alunos de uma turma.
• Primeiro, ordenamos os dados.
11
![Page 12: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/12.jpg)
SIMARE 2014SIMARE 2014
Estatística descritiva: Medidas• Medidas de Tendência Central
• Moda: Temos cinco modas 4,1;4,3;4,6;5,2 e 5,9.►• Média: 228,2/45=5,1• Mediana: Número ímpar de observações
• (45+1)/2=23• A mediana é a observação da 23ª posição.• Mediana = 5
• Com essas medidas e o histograma, visto anteriormente, percebemos que os dados têm uma pequena assimetria à direita.
12
![Page 13: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/13.jpg)
SIMARE 2014SIMARE 2014
Tipos de variáveis em Base de Dados• Nominal• Ordinal• Intervalar • De razão
13
![Page 14: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/14.jpg)
SIMARE 2014SIMARE 2014
Tipos de variáveis• Exemplo no SPSS
14
![Page 15: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/15.jpg)
SIMARE 2014SIMARE 2014
Construção de gráficos• EQUAÇÃO DA RETA Y = aX + b a =1 e b=2 Y = X + 2
15
![Page 16: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/16.jpg)
SIMARE 2014SIMARE 2014
Construção de gráficos
16
![Page 17: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/17.jpg)
SIMARE 2014SIMARE 2014
Curva Característica do Item (CCI)
17
)(11)1(),,,/1( biaiDe
ciciciaibiXiP
![Page 18: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/18.jpg)
SIMARE 2014SIMARE 2014
TCT x TRI
18
![Page 19: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/19.jpg)
SIMARE 2014SIMARE 2014
Itens de um Teste
19
![Page 20: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/20.jpg)
SIMARE 2014SIMARE 2014
Interpretação de medidas de desempenho educacional• Posição: média• Variação: percentuais por Padrão de Desempenho
20
ESCOLA MÉDIA
A 50
B 50
C 50
![Page 21: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/21.jpg)
SIMARE 2014SIMARE 2014
Interpretação de medidas de desempenho educacional• Posição: média• Variação: percentuais por Padrão de Desempenho
21
ESCOLA MÉDIANOTA DO ALUNO
1 2 3 4
A 50 100 100 0 0
B 50 50 50 50 50
C 50 80 80 20 20
![Page 22: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/22.jpg)
SIMARE 2014SIMARE 2014
Interpretação de medidas de desempenho educacional• Posição: média• Variação: percentuais por Padrão de Desempenho
22
ESCOLA MÉDIANOTA DO ALUNO
DESVIO PADRÃO1 2 3 4
A 50 100 100 0 0 57,7
B 50 50 50 50 50 0,0
C 50 80 80 20 20 34,6
![Page 23: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/23.jpg)
SIMARE 2014
Módulo 2Conceitos Básicos Utilizados na TRI
COORDENAÇÃO DE MEDIDAS EDUCACIONAIS 32 4009 2071 | [email protected] 23
![Page 24: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/24.jpg)
SIMARE 2014SIMARE 2014
• O que são itens?• São os elementos que compõem os testes ou questionários
• O que é proficiência?• É a medida que representa um determinado traço latente (aptidão)
• Teoria da Resposta ao Item (TRI)• Grupo de modelos matemáticos e estatísticos que descrevem a associação entre a aptidão de um indivíduo e a probabilidade de uma resposta a um item
24
Fundamentos da TRI
![Page 25: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/25.jpg)
SIMARE 2014SIMARE 2014
Principais produtos da TRI- Interpretação pedagógica da escala
- Comparabilidade de resultados:
- Entre diferentes avaliações em um mesmo período de tempo
- Entre diferentes avaliações em diferentes períodos de tempo
25
![Page 26: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/26.jpg)
SIMARE 2014SIMARE 2014
Qualidade na educação
26
• Ferramentas de qualidade de Deming e Juran
• Normas de Qualidade ISSO 9000
• Qualidade nas escolas
![Page 27: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/27.jpg)
SIMARE 2014
• Realizada de forma intuitiva
• Cálculo do percentual de alunos que acertam cada item do teste
• Quanto maior a nota maior a chance de acertar os itens mais difíceis
27
Interpretação por item pela TCT
![Page 28: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/28.jpg)
SIMARE 2014SIMARE 2014
• Realizada por meio de modelagem matemática• Cálculo de parâmetros de itens• CCI
28
Interpretação por item pela TCT
![Page 29: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/29.jpg)
SIMARE 2014SIMARE 2014
Estatística Descritiva• 1ª Etapa: organizar e resumir os dados com o
objetivo de conhecê-los, detectar informações importantes e valores atípicos.
• FERRAMENTAS: Tabelas, gráficos e medidas.• Dados brutos: são apresentados em tabelas,
através de variáveis. Não obtemos muita informação por meio deles. Normalmente não são apresentados nas publicações.
29
![Page 30: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/30.jpg)
SIMARE 2014SIMARE 2014
Como se calcula a proficiência de um aluno?
30
I - AVALIAÇÃO EM LARGA ESCALA
II – TEORIA DA RESPOSTA AO ITEM - TRI
III – INDICADORES DE DESEMPENHO
![Page 31: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/31.jpg)
SIMARE 2014SIMARE 2014
Avaliação em larga escala
31
![Page 32: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/32.jpg)
SIMARE 2014SIMARE 2014
Como construir uma escala
32
![Page 33: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/33.jpg)
SIMARE 2014SIMARE 2014
Escala: altura de uma pessoa
33
• Item 1Você consegue guardar as malas no bagageiro interno de um ônibus?
• Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada?
• Item 3Para conversar com as pessoas, você precisa olhar para baixo?
![Page 34: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/34.jpg)
SIMARE 2014SIMARE 2014
Respostas do questionário
34
Nome Item 1 Item 2 Item 3
Carolina Sim Não Não
Priscila Sim Sim Não
Leonardo Sim Sim Sim
![Page 35: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/35.jpg)
SIMARE 2014SIMARE 2014
Escala: altura de uma pessoa
35
Nome Item 1 Item 2 Item 3
Carolina Sim Não Não
Priscila Sim Sim Não
Leonardo Sim Sim Sim
1,5 1,6 1,7 1,8 1,9
Item 1 Item 2 Item 3
Carolina Priscila Leonardo
![Page 36: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/36.jpg)
SIMARE 2014SIMARE 2014
Questionário de altura
36
![Page 37: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/37.jpg)
SIMARE 2014SIMARE 2014
3 – estimação dos parâmetros dos itens
37
![Page 38: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/38.jpg)
SIMARE 2014SIMARE 2014
Posição dos itens na escala
38
Guardar a bagagemPés fora da cama
Atrás na fila
17169 4 15 7 20 18
12
11
10
14 5 13 6 3 2 19 8
1
![Page 39: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/39.jpg)
SIMARE 2014SIMARE 2014
Posição dos itens e pessoas na escala
39
17169 4 15 7 20 18
12
11
10
14 5 13 6 3 2 19 8
1
1,5 1,6 1,7 1,8 1,9
![Page 40: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/40.jpg)
SIMARE 2014SIMARE 2014
40
II – Teoria da Resposta ao Item (TRI)
• HISTÓRICO TRI
• FUNDAMENTOS – TRI
• MEDIDAS E ESCALAS
![Page 41: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/41.jpg)
SIMARE 2014SIMARE 2014
Avaliações em larga escala com a TRI
41
• Análise segundo a TRI – Lord (1952) • Probabilidade de acerto ao item em função da habilidade• Posicionamento dos itens em função da dificuldade na mesma escala da proficiência• Década de 1970• Desenvolvimento de testes adaptativos• Década de 1980• Desenvolvimento de softwares específicos para TRI• Década de 1990• Desenvolvimento de testes informatizados (CBT’s) e testes adaptativos informatizados (CAT’s)
![Page 42: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/42.jpg)
SIMARE 2014SIMARE 2014
Características das avaliações em larga escala no Brasil
42
• Até 1993: TCT• A partir de 1995: TRI• INEP
• Avaliações estaduais e municipais MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA.
1995 1997 1999 2001 2003 2005 2007 2009
SAEB
SAEB e Prova Brasil
![Page 43: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/43.jpg)
SIMARE 2014SIMARE 2014
Características das avaliações em larga escala no Brasil
43
![Page 44: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/44.jpg)
SIMARE 2014
BIB- SAEB ATÉ 2005
COORDENAÇÃO DE MEDIDAS EDUCACIONAIS 32 4009 2071 | [email protected] 44
POS1 POS2 POS3 POS1 POS2 POS31 1 2 5 14 1 3 82 2 3 6 15 2 4 93 3 4 7 16 3 5 104 4 5 8 17 4 6 115 5 6 9 18 5 7 126 6 7 10 19 6 8 137 7 8 11 20 7 9 18 8 9 12 21 8 10 29 9 10 13 22 9 11 310 10 11 1 23 10 12 411 11 12 2 24 11 13 512 12 13 3 25 12 1 613 13 1 4 26 13 2 7
CADERNOBLOCOS
CADERNOBLOCOS
![Page 45: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/45.jpg)
SIMARE 2014SIMARE 2014
45
BIB- A PARTIR DE 2005
![Page 46: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/46.jpg)
SIMARE 2014SIMARE 2014
Principais produtos da TRI• Interpretação pedagógica da escala• Comparabilidade de resultados:
• Entre diferentes avaliações em um mesmo período de tempo
• Entre diferentes avaliações em diferentes períodos de tempo
46
![Page 47: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/47.jpg)
SIMARE 2014SIMARE 2014
Medidas e Escalas
47
• A ESCALA SAEB
• CONTRUÇÃO DE TESTES
![Page 48: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/48.jpg)
SIMARE 2014SIMARE 2014
48
• Matriz de referência• Design do teste
ESCALA SAEB
![Page 49: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/49.jpg)
SIMARE 2014SIMARE 2014
49
ESCALAS DE PROFICIÊNCIACurva normal
![Page 50: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/50.jpg)
SIMARE 2014SIMARE 2014
Escala: altura de uma pessoa• Item 1
• Você consegue guardar as malas no bagageiro interno de um ônibus?
• Item 2 • Você consegue subir ou descer dois degraus de cada vez
em uma escada?
• Item 3• Para conversar com as pessoas, você precisa olhar para
baixo?
50
![Page 51: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/51.jpg)
SIMARE 2014SIMARE 2014
51
ESCALA SAEB
![Page 52: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/52.jpg)
SIMARE 2014SIMARE 2014
ESCALA SAEB
![Page 53: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/53.jpg)
SIMARE 2014SIMARE 2014
53
ESCALA SAEB
250 270190
![Page 54: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/54.jpg)
SIMARE 2014SIMARE 2014
Transformação de Escala
54
K = C + 273
C / 5 = (F - 32) / 9
![Page 55: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/55.jpg)
SIMARE 2014SIMARE 2014
55
Transformação de Escala
ESCALA SAEB (250,50)
ESCALA X (0,1)
FATOR DE TRANSFORMAÇÃO
![Page 56: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/56.jpg)
SIMARE 2014SIMARE 2014
Construção de testes
56
PRECISÃO DO TESTEAJUSTE DA POPULAÇÃO AO TESTE
![Page 57: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/57.jpg)
SIMARE 2014SIMARE 2014
Precisão do teste
57
![Page 58: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/58.jpg)
SIMARE 2014SIMARE 2014
58
AJUSTE DO TESTE COM A POPULAÇÃOAJUSTE DO TESTE COM A POPULAÇÃOTESTE BEM AJUSTADOTESTE BEM AJUSTADO
![Page 59: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/59.jpg)
SIMARE 2014SIMARE 2014
59
AJUSTE DO TESTE COM A POPULAÇÃOAJUSTE DO TESTE COM A POPULAÇÃOTESTE DESAJUSTADOTESTE DESAJUSTADO
![Page 60: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/60.jpg)
SIMARE 2014SIMARE 2014
INTERPRETAÇÃO DA ESCALA
60
![Page 61: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/61.jpg)
SIMARE 2014SIMARE 2014
61
Ancoragem dos itens na escala• Estatística: PONTO DE ANCORAGEM DO ITEM: Proficiência que corresponde a uma probabilidade
de acerto de 65%
• Especialistas pedagógicos: Alocação dos itens na escala por descritor e ponto de
ancoragem
![Page 62: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/62.jpg)
SIMARE 2014SIMARE 2014
62
III – INDICADORES DE DESEMPENHO• BOLETIM DE RESULTADOS CAEd• SÉRIE HISTÓRICA SAEB• IDEB
![Page 63: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/63.jpg)
SIMARE 2014SIMARE 2014
63
Interpretação de medidas de desempenho educacional
![Page 64: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/64.jpg)
SIMARE 2014SIMARE 2014
64
III – INDICADORES DE DESEMPENHO• Série histórica SAEB – Rede pública LÍNGUA PORTUGUESA
150.0
170.0
190.0
210.0
230.0
250.0
270.0
290.0
310.0
1995 1997 1999 2001 2003 2005 2007 2009
5ºEF
9ºEF
3ºEM
![Page 65: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/65.jpg)
SIMARE 2014SIMARE 2014
IDEB• Forma geral do Ideb: IDEB = N . P
• N = média da proficiência em Língua Portuguesa e Matemática, padronizada para um indicador entre 0 e 10, no exame realizado ao final da etapa de ensino• P = indicador de rendimento baseado na taxa de aprovação da etapa de ensino
65
![Page 66: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/66.jpg)
SIMARE 2014SIMARE 2014
66
![Page 67: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/67.jpg)
SIMARE 2014SIMARE 2014
Evolução do Ideb - Brasil
67
• Rede Pública – Anos Iniciais Ens. Fundamental
![Page 68: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/68.jpg)
SIMARE 2014SIMARE 2014
Evolução do Ideb - Brasil
68
• Rede Pública – Anos Finais Ens. Fundamental
![Page 69: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/69.jpg)
SIMARE 2014
69
Evolução do Ideb - Brasil
![Page 70: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/70.jpg)
SIMARE 2014SIMARE 2014
Evolução do Ideb - Estados• Rede Pública – Anos Iniciais Ens. Fundamental
![Page 71: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/71.jpg)
SIMARE 2014
Módulo 3MODELOS MATEMÁTICOS DA TRI
COORDENAÇÃO DE MEDIDAS EDUCACIONAIS 32 4009 2071 | [email protected] 71
![Page 72: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/72.jpg)
SIMARE 2014SIMARE 2014
72
UIRT
MIRT
Dicotômico
Politômico
1 PL
2 PL
3 PL
Dicotômico
Politômico
Modelo de crédito parcial
Modelo de resposta ponderada
Modelo de resposta nominal
MODELOS MATEMÁTICOS
Modelo de crédito parcial generalizado
![Page 73: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/73.jpg)
SIMARE 2014SIMARE 2014
Fundamentos da TRI
73
MÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
MML
MMAP
SCORES
ML
MAP
EAP
MODELO LOGÍSTICO
1LP
2LP
3LP
1LP
2LP
3LP
MÉTODOS DE LINKAGENS
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP
Testes Unidimensionais compostos por itensdicotômicos
![Page 74: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/74.jpg)
SIMARE 2014SIMARE 2014
Relação não-linear
74
)(11)1(),,,/1( biaiDe
ciciciaibiXiP
![Page 75: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/75.jpg)
SIMARE 2014
75
![Page 76: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/76.jpg)
SIMARE 2014SIMARE 2014
76
MODELOS DA TRI – 3PL
0,5
1
Proficiência
0,3
250
ITEM PARÂMETROSA B C
1 0,010 250 0,30
0,65Prob
abili
dade
de
Acer
to
![Page 77: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/77.jpg)
SIMARE 2014SIMARE 2014
77
Proficiência
ITEM PARÂMETROSA B C
1 0,010 250 0,302 0,020 250 0,30
0,5
1
Prob
abili
dade
de
Acer
to
0,3
250
0,65
1
2
MODELOS DA TRI – 3PL
![Page 78: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/78.jpg)
SIMARE 2014SIMARE 2014
78
MODELOS DA TRI – 3PL
Proficiência
ITEM PARÂMETROSA B C
1 0,010 250 0,302 0,020 250 0,303 0,020 350 0,30
0,5
1
Prob
abili
dade
de
Acer
to
0,3
250
0,65
1
2
3
350
![Page 79: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/79.jpg)
SIMARE 2014SIMARE 2014
79
MODELOS DA TRI – 3PL
0,5
1
Prob
abili
dade
de
Acer
to
0,3
250
0,65
1
2
4
3
350Proficiência
ITEM PARÂMETROSA B C
1 0,010 250 0,302 0,020 250 0,303 0,020 350 0,304 0,020 350 0,20
![Page 80: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/80.jpg)
SIMARE 2014SIMARE 2014
80
ITENS DE UM TESTE
![Page 81: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/81.jpg)
SIMARE 2014SIMARE 2014
81
EXEMPLOS DE ITENS – discriminação boa
![Page 82: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/82.jpg)
SIMARE 2014SIMARE 2014
82
FUNDAMENTOS DA TRIMÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
MML
MMAP
SCORES
ML
MAP
EAP
MODELO LOGÍSTICO
1LP
2LP
3LP
1LP
2LP
3LP
MÉTODOS DE LINKAGENS
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP
Testes Unidimensionais compostos por itensdicotômicos
![Page 83: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/83.jpg)
SIMARE 2014SIMARE 2014
83
Métodos de Estimação
11 2
1
( , ,..., | ) ( ) ( )si si
nu u
s s ns i s i si
L u u u P Q
)(11)1()( bisaiDe
cicisPi
)(11)1()1()( bisaiDe
cicisQi
• Verossimilhança
![Page 84: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/84.jpg)
SIMARE 2014SIMARE 2014
84
Métodos de Estimação• Máxima Verossimilhança - ML
1
( 1| ) log ( ) (1 ) log ( )n
is is isi
LogL u u Pi u Qi
Métodos interativos
• Máxima Verossimilhança Marginal – MML
• Máxima Verossimilhança Conjunta
![Page 85: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/85.jpg)
SIMARE 2014SIMARE 2014
85
Métodos de Estimação• Métodos Bayesianos
Distribuição à posteriori
Função de verossimilhança Prioris x
- Distribuições utilizadas nas prioris População: normal Parâmetros dos itens
o a – log-normalo b – normalo c – beta
• Máxima Distribuição Marginal à Posteriori – MMAP
• Máxima à Posteriori – MAP
• Esperado à Posteriori - EAP
![Page 86: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/86.jpg)
SIMARE 2014SIMARE 2014
Fundamentos da TRI
86
MÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
MML
MMAP
SCORES
ML
MAP
EAP
MODELO LOGÍSTICO
1LP
2LP
3LP
1LP
2LP
3LP
MÉTODOS DE LINKAGENS
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ-FIXAÇÃO DE PARÂMETROS -
FPIPTestes Unidimensionais compostos por itensdicotômicos
![Page 87: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/87.jpg)
SIMARE 2014SIMARE 2014
87
MÉTODOS DE LINKAGEM
• Cultura de uma escala única nacional – SAEB
• Características da avaliação em larga escala de 1995 a 2007
![Page 88: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/88.jpg)
SIMARE 2014SIMARE 2014
Equalização Vertical
88
• Avaliações do SAEB• Testes com conteúdos diferentes• Testes com descritores diferentes• Populações não equivalentes
![Page 89: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/89.jpg)
SIMARE 2014SIMARE 2014
Designs ou Delineamentos para coleta de dados
89
Design para grupos não equivalentes através de itens comuns
Forma X
Grupo 1 Grupo 2
Itens comunscomum
Forma Y
Itens comunscomum
![Page 90: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/90.jpg)
SIMARE 2014SIMARE 2014
Linkagem
90
• Processo para colocar diferentes testes em uma mesma escala (equalização vertical)
• Método adotado: Vertical equating
DESIGN TESTE SAEPE 2008 LÍNGUA PORTUGUESA 4ª SÉRIE EF 8ª SÉRIE EF 3º ANO EM
ITENS COMUNS ENTRE GRUPOS
![Page 91: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/91.jpg)
SIMARE 2014SIMARE 2014
TRI padrão SAEB
91
MÉTODOS DE ESTIMAÇÃO
PARÂMETROS DE ITENS
MML
MMAP
SCORES
ML
MAP
EAP
MODELO LOGÍSTICO
1LP
2LP
3LP
1LP
2LP
3LP
MÉTODOS DE LINKAGENS
LINEARES
REGRESSÃO LINEAR
MÉDIA/SIGMA
MÉDIA/MÉDIA
CURVA CARACTERÍSTICA
NÃO LINEARES
CALIBRAÇÃO SIMULTÂNEA
PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP
Testes Unidimensionais compostos por itensdicotômicos
![Page 92: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/92.jpg)
SIMARE 2014SIMARE 2014
Introdução ao Bilogmg
92
• Método de equalização• Sintaxe• Arquivo dat• Fase 1• Fase 2• Fase 3• Arquivo de parâmetros• Arquivo de proficiências
![Page 93: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/93.jpg)
SIMARE 2014SIMARE 2014
Fase 1: Medidas Clássicas• Análise dos Itens
• Percentual de acerto• Correlação bisserial
• Comportamento do item em relação ao teste• Melhores respondentes devem acertar
93
![Page 94: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/94.jpg)
SIMARE 2014SIMARE 2014
Fase 1: Medidas Clássicas
94
• Medidas Produzidas• Número de pontos no teste• Percentual de acertos no teste
![Page 95: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/95.jpg)
SIMARE 2014SIMARE 2014
Fase 1: Medidas Clássicas
• Ponto de Controle 1• Bisseriais podem indicar problemas• Verificação de gabaritos (CIA)• Problemas na ordem dos itens *
95
![Page 96: SIMARE 2014 Formação Continuada Aprofundamento TRI SIMARE 2014](https://reader036.vdocuments.site/reader036/viewer/2022070507/570638591a28abb8238fd023/html5/thumbnails/96.jpg)
SIMARE 2014SIMARE 2014