l'uso delle rilevazioni del servizio nazionale di valutazione da parte delle scuole
DESCRIPTION
Relazione di Roberto Ricci al seminario estivo ADi 2012 a LecceTRANSCRIPT
![Page 1: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/1.jpg)
Seminario estivo residenziale ADi
Il fascino indiscreto dell'innovazione
L'uso delle rilevazioni del Servizio Nazionale di
Valutazione da parte delle scuole
Roberto Ricci INVALSI
Lecce, 1 settembre 2012
![Page 2: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/2.jpg)
La presentazione
• Introduzione
• Il Servizio nazionale di valutazione 2012
• L’attendibilità dei dati
• La rappresentazione dei dati nel rapporto 2012
• I risultati nelle aree del Paese, nei livelli e nel tempo
• La variabilità dei risultati
• Gli effetti di composizione
• Le competenze dei nostri studenti
• Considerazioni conclusive
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
![Page 3: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/3.jpg)
Disegno della rilevazione
• Universale: tutte le classi dei livelli interessati delle scuole, statali e
paritarie
• Classi-campione:
• rappresentatività regionale e per macro-indirizzo (solo sec. II gr.)
• una o due classi per scuola campionata,
• osservatore esterno per ogni classe campionata,
• trasmissione elettronica dei risultati.
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
![Page 4: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/4.jpg)
L’attendibilità dei dati (2/2)
• Il rispetto del protocollo di somministrazione
• Il cheating: applicazione di tecniche statistiche per l’individuazione di comportamenti anomali sul campione e sull’intera popolazione
• La restituzione dei risultati al netto del cheating: i dati sono forniti al sistema, ma anche alle singole scuole al netto dell’effetto del cheating
• Il cheating nelle classi campione del SNV e della PN
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
![Page 5: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/5.jpg)
Gli indici di propensione al cheating - 2012 R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
![Page 6: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/6.jpg)
Gli indici di propensione al cheating - 2011 R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
![Page 7: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/7.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati medi: un esempio
- I secondaria di primo grado -
![Page 8: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/8.jpg)
Prima sec. di primo grado: ITALIANO
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
![Page 9: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/9.jpg)
Prima sec. di primo grado: MATEMATICA
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
![Page 10: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/10.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Le differenze di genere: ITALIANO
![Page 11: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/11.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Le differenze di genere: MATEMATICA
![Page 12: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/12.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati rispetto all’origine: ITALIANO
![Page 13: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/13.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati rispetto all’origine: MATEMATICA
![Page 14: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/14.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati all’interno della prova: ITALIANO
![Page 15: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/15.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati rispetto all’origine: ITALIANO
![Page 16: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/16.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati rispetto all’origine: MATEMATICA
![Page 17: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/17.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati rispetto all’origine: MATEMATICA
![Page 18: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/18.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Il confronto interno alla scuola
• Confronto con la media nazionale
• Confronto con la media regionale
• Confronto per ambiti e processi
• Confronto al netto di eventuali comportamenti opportunistici
• Confronto con scuole che hanno le stesse caratteristiche
• Lo studio della variabilità interna dei risultati
![Page 19: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/19.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Le finalità del confronto
• Governo del sistema scuola
• Promozione del miglioramento
• Verifica delle scelte operate
![Page 20: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/20.jpg)
Il ruolo del Dirigente R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
1. Organizzativo
2. Conoscitivo
3. Facilitatore dell’uso per la didattica
![Page 21: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/21.jpg)
La lettura dei dati
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
![Page 22: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/22.jpg)
I dati di scuola (1)
Istituto scolastico: XXIC803XXX
Denominazione: GIUSEPPE MAZZINI
Download dei grafici relativi a XXIC803XXX
Download guida alla lettura dei grafici
Restituzione dati livello II primaria:
Restituzione dati livello V primaria:
Restituzione dati livello I secondaria:
Livello V primaria - scegli codice classe: 412044720501
Livello V primaria - scegli codice classe: 412044720502
Livello V primaria - scegli codice classe: 412044720503
Ro
be
rto
Ric
ci –
1 s
ett
em
bre
2012
![Page 23: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/23.jpg)
I dati di scuola (2)
Globale
per Nazionalità
per Regolarità (del percorso)
per Sesso
per Dettaglio Risposte
Ro
be
rto
Ric
ci –
1 s
ett
em
bre
2012
![Page 24: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/24.jpg)
I dati di scuola (3)
Tabella dei dati - Visualizzazione GLOBALE
Ambiti e
argomenti Dom.
Media%
Classe
Media%
Scuola
Media%
Nazionale L1 L2 L3 L4 L5 L6
ITALIANO
Testo
narrativo A1 72,7 79,6 83,1 -
L2
- - - -
Ro
be
rto R
icci –
18
ge
nn
aio
20
12
![Page 25: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/25.jpg)
1° decile
10° pc
1° quartile
25° pc
L 1
L 2
L 3 L 4
L 5
L 6
Mediana
50° pc
10%
15%
25% 25%
15%
10%
3° quartile
75° pc
9° decile
90° pc
I dati di scuola (4) R
ob
ert
o R
icci –
18
ge
nn
aio
20
12
![Page 26: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/26.jpg)
Tabella dei dati - Visualizzazione per DETTAGLIO RISPOSTE - tabella 1
Ambiti e argomenti Dom. A B C D MANCATA
RISPOSTA
ITALIANO
Testo narrativo A1 9,09 72,7 13,6 4,54 0
I dati di scuola (5) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
![Page 27: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/27.jpg)
I dati di scuola (6) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
![Page 28: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/28.jpg)
I dati di scuola (7) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
![Page 29: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/29.jpg)
I dati di scuola (8) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
![Page 30: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/30.jpg)
I dati di scuola (9) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
![Page 31: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/31.jpg)
La varianza tra classi e tra alunni (1) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
![Page 32: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/32.jpg)
La varianza tra classi e tra alunni (2) R
ob
ert
o R
icci –
1 s
ett
em
bre
2012
![Page 33: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/33.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
I risultati complessivi
- Le differenze territoriali -
![Page 34: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/34.jpg)
I risultati per livello e per aree geografiche: ITALIANO
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
![Page 35: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/35.jpg)
I risultati per livello e per aree geografiche: MATEMATICA
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
![Page 36: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/36.jpg)
Le differenze negli indirizzi di studio (Italiano) R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
![Page 37: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/37.jpg)
Le differenze negli indirizzi di studio (Matematica) R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
![Page 38: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/38.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Le differenze negli indirizzi di studio (Italiano)
![Page 39: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/39.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Le differenze negli indirizzi di studio (Matematica)
![Page 40: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/40.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
L’evoluzione temporale dei risultati: ITALIANO
![Page 41: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/41.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
L’evoluzione temporale dei risultati: MATEMATICA
![Page 42: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/42.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
La variabilità dei risultati
- Un esempio: la scuola primaria -
![Page 43: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/43.jpg)
L’analisi della variabilità dei risultati R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
• Cosa si intende per variabilità
• Le componenti della variabilità:
• TRA scuola
• TRA classi
• DENTRO le classi (tra studenti)
• L’incidenza di ogni componente sulla variabilità totale
• Le differenza nel tempo e nello spazio
• Le implicazioni per i decisori
![Page 44: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/44.jpg)
La scomposizione della variabilità: II primaria R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
![Page 45: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/45.jpg)
La scomposizione della variabilità: II primaria R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
![Page 46: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/46.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
La scomposizione della variabilità: V primaria
![Page 47: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/47.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
La scomposizione della variabilità: V primaria
![Page 48: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/48.jpg)
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2
Gli effetti di composizione
- Cosa cambia? -
![Page 49: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/49.jpg)
Gli effetti di composizione R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
• Il peso delle variabili esplicative
• Il contesto “generale”
• Il background socio-economico-culturale (ESCS)
• I modelli statistici utilizzati
![Page 50: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/50.jpg)
Gli effetti di composizione: un esempio (Italiano) R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
![Page 51: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/51.jpg)
Ma alla fine, i nostri studenti cosa sanno e cosa sanno meno? R
ob
ert
o R
icci – 1
se
tte
mb
re 2
01
2
Tendenze generali
•Maggiore dimestichezza con testi narrativi e continui e meno con testi
“meno tradizionali” (discontinui, regolativi, ecc.)
•Alcune difficoltà quando vengono richieste interpretazioni e valutazioni
•Buoni risultati nell’ambito “Dati e previsioni” quando i quesiti
riguardano più aspetti d’interpretazione dei dati e non hanno forte
contenuto tecnico
•Difficoltà nell’argomentare le soluzioni proposte
![Page 52: L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole](https://reader031.vdocuments.site/reader031/viewer/2022020500/568c38111a28ab02359db8fb/html5/thumbnails/52.jpg)
Considerazioni conclusive
• Consolidamento del rapporto con le scuole e coinvolgimenti anche di
settori finora esclusi (esempio la formazione professionale)
• Restituzione dei dati: a) aiuti alla lettura, b) celerità nella
restituzione, c) strumenti per l’autovalutazione
• «Tempistica» adeguata
• Introduzione di più tecnologia (raccolta dei dati, uso del PC, ecc.)
• Rafforzamento della valenza per (e non su) la scuola della
misurazione (coinvolgimento di tutte le componenti)
• Azioni per il superamento del fenomeno del cheating
Ro
be
rto
Ric
ci – 1
se
tte
mb
re 2
01
2