l’interpretazione e l’uso dei risultati invalsi da parte ... · prova nazionale ii secondaria...
TRANSCRIPT
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
Landes-Evaluationsstelle für das italienischsprachige Bildungssystem
Servizio provinciale di valutazione per l'istruzione e la formazione in lingua italiana
L’interpretazione e l’uso dei risultati INVALSI da parte delle scuole
Rossella Garuti
Nalles, 4 ottobre 2013
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
��1. L1. L’’accountability: il accountability: il ““ render contorender conto ””
��2. La valutazione nazionale: le prove INVALSI2. La valutazione nazionale: le prove INVALSI
��3. I dati di scuola: cosa viene restituito, come 3. I dati di scuola: cosa viene restituito, come
leggerli e come utilizzarlileggerli e come utilizzarli
��4. Utilizzare i dati per migliorare la didattica: 4. Utilizzare i dati per migliorare la didattica:
strumentistrumenti
Schema della presentazione
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
1. Il bisogno di 1. Il bisogno di ““ render contorender conto ””
Le domande:• Come valorizzare i risultati della scuola?
• Come verificare che gli investimenti fatti stiano andando nella giusta direzione?
• Come sapere se gli incrementi di conoscenze dei nostri studenti sono in linea con gli altri paesi?
• …………….
La risposta:� Disponibilità di dati confrontabili a livello nazionale ed
internazionale
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
1. Il bisogno di 1. Il bisogno di ““ render contorender conto ””
Un video interessanteAndreas Scleicher (direttore della ricerca OCSE- PISA)
http://www.ted.com/talks/andreas_schleicher_use_data_to_build_better_schools.html
" Senza dati, si è solo un'altra persona con una opinione".
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
1. Il bisogno di 1. Il bisogno di ““ render contorender conto ””
E’ necessario confrontarsi per poter ragionare in modo laico su una serie di pre-giudizi:
� “piccolo è bello”
� “più tempo-scuola= migliori risultati”
� “più danaro = migliori risultati”
� ……
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
2. La valutazione nazionale: le prove INVALSI 2. La valutazione nazionale: le prove INVALSI
II primaria V primaria I secondaria di primo grado
III sec. di I gradoProva Nazionale
II secondaria di secondo grado
il piano delle rilevazioni 2012-2013
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
II primaria V primaria I secondaria di primo grado
III sec. di I gradoProva Nazionale
II secondaria di secondo grado
il piano delle rilevazioni 2013-2014
a ottobre 2014
I sec. di I°°°° grado
2. La valutazione nazionale: le prove INVALSI 2. La valutazione nazionale: le prove INVALSI
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
Quadro di riferimento
per la valutazione
Quadro di riferimento per i curricoli
Quadri di riferimentoper le valutazioni
internazionali
Esiti delle rilevazioniprecedentiPrassi scolastica
2. La valutazione nazionale: le prove INVALSI 2. La valutazione nazionale: le prove INVALSI
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
� La composizione di una prova standardizzata rivolta all’accertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe.
�Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti all’interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza.
2. La valutazione nazionale: le prove INVALSI 2. La valutazione nazionale: le prove INVALSI
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
Produzione delle domande da parte degli autori
Selezione e classificazione
Costruzione dei fascicoli per il
pre-test
Prova sul campo
Analisi statistica Analisi didattica
Fascicolo definitivo
2. La valutazione nazionale: le prove INVALSI 2. La valutazione nazionale: le prove INVALSI
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
Aspetti significativi
del QDR
Fascicolo definitivo
Aspetti misuratori
Ultima revisione del testo per eliminare al massimo le ambiguità
SOMMINISTRAZIONE
2. La valutazione nazionale: le prove INVALSI 2. La valutazione nazionale: le prove INVALSI
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati INVALSI3. La lettura dei risultati INVALSI
1. A livello di sistema scolastico
2. A livello di Istituto Scolastico
3. A livello didattico
1. Decisori politici (MIUR, Intendenza, CSP,…..)
2. Dirigente Scolastico, referente, commissione,…
3. Docenti e Dipartimenti
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola3. La lettura dei risultati di scuola
Percorso di autovalutazione
Potenziamento e miglioramento
dell’azione didattica
istituto e singola classe
DATI INVALSI
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola3. La lettura dei risultati di scuola
� Perché la valutazione riguarda tutte le classi e non è a campione, come
avviene in tanti altri paesi?
� Chi può vedere/utilizzare i risultati delle prove?
� Perché il presidente del consiglio di istituto potrà vedere alcuni risultati?
� Le prove si estenderanno anche alle classi terminali? Quali aree
disciplinari?
�Quali informazioni sulla formazione delle classi?
�Come sono collegati i risultati delle prove con i voti degli scrutini?
�Come utilizzare i risultati nel consiglio di classe?
�……….
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola3. La lettura dei risultati di scuola
L ’ INVALSI restituisce ad ogni singola scuola dati sull’andamento:
�complessivo dei livelli di apprendimento degli studenti della scuola rispetto alla media dell’Italia, dell’area geografica e della regione di appartenenza (nel caso di Bolzano della provincia);
�delle singoli classi nelle prove di italiano e di matematica nelloro complesso;
�della singola classe e (su richiesta) del singolo studente analizzato nel dettaglio di ogni singola prova.
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: uno sguardo 3. La lettura dei risultati di scuola: uno sguardo dd’’ insieme insieme
Schermata iniziale
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
2 Insieme di anomalie che alterano gli esiti della prova. L'effetto delcheatingè misurato mediante un indicatore percentuale che esprime quale parte del punteggio osservato èmediamente da attribuire alle predette anomalie.
3 L'ESCS è l'indice di status socio-economico-culturale. Esso misura il livello delbackgrounddello studente, considerando principalmente il titolo di studio dei genitori, la loro condizione occupazionale e la disponibilità di risorse economiche.La differenza è calcolata rispetto al risultato medio delle 200 classi/scuole conbackgroundsocio-economico-culturale (ESCS) più simile a quello della classe/scuola considerata.
4 I livelli del backgroundsono definiti rispetto alla distribuzione nazionale dell'indicatore ESCS. Primo quartile (fino al 25%): livello basso; secondo quartile (dal 25% al 50%); terzo quartile (dal 50% al 75%): livello medio-alto; quarto quartile (dal 75% al 100%): livello alto.
5 La frecce rivolte verso l'alto e verso il basso indicano una differenza rispettivamente positiva e negativa statisticamente significativa, ossia con una probabilità superiore al 95% di verificarsi anche nella popolazione e non solo nel campione.Le frecce orizzontali indicano, invece, una differenza positiva o negativa statisticamente non significativa.
Punteggio medio-
Cheating=
Punteggio medio della classe
Italiano
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
+11,5
-1,8
Una diversa visualizzazione dei risultati complessivi
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
�Ci sono andamenti diversi fra le classi? Perché?
�Ci sono differenze fra MAT e IT?
� Le differenze fanno riferimento a “tipologie diverse(tempo pieno, …)? A “vissuti” diversi?
�L’indice di status socio-economico-culturale ha un peso sui risultati delle classi? Le medie del gruppo di riferimento (200 classi) sono diverse tra loro? Se sì, perché?
3. La lettura dei risultati di scuola: uno 3. La lettura dei risultati di scuola: uno sguardo dsguardo d ’’ insieme insieme
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: la variabili t3. La lettura dei risultati di scuola: la variabili tàà
ESCS: il questionario studenti
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
� I risultati delle classi (punteggio) sono omogenei all’interno della scuola?
� Le classi sembrano “ben formate”?
� Lo status socio-economico-culturale è omogeneo tra le classi?
� E’ in linea con il dato nazionale?
� ….
3. La lettura dei risultati di scuola: la variabili t3. La lettura dei risultati di scuola: la variabili tàà
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: la variabili t3. La lettura dei risultati di scuola: la variabili tàà
Situazione di relativo equilibrio: confronto LIV.05 e Liv.06
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: la variabili t3. La lettura dei risultati di scuola: la variabili tàà
Situazione di relativo «squilibrio» nei punteggiITA- Liv. 10
Ist. Tecnico
MATE- Liv. 10Ist.Tecnico
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: la variabili t3. La lettura dei risultati di scuola: la variabili tàà
ITA- Liv. 10 Liceo
MATE- Liv. 10Liceo
Situazione di relativo «squilibrio» nell’ESCS
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: la variabili t3. La lettura dei risultati di scuola: la variabili tàà
Classe II primaria, come per la PN (LIV.08) non c’èESC perché non c’è il questionario studenti
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: i livelli3. La lettura dei risultati di scuola: i livelli
13
45
2
Dal + BASSO…………………………………………al + ALTO
Risultati < 75% media nazionale
<75%Risultati < 95% media nazionale
<95%Risultati < 110% media nazionale
<110%Risultati < 125% media
nazionale
Risultati > 125% media nazionale
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: i livelli3. La lettura dei risultati di scuola: i livelli
Come sono distribuiti nei 5 livelli di apprendimento gli studenti di ciascuna classe per Italiano e per Matematica?
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
15 12
6
23
6
447
1420
Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosità
Discrepanza fra ITA e MATE
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosità
Sostanziale equilibrio fra ITA e MATE
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
� La distribuzione per livelli nelle singole classi èequilibrata?
� Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove?
� Quanti sono gli studenti i cui risultati sono molto diversi?
� Ci sono differenze significative fra le due discipline?
� Quali ipotesi si possono fare?
� …
3. La lettura dei risultati di scuola: i livelli3. La lettura dei risultati di scuola: i livelli
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: correlazioni3. La lettura dei risultati di scuola: correlazioni
Voti di scuola e punteggi INVALSI: nelle classi e tra le classi
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: correlazioni3. La lettura dei risultati di scuola: correlazioni
�Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI?
�Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa?
� Ci sono differenze nei “metri” di valutazione degli insegnanti della scuola? �Ci sono differenze fra primaria e secondaria? Fra primo ciclo e secondo ciclo?
�………………….
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
Correlazione tra voto1 della scuola epunteggio di Italiano alla Prova INVALSI
Correlazione tra voto1 della scuola epunteggio di Matematica alla Prova INVALSI
71001 scarsamente significativa scarsamente significativa
71002 scarsamente significativa medio-bassa
71003 medio-bassa scarsamente significativa
71004 medio-bassa scarsamente significativa
71005 scarsamente significativa medio-bassa
71006 scarsamente significativa scarsamente significativa
71007 scarsamente significativa scarsamente significativa
71008 medio-bassa scarsamente significativa
71009 scarsamente significativa medio-bassa
71010 medio-bassa medio-bassa1 Voto di italiano/matematica (media scritto e orale) assegnato dal docente nell'ultimo scrutinio intermedio.
3. La lettura dei risultati di scuola: correlazioni3. La lettura dei risultati di scuola: correlazioni
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: correlazioni3. La lettura dei risultati di scuola: correlazioni
Liceo -Bologna
Il range del voto medio di scuola è tra il 6 e il 7!
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: un grafico u tile3. La lettura dei risultati di scuola: un grafico u tile
Media Nazionale
Media Nazionale dei soli studenti
italiani
Media nazionale
Media di una scuola con ESCS
simile
XXXXXXXXX
35
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
50,0
55,0
60,0
65,0
70,0
75,0
80,0
85,0
90,0
PN 2011/2012
Risultato della prova di Italiano rispetto alla cittadinanza
Risultati della prova di Italiano (o Matematica) rispetto a …
40,0
45,0
50,0
55,0
60,0
65,0
70,0
75,0
PN 2011/2012
Risultato della prova di Matematica rispetto alla regolarità del percorso di studi
SCUOLA
SCUOLA
SCUOLA
Studenti italiani
Studenti stranieri I
generazione
Studenti stranieri II generazione
SCUOLA
SCUOLA
SCUOLA
50,0
55,0
60,0
65,0
70,0
75,0
80,0
RMMM208009_M Lazio_M Centro_M Italia_M RMMM208009_F Lazio_F Centro_F Italia_F
PN 2011/2012
Risultato della prova di Matematica rispetto al genereStudenti regolari
Studenti anticipatari
Studenti posticipatari
SCUOLASCUOLA
MASCHI
FEMMINE
Cittadinanza
Regolarità
Genere
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: cittadinanza , 3. La lettura dei risultati di scuola: cittadinanza , regolaritregolarit àà, genere, genere
I dati possono servire per sfatare alcuni pregiudizi
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
3. La lettura dei risultati di scuola: cittadinanza , 3. La lettura dei risultati di scuola: cittadinanza , regolaritregolarit àà, genere, genere
I dati possono servire per sfatare alcuni pregiudizi
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
�Quanti stranieri S1 e S2 ci sono? Sono un numero significativo?
�La presenza (consistente) di stranieri come ha inciso sui risultati degli studenti italiani? E rispetto agli studenti S1 eS2?
�Ci sono differenze fra matematica e italiano? Se sì, perché?
�� I dati possono farci riflettere sulle «bocciature»?
3. La lettura dei risultati di scuola: cittadinanza , 3. La lettura dei risultati di scuola: cittadinanza , regolaritregolarit àà, genere, genere
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
4.Usare i dati per migliorare la didattica: strumen ti4.Usare i dati per migliorare la didattica: strumen ti
% risposte corrette
% scelta distrattori
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
4.Usare i dati per migliorare la didattica: strumen ti4.Usare i dati per migliorare la didattica: strumen ti
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
4.Usare i dati per migliorare la didattica: strumen ti4.Usare i dati per migliorare la didattica: strumen ti
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE
First we have data…
It is a capital mistake to theorize before one has data.
( Sherloch Holmes, A Study in Scarlett, Arthur Conan Doyle)
ConclusioniConclusioni
AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE