Bologna Fondazione Golinelli 22 febbraio 2016

quale valutazione

*

Andrea Gavosto andrea.gavosto@fga.it

Il sistema di valutazione dopo la Buona Scuola

il Sistema Nazionale di Valutazione SNV: com’era in origine, com’è oggi

la valutazione dopo la Buona Scuola (legge 107/2015): quali criticità

le lezioni della sperimentazione VSQ

I TRE FOCUS DELL’INTERVENTO

DPR 80/2013: modello delle tre gambe INVALSI // Ispettori MIUR // INDIRE valuta le scuole: la squadra e non i singoli

3

Il sistema nazionale di valutazione SNV com’era in origine

2. Rapporto Con individuazione delle criticità

3. Piano di miglioramento

4. Monitoraggio dei progressi e autovalutazione

5. Valutazione esterna del miglioramento

C I R C O LA R I T À V I RT UO SA V A L U T A Z I O N E / / M I G L I O R A M E N T O

INVALSI e ispettori

1. Valutazione esterna. Indicatori quantitativi (fra cui,

valore aggiunto) e visite ispettive

SCUOLA

ISPETTORI

SCUOLA E INDIRE

INVALSI e ispettori

Il sistema nazionale di valutazione: com’è oggi

Rispetto al modello delle tre gambe, oggi:

4

Perchè

Dopo i RAV, quest’anno cominciano le visite ispettive dei NEV (nuclei esterni di valutazione)

o per coordinare le visite, servono gli ispettori (in servizio solo 42% dei 191 in organico; previsti altri 48 incarichi triennali)

o ridimensionato il numero di scuole da visitare (da 10% a meno del 5%)

o non ancora identificate le scuole in difficoltà (da visitare per prime)

• maggiore enfasi sull’autovalutazione (RAV) • minor enfasi su valutazione esterna e indicatori quantitativi

• più accettabile da parte delle scuole

• problemi nella qualità dei dati: cheating, studenti non rintracciabili in indagini successive, boicottaggio 2015 ritardi nell’elaborazione del valore aggiunto

Quale valutazione dopo la buona scuola?

5

Accanto alla valutazione delle scuole (prevista da SNV), la L. 107 ha riscoperto la valutazione dei DS e introdotto la valutazione dei docenti

Rischio di situazioni paradossali: può accadere che una scuola venga ritenuta carente in matematica, il DS penalizzato, mentre i docenti di matematica ricevono il premio. La sovrapposizione SNV-L. 107 non garantisce che tutti i soggetti abbiano un obiettivo di miglioramento comune e che ciascuno risponda solo di ciò su cui può esercitare un’influenza diretta.

SCUOLE

Statali e primarie

20 anni

Quali incentivi? SCUOLE

I TRE LIVELLI

DIRIGENTI SCOLASTICI

Statali e primarie

3 anni

Retribuzione di risultato

DOCENTI

Statali e primarie

1 anno

bonus

6

dopo un’accesa discussione, vengono fatte due proposte

di sperimentazione al Ministro Gelmini, una di valutazione dei

docenti (Valorizza), l’altra delle scuole (VSQ).

In entrambi i casi sono previsti premi per i vincitori

Legge 133/2008

30% delle economie di spesa derivanti dalle razionalizzazioni

sono destinate – a decorrere dal 2010 – a iniziative dirette alla

«valorizzazione ed allo sviluppo professionale della carriera del

personale della Scuola»

istituzione del CTS febbraio

2010

Valutazione delle scuole

o dei docenti?

Valorizza 2011

VSQ 2011-13

per definire i premi, occorre stabilire dei parametri di giudizio. Per questo viene istituito un Comitato Tecnico Scientifico con l’obiettivo di «proporre l’istituzione di un sistema nazionale di valutazione e di miglioramento della didattica»

Un passo indietro: come nasce VSQ?

Calcolo del VALORE AGGIUNTO CONTESTUALIZZATO, ossia di una misura della crescita nella qualità degli apprendimenti degli studenti rilevati dalle prove INVALSI di Italiano e Matematica

7

Esiti dei giudizi formulati da parte di team esterni su altri aspetti giudicati irrinunciabili della vita scolastica attraverso RUBRICHE DI VALUTAZIONE nell’ambito di VISITE DI OSSERVAZIONE direttamente nelle scuole

I «due pilastri» della sperimentazione VSQ

LA VALUTAZIONE DELLE SCUOLE SI BASA SU:

8

Il valore aggiunto misura quanto ciascuna scuola aggiunge al livello degli apprendimenti dei propri studenti, tenendo conto della loro preparazione pregressa, delle loro caratteristiche (es. background socio-economico-culturale), degli effetti (positivi o negativi) del contesto in cui opera. Il V.A. consente dunque di confrontare le scuole a parità di condizioni: requisito necessario in una sperimentazione pensata anche con finalità premiali.

SNV anno n (esiti individuali prove di I sec. di I grado)

SNV anno n-1 (Esiti individuali prove di V primaria)

(genere, origine immigrata, ecc) Fonte INVALSI

(numero plessi, turnover docenti, ecc) Fonte MIUR, INVALSI

(area urbana/rurale, provincia, ecc) Fonte INVALSI

Apprendimenti

Livello di preparazione

in entrata

Caratteristiche individuali

Fattori strutturali

Contesto territoriale

=

Il valore aggiunto contestualizzato

VALORE AGGIUNTO

=

- -

- -

Se guardassimo ai soli livelli assoluti di apprendimento come si distribuirebbero le scuole della sperimentazione VSQ?

RISULTATI GREZZI OSSERVATI

E se invece guardiamo al valore aggiunto contestualizzato, come cambia la distribuzione?

RISULTATI IN TERMINI DI VALORE AGGIUNTO

11

1. Inclusione studenti con disabilità 2. Inclusione studenti stranieri 3. Recupero 4. Potenziamento 5. Orientamento 6. Autovalutazione 7. Programmazione e valutazione degli studenti

Ogni Team era composto da un coordinatore e due altri membri, con compiti diversi da svolgere

Le viste di osservazione

Le visite di osservazione sono state condotte da 16 Team

I Team : Gli ambiti osservati:

Criteri di qualità esplicitati Quattro livelli per l’espressione del giudizio (Inadeguato, Accettabile, Buono, Eccellente)

Descrizione analitica di ogni livello, con evidenze empiriche da prendere in considerazione e una check list di passi da compiere, da utilizzare come ‘guida al giudizio’

Lo strumento utilizzato per la valutazione delle azioni della scuola per ognuno dei sette ambiti considerati è stato la Rubrica di valutazione, caratterizzata da:

12

In pratica, come si è sviluppata VSQ? Il reclutamento delle scuole (nov. 2010 – apr. 2011)

PROVINCIA SCUOLE PARTECIPANTI

TASSO DI PARTECIPAZIONE

Arezzo 14 su 34 41%

Mantova (aggiunta tardiva)

5 su 38 13%

Pavia 20 su 29 69%

Siracusa 38 su 60 63%

A Pisa e Cagliari la sperimentazione è stata proposta, ma senza riuscire ad ottenere scuole partecipanti

La decisione di basare la valutazione sul V. A. ha condizionato la scelta: VSQ ha coinvolto solo scuole medie, le uniche per le quali fossero disponibili prove INVALSI in ingresso (V primaria), intermedie (I media) e finali (III)

Per semplificare le procedure di «aggancio» delle prove di V, si sono privilegiate province con una presenza diffusa di Istituti comprensivi

totale scuole partecipanti

77

13

In pratica, come si è sviluppata VSQ? La prima fase della valutazione (aprile - dicembre 2011)

Maggio 2011: si svolgono le

prove Invalsi di I sec. di I grado, i cui risultati vengono collegati a quelli delle prove di V primaria del 2010 per il calcolo del V.A.

Le visite di osservazione slittano all’autunno, dunque all’a.s. 2011-12: vengono compilate le rubriche con giudizi da 1 (inadeguato) a 4 (eccellente) su 7 ambiti della vita scolastica

Si registra un certo disorientamento nelle scuole per il frequente cambio di approcci e di criteri

3%

PERCORSO DI VALUTAZIONE PER L’ESPRESSIONE DEL «GIUDIZIO

COMPLESSIVO INTERMEDIO» (GRAN PREMIO DELLA MONTAGNA)

Graduatorie regionali: 20 scuole (25%) premiate con 35.000 €

Crescita degli apprendimenti in Italiano

Crescita degli apprendimenti in Matematica

• Inclusione studenti disabili e stranieri • Recupero e Potenziamento • Orientamento • Valutazione studenti e autovalutazione

35%

25%

40%

14

Stesura e consegna alle scuole di un primo Rapporto analitico da parte dei Team di valutazione con l’individuazione di punti di forza e di debolezza e suggerimenti per il futuro («piste di miglioramento»)

A tutte le scuole non premiate sono stati comunque erogati contributi inversamente proporzionali alla posizione in graduatoria (fino a un massimo di 12.000€) per la realizzazione di «Piani di miglioramento» (PdM)

Supporto continuativo alle scuole da parte di Tutor scelti e appositamente formati dall’Indire per l’elaborazione, la revisione e la realizzazione dei PdM

In pratica, come si è sviluppata VSQ? La fase del miglioramento (2012-13)

La nuova valutazione del 2013 ha mantenuto fermi – nei limiti del possibile – i criteri utilizzati nel 2011

Giugno 2013: si svolgono le prove Invalsi di III sec. di I grado (all’interno dell’Esame

di Stato), da collegare alle prove di V primaria del 2010 (calcolo V.A.)

Rotazione dei Team di

osservazione sulle scuole: confermate le rubriche e i giudizi (da 1 a 4) sugli stessi 7 ambiti della vita scolastica

Molte scuole partecipanti sono state investite dal dimensionamento. Adozione

da parte del Miur di un criterio «conservativo»: al termine rimangono in lizza 71 istituti 15

Graduatorie regionali: 20 scuole (28%) premiate con 65.000 €

In pratica, come si è sviluppata VSQ? La seconda fase della valutazione (2013)

PERCORSO DI VALUTAZIONE PER L’ESPRESSIONE

DEL «GIUDIZIO COMPLESSIVO FINALE»

Crescita degli apprendimenti in Italiano

Crescita degli apprendimenti in Matematica

• Inclusione studenti disabili e stranieri • Recupero e Potenziamento • Orientamento • Valutazione studenti e autovalutazione

35%

25%

40%

16

ciò che non è andato nella direzione inizialmente prevista durante la fase di progettazione a tavolino della sperimentazione;

le reazioni da parte delle scuole raccolte in tre diverse tornate di approfondimento sul campo, nel 2011, 2012 e 2014;

gli aspetti tecnici e organizzativi perfezionabili alla luce degli inevitabili errori e omissioni della «prima volta».

In altre parole, sulle «lezioni ricavabili da VSQ»

Per una riflessione seria sul nascente SNV è utile soffermarsi anche su:

17

1. Risultati altalenanti sugli apprendimenti (segnali positivi dopo il primo anno, svaniti al termine del triennio) chiamano in causa il fenomeno del cheating osservato in 3a media, soprattutto nelle scuole di controllo.

2. Scarsa capacità delle scuole di usare correttamente i dati ricevuti da Miur e Invalsi. Dai piani di miglioramento emergono anche difficoltà incontrate dalle scuole nel passaggio da generiche idee-guida alla concreta strutturazione di quadri progettuali. La tendenza è ancora quella di proporsi come “progettifici”.

3. Sullo sfondo: resistenza nelle scuole alla valutazione nelle fasi di turbolenza politica, soprattutto quando si parla di valutazione dei docenti

Nonostante la prospettiva dei premi, e nonostante la stesura e la realizzazione di piani di miglioramento supportati dai tutor Indire, al termine del triennio di sperimentazione gli apprendimenti degli studenti delle scuole VSQ non risultano superiori rispetto a quelli di scuole simili.

Prima lezione

18

Peraltro, buoni progressi nel tempo sono stati registrati nei giudizi espressi dai team di valutazione esterna: nel 2013, a due anni di distanza dalle prime visite di osservazione, le scuole hanno ottenuto punteggi sistematicamente superiori.

Seconda lezione

2. Di certo, VSQ ha suscitato nelle scuole un processo di apprendimento organizzativo che ha migliorato la loro capacità di conservare - e al bisogno di produrre tempestivamente - la documentazione loro richiesta dalle procedure di valutazione .

1. C’è stato un reale balzo in avanti nella capacità di inclusione, in quella di orientamento alla prosecuzione degli studi, nell’attenzione agli studenti in difficoltà (recupero) e così via? Oppure a crescere è stata soltanto la capacità di interlocuzione con i valutatori esterni, affinatasi con l’esperienza?

19

1. le prove Invalsi non erano e non sono «ancorate», il che rende più ardua l’interpretazione del v.a.

2. nessun sistema di valutazione è al riparo dagli effetti di un cheating diffuso, in grado di compromettere le prove standardizzate: data l’impossibilità di distinguere a posteriori tra eccellenza e propensione a barare, va rafforzato il controllo preventivo

NB: i boicottaggi delle prove Invalsi 2015 rendono oggi molto più arduo l’uso del VA, in particolare nel Sud

Lo strumento del valore aggiunto, espressamente previsto dal DPR 80, è stato sperimentato con profitto sulle scuole VSQ, ma non è ancora pronto per essere utilizzato in funzione valutativa

Terza lezione

3. l’Invalsi non è stato in grado di seguire longitudinalmente tutti gli studenti che prendevano parte alla sperimentazione, anche a causa del difficile avvio del codice Sidi

4. in tre anni le scuole sembrano aver fatto pochi progressi nella comprensione del concetto e del metodo di stima del valore aggiunto

20

1. autorevolezza e profonda conoscenza del vocabolario e dei meccanismi scolastici sono requisiti necessari per gli osservatori/ispettori che visitano le scuole: va evitato in ogni modo il rischio di una loro delegittimazione

2. gli obiettivi e gli strumenti della valutazione devono essere comunicati alle scuole in modo trasparente e all’inizio del processo

3. una volta determinati gli obiettivi della valutazione, è indispensabile mantenere la coerenza dell’impianto valutativo durante tutto il processo

4. per questo è necessaria una piena sintonia tra ispettori e chi assiste le scuole nella fase di autovalutazione e miglioramento (Indire)

Quarta lezione

E’ stato affinato lo strumento delle visite di osservazione da parte di nuclei esterni, anch’esso ripreso dal DPR 80. L’esperienza VSQ, con diverse occasioni di visita, ha messo in luce alcuni aspetti non scontati

21

1. il processo valutativo di VSQ si è concentrato su 9 indicatori: v.a. di italiano e matematica più 7 dimensioni della vita scolastica (inclusione, orientamento ecc.)

Quinta lezione

I processi valutativi oscillano in permanenza tra due estremi, entrambi sbagliati: l’approccio monodimensionale, che ignora la complessità della scuola, e l’approccio olistico, che vorrebbe tener conto di un’infinità di aspetti diversi. VSQ ha raggiunto un compromesso equilibrato tra la “dittatura dell’indicatore unico” e la dispersività del voler valutare tutto

* va evitata la moltiplicazione delle dimensioni da valutare: oggi in SNV c’è un disorientante eccesso di indicatori

22

Le resistenze delle scuole italiane nei confronti della valutazione esterna si attenuano se viene valutata l’intera squadra, si rafforzano quando si parla di valutazione del singolo docente

1. nel triennio della sperimentazione si è passati da un clima apertamente ostile nei confronti della valutazione esterna delle scuole a un clima molto più disteso e dialogante

2. le scuole non si sono più chieste «se» si dovesse fare la valutazione ma «come» dovesse essere fatta (e hanno giustamente preteso che fosse fatta bene)

3. questo cambiamento rende ancora più cruciale una buona comunicazione tra valutatori e valutati, e impone una maggiore trasparenza dei criteri adottati e delle procedure da parte di Miur e Invalsi

NB: Con l’iter tortuoso che ha condotto all’approvazione della legge sulla «Buona scuola», il pendolo pare essersi nuovamente spostato in direzione della diffidenza e dell’ostilità nei confronti della valutazione esterna.

Sesta lezione

23

La valutazione deve essere tempestiva

1. dall’inizio alla fine di VSQ sono passati più di 3 anni; nel frattempo molto è cambiato: trasferimenti, cessazioni, dimensionamento…

2. tempi troppo lunghi per la valutazione esterna prevista oggi da SNV : potrebbero passare 20 anni prima che una scuola venga visitata

3. a rischio la titolarità dei processi di miglioramento, anche per il turnover di DS e docenti

Settima lezione

24

Un elemento di fragilità di VSQ, segnalato dai docenti e dai DS, va ricercato nella latitanza dei referenti locali. E’ opportuno un maggior coinvolgimento di USR e ambiti territoriali

1. tutte le fasi sono state gestite centralmente da Viale Trastevere, da Frascati e da Firenze, senza prevedere sportelli locali in grado di fornire informazioni alle scuole

2. andrebbe prevista l’attivazione presso le sedi decentrate del Miur di appositi uffici/sportelli che possano agevolare lo svolgimento delle visite di osservazione, aiutare le scuole nella raccolta e nell’interpretazione dei dati di fonte Miur o Invalsi, fornire tutti i chiarimenti necessari sulle diverse fasi del processo valutativo

Ottava lezione

25

Consenso Reazioni

Dalle interviste con i DS delle scuole vincitrici abbiamo

tratto una nona lezione

*Erano inizialmente previste 20 scuole vincitrici, ma il numero è cresciuto a seguito d un ex aequo a Siracusa e di un dimensionamento a Pavia

A un anno dalla conclusione della sperimentazione siamo tornati a Siracusa-Arezzo-Pavia-Mantova per vedere come sono state utilizzate le risorse premiali

Ci interessava verificare cosa era effettivamente successo nelle 22* scuole vincitrici in occasione dell’erogazione dei premi

Criteri di ripartizione dei 65.000 €

Consenso Ai docenti

o alla progettazione

di istituto?

Reazioni

26

A un anno dalla consegna dei premi molti DS delle scuole VSQ vincitrici non hanno ancora

deciso come usarli. Il mondo della scuola fatica a digerire la logica premiale

1. solo il 27% delle scuole dopo 1 anno aveva già allocato tutti i premi.

2. premi al personale: nel 40% dei casi è stata una distribuzione «a pioggia» .

3. in alcuni casi, invece che scegliere i docenti, si è preferito utilizzare i fondi per acquisti o altri progetti.

4. lontananza culturale dalla logica premiale e degli incentivi, anche da parte di scuole auto-selezionate

5. per analogia: come si comporteranno i comitati di valutazione e i DS con il bonus ai singoli docenti della legge 107?

Nona lezione

27

1

2

Vanno scollegate le attività di valutazione delle scuole dal riconoscimento di premi: l’enfasi sulla premialità rende di fatto inutilizzabile qualsiasi indicatore adottato. In particolare, per i docenti alla logica dei premi andrebbe preferita la costruzione della carriera

Il passaggio dalle decine (VSQ) o dalle centinaia (VALeS) di scuole alle migliaia (SNV) richiede una strategia di irrobustimento della cultura della valutazione, con un investimento su larga scala in formazione dei professionisti della valutazione, al momento assente

3

Conclusioni

Va accuratamente evitato il rischio di una regia ondivaga dei processi valutativi, con frequenti

cambi di direzione e conseguente disorientamento da parte dei soggetti valutati.

Occorre una forte guida da parte del Miur

28

info sul progetto VSQ e tutte le lezioni apprese sono disponibili sul sito della Fondazione Agnelli www.fga.it

Bologna Fondazione Golinelli 22 febbraio 2016

quale valutazione

*

Andrea Gavosto andrea.gavosto@fga.it

Il sistema di valutazione dopo la Buona Scuola