la scienza è cultura i criteri di valutazione dei sistemi scolastici andrea gavosto

La scienza è culturaI criteri di valutazione dei sistemi scolastici

Andrea GavostoFondazione Giovanni Agnelli

[email protected]

Catanzaro, 25 marzo 2010

Indice

1. Perché la valutazione nella scuola è necessaria

2. Che cosa si valuta: il concetto di valore aggiunto

3. Come costruire un sistema di valutazione: i quattro pilastri

4. Un esperimento condotto sulle scuole piemontesi

5. Limiti della valutazione

La Fondazione Agnelli e la scuola

3

Valutazione Perché è necessaria?

Anche se incompleta, l’autonomia degli istituti scolastici, costituzionalmente garantita, rappresenta il maggior cambiamento avvenuto nella scuola italiana negli ultimi dieci anni.

L’altro lato dell’autonomia è la necessità che le scuole rendano conto alle autorità di governo, alle famiglie, agli studenti e ai contribuenti, delle scelte didattiche e organizzative compiute (accountability). Questo comporta la misurazione degli effetti di queste scelte 4

Valutazione Perché è necessaria?

La raccolta di informazioni omogenee e confrontabili sui risultati ottenuti da studenti e scuole consente di stabilire a che punto si trova la singola scuola rispetto al resto del sistema.

Famiglie e studenti sono informati sulla qualità degli insegnamenti; le scuole possono avviare le azioni necessarie a migliorare gli esiti.

Oggi gli esami di stato non funzionano da orientamento, perché manca la confrontabilità.

5

Divari territoriali

Divari di indirizzo

Valutazione Il divario nei risultati scolastici fra Nord e Sud è spiegabile dalla mancata percezione del ritardo al Sud

6868 61613434 3232 28282828 1212 1111 77 44

2222

-16-16

NORD LICEO CENTRO

IST. TECNICO

DONNA

RETROTERRA SOCIOCULTURALE

NELLA SCUOLA

PIACERE NELLO STUDIARE LE

SCIENZE

NUMERO ORE DI SCIENZE A SCUOLA

INTERESSE APPRENDIMENTO

SCIENZE

RETROTERRA SOCIOCULTURALE

INDIVIDUALE

ATTIVITA’ SCIENTIFICHE

EXTRACURRICULARI

Caratteristiche individuali

Punti PISA

Font

e: e

labo

razi

one

su d

ati O

cse

Pisa

200

6

6

Valutazione Percezione degli studenti della propria competenza in matematica e risultati effettivi in Pisa

L’indice di percezione per il totale Italia è pari a 0 (valore che coincide con la media OCSE). A valori positivi più alti corrispondono gli studenti che dichiarano una buona familiarità e buoni esiti in matematica, mentre assumono valori negativi gli studenti per cui questa materia è considerata problematica. Fonte: Foresti, Pennisi, 2007. 7

Valutazione I test standardizzati disponibili

8

Valutazione I risultati dei test standardizzati mettono in luce il calo dopo le primarie

Fonti: TIMMS 2007, PISA 2006

IV elementare

III Media Studenti 15enni

IV elementare

III Media Studenti 15enni

Nord Est

Nord Ovest

Centro

Sud

Media internazionale

9

10

Punteggio in matematica nel test PISA e voto in pagella (punteggi)

Fonte: elaborazioni su dati OCSE-PISA.

Valutazione I test standardizzati raccontano una storia diversa dagli esiti degli scrutini

10

Valutazione Che cosa si valuta

La valutazione va fatta su obiettivi condivisi

Ad esempio, combattere la dispersione scolastica e promuovere il successo formativo di ogni studente sono obiettivi di sistema rispetto ai quali le singole scuole secondarie superiori possono e devono essere chiamate a produrre risultati.

L’efficacia formativa si rileva all’interno delle scuole (valore aggiunto) ma si proietta anche all’esterno (esiti occupazionali, performance universitarie).

11

L’apprendimento di uno studente è influenzato non solo dalle sue caratteristiche personali ma anche dall’effetto di contesto o effetto di composizione del gruppo – classe e/o scuola - di cui un alunno fa parte.

Esso è prima di tutto un effetto dovuto alla particolare composizione del gruppo ed è dunque, in termini diretti, un effetto dei compagni (peer effect). La composizione del gruppo genera però anche tutta una serie di effetti indiretti. Ad esempio, gli insegnanti si comportano in modo diverso a seconda del gruppo di alunni con cui si trovano ad interagire.

Di tale effetto andrebbe tenuto conto nel valutare l’efficacia di una scuola sul progresso dei suoi alunni.

Valutazione Che cosa si valuta: l’effetto di contesto

12

Font

e: A

ngel

a M

artin

i C

anal

e d’

Agor

do 1

3 se

ttem

bre

2008

e

Robe

rto

Ricc

i, lL

a m

isur

azio

ne d

el v

alor

e ag

giun

to n

ella

sc

uola

, Fon

dazi

one

Agne

lli

Il problema fondamentale è quello di separare l'effetto della scuola da tutte le altre influenze che agiscono sui livelli di apprendimento degli alunni, per arrivare a stabilire il “valore aggiunto” dell’istruzione impartita da ciascun istituto scolastico. L’effetto scuola può essere misurato in quattro modi : •Come differenzadifferenza tra il punteggio medio grezzo di una scuola e quello medio generale di un certo territorio, •Con i progressi medi progressi medi che gli allievi realizzano in un determinato arco di tempo (guadagni cognitivi), •Come differenzadifferenza media tra i punteggi osservati punteggi osservati ed i punteggi punteggi attesi attesi in relazione alle caratteristiche degli allievi (condizione socio-economico-culturale, attitudini, ecc.), •Come il guadagno cognitivo medio guadagno cognitivo medio netto rispetto a tutti i fattori di contesto che non sono controllati dalla scuola.

Valutazione Che cosa si valuta: il valore aggiunto

13

Valutazione Che cosa si valuta: l’efficacia differenziale

Ist. Tec. Industriale – G.B. Pininfarina

Liceo Scientifico – G. Vasco

Se si guardasse ai soli valori assoluti le distanze tra le due scuole sembrerebbero molto elevate.

Voti medi assoluti

14

Valutazione Che cosa si valuta: l’efficacia differenziale

Voti medi “depurati”

Guardando all’effettivo valore aggiunto le distanze si accorciano.

Non si può imputare alle scuole il ruolo giocato dalle caratteristiche individuali degli studenti e dai fattori di contesto (indirizzo, territorio)

15

Valutazione La necessità di un sistema stratificato

Le informazioni sulla qualità di una scuola dovrebbero scaturire da 4 punti d’osservazione:

• l’autovalutazione - strumento essenziale d’indirizzo per le scuole autonome;

• le visite ispettive ministeriali - non più verifica di adempimenti burocratici, ma valutazione complessiva della qualità del servizio scolastico e alla sua rispondenza agli obiettivi di sistema (modello OFSTED);

• le prove standardizzate di misurazione degli apprendimen-ti (INVALSI) - il cuore della valutazione, improntate all’individuazione del valore aggiunto prodotto dalla scuole;

• il giudizio offerto da soggetti terzi, quali università e mondo del lavoro.

16

Valutazione Per essere efficace la valutazione va legata a incentivi economici o motivazionali

= Retribuzione Finale

+ Incremento per funzioni obiettivo

+ Differenza per regione/materia E’ meglio premiare

la scuola anziché il singolo insegnante perché l’insegnamento è un lavoro d’equipe

Retribuzione Base

17

+ Premio Scuola

Valutazione Le opinioni dei docenti

18

Nell’ipotesi di costruzione di un sistema nazionale di valutazione, chi dovrebbe essere valutato secondo la sua opinione? Quota di insegnanti neoassunti che risponde “d’accordo” o “molto d’accordo”

Un esempio di valutazione esterna

Un caveatQuesto approccio è valido soprattutto nel caso in cui lo sbocco privilegiato dagli studenti di una data scuola sia proprio l’università (licei), mentre lo è meno nel caso di istituti la cui missione formativa verte su aspetti maggiormente professionalizzanti (tecnici, ma soprattutto professionali*).

La FGA ha ricostruito le carriere universitarie degli studenti (esami, voti, crediti) per trarre indicazioni sulla qualità delle “basi” acquisite presso le scuole superiori d'origine.

I risultati hanno condotto alla pubblicazione di una graduatoria degli istituti scolastici superiori.

* Esclusi dall’analisi

19

L’esercizio Cosa c’è dietro le performance degli studenti?

20

L’esercizio Un esempio di ranking

PIEMONTE Posizioni guadagnate (+) o perse (-)a causa di:

Istituto Ente Comune Prov.Rank

Effetto Scuola

Caratteristiche degli studenti

Effetti territoriali

Effetti tipo di scuola

Rank Finale

21




Effetto Scuola




Rank Finale

Liceo Scientifico - G. Ferrari Statale Borgosesia VC

22




Effetto Scuola




Rank Finale

Liceo Scientifico - G. Ferrari Statale Borgosesia VC 80

23




Effetto Scuola




Rank Finale

Liceo Scientifico - G. Ferrari Statale Borgosesia VC 80 +10 +33 +18 19

24




Effetto Scuola




Rank Finale


I.T.C.G. - G. Guarini Statale Torino TO

25




Effetto Scuola




Rank Finale


I.T.C.G. - G. Guarini Statale Torino TO 25

26




Effetto Scuola




Rank Finale


I.T.C.G. - G. Guarini Statale Torino TO 25 -16 -45 -52 139

27

L’esercizio Risultati principaliDalle graduatorie emergono molte conferme e alcuni elementi di novità:

• Sia in Piemonte che in Emilia Romagna si rileva la buona qualità dell’istruzione tecnica in termini di effetto scuola.

• I licei sono avvantaggiati rispetto agli istituti tecnici dal processo di autoselezione degli studenti negli indirizzi formativi. I primi ricevono studenti più brillanti e di estrazione socio-culturale più elevata.

• In entrambe le regioni si rileva la presenza di un effetto provincia: gli studenti dei piccoli centri hanno in media performance universitarie migliori, forse a seguito del maggior controllo sociale presente nelle piccole realtà rispetto ai grandi centri urbani, o semplicemente per il carico motivazionale maggiore che spesso caratterizza gli studenti universitari “fuori sede”.

• Le scuole non statali hanno in media performance pessime rispetto a quelle statali. Questo è particolarmente evidente in Piemonte, mentre in Emilia Romagna risaltano alcune realtà di assoluto prestigio ed elevata efficacia formativa (scuole comunali).

28

agavosto

vogliamo anche far vedere il grafico di goldstein sulla base dell'esercizio dello scorso anno?

gdesimone

se vuoi ricalcolo gli intervalli di confidenza per quest'anno.

Valutazione I limiti

1. L’oggetto della misurazione: competenze (problem solving) o conoscenze? Ad es, i test tradizionali non sono adatti a misurare l’effetto dell’uso delle tecnologie a scuola

2. Teaching to the test

3. Nessun sistema di valutazione esterno è in grado di controllare perfettamente l’interazione fra insegnanti, allievi e famiglie

29

Back up

L’esercizio Prime sperimentazioni

Nel 2009 è stato fatto il primo tentativo di valutazione delle scuole secondarie superiori Piemontesi.

Nel 2010 al Piemonte si è aggiunta l’Emilia Romagna.

31

L’esercizio Fonte dei dati e atenei considerati

Fonte principale dei dati: Anagrafe Nazionale degli Studenti Universitari (ANS)

Per ogni studente sono disponibili, tra gli altri, dati relativi a: studi scolastici compiuti (titolo di scuola media superiore

conseguito, istituto che lo ha rilasciato, anno solare di conseguimento, votazione all’esame di Stato);

immatricolazione (università, corso di laurea, sede didattica, denominazione corso, impegno a tempo pieno o parziale);

carriera universitaria (totale crediti formativi, crediti acquisiti per stage, crediti riconosciuti validi per il corso, esami, votazione).

Atenei di riferimento: Per ogni regione sono stati considerati solamente i diplomati immatricolati negli atenei della stessa regione.

•Piemonte: Unito, Polito, Unipmn. (circa 82% dei diplomati)•Emilia Romagna: Unibo, Unife, Unimore, Unipr. (circa 87% dei diplomati)

32

L’esercizio Studenti e indicatori di performanceStudenti considerati: immatricolati iscritti regolarmente, quelli cioè che hanno proseguito gli studi al livello universitario immediatamente dopo l’ottenimento del diploma, e immatricolati “ritardatari”, coloro che si iscrivono dopo 1 o 2 anni dal conseguimento del diploma.

Segmento di carriera considerato: solo il primo anno del corso universitario, poiché negli anni successivi l’esperienza sul campo (learning by doing) assume sempre maggiore importanza e l’effetto della scuola tende a scemare. Indicatori di performance: si è costruito un indicatore sintetico che tiene conto con pari peso del profitto universitario e della velocità negli studi.

Profitto: media dei voti conseguiti agli esami universitari ponderata per i crediti formativi di ogni esame.

Velocità: rapporto fra i crediti conseguiti dallo studente e crediti dichiarati come impegno annuale.

33

L’esercizio Periodo e scuole coinvolte

Anni accademici di riferimento: tre per il Piemonte (2005/06, 2006/07, 20007/08 ), due per l’Emilia Romagna (2006/07, 20007/08 )

Chi c’è sotto la soglia?•scuole di piccole dimensioni o con tassi di prosecuzione modesti;• scuole in aree di confine (maggiore probabilità di prosecuzione fuori regione);• scuole con particolari relazioni con atenei extra-regionali o esteri;• scuole per le quali si sono riscontrati problemi di qualità o assenza dei dati all’interno dell’ANS (ad esempio, scuole che hanno cambiato denominazione o sono state accorpate).

Soglie di selezione: per esigenze di rappresentatività statistica del dato e affidabilità dell’esercizio abbiamo imposto delle numerosità minime.Piemonte: almeno 15 allievi iscritti presso gli atenei della regione nei tre

anni accademici di riferimento;Emilia Romagna: almeno 10 allievi iscritti presso gli atenei della regione nei

due anni accademici di riferimento.

soglia

34

L’esercizio Altri limiti …

Attenzione!

1. La banca dati ANS, nata per altri scopi, viene utilizzata solo da due anni per questa tipologia di esercizi di valutazione. Sono inevitabilmente presenti alcune lacune (campi parzialmente compilati, codici errati, ecc), e non in tutti i casi si è potuto intervenire per colmarle o correggere le inesattezze.

2. Gli accorpamenti di molte scuole in Istituti Superiori con indirizzi diversi non consente di costruire graduatorie separate per le scuole e gli indirizzi che ne fanno parte. Nei calcoli si tiene comunque conto della composizione per indirizzi delle scuole, la diversa natura dei percorsi formativi e le diverse caratteristiche individuali degli studenti iscritti nei vari indirizzi.

35

L’esercizio L’effetto scelte universitarie

A parità di abilità, preparazione e impegno, di certo contano le scelte universitarie degli individui possono falsare i risultati.

Frequentare un corso di studio umanistico presso un ateneo periferico e/o di recente istituzione vuol dire avere una carriera universitaria più agevole rispetto al frequentare una facoltà scientifica (hard science) presso un ateneo metropolitano di tradizione?Se è così, bisogna evitare che una scuola che abbia più diplomati nel primo corso di laurea che nel secondo risulti avvantaggiata nel giudizio.

I confronti tra studenti vanno effettuati per gruppi omogenei rispetto alle scelte universitarie compiute.

Il profitto e la velocità di ognuno sono stati confrontati non con quelli medi di tutta la popolazione studentesca considerata, bensì con quelli medi degli studenti che frequentano lo stesso ateneo e la stessa area disciplinare.

36

L’esercizio L’effetto studenti

Le scuole non ricevono e non educano studenti dello stesso tipo.

Per confrontare correttamente il lavoro svolto da due scuole, occorre farlo a parità di caratteristiche degli studenti in ingresso.

I dati dell’ANS ci hanno permesso di tener conto per ogni studente di:• sesso: è noto che le ragazze ottengono mediamente risultati migliori

negli studi (anche se non in tutte le discipline);• talento scolastico: ricevere studenti più dotati facilita il compito

educativo delle scuole. Dunque, controlliamo per il voto di maturità standardizzato rispetto all’indirizzo di studio e alla media di scuola;

• ritardo nella prosecuzione degli studi al livello universitario: chi non prosegue immediatamente ha delle caratteristiche particolari (studente del tecnico, forse ha tentato un ingresso nel mercato del lavoro, ecc.) che possono influire sulla performance.

37

L’esercizio Effetto contesto territoriale

Le specificità territoriali del luogo di provenienza degli studenti e di localizzazione dell’istituto scolastico possono a vario titolo influire sulle performance universitarie degli individui.

La provincia è diversa dalla città, e province e città sono tra loro molto eterogenee per le condizioni economiche e l’offerta formativa disponibile, ma anche per i modelli culturali prevalenti e per il controllo sociale.

Questi fattori possono condizionare la scelta di proseguire o meno gli studi e quella di come proseguire (studenti “fuorisede”).

Per queste ragioni abbiamo isolato l’effetto territoriale nell’analisi, individuando le celle geografiche a partire dai Sistemi Locali del Lavoro definiti dall’ISTAT che dovrebbero catturare il bacino d’utenza potenziale delle singole scuole.

38

L’esercizio Effetto tipo di scuola (indirizzo)

La forte stratificazione socio-culturale della scuola secondaria superiore italiana determina vantaggi o svantaggi per i singoli istituti a seconda dell’indirizzo formativo di appartenenza.

L’estrazione socio-culturale di chi frequenta un liceo classico è molto diversa da quella di chi frequenta un istituto tecnico. Allo stesso modo, i talenti scolastici si distribuiscono in modo non casuale tra i diversi percorsi di studio. Dunque, le popolazioni studentesche tendono ad essere molto omogenee all’interno dei singoli indirizzi formativi e molto diverse tra indirizzi (cfr. Rapporto FGA 2010).

Inoltre, in assenza di meccanismi di carriera e di incentivi, anche gli insegnanti “migliori” tendono a concentrarsi in alcuni indirizzi formativi (cfr. Rapporto FGA 2009).

Gli effetti positivi o negativi derivanti da questi fenomeni non sono attribuibili alla singola scuola che invece ne beneficia o ne risente.Pertanto, bisogna isolarli nell’analisi.

39

L’esercizio Effetto scuola

Solo tenendo conto dell’influenza esercitata sui risultati universitari da altri fattori non direttamente controllabili dalle scuola stesse (effetto studenti, effetto contesto territoriale, effetto tipo di scuola), e di cui dunque non possono essere considerate responsabili, si può pervenire al vero “effetto scuola”.

EFFETTO SCUOLAPredisposizione agli studi universitari che deriva dall’aver frequentato una determinata istituzione scolastica

40

L’esercizio Come presentare i risultati?

Si possono ordinare le scuole per il contributo effettivo alla preparazione agli studi universitari, al netto delle altre componenti, in una graduatoria in base all’effetto scuola.

Questo ranking offrirebbe informazioni utili ad esempio agli operatori scolastici e ai responsabili della politica scolastica che saprebbero in quale scuola si fa di più con i mezzi a disposizione.

Ma per studenti e famiglie che vogliono scegliere un istituto al passaggio dalle medie alle superiori è importante sapere anche se sono presenti degli effetti di contesto in grado di migliorare gli apprendimenti e le performance individuali.

Si può allora stilare anche una graduatoria in base ai risultati finali dove le scuole sono ordinate in base ai risultati raggiunti per l’operare simultaneo di tutte le componenti (tranne gli effetti distorsivi delle scelte universitarie).

41

la scienza è cultura i criteri di valutazione dei sistemi scolastici andrea gavosto

Documents