come innalzare le competenze in matematica? le valutazioni in corso su [email protected] e pqm daniele vidoni...

Come innalzare le competenze in matematica? Le valutazioni in corso su

[email protected] e PQM

Daniele VidoniINVALSI

La

stru

ttura

del

la p

rese

nta

zion

e

Il problema su cui intervenire: competenze degli studenti in matematica

Alcuni tra gli interventi promossi: le caratteristiche di PQM e di [email protected]

Approfondimento sul disegno di valutazione di [email protected] e alcuni primi dati

Riflessioni sulle opportunità e sulle difficoltà che si incontrano nelle attività di valutazione

Percentuale degli studenti di 15 anni con competenze in matematica tali da risolvere problemi complessi (superiore al terzo livello)

Fonte: OCSE-PISA 2006

I dati più recenti segnalano che sono troppo pochi gli studenti ricchi di competenze in matematica…

0,0

5,0

10,0

15,0

20,0

25,0

30,0

35,0

40,0

PABolzano

Campania Basilicata EmiliaRomagna

FriuliVeneziaGiulia

Sicilia Liguria Lombardia Piemonte PA Trento Sardegna Puglia Veneto

OCSE = 32,4%

Italia = 19,6%

Il p

robl

ema

su c

ui i

nte

rven

ire

Percentuale degli studenti di 15 anni con scarse competenze in matematica (inferiori al primo livello)

Fonte: OCSE-PISA 2006

… e troppi quelli poveri di competenze

Italia=13,5%

-25,0

-20,0

-15,0

-10,0

-5,0

0,0

PABolzano Campania Basilicata

EmiliaRomagna

FriuliVeneziaGiulia Sicilia Liguria Lombardia Piemonte PA Trento Sardegna Puglia Veneto

OCSE=7,7%

Il p

robl

ema

su c

ui i

nte

rven

ire

Inte

rven

ti pr

omos

si n

elle

scu

ole

seco

nda

rie

di I

gra

do

Piano Nazionale Qualità e Merito (PQM):• coaching e tutoring on the job per i docenti • assistenza per l’utilizzo di strumenti di valutazione e dei

risultati delle rilevazioni Invalsi all’interno delle scuole• attività di potenziamento rivolte agli studenti sulle carenze

individuate tramite ore extra-curricolari• coinvolge studenti delle classi prime

Percorso di formazione con didattica innovativa [email protected] :• formazione dei docenti “blended” con incontri in presenza e

piattaforma virtuale on-line• la sperimentazione in classe di quattro unità didattiche

basate su esempi concreti e coinvolgimento della classe• riflessione individuale e collettiva delle esperienze in classe

attraverso la stesura di un “diario di bordo” e il confronto con la classe virtuale

• coinvolge prime, seconde e terze classi

Caratteristiche degli interventi promossi a livello nazionale (e rafforzati in Calabria, Campania, Puglia e Sicilia)

% studenti che rispondono correttamente

Posizionamento relativo della classe all’interno della popolazione

Un

a in

nov

azio

ne

embl

emat

ica

in c

iasc

un

inte

rven

to …

Innovazione emblematica PQM: cruscotto di diagnosi valutativa della propria classe

http://pqm.indire.it

Un

a in

nov

azio

ne

embl

emat

ica

in c

iasc

un

inte

rven

to …

Innovazione emblematica [email protected]: unità didattiche da sperimentare in classe

Le attività proposte sono divise in quattro nuclei tematici: numeri, geometria, relazioni e funzioni, dati e previsioni. Gli elementi che compongono ciascuna attività didattica sono: • una parte introduttiva rivolta al docente, con indicazioni metodologiche e prove di valutazione; • una sorta di “sceneggiatura” che dettaglia le attività da sviluppare in classe e i relativi documenti di supporto scaricabili (anche VIDEO)• indicazioni metodologiche e spunti di approfondimento disciplinare; • suggerimenti su attività addizionali associate all’attività didattica da sviluppare con gli studenti; • per molte attività ma non per tutte, elementi di prova di verifica per valutare l’effettiva comprensione dei contenuti dell’attività da parte degli studenti; • una biblio/sitografia; • indicazioni sui punti di attenzione da considerare nell’ottica della sperimentazione e quindi del confronto con il tutor e con la classe su come funziona la proposta di attività.

Cfr. info e video: http://www.indire.it/ponmatematicacorso1/

Nel 2009-2010

PQM coinvolge 320 scuole, 700 docenti e le loro classi prime

[email protected] coinvolge 175 scuole, oltre 600 insegnanti e almeno

una delle loro classi (ma alcuni faranno la formazione

nel 2010-2011)

Quante scuole, insegnanti e classi sono coinvolte?

Per maggiori informazioni:http://pqm.indire.it

http://www.invalsi.it/invalsi/ri/matabel

9

"Strong" Evidence

Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence.

Randomized controlled trials that are well-designed and implemented

Quality of studies needed to establish "strong" evidence:

Quantity of evidence needed:

Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.

Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics

Comparison-group studies in which the intervention and comparison groups are not closely matched

"Meta-analyses" that include the results of such lower-quality studies

=

Step 2. If the intervention is not backed by "strong" evidence, is it backed by "possible" evidence of effectiveness?

Types of studies that can comprise "possible" evidence:

Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence; and/or

Types of studies that do not comprise "possible" evidence:

Pre-post studies

Step 1. Is the intervention backed by "strong" evidence of effectiveness?

+

IDENTIFYING AND IMPLEMENTING EDUCATIONAL PRACTICES SUPPORTED BY RIGOROUS EVIDENCE:A USER FRIENDLY GUIDEU.S. Department of Education

Che disegno valutativo per quale tipo di inferenza?

Due approcci di valutazione diversi, entrambi basati sull’utilizzo di rilevazioni INVALSI sugli studenti (non solo)

Gli

appr

occi

di v

alu

tzio

ne

dei d

ue

inte

rven

ti

Piano Nazionale Qualità e Merito (PQM):

Promozione dell’utilizzo di informazioni standardizzate a fini diagnostici

Percorso di formazione con didattica innovativa [email protected] :

Efficacia dei corsi di formazione


Gli

appr

occi

di v

alu

tzio

ne

dei d

ue

inte

rven

ti

Piano Nazionale Qualità e Merito (PQM):Ex-ante:• rilevazioni con test INVALSI pre- e post- su tutti gli studenti• prove SNV in matematica della V elementare e questionari di

background degli studenti a ottobre 2009 • prove SNV in matematica della I media e questionari di

background degli studenti a maggio 2010• Non tanto valutazione degli effetti, ma diagnosi inizio anno sulle

debolezze degli studenti per “tarare” gli interventiEx post:• Quasi-experiment: efficacia relativa di diverse tipologie di

trattamento


Gli

appr

occi

di v

alu

tzio

ne

dei d

ue

inte

rven

ti

Percorso di formazione con didattica innovativa [email protected] :• esperimento randomizzato controllato: scuole/docenti che

partecipano alla formazione nel 2009/2010 (“trattati”) e scuole/docenti che partecipano nel 2010/2011 (“controlli”)

• prove SNV in matematica della I media e prove simil-SNV per la II e III media e questionari di background degli studenti a maggio 2010

• rilevazione pre-/post- sugli atteggiamenti didattici degli insegnanti

• analisi dei “diari di bordo” degli insegnanti

Complesso coordinamento tra le istituzioni e gli attori coinvoltiIs

titu

zion

i e a

ttori

coi

nvo

lti

Sinergie a livello di sistema…

Complesso coordinamento tra le istituzioni e gli attori coinvoltiIs

titu

zion

i e a

ttori

coi

nvo

lti

Scuole, dirigenti, tutor, docenti, alunni …… e referenti del progetto e/o della valutazione

PQM:IL DATO QUANTITATIVO COME PUNTO DI

PARTENZA PER UNA RIFLESSIONE AL PROPRIO INTERNO

I RISULTATI

Da estrazione dati ANSAS del 3-3-10

Guida INVALSI – Bolondi, Orlandoni

Approfondimento gruppo PQM Piemonte, Militerno et al.

21

Attività in presenza di socializzazione e diffusione dei risultati:

-Partecipazione ai seminari regionali ed ai momenti formativi organizzati da ANSAS per gli insegnanti nelle regioni PON per illustrare la lettura delle prove INVALSI

-Abstract presentato alla conferenza internazionale CCEAM 2010 (Sidney, 29 settembre – 1 ottobre 2010) su: “Data to inform action: the relative effectiveness of supplementary teaching strategies in Mathematics in the PQM project in Italy”

Lo studio randomizzato per misurare gli effetti di [email protected]

La

met

odol

ogia

ado

ttata

Le scuole coinvolte sono state divise mediante sorteggio in due gruppi , con “dilazione del trattamento”•scuole che partecipano da subito (A.S. 2009/10) – “trattati”•scuole che partecipano a partire dall’anno prossimo (A.S. 2010/11) – “controlli”

L’estrazione mediante sorteggio è necessaria per crearedue gruppi di scuole e insegnanti statisticamente equivalenti:non essendovi differenze di partenza tra i due gruppi, l’eventuale differenza negli apprendimenti osservata dopo un anno può essere plausibilmente attribuita alla sperimentazione di [email protected]…… analogamente per le eventuali differenze tra gruppi di docenti nelle loro risposte a domande sull’atteggiamento in classe e la didattica

Come si confrontano i due gruppi per stimare gli effetti di [email protected]?

La

met

odol

ogia

ado

ttata

Esposizione immediata a [email protected]+ Esposizione dilazionata a [email protected]+

2009/10 2010/11 2011/12 2009/10 2010/11 2011/12 1° coorte 3° media 3° media 2° coorte 2° media 3° media 2° media 3° media 3° coorte 1° media 2° media 3° media 1° media 2° media 3° media 4° coorte 1° media 2° media 1° media 2° media 5° coorte 1° media 1° media Legenda Esposto a [email protected]+ Non ancora esposto a [email protected]+

punteggi medi nei test degli studenti delle scuole sorteggiate per implementare [email protected]+ il primo anno

punteggi medi ottenuti dagli studenti delle scuole sorteggiate per implementare [email protected]+ l’anno successivo

stima degli effetti di un anno di coinvolgimento in M@tabel

Confronto tra:

e

I confronti per ottenere la stima dell’effettodi due anni e di coorte

La

met

odol

ogia

ado

ttata


2009/10 2010/11 2011/12 2009/10 2010/11 2011/12 1° coorte 3° media 2° coorte 2° media 3° media 2° media 3° coorte 1° media 2° media

Assunto: poter utilizzare una coorte precedente come sostituto del “gruppo di controllo mancante”. L’eventuale “effetto coorte” può essere corretto osservando il seguente:


2009/10 2010/11 2011/12 2009/10 2010/11 2011/12 1° coorte 3° media 2° coorte 2° media 3° media 3° coorte 2° media

…. Può essere eventualmente esteso al terzo anno

L’insieme di docenti “osservabili”L

a co

stru

zion

e de

l cam

pion

e M

@t.a

bel

Il campione delle 175 scuole

Stratificato in base a:- criteri geografici e di dimensione territoriale (per provincia e, in

presenza di grandi centri, per città, ovvero per le città di Napoli e Palermo che sono state isolate dalla loro provincia tramite il CAP)

- dimensione della scuola di provenienza (ossia in base a due gruppi: scuole con meno di 5 insegnanti iscritti a Mat@bel e scuole con 5 o più iscritti)

- Estratte causalmente le 55 scuole per il gruppo di controllo (i cui 193 docenti parteciperanno nel 2010/2011 a Matabel)

- Gruppo di trattati e di controllo sono risultati equivalenti per sesso e anno medio di nascita, ma non per numerosità degli iscritti della scuola di appartenenza ….

La

cost

ruzi

one

del c

ampi

one

M@

t.abe

l

L’insieme delle classi “osservate”

Tramite diverse comunicazioni i docenti sono stati informati della classe estratta casualmente – quella che verrà seguita per la valutazione. Ai docenti trattati si è raccomandato di sperimentare le unità didattiche in quella classe:

• Monitoriamo i “non compliers” o diverse intensità del trattamento tramite diversi strumenti (tutor, diario di bordo, questionario pre- e post- insegnanti)

La

cost

ruzi

one

del c

ampi

one

M@

t.abe

l

ScuolePrime Seconde Terze Totale

Calabria Trattati 12 14 13 13 40Controlli 6 4 6 6 16Totale 18 18 19 19 56

Campania Trattati 37 44 46 47 137Controlli 17 19 22 22 63Totale 54 63 68 69 200

Puglia Trattati 34 42 34 40 116Controlli 15 14 14 17 45Totale 49 56 48 57 161

Sicilia Trattati 37 42 38 37 117Controlli 17 14 16 18 48Totale 54 56 54 55 165

Totale 175 193 189 200 582

Classi

Le principali minacce alla solidità dell’esperimentoL

a m

etod

olog

ia a

dotta

ta

- Eventuale mancata partecipazione ai corsi di un gran numero di insegnanti- Eventuale abbandono dei corsi da parte di un gran numero di insegnanti- Mancata applicazione dei principi della formazione (ad esempio la

sperimentazione in classe) da parte degli insegnanti nella classe indicata come parte del campione o applicazione solo parziale

- Rifiuto di partecipare alle rilevazioni dei dati (questionari, prove invalsi, etc.)- Trasferimenti degli insegnanti tra scuole tra un anno scolastico (caduta del

legame tra insegnante e studenti).

- … a parte 85 insegnanti “trasferiti” o “pensionati” tra luglio e settembre 2009, le reazioni sembrano piuttosto positive (ma il vero banco di prova sono le rilevazioni in corso nelle scuole)

Nel caso in cui si riescono a seguire negli anni 100 scuole 50% trattate e 50% controlli, si riuscirebbe a cogliere un effetto di circa 0,2 (in termini di punteggio studenti). Siamo molto al limite in termini di dimensioni campionarie e l’effetto di 0,2 è comunque piuttosto elevato !!!Altre raccolte di dati sugli studenti (come i voti al primo quadrimestre e panel) ci aiutano a migliorare la precisione delle stime anche per affrontare:

Le reazioni di tutor, insegnanti e scuole finoraL

e r

eazi

oni

fin

ora

- Iniziale confusione sulle scelta randomizzata della classe in cui sperimentare le unità didattiche e concentrare le rilevazioni … ma pochi casi di “rifiuto”

- Iniziale confusione sulla necessità delle rilevazioni nel gruppo dei “controlli” e ancora di più nel gruppo dei “trattati” che hanno abbandonato il percorso formativo … ma finora casi molto isolati di “ostruzionismo” alla valutazione

- Grande adesione alla rilevazione pre- rivolta agli insegnanti: dei 666 insegnanti analizzati, 582 che insegnavano effettivamente ancora in una delle 175 scuole oggetto della valutazione (ovvero non erano stati trasferiti altrove all’inizio del nuovo anno scolastico), sono stati intervistati telefonicamente tra gennaio e febbraio 2010: circa il 95% degli interpellati ha risposto al questionario (lungo, di circa 30-40 minuti)

Fonte: CATI [email protected]; Gennaio 2010

Chi sono gli insegnanti che partecipano a [email protected]?C

hi s

ono

gli i

nse

gnan

ti ch

e pa

rtei

cpan

o a

M@

t.abe

l

- prevalgono nettamente le donne, che costituiscono l’84% del campione;

- l’età media è di circa 52 anni, con una variabilità elevata (il più giovane ha 23 anni e il più anziano ne ha 67);

- la disciplina di laurea più frequente è la biologia (63,3%) seguita da matematica (14,2%) e infine dalle scienze naturali (9,9%);

- insegnano in media da 25 anni e insegnano in particolare la matematica nella scuola secondaria di primo grado da 23 anni;

- dichiarano generalmente di aver scelto di insegnare la matematica (quasi tre intervistati su quattro esprimono un voto tra 8 e 10 alla domande se hanno fortemente voluto insegnare la matematica nella scuola secondaria di primo grado) e questo vale in particolare se laureati in matematica


La didattica in classe D

idat

tica

in c

lass

e di

mat

emat

ica

33

64

67

77

94

98

0 20 40 60 80 100

Lavori di gruppo

Discussione guidata preparata prima

Didattica attiva

Correzione in classe dei compiti dati a casa

Esercizi eseguiti dagli alunni in classe

Presentazione e spiegazione dei contenuti

utilizzare regolarmente metodi tradizionali di insegnamento (come la spiegazione frontale e la correzione degli esercizi), ma meno la didattica basata sull’interazione stretta tra insegnanti e studenti e meno ancora quella che vede protagonisti gli studenti in lavori di gruppo (vedi fig. 1). M@tabel opera proprio in questa direzione e dovrebbe quindi mutare il modo di lavorare in classe degli insegnanti sottoposti alla formazione


Atteggiamenti sulle capacità di insegnare la matematicaA

ttegg

aim

enti

sulle

cap

acità

di i

nse

gnar

e la

mat

emat

ica

0% 20% 40% 60% 80% 100%

Bisogna imparare molto a memoria

Serve predisposizione innata

Molti in difficoltà con logica astratta

Si possono invogliare i non interessati

Si può rendere facile

Disaccordo netto Disaccordo Accordo moderato Accordo forte

Da 1 a 10, quanto è d’accordo con le affermazioni su matematica e studenti che seguono?

33

Attività in presenza di socializzazione e diffusione dei risultati:

-Seminari di formazione Osservatori Esperti nelle regioni PON (7-11 maggio 2010

-Paper accepted for oral presentation conferenza internazionale SIGEE 2010 (Leuven, 25-28 agosto 2010) su: “The design of the random assignment evaluation of a math teacher-professional development program in Italy”

Le difficoltà

Ampio lavoro di coordinamento e comunicazione… mettere in conto molte lettere, mail e telefonate (recall, recall, recall…)

Le molte rilevazioni “dirette” nelle scuole implicano molte risorse umane e molta logistica

Interpretazione e utilizzabilità dei risultatiPer quanto riguarda l’esperimento controllato, un effetto positivo inferiore alla soglia di riferimento o statisticamente non significativo non vorrebbe dire che l’intervento non funziona….(La soglia standard per questo tipo di esperimenti è 0,20; Si tratta comunque di un effetto grosso dal punto di vista dei processi scolastici: M@tabel può davvero arrivare a questa soglia? )

Le opportunità

In entrambi i casi (PQM e [email protected]) siamo nella situazione “ideale”, in cui la valutazione viene pensata ex ante e si può fare leva su una infrastruttura di rilevazione confrontabile e omogenea a livello nazionale (le prove SNV).Razionalizzazione dell’interventoDover costruire la valutazione ex-ante non ha solo influito sulla possibilità di avere dati ma si è tradotto in una razionalizzazione della logica dell’intervento, dei suoi obiettivi e della sua intensità, nonché una maggiore condivisione con la comunità scolastica

Maggiore accessibilità , comprensione e capacità di utilizzo della ampia disponibilità di dati esistenti (Invalsi, piattaforme monitoraggio gestionale e altro)Utilizzare i dati esistenti contribuisce a renderli sempre più noti e comprensibili, dunque utilizzabili, anche per altri soggetti (nonché all’interno delle scuole)

Sollevare il dubbio e cercare di chiarirlo: quali interventi funzionano e perché?Il coinvolgimento delle amministrazioni e delle scuole nelle valutazione crea interrogativi, pone il dubbio, promuove una maggiore attenzione per la scelta degli interventi ..

EVENTUALI SLIDES AGGIUNTIVE DA RIPESCARE …

37

Step 1. Is the intervention backed by "strong" evidence of effectiveness?Quality of studies needed to establish "strong" evidence:

+


=

"Strong"

Evidence




Types of studies that can comprise "possible" evidence: Types of studies that do not comprise "possible" evidence:


Pre-post studies

Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12).




38

Step 1. Is the intervention backed by "strong" evidence of effectiveness?Quality of studies needed to establish "strong" evidence:

+


=

"Strong"

Evidence




Types of studies that can comprise "possible" evidence: Types of studies that do not comprise "possible" evidence:


Pre-post studies

Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12).




La raccolta di informazioni aggiuntiveIl

dis

egn

o de

lla v

alu

tazi

one

Raccolta di informazioni su contesto, scuola, insegnanti e studenticon tre obiettivi:

1. testare la “fortuna” avuta con la randomizzazione;

2. aumentare la precisione delle stime;

3. Ipotizzare e testare (parzialmente) meccanismi esplicativi degli effetti.

Le rilevazioni in corso e previste

Gennaio 2010 pre- e Novembre 2010 post-– rilevazione sui docenti PON [email protected] (questionario CATI prima dell’avvio delle sperimentazioni in classe, ripetuto l’anno successivo<9 Maggio 2010– rilevazioni sugli studenti tramite prove del SNV / INVALSI (prima, seconda e terza media)

Giugno 2010 – Ottobre 2010– completamento del percorso PON [email protected] 2009/2010 con diario di bordo ed eventuale questionario finale di customer satisfaction (rivolto a docenti e a tutor)– interviste ad alcuni tutor e insegnanti, con analisi dei diari di bordo

La randomizzazione: la potenza del disegnoIl

dis

egn

o di

val

uta

zion

e

Il moltiplicatore è pari a 2,5 per i parametri standard nei disegni sperimentali multilivello (livello di confidenza al 95% per potenza 80%).Indagheremo 100 scuole (K): 50% trattate e 50% controlli (P). In ogni scuola, analizzeremo 6 classi (J) di 19 studenti (stima prudenziale - N)Proporzione della varianza dell’abilità: scuole=0,090; classi=0,125; studenti=0,785.(fonte: Prova nazionale INVALSI 2008 sugli studenti di terza media)

C’è inoltre una possibile correzione (non presentata nella formula semplificata) ottenibile grazie alla spiegazione che riusciamo a dare delle differenze negli esiti tra le scuole mediante gli altri predittori raccolti (R2):

-> stima pessimistica (10%) porta a MDES 0,189-> stima ottimistica (40%) porta a MDES 0,166

La soglia standard per questo tipo di esperimenti è 0,20.Si tratta comunque di un effetto grosso dal punto di vista dei processi scolastici: M@tabel può davvero arrivare a questa soglia? Un effetto positivo e non significativo non vorrebbe dire che non funziona.


L’accesso alla rete nei diversi contestiF

orm

azio

ne

blen

ded

e ac

cess

o al

le I

CT

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

A scuola

A casa

Nei due contesti

A banda larga Modem tradizionale No


La frequenza d’uso complessiva del PCF

orm

azio

ne

blen

ded

e ac

cess

o al

le I

CT

Quotidiano59%Più volte a sett.

28%

Mai3%

Una volta a sett.6%

Più raramente4%

come innalzare le competenze in matematica? le valutazioni in corso su [email protected] e pqm daniele vidoni...

Documents