il testing e le prove di valutazione...le griglie di valutazione possibilità di creare scale ad hoc...
TRANSCRIPT
Il testing e le prove di valutazione
Luisa Sartirana
SeLd’A Università Cattolica del Sacro Cuore, Milano
La verifica del profitto dell'allievo è esigenza primaria di ogni insegnante che collochi la propria opera educativa in una corretta visione pedagogica, focalizzando la propria attenzione sull'allievo per conoscerne i processi di apprendimento e per accertare quanto, di ciò che l'insegnante ha cercato di trasmettere, sia stato effettivamente acquisito
G. Porcelli, 1975
2
distinzione fondamentale tra misurazione del profitto e valutazione dell'allievo … La misurazione del profitto consiste nella verifica oggettiva del valore di un risultato scolastico, esclusivamente sulla base della esattezza nozionale e prescindendo da ogni considerazione sull'alunno che ha fornito quel risultato. Il processo di valutazione è invece un atto di natura complessa, nel quale i dati ottenuti mediante la misurazione del profitto sono posti in relazione alla personalità degli studenti, alla loro condizione umana sotto il profilo biologico, psichico, ambientale, socioeconomico, ecc.
G. Porcelli, 1975
3
Verifica, valutazione, test
Language Testing
4
Il complesso dei principi metodologici e delle tecniche che presiedono alla realizzazione, somministrazione e utilizzazione delle prove oggettive di profitto nell’apprendimento delle lingue straniere
G. Porcelli, 1975
Quale valutazione? Quali test? Il test oggettivo:
tecniche didattiche modalità di valutazione i certificati internazionali per bambini
e adolescenti
5
La valutazione
Valutazione formativa (valutare per l’apprendimento):
Legata al curriculum e in relazione con il processo di insegnamento/apprendimento
Responsabilità della valutazione condivisa con l’apprendente
Valutazione sommativa (valutare l’apprendimento):
Legata a ciò che il candidato deve saper fare, stabilito in base a criteri esplicitati
Responsabilità della valutazione delegata a chi disegna il test
6
La valutazione formativa
Sguardo diacronico (la valutazione non è circoscritta nel tempo) e olistico (valutazione globale dell’apprendente)
Può avvenire attraverso: valutazione fra pari autovalutazione portfolio
Fatta dall’insegnante in classe e informale (anche nella fase di restituzione dell’UD)
7
La valutazione sommativa
Sguardo sincronico Valutazione quantitativa: Cosa lo
studente/il candidato sa fare rispetto ai criteri esplicitati
Test di profitto - forte impatto e ricaduta (High stake tests)
8
La valutazione formativa…
Osserva:
come si muove l’apprendente nell’ambiente Il verbale e il non-verbale dell’apprendente il rapporto con la lingua d’origine
Monitora il processo di apprendimento Utilizza un feedback costruttivo Corregge se necessario le modalità didattiche,
attraverso l’osservazione e l’analisi dei risultati Promuove una ricaduta positiva sulla didattica
9
Cosa valutare
10
il contenuto: comprensione dei dettagli e/o dei punti principali
capacità di riutilizzare il contenuto, di utilizzare abilità metacognitive per la riflessione e la rielaborazione autonoma del contenuto
Cosa valutare
11
le abilità linguistiche e le strutture della lingua: conoscenza del lessico specialistico, utilizzo delle strutture adeguate alla discussione/rielaborazione del contenuto)
ascoltare/leggere per cogliere il significato
consapevolezza delle strutture morfosintattiche…
Come valutare
12
il ruolo e il peso degli errori
evitare gli errori
i criteri di valutazione (chiari, espliciti e condivisi)
le griglie di valutazione
valutare il singolo studente o la classe?
I test di profitto sono strumenti di misurazione e non di valutazione, né sono gli unici di cui dispone l'insegnante
G. Porcelli, 1975
13
La valutazione sommativa attraverso test oggettivi
Le caratteristiche di un test
Affidabilità
Validità
Ricaduta
Impatto
14
Validità
Un test è valido se costituisce un esempio paradigmatico delle abilità che sono oggetto di misurazione… e se misura accuratamente ciò che si era proposto di misurare
M. Barni, in M. Vedovelli, Manuale della Certificazione di Italiano L2, 2005
15
Affidabilità
Un test è affidabile se è in grado di fornire risultati uguali se somministrato o valutato in tempi differenti e da persone differenti
M. Barni, in M. Vedovelli, Manuale della Certificazione di Italiano L2, 2005
16
Ricaduta e Impatto del test
Ricaduta (washback): effetto del test sulla didattica e l’apprendimento
Impatto: “effetto” socio-politico dei risultati del test
17
“In recent years, tests have been viewed not only as pedagogical tools, but especially as social and political instruments that have a strong impact on education and can determine social order”
E. Shohamy, 2006
18
Un nuovo potere delle prove?
Nuovi ruoli per:
insegnanti (ridefinizione dei sillabi e metodologie di insegnamento)
“esaminatori” (maggior potere, possibilità di pressioni politiche…)
candidati (impatto su aspettative e motivazione)
19
La responsabilità del tester
Va oltre il costrutto del test?
Copre anche gli aspetti politico-sociali del testing?
Necessità di un “codice etico”?
Responsabilità “condivisa” con gli utenti del test
20
Le fasi di sviluppo di un test
Processo ciclico in 3 fasi:
Progettazione
Elaborazione Sperimentazione
21
La progettazione (analisi)
Chi sono i potenziali candidati, gli utenti del nostro test
Quali abilità voglio testare? In che modo? Qual è il costrutto di riferimento Quali sono le risorse disponibili
(logistiche, finanziarie, tecniche)
22
Elaborazione - Le specifiche del test
Specifiche del costrutto – definiscono il contesto di riferimento
Specifiche del/i task – specificano i compiti che costituiscono il test, le informazioni e le istruzioni per i candidati
Specifiche della valutazione – specificano i criteri di valutazione e il loro utilizzo nella fase di valutazione
da S. Luoma, 2004
23
Orientamento alle forme linguistiche (lessico –
grammatica – pronuncia)
Orientamento comunicativo (la competenza
comunicativa è l’obiettivo globale della valutazione)
Orientamento alla situazione (parte dai bisogni
comunicativi in contesto – valutazione dei contenuti?)
Possibili cornici teoriche delle prove 24
Esempio di specifiche
del test M. Tabaglio IL TEST DI CONOSCENZA DELLA LINGUA ITALIANA PER SOGGIORNANTI DI LUNGO PERIODO, tesi di Master in Didattica dell’Italiano L2
25
numero e ruolo dei partecipanti
luoghi e tempi di esecuzione
sequenza delle varie parti
informazioni e istruzioni per i candidati: chiare – adeguate/pertinenti – complete – essenziali – con un esempio
informazioni per gli organizzatori
formazione somministratori
Le modalità pratiche di valutazione 26
Esempio di istruzioni
M. Tabaglio IL TEST DI CONOSCENZA DELLA LINGUA ITALIANA PER SOGGIORNANTI DI LUNGO PERIODO, tesi di Master in Didattica dell’Italiano L2
27
Le specifiche della valutazione
Stabilire i criteri di valutazione
Creare le griglie di valutazione
Scrivere i documenti di valutazione
Formare i valutatori e gli intervistatori
28
La costruzione del test
Il formato (quanti quesiti? Come ragrupparli?)
Il contenuto (lessico, strutture ecc.)
La scelta dei testi:
rilevanti per il candidato e in relazione con lo scopo del test, differenziati in base al grado di autonomia del candidato, di lunghezza adeguata e con sufficienti nuclei informativi, velocità del parlato, fattibilità: tecnologia/attrezzature richieste
La redazione dei quesiti (item)
Le procedure di correzione e
Le scale di valutazione
29
La sperimentazione
Trovare un campione congruo
Le analisi statistiche sugli item per la
revisione finale
Le analisi statistiche sugli item e sul test
(se necessario), la ridefinizione delle
specifiche del test
30
30
Testare le abilità di produzione attraverso test oggettivi: tecniche e
valutazione
31
L’utilizzazione delle prove aperte… comporta da un lato la loro
scarsa strutturazione, dall’altro modalità di lettura delle
prestazioni non predeterminate.
…
Nella valutazione diretta della prestazione… il suo grado di
merito viene giudicato in modo soggettivo dall’esaminatore
che fa riferimento a parametri stabiliti in base al contesto di
valutazione, a linee guida e alla propria esperienza
A.M. Scaglioso in Manuale della Certificazione di Italiano L2, 2005
32
La valutazione olistica
• Assegna un punteggio globale
• Basata sull’”impressione generale” del testo prodotto
• Rende la correzione veloce, ma potenzialmente meno affidabile
• Non inficia la validità del test
33
La valutazione analitica
• Richiede un punteggio separato per aspetti diversi della prova, scelti ad hoc da chi progetta il test
• Tiene conto delle possibili differenze nelle singole sottoabilità in ciascun candidato
• Rende la valutazione più affidabile
34
Perché una valutazione analitica
prevede (e valuta) i possibili diversi livelli di competenza linguistica nelle varie abilità
obbliga a prestare attenzione anche ad aspetti in altro modo sottovalutati
dà la possibilità di valutare i diversi aspetti isolatamente (MA attenzione all’effetto “alone”!)
è necessario più tempo per la valutazione
c’è il rischio di perdere di vista la visione di insieme
35
I criteri di valutazione
Scelta sulla base del costrutto del(i) compito(i)
e del livello di competenza
Scelta degli aspetti da valutare: linguistici –
pragmatici - comunicativi
Possibilità di avere criteri diversi per diversi
task
36
Le griglie di valutazione
Possibilità di creare scale ad hoc per ciascun criterio di valutazione
Definire: Il numero di livelli della scala (minimo 4 massimo 7) la presentazione di ciascun livello (valori numerici –
giudizi – definizioni..) L’eventuale feedback per i candidati
Esistono già griglie simili? Adattarle, testarle e RItestarle
37
Gli esaminatori
2 figure separate nelle prove di produzione orale: intervistatore e valutatore
Formare gli intervistatori: pianificare e seguire il formato della prova
Formare i valutatori: definire e seguire i criteri e le scale di valutazione (le procedure di standardizzazione – la correzione a più mani)
38
L’affidabilità della valutazione attraverso la congruenza
Possibili cause di divergenza:
Gradi diversi di severità o generosità a seconda del livello medio delle prestazioni esaminate
Diversa modalità di utilizzo della scala e dei voti relativi ai livelli – la griglia è sufficientemente chiara?
Scarsa chiarezza sull’oggetto della rilevazione e della misurazione
Per aumentare la congruenza:
Correlare i punteggi fra i diversi esaminatori
Doppia valutazione di routine (due valutatori per esame)
39
Per una migliore valutazione del test orale
Prima del test: • Pianificazione accurata del test e dei task (strutturare le
interviste e i dialoghi: maggiore la strutturazione – maggiore la validità)
• Scegliere tecniche appropriate alla tipologia di candidati e • Utilizzare più di un formato • Suddividere i compiti fra valutatore e intervistatore • Scegliere un luogo tranquillo e con una buona acustica Durante il test: • Dare più di un fresh start • Per l’intervistatore: mostrarsi attento e rassicurare il candidato;
passare da un task/topic al successivo in modo naturale; concludere l’esame non appena si ha un numero adeguato di informazioni sulla performance
• Per l’intervistatore/valutatore: prendere appunti in modo non evidente
40
Favorire la validità
compiti e criteri rappresentativi dello scopo del test
creare scale di valutazione significative (efficacia comunicativa vs correttezza grammaticale; principi pragmatici privilegiati rispetto agli aspetti morfosintattici; la valutazione dell’errore)
corrispondenza fra attività richieste/difficoltà e punteggi assegnati
41
Le tipologie dei testi/prove scritte
Prove “guidate”: • Compilare un modulo • Rispondere a un questionario • Compilare un curriculum vitae • Testi di formato standard (cartoline, biglietti di invito/ringraziamento ecc.,
inserzioni e annunci pubblicitari) motivanti perché corrispondenti alla vita reale - formato standard e ricorso a formule fisse – minor grado di soggettività nella correzione (possibilità di riferirsi a criteri univoci e condivisi) Prove di composizione: • Racconto immaginario o di un episodio della propria vita • Descrizione • Diari, lettere, email necessità di definire scopo, destinatario, circostanze – contesto conosciuto e motivante)
42
Le tecniche di testing
Devono rappresentare un indicatore affidabile e valido dell'abilità che vogliamo testare
Devono elicitare risposte valutabili in modo affidabile
Devono essere il più possibile economiche in termini di costi/benefici e tempi (correzione e modalità di fruizione)
Devono avere una ricaduta positiva
43
Le tecniche più comuni/prove orali
L’intervista: • relazione intervistatore/candidato non paritaria (elicitazione di
una sola tipologia di parlato; il candidato è restio a prendere l’iniziativa)
• necessità di strutturazione e pianificazione dell’intervista (calibrare gli interventi dell’intervistatore)
• evitare domande chiuse (SI’/NO), da utilizzare solo all’inizio della prova
Varianti: • role-play: necessità di scegliere con attenzione i ruoli - per
creare autenticità - e di dare istruzioni chiare; peso di fattori extralinguistici (attitudine a recitare); possibilità di valutare fattori extralinguistici (es. svolgimento del compito)
• utilizzo di immagini per elicitare descrizioni, raccontare una storia ecc.
44
Le tecniche più comuni/prove orali
Il monologo: • non preparato: su argomenti familiari al candidato, descrizioni,
ricostruzioni/narrazioni di storie • preparato: rischio di scarsa autenticità; è un task veramente
richiesto al candidato?
L’interazione fra due candidati: • relazione paritaria, ma possibilità che un candidato assuma un
ruolo dominante, inficiando la performance dell’altro
Possibili strutturazioni dell’interazione: • role-play, discussione, negoziazione, dare/seguire istruzioni (per
completare un compito, ricreare una storia, un disegno ecc.)
45
Testare le abilità di comprensione: tecniche e valutazione
46
Scegliere i testi
Successful choice of texts depends ultimately on experience, judgement and a certain amount of common sense...
… practice is necessary
A. Hughes, Testing for Language Teachers, 2003
47
Il dialogo
Scambio bidirezionale faccia a faccia con presa di parola libera
Forma primaria della comunicazione, massima naturalezza
Necessità di eliminare le ambiguità e definire il contesto comunicativo
Due-tre voci a velocità moderata
Per prove a scelta multipla o individuazione di informazioni
Variante: conversazione telefonica
48
La messaggistica
Scambio unidirezionale a distanza
Messaggi registrati per fornire informazioni su attività o orari di enti o comunicazioni registrate in luoghi pubblici
Adatte a test per misurare competenze di base: forma standardizzata, cura nella scelta del lessico e articolazione del discorso semplice ma strutturata
Per prove di individuazione di informazioni, completamento di griglie o a scelta multipla
49
Alcune Tecniche più diffuse
Risposte chiuse • Scelta Multipla • Vero/Falso - Si/No/(Non dice) • Abbinamento • Completamento Risposte semi-chiuse (produzione limitata) • Cloze • Individuazione di Informazioni • Risposte brevi
50
Scelta multipla
Molto adeguata per comprensione orale
Veloce nella fase di correzione
Affidabile nell’attribuzione del punteggio
Poco economica in fase di realizzazione
(necessita di un lavoro di equipe – controllo e
revisione delle fasi di lavoro)
51
Item a scelta multipla
Alcuni termini:
Item: ciascun oggetto di verifica a cui viene attribuito un punteggio
quesito (stem)
risposta
distrattori
chiave
52
Individuare quanti e quali punti sottoporre a verifica
Presentare i quesiti seguendo la struttura del testo
Dare un fresh start per ogni item
Possibilità di focalizzare l’item su: argomento generale del testo, principali nodi informativi, inferenze, intenzioni di chi comunica
Usare 4 distrattori
Usare una lingua semplice e chiara (più semplice del testo di partenza)
53
Scrivere gli item a scelta multipla…
Evitare riferimenti culturali e ambiguità
Evitare: lessico complesso, strutture
idiomatiche, ridondanze, ripetizioni
Preferire nomi ai pronomi
Non scrivere input troppo lunghi (due righe
massimo per studenti di livello basso)
54
i distrattori e la risposta devono…
essere plausibili
avere lo stesso livello di difficoltà fra
loro
essere legati al testo
indurre alla riflessione
55
i distrattori e la risposta NON devono…
essere in contraddizione fra loro (due opposti si annullano!)
ripetere parole dell’input
essere parzialmente veri (ambigui)
contenere informazioni vere ma non presenti nel test
includere contenuti successivi
56
Scrivere i distrattori: espedienti grafici
Mantenere la stessa lunghezza – al limite due distrattori più lunghi e due più corti
Se di lunghezza diversa, ordinarli (dal più corto al più lungo o viceversa)
Ove possibile, iniziare sempre con la stessa lettera (evitare un solo distrattore con lettera diversa)
Ove possibile, elencare i distrattori in verticale
57
Abbinamento
Mettere in corrispondenza due serie di elementi
presentati in ordine casuale (possono essere
parole isolate, frasi, parti di frasi, parti di testi)
Necessità di concordanza logica o
morfosintattica
Più semplice del riordino testuale – anche per
candidati di competenza basica
58
Cloze
Cancellare una o più parole da un testo (in
genere ogni 5 o 7 parole o in base a un criterio,
ad es. una categoria o la difficoltà dell’item)
Ottimo per testare la competenza
metalinguistica di candidati non base
Possibilità di avere risposte non univoche
(necessità di stabilire risposte accettate e
punteggi in fase di elaborazione)
59
Completamento
Come il cloze, ma con scelta fra 3 o 4 soluzioni
strutturalmente accordate e plausibili
Testano le competenze morfologiche, sintattiche
o lessicali.
Variante: viene data fra parentesi la forma base
di una categoria grammaticale da accordare al
contesto
60
Individuazione di informazioni
Presentare una serie di affermazioni/frasi su di un testo
I candidati devono indicare se le informazioni sono presenti o non presenti nel testo
Più elaborato del Vero/Falso
Necessità di:
• scegliere un testo abbastanza lungo e fornire informazioni che facciano riflettere i candidati
• Fornire un numero piuttosto elevato di item
Richiede tempi lunghi di costruzione, è veloce nella correzione, ma va previsto il punteggio negativo per le risposte errate
61
Le prove di certificazione internazionale
Test di profitto
Valutazione sommativa
High stake tests (forte impatto
socio-politico)
62
La certificazione della competenza linguistica
è diventata, oggi (…) lo strumento principale
per attuare funzioni di grande rilevanza: le
funzioni di garanzia, di mediazione e di
responsabilità etica.
M. Vedovelli, M. Barni, C. Bagna, S. Machetti VADEMECUM LE CERTIFICAZIONI DI COMPETENZA LINGUISTICA IN ITALIANO COME LINGUA STRANIERA
63
Gli Enti Certificatori Italiani
Università per Stranieri di Perugia
Università per Stranieri di Siena
Università di Roma Tre
Società Dante Alighieri
64
Una lingua può vedere la presenza di più di un Ente Certificatore e di più di una Certificazione (…) Si tratta di scelte diverse, influenzate da tanti fattori: dall’idea di ‘Stato’ e dalla sua effettiva concretizzazione storica, ai tipi di politica linguistica messi in atto dagli Stati per la diffusione della lingua; dalle caratteristiche dei sistemi formativi all’ampiezza e qualità della ricerca scientifica sulla materia. Un elemento determinante per la scelta di diversificazione o di unitarietà è costituito dalle caratteristiche dei pubblici.
M. Vedovelli, M. Barni, C. Bagna, S. Machetti VADEMECUM LE CERTIFICAZIONI DI COMPETENZA LINGUISTICA IN ITALIANO COME LINGUA STRANIERA
65
Bibliografia e Siti
Bibliografia e sitografia:
Alderson, J. Charles, Clapham Caroline, Wall Dianne (20059), Language Test Construction and Evaluation, Cambridge, Cambridge University Press
Brown J.D. (2005), Testing in language Programs, New York, McGraw Hill.
Hughes, Arthur (2003), Testing for Language Teachers, Cambridge, Cambridge University Press
McNamara, Timothy F. (2000), Language Testing, Oxford, Oxford University Press
Shohamy, E., (2001) The Power of Tests, New York, Routledge
Shohamy, E., (2006) Language Policy: Hidden agendas and new approaches, New York, Routledge
Vedovelli, M, (2005) Manuale della Certificazione di Italiano L2, Roma, Carocci Editore
Vedovelli, M. (2010) Guida all’Italiano per Stranieri, Roma, Carocci Editore
http://www.gporcelli.it/
Siti Enti Certificatori:
CELI - Università per Stranieri di Perugia (www.unistrapg.it)
CILS - Università per Stranieri di Siena (www.unistrasi.it)
Certificazione italiano L2 – Università di Roma Tre http://host.uniroma3.it/dipartimenti/linguistica/certificazione.html
PLIDA - Società Dante Alighieri (www.ladante.it)
66
