reale elsevier
TRANSCRIPT
La costruzione della qualità nella
ricerca accademica:
criteri e strumenti
Emanuela Reale CERIS CNR
Forum Nazionale sulle Politiche di Ricerca
Directing and Driving Research Excellence
Roma, 14 Novembre 2012
Contenuto della presentazione
Una domanda: cosa è la qualità?
Costruire la qualità
Dirigere la qualità
Guidare la qualità
Conclusioni
Fonti
TRUE – Transforming Universities (ESF EUROHESCH-
EUROCORE)
Survey+casi di studio a livello istituzionale
(26 università in 8 paesi europei)
PREST-ENCE – From prestige to excellence (ANR- FR)
Casi di studio+CV analysis al livello dipartimentale
(24 casi di studio su 4 paesi europei e USA)
PRIN 2008 – Governance e valutazione
Casi di studio a livello istituzionale
(6 casi di studio su 3 paesi europei )
Cambiamenti nella scienza:
il paradigma neo-liberale
– Cambiamenti delle idee sulla natura e il ruolo della scienza, concepita
come attività che deve portare benefici economici, deve svilupparsi
all’interno di una logica di mercato e lavorare nel mercato
– Cambiamenti delle relazioni fra governo e scienza: la conoscenza è uno
strumento di produzione e una ‘merce’ che può essere venduta
– Aumento del controllo sulla codificazione della conoscenza per
determinare quale sia la conoscenza “utile”, e sui risultati per
determinare quanto efficiente sia stato il processo di produzione
– Crescenti tensioni all’interno delle istituzioni di ricerca accademiche tra
funzioni storiche, funzioni emergenti, nuovi valori, idee, regole e pratiche
(didattica, ricerca, terza missione, collegialità, gerarchie, governance)
Che cosa è la qualità
Rigore metodologico, originalità, capacità di contribuire all’avanzamento
generale delle conoscenze producendo cambiamenti incrementali o radicali
A livello istituzionale : capacità di creare opportunità per realizzare il
potenziale esistente; capacità di sfruttare le opportunità esistenti nel
contesto istituzionale e locale per raggiungere uno status di qualità
riconosciuto e riconoscibile (Merton, 1960)
Prestigio: “the image (of quality, influence, trustworthiness) it has in the eyes of
others. The reputation of an institution and its quality may be related, but they need
not to be identical. HEIs try to influence their external images in many ways, and
not only by maximising their quality.” (Van Vught, 2008, p. 169).
Che cosa è l’eccellenza
Eccellenza è un concetto basato su misurazioni che si assumono obiettive
(indicatori), in grado di identificare alcune caratteristiche chiave delle
organizzazioni che ne rivelano la qualità, e consentono comparazioni con
altre organizzazioni a livello locale, nazionale o internazionale
Concetto politico-manageriale: target da raggiungere per sostenere la
competizione globale “Non si può gestire ciò che non si misura”
Concetto trans-nazionale e a-contestuale, che enfatizza alcune dimensioni
della produzione della conoscenza
Ranking:
rendere comparabili concetti controversi come la qualità della ricerca prodotta
fornire un posizionamento delle istituzioni nel mercato globale della ricerca
Costruire la qualità – le discipline chimiche
Essere ‘leading scholar’ a livello internazionale: da una leadership individuale
a una leadership di gruppi
Eccellenza: “capacity to produce leading edge research”
Risorse finanziarie adeguate e certezza di reclutamento
Recuperare capitale umano: attrarre ricercatori brillanti da altre università
e Dipartimenti (colonizzazione dei più deboli)
Mobilità internazionale di giovani e senior come elemento centrale per
formazione, collaborazione e catching up
Cross-fertilization con altre discipline presenti nell’ateneo
Valutazione: essenziale per poter competere, prospettiva internazionale,
indicatori, arena consolidata di riviste
Costruire la qualità – le discipline storiche
Essere un unicum grazie al rigore scientifico e all’originalità delle metodologie
e degli approcci
Eccellenza: capacità di innovare temi, prospettive di analisi, metodi,
collaborazioni
Formare per reclutare sin dal corso di laurea: continuità nell’investimento
sulla costruzione della carriera dei giovani, condivisione delle caratteristiche
del gruppo di provenienza e conquista di una identità
La rivista scientifica come strumento di istituzionalizzazione della comunità,
che ne segue le vicende
Cross-fertilization con altre discipline presenti nell’ateneo
Valutazione come processo di riflessione interna della comunità sulla qualità
Logiche contrastanti in uno stesso ambito istituzionale
Certezza ex ante sulla qualità del risultato finale
Esistono criteri a priori per conoscere la qualità di un prodotto
La valutazione della qualità delle persone coincide con quella dei
loro prodotti
Non si pongono problemi di fiducia, di costruzione sociale e di
formazione collettiva, né di controllo sul lavoro di ricerca
La determinazione del valore di un prodotto è delegato a
istituzioni esterne (es. le riviste)
Selezionare gli individui che producono i risultati migliori
Centralità del mercato
Logiche contrastanti in uno stesso ambito istituzionale
Incertezza sulla qualità del risultato finale
La qualità non si può conoscere a priori
La qualità della risorsa umana è centrale in quanto produttore
della ricerca
La qualità delle persone garantisce la qualità del prodotto
Il valore delle persone si costruisce e si mantiene all’interno
dell’istituzione
Costruire motivazioni e qualità individuali conformi ai valori e
agli obiettivi della comunità scientifica di riferimento che
spesso è quella locale
Centralità della professione accademica
Dirigere la qualità: la valutazione come strumento di
policy
La valutazione come giudizio qualitativo sui risultati è
caratteristica intrinseca delle attività di ricerca
La valutazione è diventata parte integrante delle politiche
pubbliche della ricerca e dello sviluppo
Nessuno può sottrarsi alla valutazione
Valutazione come:
strumento di management
momento di apprendimento
La valutazione della ricerca e l’autonomia delle
organizzazioni di ricerca
Uso della valutazione
Allocazione meritocratica delle risorse
Fondo istituzionale
Finanziamenti competitivi su progetto
Incentivi, premi e punizioni
Supporto alla definizione delle politiche e delle strategie
Evidence-based policy
Informazione sullo stato della disciplina
Accountability
La valutazione della ricerca in Europa
La valutazione emerge come strumento accessorio per guidare l’allocazione
delle risorse in relazione alla performance scientifica e alla coerenza delle
attività sviluppate con gli obiettivi di governo
Gli esercizi di Research Assessment sviluppati da paesi grandi, in genere
associati a meccanismi di formula funding da parte del Governo (UK, più
recentemente Italia)
In altri paesi (NL) la valutazione elemento per discutere e ridisegnare
l’attività di ricerca con la leadership accademica con le agenzie di
finanziamento
Crescente coinvolgimento dei decisori politici e di altri stakeholders nei
processi di valutazione
Creazione di Agenzie di valutazione (FR, IT, PO) per istituzionalizzare la
valutazione nel paese e garantire l’indipendenza dal potere politico e
accademico. Rischio di burocratizzazione e di eccesso di valutazione
Guidare la qualità: la valutazione della ricerca
come strumento di governance
Influenza della valutazione sulle attività delle
università
Valutazione della qualità della ricerca -1,41
Valutazione della qualità della didattica -0,33
Accreditamento 0,45
Ranking 1,29
Impatto della valutazione sulle decisioni interne
delle università
Quality Assurance 0,74
Valutazione della ricerca 0,38
N.B più basso è il valore più forte è l’effetto Risposte da R, B,S, CA, MM
Effetti prodotti dalla valutazione
Effetti positivi
Trasparenza
Qualità della ricerca
Capacità di decisione strategica
Qualità della didattica
Effetti negativi
Comportamenti opportunistici nella ricerca e
nell’insegnamento
Appesantimento burocratico
Limiti alla libertà accademica
Conflittualità fra accademici e manager
Conflittualità interna fra accademici
Effetti positivi e negativi della valutazione
Percezioni dei Middle Managers sull’impatto
della valutazione
Impact of teaching evaluation on...
Funding and budget 3,2644 0,4854
Recruitment of new staff 3,0920 0,4950
Careers of academic staff 3,0140 0,4737
Number of post-docs or PhDs 3,4924 0,4761
Unit's reputation in the university 2,5100 0,4199
Unit's reputation outside the university 2,5992 0,4010
Content of the teaching programmes 2,5896 0,4766
Enrolment of students 2,8068 0,4047
Impact of research evaluation on...
Funding and budget 2,0600 0,4344
Recruitment of new staff 2,2584 0,4346
Careers of academic staff 2,2648 0,4622
Number of post-docs or PhDs 2,3408 0,4607
Unit's reputation in the university 1,8596 0,3704
Unit's reputation outside the university 1,9344 0,3586
Content of the teaching programmes 2,2964 0,3820
Enrolment of students 2,1220 0,4213
Mean S.D.
Specialità della valutazione della ricerca
La valutazione della ricerca attraverso le pubblicazioni coglie
solo una parte della conoscenza scientifica effettivamente
prodotta
Diverse le logiche che informano:
i sistemi basati sulla compliance a standard predefiniti (es.
QA) che necessitano di tempi ristretti e non richiedono
competenze specialistiche
i sistemi rivolti alla valutazione di oggetti intrinsecamente
incerti e controversi che richiedono tempo ed expertise
elevato (es. Peer review)
Superare la logica ‘quick and cheap’ quando si valuta la
ricerca
Metodi qualitativi vs metodi quantitativi
Valutazione dei pari Capacità di conoscere in dettaglio la qualità di un lavoro scientifico
Contribuire al dibattito sulla scienza
Soggettività del giudizio (conservatorismo)
Costi elevati e tempi lunghi
Possibilità di produrre giudizi non imparziali
Bibliometria Oggettività e validità della valutazione
Costi minimi e tempi rapidi
Modalità di citazione dei lavori scientifici
Non totale copertura dell’output scientifico
Problemi tecnici legati ai database
Rivalità vs complementarità
Valutare le scienze umane e sociali
Specificità dei settori delle scienze umane e sociali:
tipo di produzione scientifica, comunità di riferimento, tempi di pubblicazione, livello di collaborazione, ecc.
Problema delle fonti di informazione
Database internazionali non adatti
Disomogeneità degli archivi istituzionali
Database specifici di disciplina o di settore
Cambiamenti nelle pubblicazioni internazionali delle scienze sociali Cambiamenti nel tipo di pubblicazione
Interesse crescente verso le riviste indicizzate
Tendenze emergenti
Indici di validità della sede di pubblicazione che indirettamente vengono riferiti alla qualità della pubblicazione medesima (assunto simile a quello dell’IF)
Tendenza a conferire un valore al tipo di pubblicazione (maturità e complessità del lavoro)
Definizione di un perimetro di pubblicazioni alle quali attribuire il connotato di scientificità (de-frammentazione delle SSH)
Costruzione di “metriche” basate su fasce di merito frutto di autovalutazione consensuale ma che non necessariamente riflettono le pratiche effettive della comunità scientifica (problema delle citazioni)
Conclusioni
La qualità della ricerca accademica ed eccellenza non sono concetti uguali
La qualità della ricerca si costruisce seguendo logiche di riferimento differenti fra settori disciplinari
La valutazione è uno strumento di policy per dirigere la qualità non solo per allocare risorse istituzionali
La qualità della ricerca e la reputazione dell’istituzione sono gli effetti principali prodotti dalla valutazione
La valutazione della ricerca come strumento per valorizzare e rafforzare l’autonomia delle istituzioni accademiche