1

ALLEGATO B

Analisi della produzione scientifica del Dipartimento di Scienze e Tecnologie La ricerca del Dipartimento di scienze e Tecnologie (DiST) è caratterizzata da una forte multidisciplinarietà come evidenziato dalla distribuzione degli addetti nelle diverse Aree scientifiche sinteticamente riportata nella tabella 1:

Numero docenti/ricercatori (dati aggiornati al mese di

luglio 2018) AREA 01 - Scienze matematiche e informatiche 14 AREA 02 - Scienze fisiche 2 AREA 03 - Scienze chimiche 4 AREA 04 - Scienze della terra 9 AREA 05 - Scienze biologiche 8 AREA 06 - Scienze mediche 1 AREA 07 - Scienze agrarie e veterinarie 1 AREA 08 - Ingegneria civile e architettura 6 AREA 09 - Ingegneria industriale e dell'informazione 5 AREA 12 - Scienze giuridiche 1 AREA 13 - Scienze economiche e statistiche 1

Tabella 1: distribuzione dei docenti e ricercatori nelle diverse aree scientifiche del Dipartimento di Scienze e Tecnologie (DiST). Il presente documento riporta una analisi della produzione scientifica espressa dalle diverse aree presenti nel DiST, articolata in due parti:

1. Analisi quantitativa della produzione dal 2013 al 2017 mediante monitoraggio dei prodotti depositati nel catalogo della ricerca di Ateneo IRIS.

2. Analisi della qualitativa sulla base dei criteri utilizzati nelle campagne di Valutazione della Qualità della Ricerca ministeriali (VQR).

2

Parte Prima Analisi quantitativa della produzione scientifica del DiST dal 2013 al 2017

La produzione scientifica del Dipartimento è stata analizzata prendendo in considerazione diversi criteri ritenuti necessari per valutarne quantità, impatto e qualità: (1) numero totale di prodotti di ricerca; (2) numero prodotti indicizzati nelle banche dati Scopus e WOS; (3) numero di libri dotati di ISBN; (4) numero prodotti con co-autori internazionali. I dati oggetto di analisi sono stati acquisiti mediante il catalogo della Ricerca di Ateneo IRIS con interrogazioni ad-hoc. Le analisi di ciascuno dei criteri (1)-(4) sono state effettuate esaminando, laddove possibile, la produzione complessiva del Dipartimento e la produzione per le diverse aree scientifiche ministeriali che animano il DIST. Le aree considerate sono (* indica un numero di soggetti < 3): Area 01: Scienze matematiche e informatiche Area 02: Scienze fisiche* Area 03: Scienze chimiche Area 04: Scienze della terra Area 05: Scienze biologiche Area 06: Scienze mediche* Area 07: Scienze agrarie e veterinarie* Area 08: Ingegneria civile e architettura Area 09: Ingegneria industriale e dell’informazione Area 12: Scienze giuridiche* Area 13: Scienze economiche e statistiche* 1. Numero prodotti di ricerca La produzione scientifica del DiST è stata esaminata per categorie di prodotti: (a) Contributo su rivista; (b) Contributo in volume; (c) Libro; (d) Contributo in atti di convegno o Proceeding; (e) Curatele; (f) Altri prodotti. Complessivamente, ovvero considerando i prodotti cumulando tutte le aree disciplinari è possibile delineare il seguente scenario (Figura 1): in primis i prodotti su rivista costituiscono la maggioranza della produzione scientifica del DiST insieme ai proceedings. In tale scenario, i prodotti su rivista hanno seguito un andamento quasi costantemente in crescita (eccetto una flessione dal 2014 al 2015), laddove i contributi in volume si sono tenuti sostanzialmente costanti. I contributi in Proceeding di conferenze hanno seguito un andamento leggermente in calo fino al 2016, per poi incrementare nel 2017. I restanti contributi risultano trascurabili. La spiegazione che è

3

possibile trarre è che docenti, ricercatori, assegnisti, borsisti e dottorandi preferiscano pubblicare su rivista in virtù dell’importanza che tale categoria di prodotto ricopre ai fini della ASN e della VQR, quando ciò non è possibile, o parallelamente, si tende a presentare i propri prodotti a conferenze dotate di proceedings. Nel corso degli anni tale consapevolezza è andata consolidandosi ed è ipotizzabile che questo sarà l’andamento per i prossimi anni.

Figura 1: Prodotti di ricerca DiST cumulativi (tutte le Aree) 1.1 Numero totale di prodotti di ricerca per Area L’analisi cumulativa se da un lato è importante per definire un andamento generale, d’altro canto nasconde gli andamenti specifici di ciascuna area disciplinare (Figure da 1.1 a 1.11) oscurando, eventualmente, criticità che sarebbe opportuno evidenziare. Le aree più strettamente legate alle scienze MM.FF.NN sono le più produttive, congiuntamente all’Area 09 (Figura 1.9) e, a seguire, Area 08 (Figura 1.8). L’ Area 01 (Figura 1.1), rispetto all’andamento generale di Figura 1, presenta un numero di prodotti paragonabile tra Riviste e Proceeding, mostrando buoni numeri anche per ciò che concerne i Contributi in volume. Altre aree (Area 07, Area 12 e Area 13) presentano complessivamente un numero inferiore di prodotti anche se è opportuno sottolineare che trattasi di aree con un numero limitato di soggetti (anche <3).

4

Figura 1.1: Prodotti di ricerca DiST Area 01

Figura 1.2: Prodotti di ricerca DiST Area 02

5

Figura 1.3: Prodotti di ricerca DiST Area 03

Figura 1.4: Prodotti di ricerca DiST Area 04

6

Figura 1.5: Prodotti di ricerca DiST Area 05

Figura 1.6: Prodotti di ricerca DiST Area 06

7

Figura 1.7: Prodotti di ricerca DiST Area 07

Figura 1.8: Prodotti di ricerca DiST Area 08

8

Figura 1.9: Prodotti di ricerca DiST Area 09

Figura 1.10: Prodotti di ricerca DiST Area 12

9

Figura 1.51: Prodotti di ricerca DiST Area 13 1.2 Indicizzazione dei Contributi in rivista Focalizzando l’attenzione sui prodotti che impattano maggiormente sulle valutazioni ASN e VQR, ovvero gli articoli pubblicati su rivista, è opportuno valutare anche la qualità delle pubblicazioni (seppure parzialmente) concentrandosi sugli articoli pubblicati su riviste indicizzate dalle principali banche dati: SCOPUS e WOS. Partendo dalla banca dati SCOPUS è possibile osservare (Figura 2) andamenti mediamente in crescita anche se con delle discontinuità (cali tra un anno ed il successivo). Le aree da Area01 a Area05, mostrano decisi incrementi nell’ultimo anno preso in considerazione per l’analisi (2017). Altre Aree (Area06, Area08, Area09) mostrano, invece, un decremento del numero di prodotti indicizzati su parte del periodo considerato (2015-2017). Le restanti hanno un andamento generalmente costante. È interessante, altresì, sapere il numero di prodotti su rivista indicizzati SCOPUS rispetto al totale dei prodotti su rivista (dunque, considerando anche le riviste non indicizzate) come mostrato in Figura 2.1. In questo caso, seppure presenti alcune differenze tra Aree, è opportuno sottolineare che i prodotti indicizzati SCOPUS non coprono la totalità dei prodotti pubblicati su rivista.

10

Figura 2: Prodotti di ricerca su rivista indicizzate SCOPUS classificate per aree disciplinari

11

Figura 2.1: Percentuale di prodotti di ricerca su rivista indicizzate SCOPUS rispetto al numero totale di prodotti su rivista (comprensivo di riviste non indicizzate) La stessa analisi è possibile effettuarle per gli articoli su riviste indicizzate WOS (Figure 2.2 e 2.3). I risultati in questo caso peggiorano, in considerazione della maggiore conservatività della banca dati WOS.

12

Figura 2.2: Prodotti di ricerca su rivista indicizzate WOS classificate per aree disciplinari

13

Figura 2.3: Percentuale di prodotti di ricerca su rivista WOS rispetto al numero totale di prodotti su rivista (comprensivo di riviste non indicizzate) 1.3 Libri con ISBN I libri, forniti di ISBN, prodotti dal DiST sono in numero mediamente contenuto per ciascuna Area scientifica (Figura 3). In tal scenario, l’Area 01 ha prodotto un numero di Libri decisamente superiore rispetto ad altre aree. Per ciascuna area non esiste un trend chiaro dal 2013 al 2017 eccezion fatta per l’Area 13 che mostra un chiaro trend in crescita.

Figura 3: Libri con ISBN pubblicati per ciascuna area disciplinare

14

1.4 Prodotti con coautori internazionali La presenza di co-autori internazionali, rispetto all’intera produzione scientifica del DiST, è mediamente limitata (Figura 4). I prodotti privilegiati sono i contributi in rivista che esibiscono un trend positivo sebbene, in ogni caso, considerando ciascun anno compreso nell’analisi, non superano il 28%. L’Area02 (Figura 4.2) e l’Area03 (Figura 4.3), sono le più virtuose in termini di internazionalizzazione, seguite a ruota da Area 04 (Figura 4.4), Area 05 (Figura 4.5), Area 01 (Figura 4.1) e Area 09 (Figura 4.8).

Figura 4: Numero prodotti di ricerca con almeno un coautore internazionale cumulativo (tutte le aree).

15

Figura 4.1: Numero prodotti di ricerca con almeno un coautore internazionale Area01.

Figura 4.2: Numero prodotti di ricerca con almeno un coautore internazionale Area02.

16

Figura 4.3: Numero prodotti di ricerca con almeno un coautore internazionale Area03.

Figura 4.4: Numero prodotti di ricerca con almeno un coautore internazionale Area04.

17

Figura 4.5: Numero prodotti di ricerca con almeno un coautore internazionale Area05.

Figura 4.6: Numero prodotti di ricerca con almeno un coautore internazionale Area07.

18

Figura 4.7: Numero prodotti di ricerca con almeno un coautore internazionale Area08

Figura 4.8: Numero prodotti di ricerca con almeno un coautore internazionale Area09.

19

Figura 4.9: Numero prodotti di ricerca con almeno un coautore internazionale Area13.

20

Parte seconda

Analisi della Qualità: la valutazione ANVUR della produzione scientifica del Dipartimento di scienze e Tecnologie (DiST). La compagine di docenti e ricercatori con la quale il Dipartimento di scienze e Tecnologie (DiST) ha reso parte alla Valutazione della Qualità della Ricerca 2011-2014 è sinteticamente riportata nella tabella 2:

numero docenti/ricercatori VQR 11-14

% astenuti VQR 11-14

AREA 01 - Scienze matematiche e informatiche 14 7.1 AREA 02 - Scienze fisiche 3 0 AREA 03 - Scienze chimiche 4 25 AREA 04 - Scienze della terra 8 0 AREA 05 - Scienze biologiche 7 14.3 AREA 06 - Scienze mediche 1 0 AREA 07 - Scienze agrarie e veterinarie 1 100 AREA 08 - Ingegneria civile e architettura 6 0 AREA 09 - Ingegneria industriale e dell'informazione 4 25 AREA 12 - Scienze giuridiche 1 0 AREA 13 - Scienze economiche e statistiche 1 0

Tabella 2: distribuzione dei docenti e ricercatori nelle diverse aree scientifiche del DiST che hanno preso parte alla VQR 2011-14. Come noto la campagna di Valutazione della Qualità della Ricerca 2011-2014 è stata occasione di protesta per il blocco agli scatti stipendiali di docenti e ricercatori delle università italiane: in tabella sono riportate anche le percentuali di astensione registrate nelle diverse aree. I prodotti mancanti, ovvero quelli relativi ai docenti astenuti, sono stati conteggiati nella valutazione finale come prodotti con punteggio equivalente a zero. Il monitoraggio della produzione scientifica del DiST nelle diverse aree, è stata effettuata mediante

• confronto dei dati relativi alle scorse campagne di Valutazione della Qualità della Ricerca (VQR) pubblicati sul sito ufficiale dell’ANVUR, e

• simulazione della valutazione dei prodotti relativi al biennio 2015-2016 mediante il Il Sistema di Supporto alla Produzione Scientifica messo a disposizione dalla Conferenza dei Rettori delle Università Italiane (CRUI) e realizzato dall’Università degli Sudi della Basilicata (sistema CRUI-UniBas).

•

21

2.1 La valutazione ANVUR dei prodotti della ricerca del Dipartimento di Scienze e Tecnologie nelle diverse Aree scientifiche: il confronto tra le passate campagne VQR 2004-2010 e 2011-2015.

I risultati della valutazione dei prodotti ottenuti dai diversi Dipartimenti nelle Aree scientifiche* nelle due campagne VQR 2004-2010 e 2011-2014, sono organizzati in tabelle in termini dei tre indicatori della qualità dei prodotti della ricerca il cui significato è indicato come segue:

- L’indicatore I che rappresenta il voto medio ottenuto dai prodotti in una data area - L’indicatore R che rappresenta il rapporto tra il voto medio attribuito ai prodotti attesi del

dipartimento nell'area scientifica considerata il voto medio ricevuto da tutti i prodotti dell'area stessa.

- L’indicatore X che è dato dal rapporto tra la frazione di prodotti “eccellenti” ed “elevati” del dipartimento nell’area scientifica considerata e la frazione di prodotti eccellenti ed elevati dell’area all’interno dell’insieme di istituzioni omogeneo considerato.

Si sottolinea che i dati mancanti nei diversi grafici sono quelli relativi ad aree non presenti in o non sufficientemente popolate nelle diverse tornate VQR e per le quali l’Anvur ha fornito i risultati per questioni di privacy. Pertanto i valori delle aree 02 e 09 relativi alla VQR 2004-2010 e quelli delle aree 06, 07, 12 e 13 per entrambe le tornate di valutazione non sono riportati nei grafici successivi in quanto disponibili per questioni di privacy. Per quanto concerne l’indicatore I, esso è una misura diretta della qualità della ricerca espressa da una data area. Il suo valore varia da 1 a 0 coerentemente con le valutazioni attribuite alle classi di merito individuate nei bandi VQR 2004-2010/ 2011-201 ovvero: Eccellente (punteggio 1), Elevato (punteggio 0.8/0.7), Discreto (punteggio 0.5/0.4), Accettabile e Limitato/Non valutabile (punteggio 0/-1 o -2). Pur tenendo conto delle minime differenze di attribuzione dei punteggi nelle due diverse tornate di valutazione, come si evince dal grafico 1 la qualità media dei prodotti del dipartimento si è attestata nelle due VQR tra il discreto e l’elevato. Per quanto riguarda l’andamento temporale di tale indicatore, si evidenzia complessivamente un aumento della qualità dei prodotti in quanto la valutazione media è aumentata tra la prima e la seconda tornata di VQR nelle aree 04, 05 e 08. È da sottolineare che per quanto concerne l’area 03 la qualità si è mantenuta costante nonostante l’astensione che ha inciso in maniera significativa in quanto i prodotti non conferiti avevano una qualità molto elevata. Invece, la flessione registrata per il voto medio dell’area 01 è dovuta al significativo carico didattico che ha gravato sui docenti di tale area e che ne ha inevitabilmente influenzato negativamente la produttività nel periodo considerato. Infine per quanto concerne le aree 02 e 09 non è possibile un confronto in quanto i dati relativi alla VQR 2004-2010 non sono disponibili per questioni di privacy.

22

Grafico 1. Andamento dell’indicatore di voto medio I del dipartimento nelle campagne VQR 2004-2010 e 2011-2014. (legenda: n.d. valori non disponibili questioni di privacy).

Per quanto concerne invece il confronto a livello nazionale, risultano utili gli indicatori normalizzati R ed X. Valori di tali indicatori pari o simili ad 1 indicano una produzione scientifica di qualità confrontabile alla media di area, mentre valori superiori ad 1 indicano una qualità superiore alla media nazionale. La qualità media dei prodotti (indicatore R, grafico 2) delle diverse aree è risultata prossima alla media nazionale (con valori pari a circa il 75% rispetto al totale) per la maggior parte delle aree; per quanto concerne il confronto tra la prima e la seconda VQR, si evidenzia nel complesso un aumento di tale indicatore a conferma dell’incremento della qualità dei prodotti della ricerca del DiST, sia assoluta che relativa al contesto nazionale.

23

Grafico 2. Andamento dell’indicatore di voto medio normalizzato R del dipartimento nelle campagne VQR 2004-2010 e 2011-2014. (legenda: n.d. valori non disponibili questioni di privacy).

Analogamente a quanto osservato per l’indicatore I, si registra un incremento di R tra la prima e la seconda tornata di VQR per le aree 04, 05 e 08, unitamente ad un valore stazionario per l’area 03 ed una flessione per l’area 01 sulle cui valutazioni è pesato il giudizio negativo (punteggio 0) attribuito ai prodotti mancanti. Anche in tal caso per le aree 02 e 09 non è possibile un confronto in quanto i dati relativi alla VQR 2004-2010 non sono disponibili per questioni di privacy. Infine, la frazione di prodotti eccellenti ed elevati (indicatore X, grafico 3) delle diverse aree è risultata anch’essa prossima alla media per diverse aree presenti in dipartimento. In particolare si evidenzia come le aree 01 e 02 abbiano ottenuto valori al di sopra della media nazionale, rispettivamente nella prima e nella seconda tornata di VQR. Per quanto riguarda l’andamento temporale, si evince che anche la frazione di prodotti di qualità eccellente ed elevata è aumentata passando dal periodo 2004-2010 al 2011-2014.

Grafico 3. Andamento dell’indicatore di frazione di prodotti eccellenti/elevati normalizzata X del dipartimento nelle campagne VQR 2004-2010 e 2011-2014. (legenda: n.d. valori non disponibili questioni di privacy).

In dettaglio, si è registrato un incremento per le aree 03, 04, 05 e 08, laddove per quest’ultima il valore relativo alla VQR 2004-2010 era risultato nullo. Anche in tal caso si osserva la diminuzione del valore dell’indicatore per l’area 01 sulle cui valutazioni è pesato il giudizio negativo attribuito ai prodotti mancanti. Anche in tal caso per le aree 02 e 09 non è possibile un confronto in quanto i dati relativi alla VQR 2004-2010 non sono disponibili per questioni di privacy.

24

2.2 La simulazione della valutazione dei prodotti della ricerca del Dipartimento di Scienze e Tecnologie nelle diverse Aree scientifiche.

Il Sistema di Supporto alla Produzione Scientifica messo a disposizione dalla Conferenza dei Rettori delle Università Italiane (CRUI) e realizzato dall’Università degli Sudi della Basilicata (sistema CRUI-UniBas) consente di effettuare il calcolo degli indicatori di qualità dei prodotti I, R ed X utilizzando un criterio simile a quello adottato dall’ANVUR per i prodotti delle sole aree bibliomteriche nel corso della VQR 2011-2014. Il sistema CRUI-UniBas consente di effettuare una proiezione dei possibili risultati dei prodotti della ricerca che non va comunque considerata come una valutazione a tutti gli effetti in quanto esso differisce dalla valutazione dell’ANVUR che usa i dati delle banche citazionali Web of Science e Scopus, nonché la valutazione in peer review da parte dei revisori. Inoltre il sistema, che si basa su di un algoritmo bibliometrico calibrato su soglie citazionali aggiornate al mese di aprile 2018, seleziona i due migliori prodotti per ogni docente e attribuisce ad essi la potenziale classe di qualità sulla base dei dati citazionali della sola banca dati Scopus limitatamente ai prodotti pubblicati fino all’anno 2016. Il sistema non prende in considerazione prodotti più recenti, ovvero quelli pubblicati negli anni 2017 e 2018, in quanto i dati citazionali ad essi relativi sono per ovvi motivi non del tutto stabili. Tuttavia grazie a tale sistema è stato possibile fare una proiezione dei potenziali risultati dei prodotti della ricerca del DiST pubblicati negli anni 2015 e 2016 i quali saranno usati nella prossima campagna VQR che riguarderà il quinquennio 2015-2019. Le proiezioni di tali previsioni sono riportate nei grafici 4, 5 e 6. Per quanto concerne la qualità della ricerca, espressa in termini dell’indicatore di voto medio I, si verifica dal confronto di dati riportato nel grafico 4 che relativamente ai primi due anni del prossimo quinquennio di valutazione la classificazione media dei prodotti della maggior parte delle aree si attesta tra il discreto (punteggio 0.4) e l’elevato (punteggio 0.7).

25

Grafico 4. Valori dell’indicatore di voto medio I del dipartimento nella campagna VQR 2011-2014 in confronto con la simulazione della valutazione dei prodotti degli anni 2015-2016. (Nota: i valori delle aree 02, 06, 07, 12 e 13 non sono disponibili per questioni di privacy).

Per quanto riguarda il rapporto tra la qualità della ricerca del dipartimento in confronto con il dato nazionale, espressa in termini dell’indicatore di voto medio normalizzato R, si verifica dal grafico 5 che la qualità dei prodotti degli anni 2015 e 2016 è prossima alla media nazionale e con un trend in crescita rispetto alla situazione della VQR 2011-2014.

Grafico 5. Valori dell’indicatore di voto medio normalizzato R del dipartimento nella campagna VQR 2011-2014 in confronto con la simulazione della valutazione dei prodotti degli anni 2015-2016. (Nota: i valori delle aree 02, 06, 07, 12 e 13 non sono disponibili per questioni di privacy).

Infine, relativamente alla frazione di prodotti eccellenti ed elevati, espressa in termini dell’indicatore normalizzato X, si verifica dal grafico 6 un avvicinamento alla media nazionale ed un trend in crescita rispetto alla situazione della VQR 2011-2014 per la maggioranza delle aree presenti in dipartimento.

26

Grafico 6. Valori dell’indicatore di frazione di prodotti eccellenti/elevati normalizzata X del dipartimento nella campagna VQR 2011-2014 in confronto con la simulazione della valutazione dei prodotti degli anni 2015-2016. (Nota: i valori delle aree 02, 06, 07, 12 e 13 non sono disponibili per questioni di privacy). Riassumendo, anche dalla simulazione della prossima VQR emerge un tend in crescita per la qualità dei prodotti della ricerca del DiST, sia in termini di dati assoluti che in relazione al contesto nazionale: si sottolinea inoltre come il dato sia molto probabilmente sottostimato in considerazone del ristretto intervallo temporale (ovvero i soli anni 2015 e 2016) che il sistema consente di valutare.