università degli studi di milano-bicocca - valutazione del ......un numero significativo di utenti...
TRANSCRIPT
Valutazione del servizio di reference: anno 2014
A cura dell’Ufficio Formazione, Sviluppo e Promozione della
Biblioteca di Ateneo di Milano-Bicocca
Giugno 2015
• Premessa
• Oggetto dell’indagine
• Finalità dell’indagine
• Modalità dell’indagine
• Il questionario
• Criteri di analisi dei dati
• Campione esaminato
• Esiti dell’indagine
• Considerazioni sull’indagine
• Propositi post indagine
• Appendice
Sommario
Premessa [1]
Questa indagine sul reference riguarda le sessioni di
reference specialistico realizzate nel 2014.
Nel 2014 è stato adottato lo stesso strumento di
rilevazione degli anni 2011-13 per confrontare i risultati.
Negli anni 2008, 2009 e 2010 sono state realizzate altre
indagini sul servizio di reference, adottando però uno
strumento di rilevazione più analitico.
I rapporti di ricerca sono stati condivisi con tutti i colleghi
della biblioteca che si occupano del reference specialistico
per le varie aree disciplinari.
Premessa [2]
Con lo strumento di valutazione del reference adottato
dal 2011, la Biblioteca di Ateneo ha voluto utilizzare una
tecnica di rilevazione della customer satisfaction innovativa:
il «Net Promoter Score».
Questa tecnica, introdotta nel 2003, si basa sulla
misurazione della fedeltà dei clienti come indice
significativo della loro soddisfazione e delle probabilità di
successo di una organizzazione che eroga servizi.
La valutazione ruota intorno ad un’unica domanda
strategica, individuata dopo anni di ricerche: «Quanto è
probabile che raccomandi questa azienda (o questo servizio)
a un amico o collega su una scala da 0 a 10?».
Oggetto dell’indagine [1]
Il servizio di reference della Biblioteca di Ateneo è offerto a
tutti gli utenti interni e agli utenti di enti convenzionati e
consiste in un’attività di supporto fornita dal personale
bibliotecario per effettuare una ricerca bibliografica (su
cataloghi, banche dati, riviste elettroniche, siti internet).
Nella Sede Centrale e nella Sede di Medicina il reference
viene erogato su appuntamento e per ciascuna area
disciplinare c’è un bibliotecario di riferimento; il reference
è individuale e ha una durata compresa tra 1 e 2 ore.
Per l’area di Scienze della Formazione spesso viene effettuato il “reference collettivo”, cioè un incontro con 2 o 3 utenti, al fine di ottimizzare i tempi, a fronte dell’alto numero di richieste e della scarsa disponibilità di risorse.
Oggetto dell’indagine [2]
Da aprile 2014 si è deciso di reindirizzare sulla piattaforma
di e-learning le richieste di supporto più generiche,
riservando il servizio di reference su appuntamento a un
livello di richiesta più specialistico.
Questa riorganizzazione si è realizzata compiutamente solo
per l’area di Medicina, poiché il materiale didattico è
molto ricco, mentre per altre aree, come ad esempio
quella di Psicologia, è stata solo parziale.
Presso la Sede di Medicina da aprile a luglio – periodo di
transizione all’autoformazione attraverso la piattaforma Biblio
E-learning – è stato erogato un servizio di «reference a
distanza» rivolto ai laureandi, che consisteva nel fornire una
bibliografia relativa all’argomento di tesi.
Finalità dell’indagine
• Raccogliere dagli utenti un feedback sul servizio di
reference attraverso una tecnica di rilevazione sintetica.
• Conoscere i principali motivi di soddisfazione o
insoddisfazione rispetto al servizio di reference.
• Scoprire eventuali aree di miglioramento del servizio.
• Realizzare l’indagine su tutte le aree disciplinari e
raccogliere un feedback «a caldo».
• Utilizzare la tecnica «Net Promoter Score», che si è
rivelata molto efficace.
Modalità dell’indagine
Questionario somministrato attraverso un form online,
segnalato con una email inviata a tutti gli utenti, subito
dopo la fruizione del servizio.
Indagine con metodo misto (quantitativo e qualitativo);
questionario con diversi tipi di domande:
• domande chiuse, per misurare il livello di fedeltà e
raccogliere varie informazioni
• domande aperte, per far emergere considerazioni e
suggerimenti.
Il questionario
• Il questionario raccoglie varie informazioni sugli utenti:
tipologia, corso di laurea (solo per studenti), ambito della
ricerca, mese della sessione.
• Si rileva inoltre il canale di comunicazione attraverso
cui si è venuti a conoscenza del reference.
• La domanda cruciale per misurare il livello di
fedeltà/soddisfazione in una scala 0-10 è: «Quanto è
probabile che consigli il reference a un amico o un collega?»
• Le ultime due domande del questionario rilevano i motivi
del punteggio attribuito e raccolgono suggerimenti per
migliorare il reference.
Criteri di analisi dei dati
Domande chiuse
Si riportano grafici che restituiscono i risultati emersi
dall’indagine.
Nota: in appendice si riportano i grafici relativi ai dati statistici sul
reference del 2014, per confrontarli con quelli emersi dall’indagine.
Domande aperte
Sono state individuate categorie di risposta e si riporta una
sintesi dei concetti espressi, con un linguaggio aderente ai
testi originali.
Nota: i numeri indicano le ricorsività rispetto alle categorie di risposta
individuate; alcuni non esprimono commenti e altri esprimono concetti
riconducibili a più categorie. La compilazione della risposta relativa alle
motivazioni del punteggio attribuito è stata resa obbligatoria.
Campione esaminato [1]
Destinatari del questionario: 268 utenti, che hanno
utilizzato il servizio di reference nel 2014 (v. appendice).
Rispondenti al questionario: 123 utenti, pari al 46% della
popolazione di riferimento.
Le percentuali di rispondenti rispetto agli utenti del reference
suddivisi per area disciplinare sono le seguenti:
• 53 di Medicina: 35%
• 30 di Scienze della Formazione: 64%
• 18 di Economia: 53%
• 13 di Sociologia: 57%
• 4 di Psicologia: 100%
• 2 di Diritto: 25%
• 2 di Scienze MMFFNN: 100%
• 1 di Scienze Statistiche: 100%
Campione esaminato [2]
Rispetto al numero di valutanti, prevale l’area disciplinare di Medicina
(53), seguita da Scienze della Formazione (30), Economia (18) e
Sociologia (13). Pochi sono i valutanti per Psicologia (4), Diritto (2),
Scienze MMFFNN (2) e Statistica (1).
Esiti dell’indagine [1]
Rispetto alla tipologia di utenti, la maggioranza dei valutanti è
rappresentata da laureandi (64) e studenti (47).
Pochi i ricercatori e docenti (7), i dottorandi (4) e gli utenti dell’Ospedale
San Gerardo (1).
Esiti dell’indagine [2]
Il maggior numero di valutanti è costituito da iscritti a corsi di laurea
triennali (66). Un quota significativa è costituita da iscritti a corsi di
laurea magistrale (33) e a ciclo unico (15). Alcuni non specificano il tipo
di corso di laurea (9 di cui 7 non erano tenuti a farlo).
Esiti dell’indagine [3]
Tra i valutanti dell’area medica, prevalgono gli ambiti di ricerca inerenti
l’infermieristica (34), seguiti da medicina (9), ostetricia (7) e fisioterapia
(3). Rispetto alle altre aree disciplinari, si è visto con l’analisi del
campione, che primeggiano pedagogia/scienze della formazione (30),
economia (18) e sociologia (13). In minoranza gli ambiti di psicologia (4),
diritto (2), scienze MMFFNN (2) e statistica (1).
Esiti dell’indagine [4]
Un numero significativo di utenti aggiunge altri ambiti della
ricerca, oltre a quello selezionato dalla domanda a risposta
chiusa, poiché il proprio tema era interdisciplinare (10):
sociologia ed economia, economia e diritto, psicologia ed
educazione etc.
Alcuni utenti specificano il corso di laurea o la disciplina
in cui si laureano (6): Servizio Sociale, Diritto privato,
Scienze della Formazione Primaria etc.
Diversi utenti specificano invece l’argomento di tesi (11):
«marketing», «fisioterapia e riabilitazione», «formazione
degli adulti», «educazione alimentare», «logopedia» etc.
Altri ambiti della ricerca
Esiti dell’indagine [5]
La maggioranza dei rispondenti ha usufruito del reference nel mese di
aprile (21). Seguono i mesi di gennaio e febbraio (18).
Alcuni utenti hanno potuto utilizzare il servizio anche nel mese di agosto,
nonostante la chiusura estiva.
Esiti dell’indagine [6]
La maggioranza dei rispondenti al questionario è venuta a conoscenza
del reference da un docente (54) o da un amico (21).
I restanti ne sono venuti a conoscenza da un bibliotecario (19), dal sito
web della biblioteca (16) o dai volantini sui servizi bibliotecari (10).
Alcuni lo hanno saputo attraverso altri canali (3).
Esiti dell’indagine [7]
Altri canali di comunicazione
Alla domanda che chiede di specificare eventuali altri canali
di comunicazione rispondono 8 utenti, di cui:
• uno ha risposto «altro» alla precedente domanda chiusa
(menù a tendina per selezionare un tipo di risposta)
• sette specificano un secondo canale di comunicazione.
Le risposte sono riconducibili alle seguenti categorie:
• Volantini sui servizi bibliotecari (3)
• Bibliotecari (3)
• Docente o tutor (2)
• Sito web della biblioteca (1)
• Seminari e corsi (1).
Esiti dell’indagine [8]
I 123 utenti valutanti si dividono nelle seguenti categorie:
Promotori (valutazione 9-10): 91 (di cui 78 valori 10)
Passivi (valutazione 7-8): 28 (di cui 19 valori 8)
Detrattori (valutazione 0-6): 4 (di cui 3 valori 6 e 5, un valore 1 )
Nota: la media (9,2) e la mediana (10) in questa tecnica non sono significative.
«Quanto è probabile che consigli il
reference a un amico o un collega?» in una scala da 0 (del tutto improbabile)
a 10 (del tutto probabile).
Il «Net Promoter Score» (NPS) è ottenuto dalla
percentuale dei Promotori (valutazione 9-10)
meno la percentuale dei Detrattori (valutazione
0-6), escludendo i Passivi (valutazione 7-8).
Un valore NPS +50 (valori compresi tra –100 e
+100) è considerato eccellente.
Il valore NPS del reference è +71.
Esiti dell’indagine [9]
Distinguendo il valore NPS per area disciplinare emerge il seguente
quadro, in ordine decrescente: +100 Scienze MMFFNN, Diritto e
Statistica [1 o 2 valutanti per area], +78 Economia [18 valutanti], +77
Medicina [53 valutanti], +75 Psicologia [4 valutanti], +62 Sociologia
[13 valutanti], +55 Scienze della Formazione [30 valutanti].
Esiti dell’indagine [10]
Motivi del punteggio attribuito [1]
I motivi principali del punteggio attribuito sono riconducibili
alle seguenti categorie:
• Efficacia (85): il reference è ritenuto «molto utile», «di
aiuto» (32); alcuni specificano che è utile per imparare a fare
una ricerca (23), per chi prepara la tesi di laurea (17) o per
reperire materiale e scoprire risorse e servizi (10); altri
evidenziano il fatto che da soli non sarebbero riusciti (9) o
che sviluppa autonomia rispetto alla ricerca (3);
• Qualità del personale (49): molti hanno apprezzato il
lavoro dei bibliotecari sia sul piano emotivo, per disponibilità,
cortesia e pazienza (38), sia sul piano cognitivo, per l’alta
competenza, chiarezza ed esaustività (37).
Esiti dell’indagine [11]
Motivi del punteggio attribuito [2]
Diversi utenti hanno apprezzato l’efficienza del servizio
(10): alcuni evidenziano l’«efficienza», il «risparmio di
tempo» (8), altri sottolineano la breve attesa intercorsa tra
la richiesta e l’erogazione (3).
Una parte degli utenti esprime un’alta soddisfazione
generale (8): «ottimo», «molto soddisfacente», «mi sono
trovata particolarmente bene».
Un utente dell’area di medicina ritiene il servizio «molto
utile», ma attribuisce il punteggio 5 perché pensa che il
servizio non sia più in vigore e quindi non lo potrebbe
consigliare a un amico.
Esiti dell’indagine [12]
Motivi del punteggio attribuito [3]
Due utenti dell’area di Economia e Pedagogia, che hanno
attribuito il punteggio 6, dicono che il servizio ha deluso le
proprie aspettative: entrambi si aspettavano indicazioni
più individualizzate e hanno ricevuto troppe informazioni
generali.
Un utente dell’area di Medicina, che ha attribuito il
punteggio 1, dichiara il proprio malcontento legato al fatto
che gli è stato annullato l’appuntamento, sostituendolo con
l’erogazione del servizio a distanza.
Rispetto al «reference a distanza», gli 8 rispondenti di Medicina
esprimono prevalentemente valutazioni positive, legate alla comodità del
servizio e all’utilità di essere supportati da personale qualificato.
Esiti dell’indagine [13]
Suggerimenti per migliorare il reference [1]
I suggerimenti di miglioramento del reference (29) sono
riconducibili alle aree seguenti:
• Promozione (9): pubblicizzare di più il servizio, anche sul
sito di ateneo, perché è poco conosciuto tra gli studenti;
• Efficacia (15): fare incontri individuali per Scienze della
Formazione (6); far testare al pc quanto appreso (3);
suggerire testi specifici per Sociologia e Pedagogia (2);
reintrodurre il reference in presenza per Medicina (2);
suddividere l’incontro in due parti per Medicina (1); fornire
una scheda riassuntiva per Sociologia (1);
• Efficienza (5): ridurre i tempi di attesa per Medicina (3);
dedicare più tempo per Medicina e Pedagogia (2).
Esiti dell’indagine [14]
Suggerimenti per migliorare il reference [2]
Diversi utenti dichiarano di non avere suggerimenti (8).
Alcuni di loro esprimono la loro piena soddisfazione:
«nessun suggerimento, ottimo servizio»; «è un servizio
completo».
Alcuni esprimono suggerimenti relativi più in generale alla
formazione e al supporto degli utenti nella ricerca (3):
• «promuovere la ricerca bibliografica fin dal primo anno e
sensibilizzare gli studenti all’utilizzo degli strumenti di ricerca
a loro disposizione» [Medicina]
• «migliorare il supporto per gli studenti di statistica»
• «inserire altri ambiti di ricerca (presenti all'interno della
nostra facoltà)» [Sociologia].
Considerazioni sull’indagine [1]
La valutazione molto positiva del servizio, leggermente
diminuita rispetto a quella del 2013 (NPS da +73 a +71), si
basa principalmente su due aspetti:
• l’utilità del reference e quindi la sua efficacia;
• la qualità dello staff riconducibile sia alla dimensione
cognitiva che a quella emotiva del servizio.
Nella percezione degli utenti, l’efficienza appare meno
importante dell’efficacia in questo tipo di servizio:
pochi esprimono valutazioni legate al fattore tempo sia in
positivo (breve attesa dalla richiesta all’appuntamento) che
in negativo (lunga attesa, nei periodi di massima richiesta,
dovuta all’esiguo numero di addetti).
Considerazioni sull’indagine [2]
Solo il 24% dei rispondenti esprime suggerimenti di
miglioramento, mentre il 7% dichiara di non averne
perché si ritiene pienamente soddisfatto.
Le risposte relative ai canali di comunicazione attraverso cui
si è venuti a conoscenza del reference, da una parte
confortano sull’impegno profuso dalla Biblioteca di Ateneo
nella comunicazione esterna attraverso varie modalità
scritte e orali (sito web, volantini sui servizi, bibliotecari),
dall’altra fanno riflettere sull’importanza del passaparola
tra studenti e sulla promozione più generale della
biblioteca realizzata dai docenti.
Propositi post indagine [1]
Riflettendo sugli esiti dell’indagine e facendo i conti con
alcuni limiti strutturali, si possono individuare i seguenti
propositi di miglioramento:
• promuovere di più i seminari e collaborare di più con
docenti e ricercatori;
• valorizzare Biblio E-Learning, la piattaforma per
favorire l’autoapprendimento (attraverso tutorial,
audio/videoguide, quiz etc.) e per erogare corsi a distanza;
• confrontarsi tra le sedi per consolidare le «buone
pratiche» e ottimizzare le risorse dedicate al reference.
Propositi post indagine [2]
Come per le precedenti indagini sul reference, ci si propone
inoltre di:
• condividere con i colleghi gli esiti dell’indagine, al fine di
individuare insieme good practices e aree di miglioramento;
• diffondere il rapporto di indagine tra i vari stakeholders,
tramite sito web, mailing list, pubblicazioni etc., per
valorizzare il feedback degli utenti e per condividere
esperienze nell’ambito bibliotecario;
• realizzare un’indagine analoga per il 2015, invitando
gli utenti a comunicare un feedback subito dopo la sessione
di reference, per il benchmarking interno dei risultati.
Appendice [1]
Stando ai dati registrati dai bibliotecari, nel 2014 hanno usufruito del
reference 268 utenti, così suddivisi per area disciplinare: 151 di
Medicina, 47 di Scienze della Formazione, 34 di Economia, 23 di Sociologia,
8 di Diritto, 3 di Psicologia, 1 di Statistica e 1 di Scienze MMFFNN.
Appendice [2]
La quasi totalità degli utenti del reference è costituita da studenti o
laureandi (236). I restanti utenti sono docenti e ricercatori (13),
dottorandi o specializzandi (10) e utenti dell’Ospedale San Gerardo (1).
Rientrano nella categoria «altro» utenti esterni e personale amministrativo.
Appendice [3]
La maggioranza degli utenti del reference è costituita da iscritti a corsi di
laurea triennali (165). Un quota significativa è costituita da iscritti a
corsi di laurea magistrali (54). Pochi sono gli iscritti a cicli unici (19). Per
alcuni – dottorandi, masteristi, docenti etc. – il dato non è rilevabile (30).
Appendice [4]
Complessivamente il picco di attività di reference si è verificato nei mesi
di aprile, febbraio e gennaio, mentre nei mesi di agosto, dicembre e
giugno c’è stata una bassa affluenza di utenti. Analizzando i dati statistici
del 2014 si sono però notate forti differenze di andamento del servizio
tra la Sede di Medicina (U8) e le altre due sedi (U6 e U2).
Appendice [5]
Nella Sede di Medicina (U8) il picco di attività di reference si è
verificato nei mesi di gennaio e febbraio (35 utenti al mese), seguiti da
marzo e aprile (tra 23 e 28).
Con la riorganizzazione del servizio e l’utilizzo della piattaforma di
elearning, in aprile, il numero di utenti del servizio di è ridotto.
Appendice [6]
Nella Sede Centrale (U6) il picco di attività di reference si è verificato nel
mese di aprile (23 utenti). L’affluenza di utenti è stata abbastanza alta
anche nei mesi di luglio e ottobre (tra 17 e 20 utenti), mentre è stata
bassa nei mesi di agosto e dicembre (da 1 a 3 utenti).
Nella Sede di Scienze (U2) l’unica sessione registrata è stata a febbraio.
Appendice [7]
Da una lettura longitudinale dei dati statistici sul reference dal 2010 al
2014, si nota il numero di utenti è progressivamente calato, grazie
all’incremento dei seminari sulla ricerca bibliografica. Nel 2014, con
la riorganizzazione del servizio presso la Sede di Medicina, il numero di
utenti si è ridotto notevolmente, al fine di ottimizzare le risorse e di
potenziare l’uso della piattaforma di e-learning.
Contatti
per saperne di più…
Dott.ssa Ilaria Moroni e Dott. Alberto Giussani
Ufficio Formazione, Sviluppo e Promozione
Biblioteca di Ateneo
Università degli Studi di Milano – Bicocca
Piazza dell’Ateneo Nuovo 1
20126 Milano
Tel. 02/6448.6272, 02/6448.6235
E-mail: [email protected], [email protected]
Sito web: www.biblio.unimib.it