bibliometria
Upload: sistema-bibliotecario-di-ateneo-universita-di-modena-e-reggio-emilia
Post on 14-Dec-2014
2.596 views
DESCRIPTION
TRANSCRIPT
INTRODUZIONE ALLA INTRODUZIONE ALLA BIBLIOMETRIABIBLIOMETRIA
Nicola De BellisNicola De [email protected]@unimore.it
Università di Modena e Reggio Emilia, 11/11/2010
BIBLIOMETRIA
Una metodologia d’indagine che si basa sull'analisi di documenti ma
• non guarda al contenuto / significato / messaggio / interpretazione
• studia le relazioni quantitative tra i documenti e gli elementi che li compongono: parole, citazioni bibliografiche, autori, istituzioni, etc.
CONFUSIONE TERMINOLOGICA
Esistono molti termini riferiti alle aree di ricerca che utilizzano questa
metodologia:
bibliometria, scientometria, informetrica, webmetrica,
cybermetrica...
BIBLIOMETRIA E CITAZIONI
In anni recenti gran parte della ricerca bibliometrica si è concentrata sull'analisi statistica delle citazioni bibliografiche:
• le citazioni indicano connessioni intellettuali tra documenti
• il numero di citazioni ricevute da un documento fornisce un indicatore del suo impatto cognitivo
REFERENCE & CITATION
Le citazioni sono il filo rosso che lega i due corsi sulla bibliometria ed i software bibliografici
Bibliometria: punto di vista del documento citato (citation)
Software bibliografico: punto di vista del documento citante (reference)
ESEMPIO: UNO A UNO
A B
A cita B in un riferimento
bibliografico R
Dal punto di vista di A, l’entità R è un riferimento bibliografico (reference)
Dal punto di vista di B, l’entità R è una citazione bibliografica (citation)
A
B1A
2A
3A
Il documento/autore B riceve 4 citazioni, ovvero 4 riferimenti bibliografici di autori diversi puntano a B
ESEMPIO: QUATTRO A UNO
A
B
1A
2A
3A
Se aggiungo altri link citazionali ottengo una rete bibliografica che può essere analizzata con metodi matematici
C
1C
2C
3C
ESEMPIO: LA RETE
Il punto di vista delle citazioni si assume dopo aver costruito un indice di citazioni:
• si sceglie un certo numero di fonti e si indicizzano tutti i documenti citati nelle note e nelle bibliografie finali
• si inverte la lista così ottenuta in modo da poter risalire da un particolare documento a tutte le fonti di partenza che lo hanno citato
DA REFERENCE A CITATION
Le fonti di cui si analizzano le citazioni sono perlopiù riviste scientifiche internazionali in lingua inglese:
• motivi storici: gli indici di citazioni sono nati per facilitare la ricerca bibliografica nelle scienze naturali e biomediche
• convenienza: gli articoli scientifici hanno una struttura che si presta all'indicizzazione delle bibliografie
LE FONTI
Almeno per ora:
• l’analisi delle citazioni è applicabile solo nei settori dove regna l'articolo scientifico in lingua inglese
• per l’area umanistica / storico sociale e
per aree geografico-linguistiche non anglocentriche non esistono strumenti bibliometrici adeguati
APPLICABILITA’
Perché è diventata così importante in ambito accademico?
ANALISI DELLE CITAZIONI
CASE STUDIES
Il Prof. Maurizio Ponz de Leon, Dipartimento di Medicine e Specialità Mediche dell'Università di Modena, deve presentare una richiesta di finanziamento al Ministero.
La richiesta può essere inoltrata solo da ricercatori con indice di Hirsch maggiore o uguale a 25 per le pubblicazioni degli ultimi dieci anni.
Quanto vale l'h di M. Ponz de Leon e come si fa a documentare la validità dell'indice trovato?
CASE STUDIES
Due ricercatrici del Centro Alcologico Regionale Toscano chiedono a NDB un parere bibliometrico in relazione al seguente problema:
definire un indicatore di originalità per un fondo documentario specializzato in alcologia contenente sia letteratura grigia che monografie.
Che relazione c’è tra indicatori bibliometrici e qualità delle collezioni?
Uno studente che si appresta a scrivere una tesi di laurea sulle dislocazioni della spalla riceve la seguente indicazione dal relatore:
per velocizzare la ricerca e la compilazione della bibliografia dovrà leggere e citare solo gli articoli più citati recuperati da MEDLINE.
E’ un suggerimento corretto? Che utilità può avere l’analisi delle citazioni per la ricerca bibliografica?
CASE STUDIES
OBIETTIVI DEL CORSO
Al termine di questa giornata dovreste essere in grado di:
• definire i principali indicatori bibliometrici elencati nel DM (Impact Factor, indice h,...)
• interrogare i database necessari per calcolarli e rispondere ai quesiti 1-3
• contestualizzare la risposta: non può essere solo un numero o una lista di documenti ordinati per numero di citazioni
BIBLIOMETRIA
PRESUPPOSTI MATEMATICI
PRESUPPOSTI FILOSOFICI
INDICATORI
STRUMENTI: INDICI DI CITAZIONI
1
2
3
4
PRESUPPOSTI
FILOSOFICI
1
Ha senso contare le citazioni se:
• la citazione veicola un’idea, un concetto = si cita per confermare, smentire, segnalare ... qualcosa
• gli scienziati hanno un codice etico “interno” che gli impone di riconoscere le fonti delle loro idee citandole
CULTURA DELLA CITAZIONE
IL CODICE DI R.K. MERTON
La ricerca scientifica secondo il modello bibliometrico:
• ispirata da criteri universali e impersonali di valutazione
• destinata a non rimanere segreta ma a diventare bene pubblico
• disinteressata• basata su affermazioni logicamente
coerenti e verificate o verificabili
IL MODELLO NORMATIVO
Ricompensa
Verifica e approvazione
Comunicazione
Ricerca e scoperta
OnoreficenzePremi
Peer reviewCitazioni
ArticoliReport
Processimentali
RIDUZIONISMO
Dogma bibliometrico:
• la scienza si identifica con la letteratura scientifica pubblicata
• la letteratura scientifica pubblicata riflette l’attività di ricerca condotta in conformità al modello normativo
QUALCOSA NON VA
Il modello normativo trascura:
• violazioni delle norme = frodi, vanity press, favoritismi personali, citazioni ornamentali o reverenziali
• attività che non lasciano traccia in letteratura: insegnamento, costruzione strumenti, coordinamento attività altrui, etc.
PRESUPPOSTI MATEMATICI
2
NORMALITA'
Molti fenomeni osservabili hanno una distribuzione normale o Gaussiana:
• esiste un valore centrale più probabile di tutti gli altri attorno al quale si distribuiscono in maniera ordinata tutti i restanti valori
• tale regolarità permette la formulazione di ipotesi e l’uso di test statistici collaudati
DISTRIBUZIONE NORMALE
ASIMMETRIA
I fenomeni bibliometrici hanno invece una distribuzione profondamente asimmetrica = la maggior parte dei prodotti (pubblicazioni, citazioni)
deriva da / si concentra su
una piccola porzione di fonti (autori, riviste)
DISTRIBUZIONE IPERBOLICA
LOTKA
pochi autori pubblicano la
maggior parte degli articoli rilevanti per un settore di ricerca
BRADFORD
poche riviste pubblicano la maggior parte degli articoli
rilevanti per un settore di
ricerca
“Talmente ampia è la sovrapposizione tra discipline, che la letteratura del nucleo di tutte le discipline scientifiche coinvolge un gruppo di non più di 1000 riviste, e può arrivare a comprenderne anche solo 500”
(Eugene Garfield)
LEGGE DI CONCENTRAZIONE
Lo scienziato è sommerso da un diluvio di informazione Bibliotecari, archivisti, ..., etc. sono gli unici che possono salvarlo
IL MITO DEL DILUVIO
LA CODA LUNGA
Ogni anno approssimativamente il 35% dei documenti prodotti non viene mai citato, il 49% viene citato solo una volta, il 9% due volte, il 3% tre volte, il 2% quattro volte, e soltanto l’1% sei o più volte ... (D. Price)
... quindi i conteggi a livello individuale sono inaffidabili dal punto di vista statistico
CITAZIONI: UN BENE RARO
Quando aumenta la dimensione del campione la variabilità individuale è bilanciata dalla regolarità del comportamento aggregato: si può allora utilizzare la distribuzione normale anche per oggetti “non-normali” ...
... quindi ha senso contare le citazioni se sono tante!
TEOREMA DEL LIMITE CENTRALE
INDICATORI
3
Elencati nel DM:
• numero di citazioni • Impact Factor• indice h ... e simili (?)
Ne esistono molti altri ma non così facili da calcolare
I PIU’ (AB)USATI
Numero di volte in cui un documento/autore è stato citato da un gruppo selezionato di fonti:
• è il mattone per costruire gli altri indicatori bibliometrici
• è correlato positivamente con fattori qualitativi come peer judgement, premi, incarichi di prestigio, etc.
NUMERO DI CITAZIONI
Dipende da fattori che non c’entrano con la qualità:
• lunghezza media delle bibliografie• età• tipologia di documento• settore di ricerca e argomento • autocitazioni • multi- authorship
DIFETTI
Le citazioni sono un bene raro, i confronti individuali risultano statisticamente non significativi, si cerca pertanto di
• contare le citazioni a livello aggregato = rivista, gruppo di ricerca, università, etc.
• confrontare il simile con il simile
• costruire indicatori relativi
L’ANTIDOTO
Si contano le citazioni ricevute, in un dato anno, da tutti gli articoli usciti su una rivista nei due anni precedenti e si divide il risultato per il numero complessivo di articoli pubblicati in tale intervallo.
La classifica delle riviste in ordine di IF esce ogni anno nel Journal Citation Reports di Thomson Reuters.
IMPACT FACTOR (IF)
Non può essere utilizzato come indicatore della qualità del singolo articolo/autore:
• non esiste l'articolo “medio” di una rivista
• può essere gonfiato artificialmente • problema di integrità e accuratezza dei
dati
Resta comunque fondamentale per definire standard disciplinari
DIFETTI
Uno scienziato ha indice h se h degli articoli di cui è autore (o co-autore) hanno guadagnato almeno h citazioni ciascuno:
• misura sia la quantità che la “qualità”• facile da calcolare• insensibile ai valori estremi• correlato positivamente con fattori
qualitativi come peer judgement, rigore metodologico, etc.
INDICE DI HIRSCH / INDICE H
Nonostante la popolarità è un indicatore molto discusso:
• penalizza i ricercatori più giovani• non tiene conto di autocitazioni e
multi-authorship • dipende dal database utilizzato
DIFETTI
STRUMENTI: INDICI DI
CITAZIONI
4
Sono nati per facilitare le ricerche bibliografiche, dando per scontato che
• il rapporto citante - citato è governato dal criterio di rilevanza
• non si tratta di rilevanza stabilita da un bibliotecario ma dall'autore stesso del documento citante
USO BIBLIOGRAFICO
Ricerca per citazioneRicerca per citazioneRicerca tradizionale per parola chiave
Ricerca tradizionale per parola chiave
1982 paper1982 paper
1957 paper1957 paper
1996 paper1996 paper
1982 paper1982 paper
1996 paper1996 paper
1957 paper1957 paper
1987 paper1987 paper
2010 paper2010 paper
2006 paper2006 paper
1993 paper1993 paper
Non va confuso con l'uso bibliografico:
• un articolo molto citato non è necessariamente più rilevante di uno meno citato
• il ranking per citazione produce bibliografie con molti articoli vecchi
• in alcuni settori gli articoli più citati non dicono niente di nuovo, ad es. le rassegne in medicina
USO BIBLIOMETRICO
Pink L., Orange K., White J. et al., Why the sky is not so blue anymore. Journal of Skyology 2010 22: 245-70
Pink LW, Orange KC., White J. et al., Why the sky is not so blue anymore. Journal of Skyology 2010 22(3): 245-70
Pink L. et al., Why the sky is not so blue anymore. Journal of Skyology 22(4): 245-70
Pink L. et al., Why the sky is not so blue anymore. Journal of Skiology 22(4): 245-70
danno luogo a 4 record diversi
IL PROBLEMA FONDAMENTALE
Tre interdisciplinari:
• ISI WEB OF SCIENCE di Thomson Reuters • SCOPUS di Elsevier• GOOGLE SCHOLAR
Molti altri di carattere disciplinare che forniscono risultati plausibili in alcuni casi: SPIRES HEP/Inspire, ADS, MathSciNet, PsycINFO, etc.
GLI ATTREZZI DI LAVORO
5 fondamentali:
• dimensioni del database • copertura temporale• copertura disciplinare• tipologia di documenti indicizzati• accuratezza nel citation matching
CRITERI DI VALUTAZIONE
ISI WEB OF SCIENCE
Integrazione con altri database: Current Contents, Medline, Index Chemicus ...
Autorevolezza: erede dei Citation Indexes di Eugene Garfield, è lo strumento principale usato dai bibliometri
Comprende l’Impact Factor delle riviste e calcola l’indice h
Copertura: circa 11.500 riviste dal 1970 in poi, con backfiles dal 1901
Criteri rigorosi di selezione delle fonti: qualitativi e quantitativi
Indicizza le bibliografie degli atti di convegni
PRO
ISI WEB OF SCIENCE
Privilegia riviste occidentali in lingua inglese (92% in SCI)
Scarsa copertura delle scienze umane e storico-sociali
La funzione per disambiguare i nomi autori è scadente
Nel calcolo dell’Impact Factor non tiene conto di scissioni, fusioni e cambiamenti di titolo delle riviste
Non indicizza le monografie
CONTRO
Non indicizza le citazioni dei documenti in open archives
SCOPUS
Include molte riviste periferiche (no IF per la selezione)
Copertura: circa 16.500 riviste (reference enhanced dal 1995)
Funzioni analitiche più sofisticate che in WoS, ad es. per i nomi autori
Calcola l’indice h e indicatori d’impatto delle riviste alternativi all’Impact Factor: SJR, SNIP
PROIndicizza più atti di convegni rispetto a WoS
Buona copertura delle scienze sociali
SCOPUS
Indicizza le citazioni solo per record post-1996
Il calcolo dell’indice h è falsato per ricercatori con una lunga carriera
CONTRO
Non indicizza le citazioni dei documenti in open archives
Troppo giovane: ancora poco testato dai bibliometri
Prevalenza fonti in lingua inglese (82%)
Gli indicatori d’impatto delle riviste alternativi all’Impact Factor sono ancora “sperimentali”
GOOGLE SCHOLAR
E’ gratis
Link al testo completo di versioni alternative (preprint, postprint) di uno articolo non OA
No limiti geografici e di lingua
Indicizza le monografie di Google Books
Indicizza i materiali depositati negli open archives
PRO
Copertura: non solo riviste scientifiche ma siti web, letteratura grigia, tesi, preprints, etc.
GOOGLE SCHOLAR
Non ordina i record per citation score e non calcola l’indice h, bisogna usare software esterni
Copertura: ignote le fonti e le annate
Non permette di disambiguare autori con le stesse iniziali
I risultati includono spesso duplicati dello stesso articolo (preprint, postprint, ...)
Include tra le citazioni anche record catalografici e liste di testi consigliati
Produce citation scores e h gonfiati e instabili
CONTRO
1 2
84% dei titoli WoS è anche in Scopus mentre solo il 54% dei titoli Scopus è anche in WoS
3
Per le riviste di economia e finanza solo l’utilizzo combinato dei 3 database permette conteggi affidabili
CONFRONTI
Scopus è preferibile a WoS in alcuni settori delle bioscienze (farmacologia, oncologia) e delle scienze sociali (studi sulla interazione uomo - computer)
4
WoS e Scopus forniscono risultati comparabili tra loro, GS no
5
Scopus fornisce citation scores e h più alti in alcuni settori delle scienze biomediche e sociali
6
Una classifica di autori per numero di citazioni può cambiare se si aggiungono le citazioni di Scopus a quelle di WoS
CONFRONTI
“All three systems have limitations [...] but the deficiencies in Google Scholar are so
voluminous, unscholarly, and often so hidden that its hit counts and citation counts should not
be accepted even as a starting point for evaluating the research output of real scholars. In an interesting twist, Google Scholar can help
in revealing the shortcomings of WoS and Scopus by showing information about
publications that are not covered by the automatic h-index generators of either” (Péter
Jacsó)
Sia WoS che Scopus calcolano automaticamente l’h ma:
• non si tiene conto delle citazioni isolate e orfane
• il calcolo è falsato se l’autore ha pubblicato libri e/o articoli che non hanno un master record pur essendo molto citati
INDICATORI PRECALCOLATI
Gli indicatori bibliometrici più usati sono facili da (auto)-calcolare ma pieni di difetti:
• è necessario conoscere bene i limiti dei database utilizzati e renderne consapevole l'utente
• hanno senso solo nel contesto di una valutazione qualitativa
CONCLUSIONI
ESERCITAZIONE
Calcolo dell’h index di Maurizio Ponz de Leon in WoS, Scopus e Google Scholar
PER SAPERNE DI PIU'
Pagina Web SBA: Indicatori bibliometrici<http://www.sba.unimore.it/Inside/Biblioteca%20Digitale/Indicatori%20bibliometrici.asp>
ftp://ddbibmed:[email protected]/BIBLIO
PER SCARICARE QUESTA PRESENTAZIONE