Bibliometri för utvärdering av forskning – publikationer som prestationsmätare och kvalitetsmått

Ulf Kronman

School of Education and Communication in Engineering

Science

KTH Royal Institute of Technology / Kungliga Tekniska

Högskolan

Karolinska Institutets bibliotek 2011-11-09

Seminariets delar

Kort grundkurs i bibliometri Datakällor, metoder och indikatorer

Mäter bibliometri forskningskvalitet? Kritisk granskning

Bibliometri och forskningspolitik Bibliometri som nyckeltal och incitament

Bibliometrins inverkan på forskningssystemet

Grundkurs i bibliometri

Bibliometri = statistiska analyser av publikationer Produktion – publikationer

Hur många, per år, per forskare, per krona? Vilka typer av publikationer?

Genomslag – citeringar Blir publikationerna lästa och gör intryck?

Samverkan – nätverk Samförfattande, ämnesrelationer och

citeringsrelationer Dynamik

Hur förändras ovanstående indikatorer över tiden?

Datakällor för bibliometri

Thomson Reuters Web of Science 11 500 tidskriftstitlar – från 1960-talet (ISI)

Elsevier Scopus 17 000 tidskrifter och konferensserier – från

1996 Google Scholar

Samlar in "allt på nätet" Även doktorsavhandlingar och rapporter

Egen publikationsdatabas, DiVA & SwePub Bättre täckning – fler dokumenttyper Verifierade data – forskare och institution Inga citeringsdata – ingen världsdata

Olika forskningsfält – olika förutsättningar

Skiftande publiceringskulturer Olika publikationstyper Varierande publiceringsfrekvens Olika citeringsmönster

Olika täckningsgrad i datakällorna Medicin och naturvetenskap täcks bra

Internationella tidskriftsartiklar Teknik täcks halvbra

Tidskriftsartiklar, konferenser, rapporter Samhällsvetenskap och humaniora täcks

dåligt Nationella tidskriftsartiklar, böcker, antologier

Olika områdens synlighet i Thomson ISI

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Dataunderlag från norska Database for statistikk om høgre utdanning (DBH)

KonferenstryckRapporter

Böcker

Tidskriftsartiklar

Citeringsbaserad bibliometri

Bygger på antagandet att en citering speglar en publikations genomslag i forskningssamfundet

A

C

Citerande/refererande

Referens

Citering

B

Citerande/refererande

CiteradReferens

Citering

Citeringar – ojämnt fördelade

http://www.syque.com/quality_tools/toolbook/Variation/measuring_spread.htm

Citeringar i relation till publikationstyp och ålder

0

5

10

15

20

25

30

35

40

45

Average citations related to age and document type

Review articles

Original articles

Citeringar i relation till ämne och ålder

0

10

20

30

40

50

60

70

1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008

Average citation per original publication related to age and subject field

Cell Biology

Immunology

Microbiology

Oceanography

Psychology

Plant Sciences

Zoology

Physics, Applied

Economics

Sociology

Veterinary Sciences

Law

Mathematics

Humanities, Multidisciplinary

Fältnormerad citeringsgrad

Publiceringsår Fler citeringar ju fler år sedan publicering

Dokumenttyp Översiktsartiklar får 2,5 gånger fler citeringar

än originalartiklar Forskningsfält

Cellbiologi 10 gånger fler citeringar än matematik

Normering jämför lika med lika Samma år, dokumenttyp och forskningsfält Normerat världsmedelvärde = 1

Mer än 1 = större genomslag än världsgenomsnittet

Bibliometriska indikatorer – exempel

Antal publikationer (P) Ämnesområden, trender, samförfattande

Citeringar (C) Fältnormerade (cf) Tidskriftsnormerade (cj)

Tidskrifter Thomsons Journal Impact Factor (JIF) Tidskriftens citeringsgrad normerad mot fält

(jf)

h-index h antal publikationer citerade minst h gånger

Visualiseringar av bibliometriska relationer

Mäter bibliometri forskningskvalitet?- en kritisk granskning

Citeringarna är inte normalfördelade

http://www.syque.com/quality_tools/toolbook/Variation/measuring_spread.htm

Inneboende variabilitet i datamaterialet

Gränsdragningar i datamängden skapar brus Konstruerade gränser mellan publiceringsår, tidskrifter,

ämnesområden – och även organisationer Forskarnas publicering och citering uppvisar en

viss bibliometrisk "godtycklighet" på mikronivån Var publicerar de sig och varför? Vad/vem citerar de och varför? Vilka får vara med i författarlistan (och hur sorteras den)?

Indata är komplext och genererar slumpmässiga variationer i citeringsdata Över hälften av citeringarna leder till publikationer

utanför Thomsons index Thomson missar runt 6% av citeringarna inom sitt

system

Studie av brus i indikatorer

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1999 2000 2001 2002 2003 2004 2005 2006 2007

Årlig variation i fältnormerad citeringsgrad

33/år

230/år

890/år

Korrelation antal artiklar och brusnivå

y = 2.06x-0.41

R² = 0.96

0

0.5

1

1.5

2

2.5

1 10 100 1000 10000

95%

confi

denc

e in

terv

al

Number of analysed publications (full count)

Confidence interval in relation to analysed number of publications

The organisation

Relation researcher - organisation?

Aggregated errors in interpretation

The world of the researcher

Relation researcher - publication?

The world of the publication

Relation Thomson citation - quality?

The Thomson database

= "the truth"

Hur ska man använda bibliometri?

Som statistiskt underlag till sakkunniga Som komplement till kunskap om ämnet och den

bedömda organisationen Bibliometri fungerar bäst på makronivå

En statistisk "genväg" till kvalitetsbedömning

BibliometriPeer review

1 10 100 1000 10000 100000

Publikationer per år

Individer

Grupper

Lärosäten

Länder

Bibliometri som nyckeltal och incitament

Skilj på indikatorer och nyckeltal Indikatorer är approximativa och innehåller

felmarginaler Nyckeltal förväntas vara exakta

Skilj på utvärdering och incitament Utvärdering görs efteråt Incitament ges före

Skilj makronivå och mikronivå Bibliometri arbetar bäst på makronivå Incitament fungerar bäst på mikronivå

Mäter bibliometri forskningskvalitet?

Ja, om: Nej, om:

Forskningen publicerar sig i internationella tidskrifter

Forskningen genererar böcker, rapporter, patent, debattartiklar och praktiska resultat

Impact (citeringar) = kvalitet

Citeringar betyder något annat än impact

Forskningen är "konventionell"

Forskningen är ung, smal och paradigmbrytande

Datamaterialet är stort (> 500 publikationer)

Datamaterialet är litet (< 50 publikationer)

Ej diagnostiskt: Bibliometri mäter inte frånvaro av kvalitet

Beware the direction of deduction

High bibliometric indicator values Good research

Poor researchLow bibliometric indicator values

High bibliometric indicator values usually implies good research

Poor research often results in low bibliometric indicator values

But: Good research will not always lead to high bibliometric indicator values

But: Low bibliometric indicator values will not always imply poor research

Bibliometri och forskningspolitik

Varför bibliometrihausse?

Globalisering – konkurrens Global trend att satsa på forskning

Forskningen kostar mycket numera Vad får vi för pengarna?

Revisionssamhälle? Ny manegementkultur kräver mätbar

uppföljning Få mätbara resultat av grundforskning

Publikationer och citeringar är två av de få

Elfenbenstornet kontra hantverkaren

Ska vi fortsätta ha ett "akademiskt elfenbenstorn"? Många menar att det är bäst om forskarna får

resurser utan att behöva ansöka om dem Men vilka och hur många ska då få denna

säkra finansiering? Ska vi ha forskningshantverkare som

fokuserar på mätbara resultat? Hur går det med den långsiktiga

grundforskningen om allt ska kunna följas upp i mätbara entiteter?

Hur påverkar bibliometrin forskningen?

Forskningen blir mer inriktad på att producera publikationer än resultat Publikationer och citeringar blir valuta för att erhålla

tjänster och finansiering Att få sitt namn i en författarlista blir hårdvaluta

Handledare tar publiceringspoäng av doktorandernas arbete

Affilieringar blir ett sätt att rikta ”credit” och forskningsmedel

Amatörbibliometrin gör mest skada Tidskrifternas impaktfaktorer säger ingenting om den

enskilda publikationen Antal publikationer och citeringar kan inte jämföras

rakt av mellan olika forskningsområden

Complexity

Simplification

Bibliometrics – one view on reality

Ranking lists

Peer review

Bibliometric indicators