les enjeux de la bibliométrie. du côté des institutions : différentes échelles dévaluation...
TRANSCRIPT
Les enjeux de la bibliométrie
Du côté des institutions :différentes échelles d’évaluationL’avancement individuel des carrières tout comme
l’attribution des crédits s’appuient désormais sur l’évaluation de l’activité des chercheurs vue à travers le prisme de leurs publications
Dossiers soumis à l'Agence Nationale de la Recherche : pas d'évaluation officielle rigoureuse à l'heure actuelle, mais des éléments…
En France, l’Observatoire des Sciences et Techniques (OST) est chargé notamment (créé en 1990): - « de la conception et production d'indicateurs quantitatifs relatifs aux activités scientifiques […] »- « [de l’] interprétation en termes de position de la France en Europe et dans le monde »- de la « publication, diffusion et valorisation [de ces] indicateurs ».
Cf. site de l’OST (consulté le 25-03-2013).
La recherche mondiale 2008Dépenses en R&D: E-U 34%, U-E 24%, Japon
13,5%, Chine 9,3%La Corée du Sud est au même niveau que la
France et le R-U 3,7%Il y a autant de chercheurs en Chine qu’aux
E-U43% des étudiants du monde sont en Asie,
24% en EuropeL’Office américain des Brevets a accordé plus
de brevets en Asie (31%) qu’en Europe (16%)
La recherche française: quelques chiffresLa recherche française, publique et privée, compte en ETP,
375 235 personnes dont 59% sont des enseignants-chercheurs. 56,2% appartiennent au secteur privé, 45,8% au secteur public
Rappel: les E-U comptent 1,4 M de chercheurs, soit 1/5 de la pop. mondiale des chercheurs (UE=1,3 M et Chine=1,1M)
Plus de 4/10 sont en Ile de France et plus d’1/10 en Rhône/Alpes (2005)
La France compte 6,76 chercheurs pour 1000 actifs (Japon=10,6 et E-U=7,42, UE= 5,86, Asie=1,88). Le nbre de chercheurs a augmenté de 23% en France entre 2000 et 2005
Rappel: On compte, en 2007, près de 6,6 millions de chercheurs dans le monde. 40,6 % sont en Asie, 30,4 % en Europe et 24,3 % en Amérique du Nord.
La production scientifique de la FranceEn 2006, 4,2% des publ.mondiales en sciences de la
matière et de la vie sont publiées en F. (4,2% des citations mondiales). En mathématiques cette part est de 6,8. cf.rapport OST p.76
L’indice d’impact de la France est supérieur ou égal à la moy.mondiale dans presque toutes les disciplines (1,01). C’est en recherche médicale qu’il est le plus faible (0,91) et en biologie appliquée-écologie qu’il est le plus fort (3,28).
En 10 ans, la part des publications a baissé (5,4% en 1996) mais l’indice d’impact s’est nettement amélioré (0,91 en 1993)
Retour OST sur production scientifiqueBrevets : En 2008, la part mondiale de la France dans le système de
brevet européen est de 6,3 %, contre 8,9 % en 1990. Dans le système américain de brevets elle est de 2,0 % en 2008, contre 3,3 % en 1990.
Participation PCRD (programme-cadre de recherche et développement)
La France est présente dans plus d’un tiers des projets du 7ème PCRD. Elle coordonne 11,4% des projets. Les équipes françaises ont reçu 12,1% du budget, soit 1542 millions d’euros.
Le Programme 150 de la LOLFLes objectifs fixés aux établissements
d’enseignement supérieur et de recherche sont présentés dans le rapport Programme 150 consultable sur le web.
L’évaluation et l’évolution de la recherche française sont déclinées selon 5 objectifs (pages 52 à 59)
http://www.performance-publique.gouv.fr/farandole/2006/lfi/pdf/DBGPGMLFIPGM150.pdf
Les objectifs du Programme 150
OBJECTIF n° 7 : Produire des connaissances scientifiques au meilleur niveau international
OBJECTIF n° 8 : Développer le dynamisme et la réactivité de la recherche universitaire
OBJECTIF n° 9 : Contribuer à l’amélioration de la compétitivité de l’économie nationale par le transfert et la valorisation des résultats de la recherche
OBJECTIF n° 10 : Concourir au développement de l’attractivité internationale de la recherche française
OBJECTIF n° 11 : Consolider l’Europe de la recherche
L’évaluation de la recherche : qualitative et quantitativeIl existe deux types d’évaluation des publications
scientifiques :
L’évaluation qualitative. C’est le « peer reviewing » ou évaluation par les pairs. Le papier est examiné par le comité de rédaction de la revue composé d’experts de la discipline
L’évaluation quantitative. C’est l’évaluation de l’activité des
chercheurs vue à travers le prisme de leurs publications.Cette évaluation est menée par des personnes qui ne sont pas forcément spécialistes de la discipline et de l’axe de recherche concernés. Il ne s’agit pas d’entrer dans les contenus.
Le recours à la statistique s’impose donc et le critère retenu est le taux de citation de la publication.
Qu’est-ce que la scientométrie?Branche de la bibliométrie: applique à
l’analyse des activités de communication rédigée de la recherche scientifique et technique les principes d’étude statistique
La communauté scientifique: une élite qui publie beaucoup, une masse de chercheurs peu productifs
Les « collèges invisibles »
Évaluation quantitative : l’Institute of Scientific Information (ISI)Créé par Eugène Garfield en 1958. Acquis par Thomson
Scientific en 1992
Sa spécialité est l’indexation de citations et leur analyse
Maintient une base de données de citations couvrant des milliers de revues : le Science Citation Index (SCI), accessible seulement électroniquement à travers le service appelé Web of science
Cette base de donnée permet d'identifier les articles les plus souvent cités et qui les a cités
ISI publie aussi un rapport annuel, le Journal Citation Report, qui établit un facteur d’impact pour chaque journal suivi
Les méthodes de l’ISI :évaluation des revuesLes données sont publiées dans le Journal
Citation Report qui paraît au printemps pour l’année précédente
Il analyse plus de 7 500 titres issus de 60 pays différents
Le but est de définir le « facteur d’impact » de chaque revue sur les deux années précédant l’année de référence
Calcul du facteur d’impact :exempleQuel est le facteur d’impact d’EMBO Journal en 2006 ?
1 - Nombre d’articles de cette revue publiés en 2004 et 2005 et cités dans les titres de la base en 2006 :
2005 = 3503 2004 = 5131 Total = 8634
2 - Nombre d’articles qu’a publiés cette revue en 2005 et en 2004 :
2005 = 394 2004 = 462 Total = 856
3 - facteur d’impact = le nombre de citations divisé par le nombre d’articles publiés :
8634 : 856 = 10.086 = Le facteur d’impact de cette revue est de 10.086
RankAbbreviated Journal Title(linked to journal information)
ISSN Total CitesImpactFactor
ImmediacyIndex
ArticlesCitedHalf-life
1 CA-CANCER J CLIN 0007-9235 5266 63.342 16.526 19 2.9
2 NEW ENGL J MED 0028-4793 177505 51.296 12.743 303 6.9
3 ANNU REV IMMUNOL 0732-0582 15482 47.237 9.500 24 6.3
4 ANNU REV BIOCHEM 0066-4154 16761 36.525 4.433 30 8.5
5 REV MOD PHYS 0034-6861 20672 33.508 6.656 32 >10.0
6 NAT REV CANCER 1474-175X 13189 31.583 4.675 80 3.4
7 PHYSIOL REV 0031-9333 16209 31.441 4.906 32 7.2
8 NAT REV MOL CELL BIO 1471-0072 14132 31.354 3.894 85 3.6
9 SCIENCE 0036-8075 361389 30.028 5.555 885 7.7
10 CELL 0092-8674 132528 29.194 6.403 352 8.7
11 NAT REV IMMUNOL 1474-1733 11098 28.697 4.628 78 3.3
12 NAT MED 1078-8956 43664 28.588 5.261 153 5.3
13 ANNU REV NEUROSCI 0147-006X 9139 28.533 3.050 20 6.8
14 NAT IMMUNOL 1529-2908 20761 27.596 5.856 132 3.6
15 NATURE 0028-0836 390690 26.681 6.789 962 7.8
16 ANNU REV CELL DEV BI 1081-0706 7499 26.576 1.000 27 6.3
17 CHEM REV 0009-2665 57509 26.054 2.778 189 7.5
18 LANCET 0140-6736 133932 25.800 7.419 301 7.4
19 BRIEF BIOINFORM 1467-5463 1428 24.370 0.207 29 2.6
20 NAT GENET 1061-4036 54053 24.176 7.144 202 6.1
De nombreux biais et a prioriConsidère que seule la citation est une
preuve « d’utilité scientifique »Biais introduits par la différence de taille
des communautés (acoustique est moins lue que la biologie)
Biais introduits par les choix de titres dans la base WoS :Biologie, santé, médecine bien représentéesSciences humaines très mal représentées
Un système qui n’est pas sans défaut…
Quelques faiblesses du système ISI d’évaluation des revues
Le calcul sur deux ans n’est pas adapté à toutes les spécialités. Dans certaines disciplines, le contenu des articles publiés est susceptible d’être cité sur une durée plus longue. Depuis 2007, un IF sur 5 ans est calculé également. Pour les années antérieures, une méthode est proposée.
Les « jeunes » périodiques peuvent être défavorisés le temps de prendre de l’importance…Le système fonctionne comme une prime aux revues déjà installées et jouissant d’une certaine notoriété
Les articles de type « review » sont comptabilisés avec les articles de recherche ce qui « gonfle » les résultats des titres publiant de nombreuses « reviews » (même si ensuite, on peut afficher le détail du nombre de « reviews » sur le nombre total d’articles publiés, le calcul du facteur d’impact n’en tient pas compte)
Les revues dans des langues autres que l’anglais et des alphabets autres que le latin, sont très défavorisées dans ce « jeu » des citations.
Les citations opportunistesLes articles « importants » sont parfois cités
préférentiellement, pas forcément en rapport direct avec leur utilité dans la recherche poursuivie.
Les articles des « grands journaux » sont plus souvent cités, et en meilleure place, que ceux publiés dans les journaux à tirage moyen
Auto-citations, citations de collègues en vue, citations d’articles du journal auquel on soumet un manuscrit, etc.
Articles cités pour rectifier des erreurs nombreusesArticles considérés comme « classiques » et donc
plus cités ou au contraire sur-citation des art.très originaux
La « peopleisation » des journaux scientifiquesUn article peut être jugé important parce
qu’il est publié dans un journal prestigieux comme Nature ou Science
Certaines revues, pour préserver leur IF diminuent le nombre d’art.publiés, elles favorisent les disciplines « à la mode », elles publient de plus en plus de « reviews »
Le problème de la définition des auteursDes disparités entre les disciplinesQuelle est la contribution des signataires du
milieu?Quelle est la contribution des techniciens et
laborantins signataires?Cf. les critères d’authorship de Vancouverhttp://www.icmje.org/ethical_lauthor.html
L'utilisation des données ISIUtilisation individuelle par le chercheur
Connaître ses articles les plus citésSavoir qui cite les articles
Utilisation comme outil d'évaluationPerformances individuellesPerformances d'un groupe
Laboratoire Établissement Organisme
Tout ce qui est laissé de côté par cette méthodeOriginalité de la recherche, innovation
conceptuelle, applications, utilité scientifique ou industrielle
Rayonnement ou création d’une école de pensée
Conclusion: PRUDENCELes deux médailles Fields 2010, Cédric
Villani cité 1520 fois par 629 auteurs et Ngo Bao Chau cité 102 fois par 52 auteurs, ne peuvent absolument pas être classés l’un par rapport à l’autre.
Le problème des SHS
La citation devient dans le modèle de l’ISI une preuve « d’utilité scientifique » ce qui ne s’applique pas aux SHS
Parce que la monographie est la forme de publication majeure de ces domaines où les contenus ont une longue durée de vie.
En France, une part importante des recherches sont publiées dans le cadre d’ouvrages collectifs qui échappent à la recension de l’ISI
Le principe de visibilité utilisé pour sélectionner les jrnx est également contestable: des périodiques à tirage limité et à faible indice d’impact sont cpdt fondamentaux pour leur communauté de chercheurs
La prédominance de la langue anglaise n’est pas attestée pour nbre de disciplines (archéologie, littératures nationales)
Parce que dans ces disciplines en particulier, les « pratiques de citation » française et anglo-saxonne diffèrent très nettement. Exemple sur l’année 2000 : Ecole Française de Rome, section Moyen-Age : 3858 références pour 283 articles Speculum : 3495 pour 167 articles
Source : enquête CNRS 1992-2001 sur les revues SHS
Mais il y a aussi des points positifs!
Le chercheur peut ainsi étudier les revues de sa discipline et définir sa stratégie de publication :
Meilleurs résultats dans les meilleures revuesRésultats moins importants dans les autresDiversifier les sources dans des domaines
voisins et des IF équivalents
Scopus et ScimagoNouvel indicateur prenant en compte les
revues de tous les pays: le Journal Rank Indicator
http://www.scimagojr.com/Plus de 18 000 revues indexées depuis 1996Les sciences sociales sont encore le parent
pauvre mais sont représentées et permettent un classement des revues.
Les indicateurs relationnels Indicateur de co-publications internationales d’un pays (2006: E-U
sont le 1er partenaire de la F, présents dans 24,6% des cop.)Analyse du réseau de recherche dans lequel s’inscrit un chercheurAnalyse dynamique des liaisons entre les revues: permet de suivre la
déformation et la réorganisation des domaines de rechercheAnalyse des citations d’articles scientifiques dans les brevets (et
inversement): relations entre sciences et techniquesAnalyse des réseaux de citations: étude d’un contexte de recherche L’analyse des mots associés: grâce à des logiciels tels que Leximappe, on
peut détecter la co-occurrence de mots et déterminer des indices d’équivalence. Les réseaux de mots associés permettent d’indiquer la place d’une recherche par rapport à un ensemble: centralité et densité dessinent des diagrammes stratégiques qui permettent d’évaluer la structure d’un domaine de recherche. Permet de prévoir dans le temps quels thèmes vont être développés.