indicateurs ou outils d’évaluation de la recherche€¦ · 1054-139x 1879-1972 j adolesc health...

55
SIGAPS/SIGREC 07 Février 2019 EHESPLyon Indicateurs ou outils d’évaluation de la recherche: Présentation des logiciels “SIGAPS” (évaluation bibliométrique) et “SIGREC” (gestion administrative et suivi des inclusions) Patrick Devos Responsable de la Cellule Opérationnelle SIGAPS / SIGREC Direction de la Recherche et de l’Innovation - CHRU de Lille EA 2694 Université de Lille Cellule Bibliométrie CNCR [email protected]

Upload: others

Post on 04-Feb-2021

2 views

Category:

Documents


0 download

TRANSCRIPT

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Indicateurs ou outils d’évaluation de la recherche:

    Présentation des logiciels “SIGAPS” (évaluation bibliométrique) et “SIGREC” (gestion administrative et suivi des inclusions)

    Patrick Devos

    Responsable de la Cellule Opérationnelle SIGAPS / SIGREC

    Direction de la Recherche et de l’Innovation - CHRU de Lille

    EA 2694 – Université de Lille

    Cellule Bibliométrie CNCR

    [email protected]

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Plan

    • L’évaluation de la Recherche

    • Le logiciel SIGAPS

    • Le logiciel SIGREC

    • SIGAPS, SIGREC et les financements MERRI

    • SIGAPS/SIGREC : d’autres usages…

  • L’évaluation de la

    Recherche …

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    L’évaluation de la recherche

    • 1950 : naissance, au USA, de la National Science Fundation (NSF), chargée

    de mesurer le niveau scientifique et technologique.

    • 1958 : Création par Eugen Garfield, de l’ISI.

    • 1973 : Publication par la NSF des « Sciences Indicators »

    • 1984 : Publication par l’OCDE des « Sciences and Technology Indicators »

    http://www.nsf.gov/ et http://www.oecd.org/innovation/inno/stistatistics.htm

    Une problématique qui date des années 50 : nécessité, pour les grands pays

    industrialisés, d’évaluer leur potentiel scientifique et technologique.

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    L’évaluation de la recherche

    • Nombreuses références internationales :

    – National Science Fundation (USA)

    – OCDE (International)

    – INSERM, CNRS, … AERES (HCERES) en France

    – …

    • Deux approches complémentaires:

    – Input (ressources consacrées) : financement, personnel, plateaux

    techniques, ….

    – Output (résultats) : brevets, articles scientifiques, thèses , …

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Usage systématique de la bibliométrie

    • Quelle(s) base(s) de référence ?

    – Science Citation Index

    – Pubmed

    – Scopus

    – …

    • Quel(s) indicateur(s) ?

    – Nombre total de publications

    – Nombre de citations

    – Impact Factor (ou IF pondéré)

    – Facteur h

    – Top 1%, Top 10%

    – Indice de Citation Normalisé, …

    – …

    • Quel niveau d’analyse ?

    – International (Europe / Monde)

    – Européen

    – National (interCHU)

    – Inter-Régional

    – Équipe

    – Chercheur ?

    – …

    3 questions essentielles !!!

  • Le logiciel SIGAPS

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Recensement des Publications Scientifiques

    • Publications scientifiques :

    – Un des éléments quantifiant la Recherche

    – Indispensable : évaluation interne/externe, financement, ...

    • Recensement difficile en pratique :

    – Charge de travail énorme, exhaustivité

    – Problème de doublons, de validation

    • Charge de travail des chercheurs ? Doit être MINIMALE

    • Proposition d’un concept de synthèse automatisée des publications.

    Système d ’Interrogation, de Gestion et d ’Analyse des Publications Scientifiques

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Objectifs de SIGAPS

    • Les objectifs du logiciel sont les suivants :

    – Faciliter le recensement de la production scientifique référencée

    Pubmed (nombre d’articles réalisés sur une période donnée).

    – Fiabiliser les données par des mécanismes de validation.

    – Faciliter l’évaluation qualitative des articles au regard de la notoriété

    des journaux, par discipline, dans lesquels les travaux ont été publiés.

    – Automatiser l’analyse pour connaître l’environnement recherche de

    l’établissement (collaborations internes, …) et suivre son évolution au

    cours du temps

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Principe de SIGAPS

    SIGAPS

    Impact Factor Categorie Couleur

    IF > P90 A

    Q3 < IF < P90 B

    MED < IF < Q3 C

    Q1 < IF < MED D

    IF < Q1 E

    Inconnu NC

    +

    0

    Recenser

    Télécharger

    Analyser

    Visualiser

    Agréger Évaluer

    Hôpital

    Pôle

    A B C D E

    Service

    A B C D E

    Service Service

    Pôle

    Navigateur Web

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Le recensement des publications

    • Avantages :

    – Une des bases les plus utilisée en Sciences Biomédicales

    – 28 millions de références depuis 1950,

    – 5600 journaux indexés Medline, 2300 indexés Pubmed Central, …

    – Outils d’extraction automatique disponibles

    – Très complète (MESH, GRANTS, GENE, …)

    – Gratuite !!!

    • Limites :

    – Couvre mal certains domaines (technologies, sciences sociales)

    Interrogation nominative du serveur Pubmed

    Problèmes d’homonymes Nécessité de valider les publications

    (Et non sur les adresses, comme souvent en bibliométrie !!)

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    La Validation des données

    • Dans SIGAPS, 3 niveaux de validation :

    – Validation automatique VA (par le système)

    – Validation externe VE (par l’administrateur)

    – Validation manuelle VM (par le chercheur)

    • Des outils de suivi et de relance

    Problème de la validité des données : homonymes, noms de jeune fille, …

    95 % au niveau national

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    L’Évaluation des articles

    • Problème : l’IF varie fortement d’une discipline à une autre

    • Classification statistique, par discipline, en 5 catégories (A à E)

    correspondant aux percentiles de l’IF.

    • Revues non recensées par l’ISI (actes de congrès, par exemple),

    sont affectées à la catégorie NC.

    Échelle à 6 niveaux basée sur l’Impact Factor

    (JCR SCIE)

    Avec cette classification, chaque discipline a 10%

    de journaux en catégorie A, 15% in B, 25% in C, …

    Max

    Min

    Médiane

    Q3

    Q1

    +

    0

    P90 A

    B

    C

    D

    E

    N

    C Non Classé par l’ISI Abonnement national depuis 3 ans

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Comparaison de quelques disciplines

    IF2017 = 𝑁𝑜𝑚𝑏𝑟𝑒 𝑑𝑒 𝑐𝑖𝑡𝑎𝑡𝑖𝑜𝑛𝑠,𝑒𝑛 2017, 𝑑𝑒𝑠 𝑎𝑟𝑡𝑖𝑐𝑙𝑒𝑠 𝑝𝑎𝑟𝑢𝑠 𝑒𝑛 2015 𝑒𝑡 2016

    𝑁𝑜𝑚𝑏𝑟𝑒 𝑑′𝑎𝑟𝑡𝑖𝑐𝑙𝑒𝑠 𝑝𝑎𝑟𝑢𝑠 𝑒𝑛 2015 𝑒𝑡 2016

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Exemple : Revues de Pédiatrie

    TQ : PEDIATRICS (127 revues en 2017)

    Disponible dans SIGAPS (Menu Documentation)

    IF Cat. IF Cat. IF Cat. IF Cat. IF Cat.

    2168-6203 2168-6211 JAMA Pediatr 4.252 A 7.148 A 9.528 A 10.251 A 10.769 A TQ

    0890-8567 1527-5418 J Am Acad Child Adolesc Psychiatry 6.354 A 7.26 A 7.182 A 6.442 A 6.25 A VE MY TQ

    0031-4005 1098-4275 Pediatrics 5.297 A 5.473 A 5.196 A 5.705 A 5.515 A TQ

    1054-139X 1879-1972 J Adolesc Health 2.748 B 3.612 A 3.838 A 3.974 A 4.098 A MY TQ NE

    2047-6302 2047-6310 Pediatr Obes 2.419 B 4.573 A 3.689 A 3.4 A 3.98 A TQ

    1359-2998 1468-2052 Arch. Dis. Child. Fetal Neonatal Ed. 3.861 A 3.12 A 3.969 A 4.099 A 3.953 A TQ

    0022-3476 1097-6833 J. Pediatr. 3.736 A 3.79 A 3.89 A 3.874 A 3.667 A TQ

    1744-165X 1878-0946 Semin Fetal Neonatal Med 3.132 A 3.028 B 2.8 B 3.33 A 3.435 A TQ

    0003-9888 1468-2044 Arch. Dis. Child. 2.905 B 2.899 B 3.231 B 3.265 A 3.258 A TQ

    0905-6157 1399-3038 Pediatr Allergy Immunol 3.859 B 3.397 B 3.947 B 3.775 B 4.137 B NI AQ TQ

    1018-8827 1435-165X Eur Child Adolesc Psychiatry 3.554 B 3.336 B 3.339 B 3.295 B 3.553 B VE MY TQ

    0012-1622 1469-8749 Dev Med Child Neurol 3.292 B 3.51 B 3.615 B 3.116 C 3.289 B TQ RT

    1740-8695 1740-8709 Matern Child Nutr 2.973 B 3.064 B 3.505 B 2.528 C 3.233 B TQ SA

    8755-6863 1099-0496 Pediatr. Pulmonol. 2.297 C 2.704 C 2.85 B 2.758 B 3.157 B TQ WE

    0031-3998 1530-0447 Pediatr. Res. 2.84 B 2.314 B 2.761 B 2.882 B 3.123 B TQ

    1529-7535 Pediatr Crit Care Med 2.326 C 2.338 C 2.659 B 3.495 B 3.092 B TQ DS

    0095-5108 1557-9840 Clin Perinatol 2.13 C 2.441 B 2.611 B 3.233 B 2.915 B SD TQ

    0146-0005 1558-075X Semin. Perinatol. 2.42 B 2.682 B 2.131 C 3.185 B 2.885 B SD TQ

    0031-3955 1557-8240 Pediatr. Clin. North Am. 2.198 C 2.12 C 2.424 B 2.241 C 2.808 B TQ

    1876-2859 1876-2867 Acad Pediatr 2.227 B 2.007 C 2.438 B 2.72 B 2.806 B TQ

    1661-7800 1661-7819 Neonatology 2.369 B 2.649 B 2.754 B 2.598 B 2.688 B TQ

    1040-8703 1531-698X Curr. Opin. Pediatr. 2.744 B 2.528 B 2.202 C 2.234 C 2.673 B TQ

    0803-5253 1651-2227 Acta Paediatr. 1.842 C 1.674 C 1.647 C 2.043 C 2.58 B TQ

    0803-5326 Acta Paediatr Suppl 1.842 C 1.674 C 1.647 C 2.043 C 2.58 B TQ

    2153-2168 2153-2176 Child Obes NC 1.868 C 2.543 B 2.243 C 2.532 B TQ

    0730-7659 1523-536X Birth 2.048 B 1.264 D 1.867 C 2.518 B 2.329 B SD TQ RZ

    2015 2016 2017Discipline(s)ISSN ESSN Titre

    2013 2014

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    L’interface

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Exemple : Analyse d’un chercheur

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Exemple : Analyse d’un chercheur

    Détail des revues

    Détail des disciplines

    Analyse des mots-clés

    Analyse des collaborations

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Le score SIGAPS

    • 2 composantes :

    – La catégorie de la revue (C1)

    – La position dans les auteurs (C2)

    Score = C1 * C2

    3 si Position =2 ou Avant-dernier

    C2=

    4 si Position =1 ou Dernier

    1 sinon (y compris IL)

    2 si Position =3 C1=

    8 si A

    3 si D

    1 si NC

    6 si B

    4 si C

    2 si E

    Chaque article a un score qui varie de 1 à 32 points. Par exemple, un article A en 1er auteur a donc un score de

    32 (8*4), un article NC en 5ème auteur, 1 points (1*1). Le score d’une équipe est la somme des scores de tous les

    articles. Si un article contient plusieurs auteurs , le score retenu pour l’article correspond au maximum des scores

    des auteurs, chaque article ne pouvant être comptabilisé qu’une seule fois.

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Article Multi-établissements

    Induced-membrane femur reconstruction after resection of bone malignancies:

    three cases of massive graft resorption in children.

    Accadbled F, Mazeau P, Chotel F, Cottalorda J, Sales de Gauzy J, Kohler R.

    Orthop Traumatol Surg Res. 2013 99:479-83.

    CHU Toulouse CHU Lyon CHU Montpellier

    1er (4), ADA (2)

    3*4= 12 points

    pour Toulouse

    2ème (3), 4ème (1) 3ème (2), DA (4)

    3*3= 9 points

    pour Montpellier

    3*4= 12 points

    pour Lyon

    Orthop Traumatol Surg Res (OTSR): classée D donc 3 points

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Utilisation au sein des établissements

    • Pour le chercheur, le responsable d’équipe : un outil d’auto-évaluation :

    – Une vue précise des activités, thématiques (MESH), collaborations

    – Une évaluation de la performance : %AB, score moyen, …

    • Pour l’établissement :

    – Recensement exhaustif et temps réel des publications

    – Una aide dans la stratégie Recherche :

    • Pôles d’excellence

    • Collaborations internes

    • Thématiques étudiées

    – Un outil de valorisation :

    • En terme d’image de marque

    • Valorisation économique (MERRI)

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Au niveau national : État des lieux

    Bilan quantitatif et qualitatif, sur des données validées, de la

    production scientifique réalisée par les établissements hospitaliers.

    • Plus de 550 établissements équipés :

    – 32 CHRU / CHR

    – 18 Centres de Lutte contre le Cancer

    – 17 PSPH (FEHAP)

    – 110 Centre Hospitaliers

    – Service de Santé des Armées

    – 290 cliniques privées

    • 315 000 publications (Article, Edito, Review) sur la période 2000-2017

    – 19% classés A, 21% classés B

    – 12500 en 2000, 23400 en 2017 (+ 87% en 17 ans)

    0

    5000

    10000

    15000

    20000

    25000

    2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017

    A B C E D NC

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Finess

    ARBUSTRaison Sociale Statut Région Export

    Score-

    2013

    Score-

    2014

    Score-

    2015

    Score-

    2016

    Score-

    2013-2016

    750712184 AP-HP CHR Ile-de-France 2009 121030 110656 154673 154695 28.44

    690781810 HOSPICES CIVILS DE LYON CHR Auvergne-Rhône-Alpes 2009 23238 21900 28149 31066 5.49

    130786049 AP-HM CHR Provence-Alpes-Côte d'Azur 2009 18234 17904 18232 20115 3.95

    590780193 CHRU DE LILLE CHR Hauts-de-France 2009 15041 13714 16213 16246 3.24

    330781196 CHU HOPITAUX DE BORDEAUX CHR Nouvelle-Aquitaine 2009 13137 13855 16211 16398 3.15

    310781406 CHU DE TOULOUSE CHR Occitanie 2009 15262 13372 15293 15229 3.14

    340780477 CHU DE MONTPELLIER CHR Occitanie 2009 14361 13570 13943 15062 3.02

    940000664 GUSTAVE ROUSSY CLCC Ile-de-France 2009 10505 12712 13016 13374 2.63

    440000289 CHU DE NANTES CHR Pays de la Loire 2009 10669 10901 11290 12596 2.41

    670780055 HOPITAUX UNIVERSITAIRES DE STRASBOURG CHR Grand Est 2009 9701 9237 10314 11952 2.18

    F-540023264 CHU DE NANCY CHR Grand Est 2009 9395 9055 10042 10624 2.07

    380780080 CHU GRENOBLE CHR Auvergne-Rhône-Alpes 2009 8943 8008 8818 10359 1.91

    350005179 CHU DE RENNES CHR Bretagne 2009 7511 7636 8865 10027 1.79

    750160012 INSTUTUT CURIE - SAINT-CLOUD CLCC Ile-de-France 2009 9065 6862 7745 8268 1.70

    370000481 CHRU DE TOURS CHR Centre-Val de Loire 2009 7748 6692 7588 7447 1.57

    F-060785011 CHU DE NICE - FONDATION LENVAL CHR Provence-Alpes-Côte d'Azur 2009 6005 7284 7289 6797 1.46

    490000031 CHU D'ANGERS CHR Pays de la Loire 2009 6063 6027 6852 6836 1.36

    630780989 CHU DE CLERMONT-FERRAND CHR Auvergne-Rhône-Alpes 2009 5653 5278 6365 7343 1.30

    210780581 CHU DIJON CHR Bourgogne-Franche-Comté 2009 5611 5679 6331 6808 1.29

    760780239 CHU DE ROUEN CHR Normandie 2009 5358 5255 5932 6318 1.21

    250000015 CHU DE BESANCON CHR Bourgogne-Franche-Comté 2009 4979 5267 5697 6474 1.18

    300780038 CHU DE NIMES CHR Occitanie 2009 7179 5930 3928 4480 1.16

    420784878 CHU SAINT-ETIENNE CHR Auvergne-Rhône-Alpes 2009 4952 5370 5930 5540 1.16

    750810814 SERVICE DE SANTE DES ARMEES SSA Service de santé des armées (SSA) 2009 5412 5201 4637 5882 1.12

    140000100 CHU DE CAEN CHR Normandie 2009 5236 4862 5191 5919 1.12

    F-RIMBO RIMBO GCS Bretagne 2016 3851 4697 5637 5446 1.03

    F-750056277 GCS RAMSAY-GDS RE GCS Ile-de-France 2013 5057 4269 3929 5769 1.01

    800000044 CHU D'AMIENS CHR Hauts-de-France 2009 4766 4471 4579 4763 0.99

    870000015 CHU DE LIMOGES CHR Nouvelle-Aquitaine 2009 3625 4091 4398 4571 0.88

    510000029 CHU DE REIMS CHR Grand Est 2009 4022 3561 4377 4696 0.88

    Niveau National : Calcul d’Indicateurs MERRI 2018

    Période de 4 ans (2013-2016) - Pondération (8 6 4 3 2 1)*(4 3 2 1 .. 3 4)

    Prise en compte des publications "Journal Article", "Editorial" et "Review"

    https://solidarites-sante.gouv.fr/IMG/xlsx/dotation_socle_2018_v2.xlsx

    Dégroupage

  • Le logiciel SIGREC

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Pourquoi SIGREC ?

    • Nécessité de disposer d’un outil qui permet le recensement des

    essais cliniques et le suivi des inclusions.

    • Rapprochement de 2 démarches :

    – Démarche CENGEPS : indicateurs de suivi des essais et des inclusions.

    – Démarche MT2A : indicateurs pour le financement MERRI.

    • Tous types de Promotion :

    – Promotion académique :

    • CHU, CLCC, CH

    • Sociétés savantes, Associations, EPST, …

    – Promotion industrielle

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Les principes de SIGREC

    • Automatiser et généraliser les échanges d’informations entre les établissements.

    • Les informations générales de l’essai sont saisies par le promoteur et transmises aux centres investigateurs.

    • Seul le promoteur peut modifier les caractéristiques de l’étude. Il peut alors automatiquement transmettre les modifications réalisées : système de synchronisation.

    • Les inclusions sont saisies par les investigateurs et transmises automatiquement au promoteur.

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Le logiciel : Informations Générales

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Le logiciel : Gestion des Centres

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Le logiciel : les rapports

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    3 indicateurs

    • Le score « Essais » : calculé à partir du nombre d’études actives (tous promoteurs) avec diverses pondérations.

    • Les inclusions "Promoteur" : nombre d'inclusions réalisées dans les essais pour lesquels l'établissement est promoteur, quelque soit le centre. Ce nombre mesure le nombre d'inclusions suivies par l’établissement au titre de promoteur.

    • Les inclusions "Investigateurs" : c'est le nombre d'inclusions réalisées au sein d'un établissement, quelque soit le promoteur. Ce nombre mesure le nombre réel d'inclusions réalisées au sein d'un établissement.

    • Une pondération est appliquée aux inclusions pour éviter de sur pondérer les études à grand nombre d’inclusions.

    Ne comptabilise que les Recherches Interventionnelles (RBM/SC et RIPH1/2)

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Le score « Essais »

    • S1: « Établissement promoteur" : calculé à partir des essais dont

    l’établissement est promoteur.

    • S2 : "Investigateur" dans des essais promus par un autre établissement

    MERRI.

    Surpondération pour les études Phase I ou Phase II

    • S3 : "Industriels" : score calculé sur l’ensemble des essais industriels

    pour lesquels l’établissement est investigateur. Plus pris en compte

    • S4: "Académiques non institutionnels" : calculé sur l’ensemble des essais

    promus par des associations, sociétés savantes, ... dont l’établissement est

    investigateur ou coordonnateur. Plus pris en compte

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Le score « Essais »

    Score « Nombre d’études » - Exemple MERRI 2018 : études RI actives en 2016

    Attention : Ne sont prises en compte que les études avec inclusions !!

    Promoteur Investigateur

    Finess

    ARBUSTRaison Sociale

    Multi

    centrique

    Multi

    centrique 12

    Mono

    centrique

    Mono centrique

    12S1 Inves Inves12 S2

    Score

    Essais

    750712184 AP-HP 200 20 141 14 2975 306 35 341 3316

    690781810 HOSPICES CIVILS DE LYON 71 8 131 6 1475 209 24 233 1708

    590780193 CHRU DE LILLE 52 5 93 2 1045 175 18 193 1238

    340780477 CHU DE MONTPELLIER 50 1 109 0 1055 136 9 145 1200

    130786049 AP-HM 28 1 92 4 770 176 22 198 968

    Coeff Nombre Total

    Muticentrique Phase I/II 20 5 100

    Muticentrique Non Phase I/II 10 47 470

    Monocentrique Phase I/II 10 2 20

    Monocentrique Non Phase I/II 5 91 455

    1045

    Coeff Nombre Total

    Investigateur Phase I/II 2 18 36

    Investigateur Non Phase I/II 1 157 157

    193

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Pondération des inclusions MERRI 2009-2010

    Classe NbEssais NbInclusions Mediane %NbEssais % NbInclusions Coeff

    [1-200] 1499 42652 14 95.42 52.60 1

    [201-500] 53 15546 291 3.37 19.17 0.8

    [500-1000] 14 9400 616 0.89 11.59 0.5

    > 1000 5 13494 2309 0.32 16.64 0.1

    Total 1571 81092 15 100.00 100.00

    0

    100

    200

    300

    400

    500

    600

    700

    800

    900

    1000

    1100

    0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000

    Nombre d'Inclusions

    Sco

    re "

    Incl

    usi

    ons"

    Les 5 essais à plus de 1000 inclusions ne représentent plus que 6.24% au lieu de 16.64%

    Même principe pour les MERRI 2011 et 2012 – Classes et coefficients différents

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    MERRI 2013 - Passage au logarithme : y=Ln(x+1)

    0.000

    1.000

    2.000

    3.000

    4.000

    5.000

    6.000

    0 20 40 60 80 100 120 140 160 180 200

    Nombre d'Inclusions

    Sco

    re

    NbInclus Ln(x+1)

    1 0.693

    2 1.099

    3 1.386

    4 1.609

    5 1.792

    6 1.946

    7 2.079

    8 2.197

    9 2.303

    10 2.398

    11 2.485

    12 2.565

    13 2.639

    14 2.708

    15 2.773

    NbInclus Ln(x+1)

    20 3.045

    50 3.932

    100 4.615

    150 5.017

    200 5.303

    300 5.707

    400 5.994

    500 6.217

    1000 6.909

    1500 7.314

    2000 7.601

    3000 8.007

    5000 8.517

    10000 9.210

    10 inclusions = 2.4 points

    100 inclusions = 4.6 points

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    MERRI 2014 - Passage à la racine carrée: y= 𝑥

    NbInc Score

    1 1.00

    2 1.41

    3 1.73

    4 2.00

    5 2.24

    6 2.45

    7 2.65

    8 2.83

    9 3.00

    10 3.16

    11 3.32

    12 3.46

    13 3.61

    14 3.74

    15 3.87

    NbInc Score

    20 4.47

    50 7.07

    100 10.00

    150 12.25

    200 14.14

    300 17.32

    400 20.00

    500 22.36

    1000 31.62

    1500 38.73

    2000 44.72

    3000 54.77

    5000 70.71

    10000 100.00

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Les scores Inclusions : exemple

    Etude Multicentrique

    Promotion Lille

    CHU Montpellier

    100 inclusions

    Score Inclusion Promoteur : 200 = 14.1421 pour Lille

    Score Inclusion Investigateur : répartition au prorata des inclusions

    UL Bruxelles

    50 inclusions

    CHU Lille

    50 inclusions

    200 inclusions en 2014

    Inc Inv : 0𝐼𝑛𝑐 𝐼𝑛𝑣 ∶ 50

    200200 𝐼𝑛𝑐 𝐼𝑛𝑣 ∶

    100

    200200

  • SIGAPS, SIGREC et les

    financements MERRI

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    La dotation socle (ex Part modulable)

    • 1.57 Milliard d’euros en 2018

    • Basée sur une logique de résultats

    • Résultats mesurés par des indicateurs :

    – Publications (SIGAPS)

    – Enseignement (Nb étudiants)

    – Essais cliniques (SIGREC)

    943 M€ en 2018

    236 M€ en 2018

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Un modèle qui évolue…

    • Accroissement du poids budgétaire de la part modulable par transfert

    des crédits de la part fixe depuis 2012 (transfert achevé en 2016)

    • Modifications des poids relatifs des indicateurs au sein de la part

    modulable (appelée maintenant Dotation Socle)

    • Modifications des modes de calculs des indicateurs

    • Apparition du « dégroupage » pour l’AP/HP et les HCL (MERRI 2017)

    2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018

    Publications 64.2 60 57.5 57.5 57.5 57.5 59.86 59.86 60.00 60.00 60.00

    Essais cliniques - 7.5 10 11.5 12.5 13.5 14.05 14.05 15.00 15.00 15.00

    Etudiants 33.9 29 29 29 29 29 26.09 26.09 25.00 25.00 25.00

    Valorisation 1.9 3.5 3.5 2 1 0 0 0 0 0 0

  • Autres Exploitations des

    données SIGAPS/SIGREC

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Impact du Plan Alzheimer

    Nombre d’Articles sur la MA, période 2005-2017

    http://www.ncbi.nlm.nih.gov/pubmed/26796477

    0

    100

    200

    300

    400

    500

    600

    2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017

    A B C D E NC

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Indices de Spécialisation par Etablissement

    Taille de la bulle : score ALZ 2004-2013

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Analyse AVC pour L’Express

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Cellule Bibliométrie CNCR

    • Production globale des CHU : données SIGAPS nationales, par CHU.

    • Visibilité internationale : unification des adresses dans WoS

    • Les CHU, acteurs majeurs de la recherche translationnelle : rapport CNCR

    et article Presse Médicale

    • Des CHU spécialisés : analyses par pathologie : Comparaison de périodes

    - Indices de Spécialisation

    • Partenariat Hcéres

    • Analyses à façon

    www.cncr.fr

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Analyse des données nationales

    Annee Total A B C D E NC Score %AB

    2005 13707 2411 2498 2284 1560 4049 905 195112 35.8

    2006 14182 2297 2563 2563 1640 4205 914 198419 34.3

    2007 14343 2359 2798 2491 1610 4032 1053 201216 36.0

    2008 15192 2532 2894 2710 1808 4185 1063 212423 35.7

    2009 15655 2920 3140 2650 1896 3859 1190 223706 38.7

    2010 16208 3092 3461 2932 2203 3352 1168 236851 40.4

    2011 16450 3221 3695 3052 2350 2749 1383 243663 42.0

    2012 17356 3333 3958 3377 2382 2654 1652 251813 42.0

    2013 17897 3529 3988 3528 2311 2668 1873 258369 42.0

    2014 17573 3356 3965 3479 2336 2498 1939 249856 41.7

    Total 158563 29050 32960 29066 20096 34251 13140 2271428 39.1

    Analyse de la production

    des 32 CHU/CHR sur les

    10 dernières années

    (Journal Article, Editorial, Review, hors IL)

    www.cncr.fr

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Unification des adresses

    Etablissement SIGAPS Rappel Avant Après EvolutionAP-HP 66691 93.3 27209 62209 229HCL 14614 87.5 7763 12787 165AP-HM 10545 84.2 6176 8877 144CHU Lille 9190 95.5 3487 8779 252CHU Bordeaux 8416 75.7 5198 6370 123CHU Toulouse 8383 91.9 2285 7702 337CHU Montpellier 8184 80.8 2358 6611 280CHU Strasbourg 6518 75.8 2694 4939 183CHU Nantes 6344 81.3 784 5160 658CHU Nancy 5787 80.3 1910 4646 243CHU Grenoble 5133 85.8 2364 4402 186CHU Rennes 4505 79.2 2812 3567 127CHU Nice 4294 81.1 1171 3483 297CHU Tours 4131 83.5 2395 3451 144CHU Rouen 3915 92.4 2264 3618 160CHU Angers 3671 80.5 2776 2955 106CHU Dijon 3399 82.0 1739 2787 160CHU Clermont Fd 3206 85.7 1368 2748 201CHU Nîmes 3147 42.1 1164 1325 114CHU Besançon 3043 92.5 2265 2815 124CHU Caen 2937 87.0 2160 2556 118CHU Amiens 2869 82.4 682 2364 347CHU St Etienne 2812 78.6 1068 2210 207CHU Brest 2683 87.2 2079 2340 113CHU Reims* 2442 85.8 846 2095 248CHU Limoges 2378 80.3 559 1910 342CHU Poitiers 2284 91.4 2012 2087 104CHU Réunion* 802 50.4 25 404CHR Orléans* 668 80.2 176 536 305CHU Martinique* 496 64.1 55 318CHU Pte à Pitre* 307 83.7 107 257CHR Metz Thionville* 259 82.6 72 214 297

    WoS

    Flyer sur la

    production

    des CHU

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Flyer Publications

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Rapport Publications

    • 112 700 articles sur 2006-2015

    • 55% de la production M&HS en France

    • 17% de la production française

    • Evolution des top10% et Top 1%

    • Analyse des collaborations

    • Détail par Discipline (WoS Categories)

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Flyer Essais Cliniques

  • Quizz

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Question 1

    A) 4 points

    B) 8 points

    C) 12 points

    D) 32 points

    Je publie un article en premier auteur dans une revue A.

    Cet article est comptabilisé :

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Question 2

    A) 320 €

    B) 16 000 €

    C) 32 000 €

    D) 64 000 €

    Je publie un article en premier auteur dans une revue A.

    Cet article est comptabilisé 32 points. Il est valorisé environ :

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Question 3

    A) S1=5 et S2=0

    B) S1=5 et S2=1

    C) S1=10 et S2=0

    D) S1=10 et S2=2

    Mon établissement est Promoteur d’une Phase 3 multicentrique

    avec 100 inclusions en 2014. Le score Essais est de :

  • SIGAPS/SIGREC 07 Février 2019 EHESP– Lyon

    Question 4

    A) Inc Prom=10 et Inc Inv=10

    B) Inc Prom=10 et Inc Inv=0

    C) Inc Prom=5 et Inc Inv=5

    D) Inc Prom=10 et Inc Inv=5

    Mon établissement est Promoteur d’une Phase 3 multicentrique

    avec 100 inclusions en 2014, dont 50 dans l’établissement.

    Les score Inclusions sont de :

  • Des questions ?

    [email protected]