diplôme inter-universitaire de pédagogie médicale · faculte de medecine pitie-salpetriere...
TRANSCRIPT
1
Diplôme Inter-Universitaire de Pédagogie Médicale
Faculté de Médecine de Paris
UFR Saint-Antoine, Créteil, Pitié-Salpêtrière, Necker, Cochin
CREATION D’UN OUTIL D’EVALUATION DE L’ENSEIGNEMENT DU
POLE URGENCES-REANIMATION-ANESTHESIE EN DCEM 2 A LA
FACULTE DE MEDECINE PITIE-SALPETRIERE UNIVERSITE
PARIS VI - PIERRE ET MARIE CURIE
Docteur Benoît VIVIEN
Année Universitaire 2005-2006
2
Plan
Introduction p 3
Présentation de l’enseignement Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière
p 4
1) Organisation générale de l’enseignement p 4
2) Modalités actuelles d’évaluation des Certificats Couplés à la Pratique
Clinique (CCPC) par les étudiants
p 7
a) Evaluation des enseignements p 7
b) Evaluation des stages hospitaliers et des gardes p 11
c) Avantages et inconvénients du système actuel d’évaluation p 18
Présentation du mode d’évaluation des 1er et 2ème cycles des études médicales au CHU Saint Antoine
p 20
Création d’un outil d’évaluation via internet du CCPC Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière
p 27
1) Cahier des charges p 27
2) Questionnaire p 29
Perspectives et conclusion p 37
3
Introduction
L’évaluation d’un enseignement est nécessaire afin de pouvoir conduire le cycle des études
en tenant compte des critiques, qu’elles soient positives et/ou négatives, de toutes les personnes
impliquées dans cet enseignement. A ce titre, il est indispensable d’évaluer l’enseignement en
prenant en compte l’avis des étudiants et des enseignants. Le principal but des évaluations est de
renforcer la qualité de l’enseignement en identifiant les besoins de formation ou de conseil des
enseignants, d’éventuelles nécessités d’adaptation des méthodes ou types d’enseignement, ainsi
que des modifications souhaitables sur le plan de la coordination du programme.
Afin de renforcer une vision positive et constructive de l’évaluation et de disposer
d’informations de qualité, certains principes doivent être respectés lors de la mise en place d’un
système d’évaluation des enseignements : anonymat des évaluations par les étudiants, information
des résultats aux responsables de chaque enseignement, mais confidentialité des résultats
individuels vis à vis de l’ensemble de la collectivité des enseignants, information aux étudiants des
résultats de l’ensemble des évaluations, élaboration d’outils et de modalités spécifiques pour
chaque type d’enseignement, organisation rigoureuse de la préparation, de la distribution, du
recueil et de la saisie des questionnaires.
Le but du travail que nous avons réalisé a été de créer un outil d’évaluation « via internet »
de l’enseignement du Certificat Couplé à la Pratique Clinique (CCPC, anciennement appelé pôle
ou stage intégré) Urgence-Réanimation-Anesthésie dispensé en DCEM 2 au CHU Pitié-Salpêtrière
(Université Pierre et Marie Curie - Paris VI). Nous avons utilisé comme modèle l’outil
d’évaluation des différents enseignements du 2ème cycle des études de médecine mis en place dans
le CHU Saint Antoine (Université Pierre et Marie Curie – Paris VI).
4
Présentation de l’enseignement Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière
1) Organisation générale de l’enseignement
Actuellement, l’enseignement des disciplines Urgence, Réanimation et Anesthésie lors du 2ème
cycle des études médicales est effectué au CHU Pitité-Salpêtrière sous la forme d’un CCPC Urgence-
Réanimation-Anesthésie en DCEM 2. Cet enseignement comprend 32 heures, sous la responsabilité
conjointe du Pr. J.J. Rouby (Réanimation Chirurgicale) et du Dr. A. Duguet (Réanimation
Pneumologique). Il réunit des enseignants provenant du Département d'Anesthésie-Réanimation (Pr. P.
Coriat), du Service d’Accueil des Urgences (Pr. B. Riou), de la Réanimation Médicale (Pr. C. Gibert) et
de la Réanimation Pneumologique (Pr. J.P. Derenne).
Pour chaque CCPC, l’enseignement est intégré dans le stage clinique, ce dernier durant 4 mois
(soit 3 groupes « quadrimestres » par année de DCEM 2). Le principe repose sur l’association étroite
entre enseignement théorique et enseignement pratique, l’idée générale étant qu’une question théorique
est plus facile à retenir si elle correspond à la pratique médicale quotidienne de l’étudiant. Pour cela,
l’enseignement théorique a lieu au cours du stage de 12h30 à 13h30, dans les locaux hospitaliers.
Les différents terrains de stages hospitaliers du CCPC Urgence-Réanimation-Anesthésie sont :
- la réanimation chirurgicale polyvalente (Pr. J.J. Rouby)
- la réanimation neurochirurgicale (Pr. L. Puybasset)
- la réanimation du service de chirurgie hépato-biliaire (Pr. P. Coriat)
- l’unité de réveil et d’accueil des polytraumatisés (Pr. O. Langeron)
- le service d’accueil des urgences (Pr. B. Riou)
- la réanimation médicale (Pr. C. Gibert)
- la réanimation pneumologique (Pr. J.P. Derenne)
Les gardes des étudiants hospitaliers ont lieu dans les terrains de stage respectifs dans lesquels
ils travaillent.
5
L’enseignement du CCPC comporte des cours magistraux et des enseignements par petits
groupes (Tableau 1). La présence aux enseignements, cours magistraux et cours en petits groupes, est
obligatoire avec une validation par le résultat à l'examen écrit du CCPC.
Les cours magistraux ont lieu dans la salle de conférence du Département d'Anesthésie-
Réanimation. L’apprentissage par petits groupes comporte des apprentissages au raisonnement clinique
(ARC), des cas cliniques (CC) et des travaux pratiques (TP). Trois groupes d’une dizaine d’étudiants
sont constitués lors de la réunion d’accueil du CCPC, en fonction de la proximité du site du stage et du
lieu de l’enseignement. Chaque enseignement est dispensé au même moment pour les trois groupes par
trois enseignants dans trois sites différents : salle de cours du Service d’Accueil des Urgences, salle de
cours du Service de Pneumologie, la salle de staff de la Réanimation Neurochirurgicale.
Tableau 1 : Programme de l’Enseignement du CCPC Urgence-Réanimation-Anesthésie en DCEM 2 au CHU Pitié-Salpêtrière (3ème quadrimestre 2005-2006).
6
Il existe un polycopié correspondant à l’enseignement, que les étudiants peuvent obtenir
auprès de l’Amicale des Etudiants du CHU Pitié-Salpêtrière. Ce polycopié fait l’objet d’une réédition
avant chaque quadrimestre, et d’une réactualisation tous les 2 à 3 ans.
L’enseignement théorique est sanctionné par un examen écrit d’une durée de deux heures, en
amphithéâtre. L’examen écrit a lieu à la fin du stage intégré, sauf pour le quadrimestre d’été (juin à
septembre) pour lequel il a lieu en juillet. Cet examen comporte 10 QCM à choix simple et 3 questions
rédactionnelles de 30 minutes. Chaque examen fait l’objet d’une validation spécifique par la
commission de validation des examens du certificat, dans le but d’une part de s’assurer de la cohérence
entre les questions posées et l’enseignement dispensé, et d’autre part de rédiger le corrigé. Ces
corrections sont systématiquement affichées à la sortie de la salle d’examen dès la fin de celui-ci.
Il existe également un examen de fin de stage qui rentre en ligne de compte dans la validation
globale de l’année de DCEM 2. L'examen de fin de stage se déroule 15 jours avant la fin du stage
intégré, et est organisé par le responsable universitaire du stage. Son jury comporte trois membres dont
un obligatoirement extérieur au service. Cet examen de stage comporte une note qui évalue l’activité et
le comportement de l’étudiant au cours du stage, et une note correspondant à la présentation d’un cas
clinique dont le format exact est choisi par le responsable de l’unité.
7
2) Modalités actuelles d’évaluation des CCPC par les étudiants
L’évaluation actuelle de l’ensemble des enseignements et des stages hospitaliers (ainsi que des
gardes le cas échéant) par les étudiants au CHU Pitié-Salpêtrière est effectuée de manière anonyme
sous la forme de questionnaires papier, que les étudiants doivent respectivement compléter le jour de
l’examen écrit en amphithéâtre, et le jour du choix de stage hospitalier. L’exhaustivité des réponses à
ces questionnaires est bonne (70%), les étudiants étant « fortement invités » à remettre leur
questionnaire respectivement avec leur copie d’examen, ou au moment du choix de stage.
a) Evaluation des enseignements
Le questionnaire d’évaluation des enseignements est basé sur une trame commune avec
quelques variantes selon les disciplines. Pour l’enseignement du CCPC « Urgence-Réanimation-
Anesthésie », les étudiants doivent se prononcer sur 6 items (Annexe 1) :
- présence aux cours magistraux,
- présence aux cours en petits groupes,
- définition du programme et des objectifs,
- bénéfice des nouvelles modalités d’enseignement,
- préparation de l’enseignement à l’internat,
- appréciation globale de l’enseignement,
et il existe un espace réservé pour des commentaires libres à la fin de ce questionnaire.
Les réponses à ces questionnaires sont centralisées par le Pr. V. Leblond, Responsable de
l’Evaluation des Enseignements du DCEM au CHU Pitié-Salpêtrière. Après un travail de saisie des
données sur ordinateur, les résultats de ces évaluations, ainsi que les photocopies des questionnaires
anonymes, sont retransmis aux responsables respectifs de chaque enseignement (Annexe 2).
8
Annexe 1 : Questionnaire d’évaluation par les étudiants de l’enseignement du pôle Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière.
9
Annexe 2 : Résultat des évaluations par les étudiants de l’enseignement du CCPC Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière.
10
11
b) Evaluation des stages hospitaliers et des gardes
Le questionnaire d’évaluation des stages hospitaliers, et le cas échéant des gardes, est commun à
l’ensemble des stages effectués au CHU Pitié-Salpêtrière. Les étudiants doivent se prononcer sur les
items suivants (Annexe 3) :
- leur accueil le jour de leur arrivée en stage
- le nombre et la qualité des cours théoriques organisés pour les externes
- l’enseignement pratique sous encadrement médical, axé sur 5 éléments :
o examen clinique
o gestes techniques
o interprétation des examens complémentaires
o rédaction de l’observation médicale
o raisonnement médical
Chacun de ces 5 éléments est noté de A à E (A = excellent, B = bon, C = correct, D =
insuffisant, E = très mauvais), et l’étudiant est également invité à formuler des commentaires
après chaque réponse.
- la lourdeur des tâches administratives
- la manière dont l’étudiant s’est senti considéré pendant le stage
- les personnels médicaux ayant participé à l’enseignement
- une appréciation globale du stage, de A à E, après laquelle l’étudiant est invité formuler des
commentaires libres, ainsi que des suggestions sur d’éventuels changements à apporter au
stage hospitalier.
12
Annexe 3 : Questionnaire d’évaluation par les étudiants des stages hospitaliers du CCPC Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière.
13
14
En ce qui concerne les gardes, il existe également un questionnaire comprenant des items
assez similaires à ceux renseignés lors du questionnaire évaluant le stage hospitalier (Annexe 4) :
- les horaires de la garde
- l’enseignement pratique sous encadrement médical, axé sur 5 éléments :
o enseignement pendant la garde
o gestes techniques
o interprétation des examens complémentaires
o raisonnement médical
o conditions d’hébergement
Chacun de ces 5 éléments est noté de A à E (A = excellent, B = bon, C = correct, D =
insuffisant, E = très mauvais), et l’étudiant est également invité à formuler des commentaires
après chaque réponse.
- la lourdeur des tâches administratives
- la manière dont l’étudiant s’est senti considéré pendant les gardes
- une appréciation globale sur les gardes sous forme de commentaire libre, ainsi que des
suggestions sur d’éventuelles améliorations à apporter.
15
Annexe 4 : Questionnaire d’évaluation par les étudiants des gardes effectuées dans le cadre du CCPC Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière.
16
17
Les réponses à ces questionnaires sur les stages et sur les gardes sont centralisées par le Pr.
J.J. Rouby, Responsable des Stages Hospitaliers et Président de la Commission des Enseignements au
CHU Pitié-Salpêtrière. Là encore, après un travail de saisie des données sur ordinateur, les résultats de
ces évaluations, ainsi que les photocopies des questionnaires anonymes, sont retransmis aux
responsables respectifs de chaque stage. Il est également remis au responsable du stage une note
globale sur 20, sous forme d’un histogramme comparatif sur 2 ans des évaluations des étudiants lors
des 6 derniers quadrimestres (Figure 1).
Figure 1 : Histogramme comparatif des évaluations des 6 derniers quadrimestres par les étudiants des stages hospitaliers effectuées dans le cadre du CCPC Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière.
18
c) Avantages et inconvénients du système actuel d’évaluation
Le principal avantage du système d’évaluation actuel, basé sur des « questionnaires papier »
que les étudiants sont invités à remplir lors de l’examen et lors du choix de stage, est d’assurer une
exhaustivité correcte (70%) du taux de réponses. En effet, en ce qui concerne l’enseignement,
l’étudiant est invité à remettre son évaluation en même temps que sa copie d’examen ; en ce qui
concerne les stages hospitaliers et les gardes, l’étudiant se voit remettre 2 fiches d’évaluation lors du
choix de stage, qu’il doit rendre lors du choix du stage suivant. Néanmoins, certains étudiants refusent
cependant de remettre leurs évaluations, et il est évidemment exclus de refuser leur copie d’examen ou
leur choix de stage, ce qui explique que l’exhaustivité soit loin de 100% malgré un système de recueil
quelque peu « coercitif ». Ce système de questionnaires papier, sous la direction du Pr. J.J. Rouby, est
en vigueur au CHU Pitié-Salpêtrière depuis de nombreuses années et a largement fait preuve de son
efficacité pour l’évaluation tant des enseignements que des stages.
Cependant, il faut reconnaître certaines limites à ce système actuel d’évaluation :
- Le questionnaire sur les enseignements est distribué aux étudiants le jour de l’examen en
amphithéâtre, afin qu’ils le rendent en même temps que leur copie d’examen. Ce moment
de l’examen qui est parfois vécu comme un stress par certains étudiants n’est probablement
pas le plus approprié pour répondre à un tel questionnaire.
- Le questionnaire sur les stages hospitaliers (et le cas échéant sur les gardes) est distribué lors
du choix de stage, et les étudiants ont par conséquent tout un quadrimestre pour y répondre.
Cette durée expose au risque de perte et/ou d’oubli du questionnaire, et un nombre non
négligeable d’étudiants y répondent finalement en dernière limite le jour du choix de stage
(des questionnaires sur les stages et les gardes sont systématiquement distribués aux
étudiants le jour du choix de stages).
19
- Le questionnaire actuel n’évalue pas l’adéquation entre l’enseignement et les questions
posées le jour de l’examen. Ceci serait éventuellement possible en modifiant le
questionnaire actuel. Cependant, le corrigé de l’examen étant affiché dès la sortie de
l’épreuve, il paraîtrait plus logique que les étudiants puissent se prononcer sur l’examen
après avoir pris connaissance du corrigé de ce dernier.
- La saisie des réponses aux différents questionnaires sur ordinateur, de même que l’analyse
et la synthèse des résultats, sont des tâches de secrétariat extrêmement « chronophages ». Il
en est de même pour le travail de photocopies et d’archivage des questionnaires, nécessaire
avant envoi aux différents responsables d’enseignements et de stages hospitaliers. Ceci
explique que les résultats des questionnaires actuels ne soient disponibles que plusieurs
semaines après leur date de recueil.
Enfin, dans le cadre de la fusion entre les Facultés de Médecine Pitié-Salpêtrière et Saint
Antoine, il va devenir nécessaire d’harmoniser les modes d’évaluation des enseignements et des stages
hospitaliers (avec les gardes) entre les 2 sites. Il serait évidemment possible d’appliquer au niveau de
Saint Antoine le « questionnaire papier » actuellement en vigueur à la Pitié-Salpêtrière … A contrario,
la démarche inverse semble préférable, le mode d’évaluation à Saint Antoine étant déjà informatisé, et
présentant de nombreux avantages.
20
Présentation du mode d’évaluation des 1er et 2ème cycles des études
médicales au CHU Saint Antoine
L’évaluation de la plupart des enseignements et des stages hospitaliers par les étudiants se fait
« via internet » depuis plusieurs années au CHU Saint Antoine. Alors que le principe des évaluations a
commencé plus tardivement à Saint Antoine par rapport à la Pitié-Salpêtrière, celles-ci ont en revanche
d’emblée été informatisées, à l’initiative du Pr. F.P. Chatelet, Responsable de l’Evaluation des
Enseignements, avec l’aide du Dr. J.F. Vibert, « Webmaster » du site internet du CHU Saint Antoine.
Les évaluations via internet ont commencé il y a 5 ans, initialement uniquement réservées aux
disciplines fondamentales de PCEM 2 et DCEM 1, puis se sont progressivement étendues, concernant
actuellement toutes les disciplines du PCEM 2 jusqu’au DCEM 3 depuis 3 ans. Depuis la rentrée
universitaire 2006, toutes les évaluations des enseignements et des stages hospitaliers sont effectuées
via internet. Lors de la prochaine rentrée universitaire 2007, dans le cadre de la fusion entre les CHU
Saint Antoine et Pitié-Salpêtrière, l’ensemble des enseignements de PCEM 2 sera regroupé sur le site
de Saint Antoine, et les évaluations des enseignements seront par conséquent effectuées uniquement via
internet. Enfin, dans le cadre de ce DIU de Pédagogie Médicale 2005-2006, le Dr. Seksik a mis en
place un questionnaire d’évaluation via internet des stages de sémiologie médicale de PCEM 2 et
DCEM 1.
Le questionnaire est « ouvert » dès la fin de l’examen ou du stage, et les étudiants ayant suivi
l’enseignement et/ou le stage hospitalier sont invités par email à y répondre de manière strictement
anonyme (Annexe 5). Les étudiants se connectent via leur adresse email et un mot de passe personnel.
Le questionnaire est ensuite « clos » après plusieurs semaines, sauf si le taux de réponse est < 50% :
dans ce cas une relance email est effectuée auprès de l’ensemble des étudiants, qu’ils aient ou non déjà
répondu, en raison du caractère anonyme de ce mode d’évaluation. Un inconvénient de cet anonymat
21
est qu’il autorise certains étudiants à pouvoir éventuellement laisser plusieurs évaluations sur un
même questionnaire. Par ailleurs, il est intéressant de noter qu’il existe une réduction progressive du
taux de réponses avec l’avancement des étudiants dans les études médicales : PCEM 2 > DCEM 1 >
DCEM 2 > DCEM 3. C’est en partie pour cette raison que les évaluations n’ont pas été développées
pour le DCEM 4.
Grâce à ce mode de recueil informatique des évaluations, le traitement des données puis la mise
en page des résultats et des commentaires libres sont effectués de manière relativement automatisée et
très rapide, permettant d’obtenir le résultats des questionnaires quelques jours seulement après leur
clôture. Seuls quelques commentaires libres jugés trop « virulents » par le Pr. F.P. Chatelet sont
exceptionnellement filtrés et retirés de la publication finale des résultats des questionnaires.
Les résultats de ces évaluations sont transmis aux responsables respectifs de chaque
enseignement ou de chaque stage hospitalier. De plus, il a été édicté une politique de « semi-
confidentialité » sur ces évaluations au niveau du CHU Saint Antoine, dans le but de favoriser une
« saine émulation » entre les disciplines. Ainsi, seuls les résultats des questions à choix multiples
(présence aux cours …) sont accessibles à l’ensemble des enseignants du CHU, alors que les
commentaires libres, qui par définition peuvent être « incisifs », ne sont accessibles qu’au responsable
concerné. A contrario, l’ensemble des évaluations, questions à choix multiples et commentaires libres,
sont accessibles à tous les étudiants du CHU par un mot de passe sur la partie du site Web de la faculté
qui leur est réservée (Annexes 6 et 7).
22
Annexe 5 : Questionnaire d’évaluation via internet des Certificats Couplés à la Pratique Clinique (CCPC) en DCEM 2 et DCEM 3 au CHU Saint Antoine.
23
24
Annexe 6 : Résultat des évaluations par les étudiants de l’enseignement et des stages du Certificat Couplé à la Pratique Clinique (CCPC) Locomoteur. (Seuls les premiers parmi les 33 commentaires libres formulés sont ici présentés).
QuickTime™ et undécompresseur TIFF (LZW)
sont requis pour visionner cette image.
25
QuickTime™ et undécompresseur TIFF (LZW)
sont requis pour visionner cette image.
26
Annexe 7 : Résultat des évaluations par les étudiants du stage de Rhumatologie à Saint Antoine, parmi les 4 stages possibles du CCPC Locomoteur. Cette évaluation permet au responsable du stage de se comparer par rapport aux résultats globaux de l’ensemble des stages du CCPC ; en revanche ce dernier n’a pas accès aux évaluations concernant les 3 autres stages. (Seuls les premiers parmi les 9 commentaires libres formulés sont ici présentés).
QuickTime™ et undécompresseur TIFF (LZW)
sont requis pour visionner cette image.
27
Création d’un outil d’évaluation via internet du CCPC Urgence-
Réanimation-Anesthésie au CHU Pitié-Salpêtrière
1) Cahier des charges
A partir de la maquette générale d’évaluation via internet des CCPC en vigueur au CHU Saint
Antoine, nous avons décidé, avec l’aide du Pr. F.P. Chatelet, de créer un questionnaire d’évaluation via
internet du CCPC Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière. Cette démarche était
indispensable en raison du processus de fusion entre les Facultés de Médecine de Saint Antoine et de la
Pitié-Salpêtrière, qui à terme conduira à un système unique d’évaluation. Nous avons donc décidé de
commencer cette transition par le CCPC concernant l’enseignement de notre spécialité, c’est-à-dire
Urgence-Réanimation-Anesthésie, réparti en 3 quadrimestres durant l’année du DCEM 2 au CHU
Pitié-Salpêtrière.
L’évaluation des enseignements, des stages hospitaliers et des gardes du CCPC Urgence-
Réanimation-Anesthésie était jusqu’à présent effectuée sous forme de 3 questionnaires papier, avec un
total cumulé de 24 questions à choix multiples et 15 commentaires libres ou dirigés (Annexes 1, 3 et 4).
A contrario, les questionnaires via internet des CCPC à Saint Antoine ne comportent que 8 questions à
choix multiples et 2 commentaires libres : 1 sur l’enseignement et 1 sur le stage. Lors de la
transposition de nos 3 questionnaires papier en 1 seul via internet, nous avons décidé de maintenir la
quasi totalité des 24 questions à choix multiples, ainsi que les 15 commentaires libres ou dirigés, afin
de conserver le recueil du maximum d’informations « ciblées ». De plus, nous avons également
introduit une question jusqu’alors absente sur l’adéquation entre l’examen écrit à la Faculté et
l’enseignement. Enfin, le nombre total de questions et le caractère novateur de ce questionnaire unique
au CHU Pitié-Salpêtrière nous a conduit à proposer une ultime question, sous forme de commentaire
libre, afin d’obtenir l’avis des étudiants sur la « lourdeur » éventuelle du questionnaire lui-même.
28
Une autre difficulté lors de la mise en place de cet unique questionnaires via internet a été le
choix de la période d’ouverture du questionnaire, en particulier pour le 3ème quadrimestre « d’été » (juin
à septembre inclus). En effet, lors des 2 premiers quadrimestres, les 3 évaluations étaient effectuées
vers la fin du stage (jour de l’examen écrit du CCPC et jour du choix du stage suivant). En revanche,
pour le quadrimestre d’été, l’examen a lieu en juillet, alors que le stage se termine fin septembre. Il est
techniquement impossible de scinder le questionnaire en 2 parties (enseignement et stage) pour ce seul
quadrimestre, au risque de perdre l’automaticité de l’analyse informatique par rapport aux autres
quadrimestres, et de réduire le taux de réponses. De plus, deux biais éventuels auraient pu apparaître
par rapport aux deux autres quadrimestres : d’une part certains étudiants auraient répondu uniquement
au questionnaire sur les enseignements, et d’autres uniquement au questionnaire sur les stages ; d’autre
part, les étudiants auraient répondu non seulement à distance de l’enseignement et de l’examen, mais
surtout après avoir eu connaissance de leur note à l’examen, ce qui aurait été susceptible d’influencer
leur évaluation. Nous avons donc choisi, comme à Saint Antoine, de privilégier l’évaluation de
l’enseignement et de l’examen, au détriment des dernières semaines de stage, en proposant le
questionnaire d’évaluation de ce quadrimestre aux étudiants dès la fin de l’examen, soit mi-juillet.
La mise en œuvre de ce questionnaire va également imposer de recueillir les adresses email des
étudiants, afin de les avertir (et éventuellement de les relancer) de l’ouverture du questionnaire,
accessible grâce à un lien HTML. Ce système permet d’obtenir, dans l’expérience du CHU Saint
Antoine, une exhaustivité de l’ordre de 70%. Cependant, cette même expérience nous a également
appris que près de 10 % des adresses email fournies par les étudiants en début d’année auprès du
service de la scolarité se révèle en pratique non valide, en raison d’erreurs de saisie ou de changements
d’adresse email de l’étudiant en cours d’année. Il sera donc nécessaire de sensibiliser plus
particulièrement les étudiants lors des enseignements et des stages hospitaliers à ce nouveau mode
d’évaluation, et ce d’autant plus que celui-ci ne sera initialement appliqué qu’au seul CCPC Urgence-
Réanimation-Anesthésie.
29
Questionnaire d’évaluation via internet de l’enseignement du CCPC Urgence-Réanimation-Anesthésie (DCEM 2)
au CHU Pitié-Salpêtrière
La Faculté de Médecine Pierre et Marie Curie a besoin d'évaluer ses enseignements afin de pouvoir les améliorer et les faire correspondre aux besoins réels des étudiants. Votre avis nous est donc indispensable. Merci de répondre à ce questionnaire. Le Pr. JJ Rouby s'engage à ce que l'anonymat de ce questionnaire soit préservé.
Année universitaire 2006-2007 - Quadrimestre Septembre 2006 à Janvier 2007. * : réponses obligatoires
Stage hospitalier * 1. Service hospitalier dans lequel a été effectué le stage (sélectionner dans la liste ci-dessous) :
Pr. Rouby : Réanimation Chirurgicale Polyvalente Gaston Cordier Pr. Puybasset : Réanimation Neurochirurgicale Pr. Coriat : Réanimation Digestive et Hépato-biliaire Pr. Langeron : Salle de Réveil et Accueil des Polytraumatisés Pr. Riou : Service d’Accueil des Urgences Pr. Gibert : Réanimation Médicale Pr. Derenne : Réanimation Pneumologique
*2. Numéro du Quadrimestre (sélectionner dans la liste ci-dessous) :
1 2 3 4 5 6 7 8 9
*3. L'accueil à l'arrivée dans le stage a été effectué par (nom et qualité) :
30
*4. Evaluation de l'enseignement pratique sous encadrement médical :
1) Examen clinique : � Excellent � Bon � Correct � Insuffisant � Très mauvais
5. Commentaires :
*6. 2) Gestes techniques : � Excellent � Bon � Correct � Insuffisant � Très mauvais
7. Préciser lesquels :
*8. 3) Interprétation des examens complémentaires : � Excellent � Bon � Correct � Insuffisant � Très mauvais
9. Préciser lesquels :
31
*10. 4) Rédaction de l’observation médicale : � Excellent � Bon � Correct � Insuffisant � Très mauvais
11. Commentaires :
*12. 5) Raisonnement médical : � Excellent � Bon � Correct � Insuffisant � Très mauvais
13. Commentaires :
*14. Fréquence hebdomadaire des cours théoriques organisés pour les externes dans le stage
1
2
3
4
5
*15. Evaluation du niveau global de ces cours théoriques pendant le stage : � Excellent � Bon � Correct � Insuffisant � Très mauvais
32
*16. Au cours du stage, l'enseignement pratique et théorique a été effectué par (plusieurs réponses possibles) : � Chef de service ou responsable de stage � PU-PH � PH � Chefs de clinique ou MCU-PH � Internes � Personne
*17. Les tâches administratives sont elles : � Normales � Excessives
*18. Au cours du stage, l’étudiant s’est-il senti : � Très apprécié � Bien considéré � Ignoré � Mal considéré
*19. Appréciation globale sur le stage hospitalier : � Excellent � Bon � Correct � Insuffisant � Très mauvais
20. Commentaires libres sur le stage :
21. Suggestions et/ou changements à effectuer :
33
Gardes *22. Service hospitalier dans lequel ont été effectuées les gardes :
Pr. Rouby : Réanimation Chirurgicale Polyvalente Gaston Cordier
Pr. Riou : Service d’Accueil des Urgences
Pr. Gibert : Réanimation Médicale
Pr. Derenne : Réanimation Pneumologique
Pr. Puybasset / Van Effenterre : Neurochirurgie
*23. Evaluation de l'enseignement pratique pendant les gardes : 1) Raisonnement médical diagnostique et thérapeutique : � Excellent � Bon � Correct � Insuffisant � Très mauvais 24. Commentaires :
*25. 2) Gestes techniques : � Excellent � Bon � Correct � Insuffisant � Très mauvais 26. Préciser lesquels :
*27. Comment qualifiez-vous les conditions d’hébergement pendant la garde : � Excellent � Bon � Correct � Insuffisant � Très mauvais
34
28. Commentaires :
*29. Au cours des gardes, les tâches administratives sont elles : � Normales � Excessives *30. Au cours des gardes, l’étudiant s’est-il senti : � Indispensable � Bien intégré dans l’équipe � Ignoré 31. Appréciation globale sur les gardes effectuées pendant le stage :
32. Suggestions et/changements à effectuer :
35
Enseignement théorique et examen
*33. A quelle proportion des enseignements pensez-vous avoir assisté :
1) Cours magistraux : � La plupart, voire tous � Plus de la moitié � Moins de la moitié � Aucun
34. Commentaires libres sur les cours magistraux :
*35. 2) Cours en petits groupes : � La plupart, voire tous � Plus de la moitié � Moins de la moitié � Aucun
36. Commentaires libres sur les cours en petits groupes :
*37. Votre appréciation sur la qualité des documents de travail fournis (polycopiés, photocopies, CD, documents sur le site web de la faculté) : � Bonne � Moyenne � Mauvaise � Il n’y avait aucun document
36
*38. Votre appréciation générale sur l'enseignement du CCPC Urgence-Réanimation-Anesthésie : � Excellent � Bon � Correct � Insuffisant � Très mauvais *39. Comment jugez vous l'adéquation entre le programme enseigné et les questions posées lors de l'examen : � Excellente � Bonne � Moyenne � Mauvaise 40. Commentaires libres sur l’examen :
*41. Votre appréciation sur l'adéquation entre l'ensemble de cet enseignement et la préparation à l'Examen National Classant (ENC) : � Excellente � Bonne � Moyenne � Mauvaise 42. Commentaires libres sur l’enseignement du CCPC vis-à-vis de l’ENC :
43. Que pensez vous de ce nouveau mode d’évaluation via internet du CCPC Urgence-Réanimation-Anesthésie ?
37
Perspectives et Conclusion
Ce mémoire réalisé dans le cadre du DIU de Pédagogie Médicale 2005-2006 fait état d’un
travail uniquement méthodologique, en l’occurrence sur la mise en place d’un système novateur
d’évaluation « via internet » des enseignements du CCPC Urgences-Réanimation-Anesthésie au CHU
Pitié-Salpêtrière, à partir de l’expérience du CHU Saint Antoine. A ce titre, aucun résultat ni aucune
analyse ne peut évidemment être ici présenté à ce jour dans ce mémoire.
La mise en place de ce questionnaire pour l’évaluation via internet du CCPC Urgence-
Réanimation-Anesthésie est prévue pour le 1er quadrimestre DCEM 2 d’octobre 2006 à janvier 2007. Il
s’agit d’un changement radical et novateur du mode d’évaluation des enseignements, par rapport à ce
qui était proposé jusqu’à présent au niveau du CHU Pitié-Salpêtrière. Ce changement nécessitera
évidemment une « motivation » particulière des étudiants afin qu’ils répondent au questionnaire à
l’issue de leur quadrimestre. A cet effet, le rôle « incitatif » des différents responsables des stage du
CCPC sera essentiel, et il est envisageable de laisser aux étudiants une plage horaire avec un accès
internet dans un bureau lors de leurs dernier jours de stage, afin qu’ils puissent effectivement répondre
au questionnaire.
En effet, cette première version du questionnaire « via internet » peut paraître « lourde » au
premier abord, puisqu’elle regroupe en 1 unique document les 3 évaluations préalablement distinctes de
l’enseignement, du stage et des gardes, ce qui la rend particulièrement exhaustive, avec 43 items à
compléter par l’étudiant. Néanmoins, il faut d’une part souligner que parmi ces 43 items, il existe 3
items d’ordre « administratif » (questions n° 1, 2 et 3) sur les lieux du stage et de gardes, ainsi que le
rang de quadrimestre de l’étudiant. D’autre part, 25 de ces 43 items se présentent sous forme de « listes
déroulantes » ou de « cases à cocher », pour lesquelles les réponses, rendues obligatoires, peuvent être
38
formulées en quelques secondes ; a contrario, les items pour lesquels une réponse est attendue sous
forme de commentaire libre, donc demandant plus de temps pour être complétées, sont au nombre de
18, mais facultatifs.
A l’issue de ce quadrimestre octobre 2006-janvier 2007, une évaluation de l’acceptabilité de ce
questionnaire par les étudiants sera bien évidemment effectuée, au travers de l’exhaustivité de leur taux
de réponses, ainsi que de leurs commentaires libres sur le questionnaire lui-même (question n°43).
L’objectif que nous nous sommes fixé est de mettre en place un questionnaire valide et efficient au
terme de l’année universitaire 2006-2007, soit 3 quadrimestres de « rodage ». Le CCPC Urgence-
Réanimation-Anesthésie ayant alors servi de « site pilote », ce questionnaire sera ensuite généralisé lors
de l’année universitaire 2007-2008 à l’ensemble des CCPC du CHU Pitié-Salpêtrière. Néanmoins, il
faut garder à l’esprit que lorsque la fusion des CHU Pitié-Salpêtrière et Saint Antoine sera totale pour
l’ensemble du 1er et du 2ème cycles des études médicales, il se posera à terme le choix d’un
questionnaire unique sur l’ensemble des 2 sites : « version courte » telle qu’elle existe à Saint Antoine
depuis plusieurs années, ou au contraire « version longue » telle que nous comptons tester à la Pitié-
Salpêtrière.