consolider nos pratiques en évaluation des apprentissages
TRANSCRIPT
![Page 1: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/1.jpg)
Faculté de médecineBureau d’évaluation
Consolider nos pratiquesen évaluation des apprentissages
Est-ce que la docimologiepeut nous aider ?
Serge Normand, M.A.
Mars 2008
![Page 4: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/4.jpg)
Évaluationdes
apprentissages
Évaluationde
l’enseignement
Évaluationdes
programmes
Domaines de l’évaluation en éducation
Agrément
![Page 5: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/5.jpg)
Finalités d’un systèmed’évaluation des apprentissages
Faculté
Certifiercompétences
Mesurerles progrès
Responsable
Évaluationcertificativ
e
Évaluation
formative
![Page 6: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/6.jpg)
Le processus de l’évaluation
Décider
Juger
Interpréter
Mesurer
Évaluer
ExamensTravauxObservationsetc.
Approche :- relative- absolue
Qualifier la réussiteSeuil de passage
Certification
![Page 9: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/9.jpg)
Performanceof Tasks
Doing the right thing
Doing the thing right
The right person doing it
Dundee - Three Circle Model
Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14
![Page 10: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/10.jpg)
[email protected]://crmcc.medical.org/canmeds/bestpractices/index.php
![Page 12: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/12.jpg)
Évaluer la compétence professionnellePyramide de Miller
FaitDoes
DémontreShows How
Sait commentKnows How
SaitKnows
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
SavoirCognition
ComportementBehaviour
![Page 14: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/14.jpg)
Évaluer la compétence professionnelleTypes d’instruments
Fait
Démontre
Sait comment
Sait
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Épreuves factuelles :QCM, Ex. écrit, oral …
Épreuves à contenus cliniques :QCM, Q. dév., Ex. oral …
Performance in vitro :ECOS, Ex. PS. …
Performance in vivo :PS. incognito, Vidéo, DossiersPortfolio …
![Page 16: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/16.jpg)
Évaluation
Sait comment
Sait
Fait
Démontre
Évaluer les apprentissagesCe que nous
faisonsle plus !
![Page 17: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/17.jpg)
Évaluation
Sait comment
Sait Fait
Démontre
Évaluer les apprentissages Ce que nous devrions
fairele plus !
![Page 18: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/18.jpg)
Instruments d’évaluationCurriculum de Dundee
Fait
Démontre
Sait comment
Sait
Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261
Portfolio
ECOS
QCM-RQROC
QCMQ. dév.
![Page 19: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/19.jpg)
Le processus de l’évaluation
Décider
Juger
Interpréter
Mesurer
Évaluer
Approche :- relative- absolue
![Page 21: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/21.jpg)
Interpréter les résultats
Approche
Relative Absolue
Compareravec d’autres
sujets
Compareravec descritères
Évaluationnormative
Évaluationcritériée
![Page 22: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/22.jpg)
Le processus de l’évaluation
Décider
Juger
Interpréter
Mesurer
Évaluer
Qualifier la réussiteSeuil de passage
![Page 23: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/23.jpg)
Établir des normes de réussite Setting Performance Standards
C o m p é t e n c e s
Niveauacceptable
![Page 24: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/24.jpg)
Déterminer la note de passage
Sources d’information
Données recueillies Jugement d’experts
Distributiondes
résultats
Caractéristiquesdes
questions
“Examinee centered” “Test centered”
![Page 25: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/25.jpg)
Déterminer la note de passage( selon la méthode de Ebel )
Diffi culté
Pertinence Facile Moyenne Diffi cile
+ + + +(80%)14
(70%)4
(60%)2
+ + +(70%)9
(60%)12
(50%)7
+ +(60%)4
(50%)13
(40%)5
+(50%)
1(40%)
1(30%)0
Nombre de questions : 72SAP : 61 %
![Page 26: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/26.jpg)
Déterminer la note de passage( selon la méthode Hofstee )
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
55%
60%
65%
70%
75%
80%
85%
90%
95%
100%
30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80
Scores
Taux
d'é
chec
Kmax Note de passage maximum 60Kmin Note de passage minimum 50Fmax % maximum d'échecs 30%Fmin % minimum d'échecs 10%
![Page 28: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/28.jpg)
Validité
Fidélité Faisabilité
Efficacité Acceptabilité
Repèrespour apprécierles instruments
d’évaluation
van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications.Adv health Sci Educ 1996;1:41-67.
![Page 29: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/29.jpg)
• Pertinence• Pertinence• Pertinence• Pertinence
par rapport à la matière enseignéedu type de compétences mesuréesde la formulation des questionsde la notation
Quels sont les défauts de nos examens ?Réponses des étudiants :
![Page 30: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/30.jpg)
Quels sont les critères pour apprécier nos examens ?Réponses des docimologues :
Validité
Fidélité
Commodité
Objet
Mesures
RésultatsProtocole
![Page 31: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/31.jpg)
• Mieux planifier l’évaluation• Varier les instruments de mesure• Respecter certaines règles docimologiques• Fixer des critères de performance
Améliorer nos pratique en évaluation ?Quelques pistes de solution:
![Page 33: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/33.jpg)
Domaines de comportements observables(pour mesurer des objectifs d’apprentissage)
Cognitif
Savoir
Connaissances
Affectif
Savoir être
Attitudes
Psychomoteur
Savoir faire
Habiletés
![Page 34: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/34.jpg)
Taxonomie simplifiée(pour mesurer des objectifs d’apprentissage)
Connaissance
Mémoriser
Compréhensi
on
Interpréter
Application
Solutionner
![Page 35: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/35.jpg)
Tableau de spécification
Connaissance Compréhension Application Nombre deObjectifs Mémoriser Interpréter Solutionner questionsNotions 10% 45% 45% 100%
Décrire le devenir du médicament 40% 2.4 10.8 10.8 24.0
Calculer les paramètres pharmacocinétique spécifiques d'un principe actif à partir des données d'un patient
30% 1.8 8.1 8.1 18.0
Calculer les changements importants des paramètres pharmacocinétiques induits par la maladie ou un processus pathologique
2.5% 0.2 0.7 0.7 1.5
Utiliser les paramètres pharmacocinétiques pour calculer une posologie
25% 1.5 6.8 6.8 15.0
Intégrer les connaissances de bases de pharmacocinétiques avec les autres disciplines pharmaceutiques
2.5% 0.2 0.7 0.7 1.5
Nombre de questions 100% 6.0 27.0 27.0 60
Source : [email protected]
![Page 37: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/37.jpg)
Basic science matrix
Molecular / Single organ / Whole person / Communitycellular organ system family
Organization &structureMaintenance &homeostasisDefense againstdisease & injuryMechanisms ofand response todisease & injuryTherapies &interventions
Knowledge Base
Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999
![Page 38: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/38.jpg)
Clinical medicine matrix - Clinical approaches to health & disease
Preventive / Acute Emergency Chronic Behavioraldevelopmental family
Fetus / Neonates
Children
Adolescents
Adults
Elders
Knowledge Base
Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999
![Page 39: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/39.jpg)
Exercice 1
Préparer une ébauche de tableau de spécificationpour une épreuve écrite dans votre discipline :
1. Importance relative des « chapitres »2. Niveaux taxonomiques
• Mémoriser• Interpréter• Solutionner
![Page 40: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/40.jpg)
Docimologie
Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique
Normes recommandées pour la rédaction de questions de type QCM et QROC
1
![Page 41: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/41.jpg)
Docimologie
Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique
L’analyse d’itemsune technique docimologiquepour valider des questions d’examen
2
![Page 45: Consolider nos pratiques en évaluation des apprentissages](https://reader031.vdocuments.site/reader031/viewer/2022013005/586682ec1a28ab7d408b5e10/html5/thumbnails/45.jpg)
DiaporamaDocumentation
http://www.medbev.umontreal.ca/docimo/[email protected]
Merci de votre attention !