Download - SIDES : l’évaluation programmée par tablette … · Exemple : Maladies infectieuses 61 Septembre 2014 ... QCM d’autoévaluation Dossiers progressifs 28 h. d’enseignements

SIDES* : l’évaluation programmée par tablette numérique dans le cadre de

l’ECN en France*Système Informatique Distribuéd’Evaluation en Santé

Septembre 2014

1

Dominique Maillard – Jocelyne Gervais – Université Paris-Diderot – Paris VIIEt la collaboration de Daniel Pagonis et Olivier Palombi – Responsable national SIDES

Faculté de Médecine

Programme

Atelier CIDMED

2

13 mars 2014

1. Tour de table

2. Pourquoi une réforme docimologique de l’ECN

3. L’outil SIDES

4. Conception des DP et QI

5. L’analyse docimologique classe inversée


3

Septembre 2014

Tour de table


Utilisation d’un outil de vote

• Connectez-vous à http://2reply.net/• Cliquez sur

• Indiquez le n° ID indiqué oralement

• Répondez à la question

4

Septembre 2014


Question 1

• Evaluez-vous dans vos milieux respectifs, les compétences acquises des étudiants en médecine pour leur autoriser l’accès à l’internat ou résidence ?

Oui Non

5

Septembre 2014


Question 2

• Quels types d’examen de fin d’étude pré-doctorales ?

A. ValidantB. ClassantC. Autre

6

Septembre 2014


Question 3

• Quels sont vos formats d’examen ?

A. QCMB. TCSC. ECOSD. QRE. Entretiens

7

Septembre 2014


Question 4

• Utilisez-vous les résultats académiques antérieurs ? Oui Non

8

Septembre 2014


9

Septembre 2014

Pourquoi une réforme docimologique de l’ECN ?


Les épreuves classantes nationales en France

10

Septembre 2014


Utilisation des résultats de l’ECN ?

• Selon leur rang et leur affinités, les étudiants : Choisissent leur spécialités parmi 11 possibles :

Spécialités médicales, chirurgicales, Anesthésie ‐Réanimation, Biologie, Gynécologie médicale, Gynécologie ‐ Obstétrique, Médecine générale (de famille), Pédiatrie, Psychiatrie, Santé publique.

Choisissent la faculté de Médecine où ils valideront leur spécialité.

11

Septembre 2014


Distribution des notes (2006)

12

Septembre 2014

4489/4893 candidats (92%) sont classés entre 400 and 700 points

1 point / 900 = 15 places1 point / 20 = 676 places

From J. Lechevallier (Rouen)


Le dossier clinique classique

13

Septembre 2014


Proposition de réforme ECN

14

Septembre 2014


Nouveaux contenus avec multimédia

• Dossier progressif (DP)▫ Réponses ouvertes et fermées▫ Suite logique de questions sans la possibilité de revenir

sur les réponses précédentes

• Question isolée (QI)▫ QRU, QRM et QROC

• LCA▫ Plus de résumé▫ Un dossier progressif

• TCS▫ Gestion de l’incertitude▫ Discrimination excellente

15

Septembre 2014


Le nouvel ECNi juin 2016

16

Septembre 2014

• DP 7000 pts : 24 Dossiers cliniques Progressifs, 292 pts par DP, 15 questions/DP, 30 min par DP, soit 4 ½ journées).

• QI 2000 pts : 120 Questions Isolées, 17 pts/QI, 1 min 30 par QI, soit une ½ journée.

• LCA 1000 pts : 2 articles à analyser, 15 QI par articles, 33 pts/QI, 8 min/QI.

et• TCS 500 pts : 60 questions, 1 min par questions

à partir de 2017.

Sur 10 000 points – 6 demi-journées de 3h


Mise en œuvre des ECNi

17

Septembre 2014


18

Septembre 2014


SIDES : Système Informatique Distribué d’Evaluation en Santé

19

Septembre 2014

Plates-formes WEB dédiée à la docimologiePermet la réalisation d'examens sur tablettesPermet l’entraînement des étudiants


20

Septembre 2014

L’outil SIDES


SIDES : un réseau de plateforme

21

Septembre 2014


Le dossier clinique progressif

22

Septembre 2014


Au total :

23

Septembre 2014


Le contenu multimédia

24

Septembre 2014


Les vidéos

25

Septembre 2014


Les différentes banques de questions

26

Septembre 2014

Alimentée par nos dossiers dès Février 2014 !


Critères de sélection d’un DP dans la banque nationale

27

Septembre 2014

Critères prérequis (obligatoire)1. Liens avec les items de l’ECN2. Liens avec les documents de référence des collèges3. Iconographie présente dans les documents de

référence4. Conditions pour les examens

1. Nombre de questions entre 12 et 152. Nombre d’items entre 5 et 8.

Critères statistiques (post-examen)1. Taux de réussite (TR) > 50 %2. Indice de Kurtosis < 43. Ecart-type > 20 (dossier noté sur 100)


28

Septembre 2014

Conception des DP et QI


L’interface utilisateur SIDES

29

Septembre 2014


« Jouer un DP »

• Connexion SIDES :

30

Septembre 2014

Identifiant et mot de passe

Identifiants Mots de passe

par7.ctest01 test01

par7.ctest02 test02

… …

Cliquez sur et attendez le n°

Connectez vous à :

http://www.side-sante.fr


Le numéro d’examen

31

Septembre 2014

1DB6D454

Compte test


A la fin de l’épreuve

32

Septembre 2014


33

Septembre 2014

Pause


Travail de groupe

34

Septembre 2014

• Vous venez de « jouer » un DP.• Quelles sont vos interrogations sur la conception des

DP ?▫ Merci de vous mettre en groupe de 6 à 7 personnes.▫ Écrivez vos questions, suggestions, préconisations

sur un post-it (une question, suggestion… par post-it).


Conception des questions

35

Septembre 2014


Conception des questions

36

Septembre 2014

Questions sur la clinique, thérapeutique, mais aussi schéma anatomique, physiopathologie, santé publique, etc. Utilisation d’objets multimédia (photos, films…) :

entretiens avec malades, gestes d’examen clinique, radiographies, TDM, photos de lésions… Liens avec les items de l’ECN (ou compétences à

acquérir) 15 questions par DP et 5 propositions de réponses

par questions. Pondération d’une question : 1, 2 ou 3 Pondération des réponses : indispensable,

inacceptable ?


QROC - Préconisations

37

Septembre 2014

Indiquer pour la réponse attendue le nombre de mots maximum.

Question précise, sans ambiguïté ou subjectivité.Exemple :

Citer le médicament souvent préconisé pour…Quel est le meilleur…


Pondération des questions

38

Septembre 2014


Au total

• Choix des objectifs (en France items de l’ECN)• Qualité des questions▫ Pas d’ambiguïté▫ Contextualisation • 15 questions/DP, • 5 propositions de réponse si QCM (QRU ou QRM)

39

Septembre 2014


40

Septembre 2014

L’analyse docimologique La classe inversée


Correction des questions

41

Septembre 2014


Correction par concordance des QRM

42

Septembre 2014


Accès aux statistiques d’un examen

43

Septembre 2014


Analyse des résultats d’un DP

44

Septembre 2014


Analyse des résultats d’un DP

45

Septembre 2014


Analyse statistique d’un DP

46

Septembre 2014


Analyse statistique

47

Septembre 2014


Analyse des résultats du premier examen sur tablette en DFASM1

Retour d’expérience

48

13 mars 2014

A – QRM

5 items

2 à 3 maximum bonnes réponses

Des pondérations pertinentes


Analyse des résultats du premier examen sur tablette en DFASM1

Retour d’expérience

49

13 mars 2014

A – QRM

Trop d’items : Certains

distracteurspourraient

éliminés facilement si ce

dossier est représenté d’ici

quelques années

Distracteur inutile

Hasard ????



50

Septembre 2014



51

Septembre 2014


Coefficient de Kurtosis et de d’asymétrie

52

Septembre 2014


Statistique

53

Septembre 2014


statistiques

54

Septembre 2014


Utilisation des statistiques

55

Septembre 2014


Critères de sélection d’un DP dans la banque nationale

Critères prérequis (obligatoire)1. Liens avec les items de l’ECN2. Liens avec les documents de référence des collèges3. Iconographie présente dans les documents de

référence4. Conditions pour les examens

1. Nombre de questions entre 12 et 152. Nombre d’items entre 5 et 8.

Critères statistiques (post-examen)1. Taux de réussite (TR) > 50 %2. Indice de Kurtosis < 43. Ecart-type > 20 (dossier noté sur 100)

Septembre 2014


57

Septembre 2014

Les conséquences sur la formation des étudiants


Les conséquences sur la pédagogie

• Le changement de paradigme docimologique Paradigme pédagogique

• Nouveaux usages, approches et stratégies d’apprentissage des étudiants : Autonomie de recherche et d’apprentissage des savoirs

fondamentaux Travail en réseau

• Nouveau rôle des enseignants : Eduquer les élèves à rechercher et consulter les bonnes ressources

grâce à un esprit critique, Développer l’entraide des étudiants et le partage de leurs

découvertes et de leur compréhension de diverses situations amenées par l’enseignant.

58

Septembre 2014


Les conséquences sur la pédagogie

Passer d’une évaluation normative à une évaluation formative.

59

Septembre 2014


Le principe de la classe inversée

60

Septembre 2014

En classe

A la maison

Introduction d’un nouveau contenu (savoirs fondamentaux) : Mise à disposition des référentiels, Vidéos, Bibliographie, liens internet Tests d’autoévaluation des savoirs…

Renforcement de l’acquisition du contenu (questions, travaux en groupe, précisions, etc.)Personnalisation des interventions éducatives des enseignants

libérer du temps en classe afin que l’enseignant intervienne de façon active auprès d’élèves actifs.

Image : http://www.classeinversee.com/


Exemple : Maladies infectieuses

61

Septembre 2014

Maquette globale :• 1 ED sur l’utilisation des anti-infectieux +

infection nosocomiale = 4 heures

• 6 Séminaires dont 1 infectio-pédiatrie = 4 heures/séminaire

+ Implication d’enseignants d’autres disciplines+ Implication systématique des CCA

• Mise à disposition sur les plateformes : Référentiel QCM d’autoévaluation Dossiers progressifs

28 h. d’enseignements + de travail préparatoire

en autonomie pour l’étudiant (+/- 20 h.)


Exemple : Maladies infectieuses

62

Septembre 2014

En classe

A la maison

Sur la plateforme interne Didel (Claroline) : Programme affiché (ECN-Pilly)QCM d’auto-évaluation

Sur SIDES :Dossiers progressifs à réaliser avant les séminaires

Correction interactive des dossiers progressifs

adapter les corrections en fonction des réponses et des statistiques

Enseignant : analyse des statistiques


63

Septembre 2014

Download - SIDES : l’évaluation programmée par tablette … · Exemple : Maladies infectieuses 61 Septembre 2014 ... QCM d’autoévaluation Dossiers progressifs 28 h. d’enseignements

Top Related