1 formation à la gestion qualité des évaluations standardisées des acquis des étudiants...
TRANSCRIPT
1
Formation à la gestion qualité des évaluations standardisées
des acquis des étudiants
21/11/2002
2
[1] Cycle de gestion qualité des tests standardisés – 21/11/02Objectif : vous initier aux étapes de réalisation d'un test standardisé d'évaluation des acquis des étudiants ainsi qu'aux principales procédures de gestion qualité associées à chacune de ces étapes.
[2] Contrôle qualité a priori des questions fermées – 28/11/02Objectif : vous initier aux règles de rédaction des questions à choix multiple (QCM) et vous amener à critiquer et améliorer des QCM en utilisant ces règles.
[3] Dispositifs d'entraînement des étudiants aux proc. d'évaluation – 05/12/02Objectif : vous initier à trois dispositifs d'ingénierie docimologique mis gratuitement à votre disposition par le SMART-ULg pour vous permettre d'entraîner vos étudiants avant un test certificatif : [1] la Lecture Optique de Marques (LOM), [2] les Boîtiers de Vote Electronique (BVE) et [3] le Testing Interactif Multimédia via Internet (TIMI).
[4] Contrôle qualité a posteriori des questions fermées – 12/12/02Objectif : vous initier aux méthodes et indices qui permettent d'analyser les résultats des épreuves en vue d'en évaluer la qualité des questions puis d'effectuer d'éventuelles rectifications.
[5] Ressources offertes par le SMART pour la réal. de tests pédagogiques de qualité – 19/12/02Objectif : vous initier à la mise en oeuvre concrète des différentes procédures proposées par le SMART-ULg de manière à vous permettre de mettre en oeuvre et d'analyser vos tests standardisés d'évaluation des acquis des étudiants.
PROGRAMME DE LA FORMATIONPROGRAMME DE LA FORMATION
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
3
[1.1] Introduction
SOMMAIRE de la séance du 21/11/02SOMMAIRE de la séance du 21/11/02
[1.2] Les fondements de notre système méthodologique
[1.3] Le cycle de gestion qualité des évaluations standardisées
[1.4] Une application dans le cadre du cours d’Obstétrique et de pathologie de la reproduction des ruminants, équidés et porcins
[1] Cycle de gestion qualité des tests standardisés
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
4
[1.1] IntroductionIntroduction
[1.1.1] Le SMART, ses missionshttp://www.smart.ulg.ac.be
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
5
[1.1.2] Ouvrages de référence
[1.1] IntroductionIntroduction
Edumétrie et docimologie, D. Leclercq (1999)
Educational Assessment of Students, A. Nitko (2001)
http://cwx.prenhall.com/bookbind/pubbooks/nitko/
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
6
[1.1.2] Ouvrages de référence http://cwx.prenhall.com/bookbind/pubbooks/nitko/
[1.1] IntroductionIntroduction
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
7
[1.2.1] Une approche « qualité »
Besoins des ensei-
gnants & desétudiants
Ressourcesen personnel et
en matériel
Modèles & procédures
SMART
Objectifsde qualité
[1.2] Les fondements de notre système méthodologiqueLes fondements de notre système méthodologique
(Gilles, 2002)
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
8
[1.2.2] Des objectifs-critères à prendre en compte pour améliorer les tests
Besoins des ensei-
gnants & desétudiants
Ressourcesen personnel et
en matériel
Modèles & procédures
SMART
Objectifsde qualité
[1.2] Les fondements de notre système méthodologiqueLes fondements de notre système méthodologique
(Gilles, 2002)
validité fidélité sensibilité diagnosticité praticabilité équité communi-
cabilité
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
9
• La validité : les scores des étudiants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants de l’enseignement (validité de contenu) ;
• La fidélité : la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ;
• La sensibilité : la mesure doit être précise, refléter des phénomènes subtils ;
• La « diagnosticité » : les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ;
[1.2.2] Des objectifs-critères à prendre en compte pour améliorer les tests
[1.2] Les fondements de notre système méthodologiqueLes fondements de notre système méthodologique
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
10
• L’équité : tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ;
• La « praticabilité » : la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ;
• La « communicabilité » : les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves.
[1.2.2] Des objectifs-critères à prendre en compte pour améliorer les tests
[1.2] Les fondements de notre système méthodologiqueLes fondements de notre système méthodologique
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
11
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
Entraînement
Analyse du cours
- Contenus- Processus
mentaux- Objectifs
Choix de laforme d’examen
- Oral/écrit- Pratique- Travail de l’année- ...
Construction desquestions
- Constructiond’échelles
- Instructions auxnotateurs
- Rédaction desquestions
- Taxonomies d’objectifs- Analyse de contenu
(liens conceptuels )- Interdisciplinarité- Transférabilité
Kaléidoscope des tech. dequestionnement :QCM-SGI, degrés decertitude, justifications , th.des décis ions , training
- Règles de rédaction- Historique et
représentativité des Q.- pronostic par les
enseignants
EXAMEN
- papier crayon enauditoire
- à l’aide d’unordinateur (par ex.WINCHECK auCAFEIM-FAPSE)
- Procédures anti-fraude
- Justifications- Avis des
examinés
Correction del’examen
- distribution- moyennes- marge de variation- écart-type- analyse des questions
- r.bis desquestions
- Alpha deCronbach del’épreuve
Feed-back auxexaminés
- FB « matières » et « processus
mentaux »- scores métacognitifs- score final- analyse des
questions
- précis ion- rapididité- disponibilité- Feedback sur
l’épreuve
Recueil des avis(étudiants etenseignants)
Evaluation des- objectifs- contenus- processus
mentaux- processus
d’enseignement- procédures
d’évaluation
Champs deslogiciels
GUESS et TIMI(via internet)
Champ dulogicielEVALENS
Champs deslogiciels
CERT et WINCHECK
- Individualisé- Sur demande- Avant le premier
examen- Feedback détaillé
Cycle de gestion qualité des tests standardisés(Gilles, J.-L. & Leclercq, D., 1996)
8 étapes
EEEVIBVE
Plus d'une trentaine de procédures "qualité"
TVI
Une série de dispositifs technologiques
[1.3.1] Vue d’ensemble du modèle et des procédures
12
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées[1.3.1] Vue d’ensemble du modèle et des procédures
Cycle de gestion de la
qualité des tests standardisés
(Gilles & Leclercq, 1996)
1. Analyse desobjectifs de
l’enseignement
- Points Enseignés- Catégories de
Performances- Priorités
4. Entraînement
6. Correction etdiscussion
- performances- analyse des
propositions,contrôle qualité aposteriori : rpbis,rectifications
7. Feed-backaux examinés
- FB « matières »,« processusmentaux » et« métacognitifs »
- infos surl’analyse desquestions
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
2. Mise en formede l’épreuve
- Définition desModalités deQuestionnement
- Équilibrage del’épreuve
8. Macro régu-lation (recueil desavis des étudiants)
5. Epreuve- préparation du
matériel, deslocaux, consignes
- vérification dutiming
- procédures anti-fraude
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
13
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.2] Analyse des objectifs de l’enseignement
6. Évaluation
5. Synthèse
4. Analyse
3. Application
2. Compréhension
1. Connaissance
Taxonomie des objectifs d’enseignement de Bloom
1. Analyse desobjectifs de
l’enseignement
- Points Enseignés- Catégories de
Performances- Priorités
1. Analyse desobjectifs de
l’enseignement
- Points Enseignés- Catégories de
Performances- Priorités
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
14
http://www.bced.gov.bc.ca/exams/specs.htm
Exemple :les examens provinciaux (K12)en Colombie Britannique
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.2] Analyse des objectifs de l’enseignement
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
15
1. Connaissance
Niveau 1 Connaissance
La définition de la connaissance englobe les comportements et les situations de contrôle qui mettent l’accent sur la mémorisation, par reconnaissance ou par rappel, d’idées, de données ou de phénomènes.
Font partie de ce niveau la connaissance de la terminologie, de faits spécifiques (dates, événements, personnes, etc.) de conventions et de catégories, de critères, de méthodes de recherche, de principes et de généralisations, de théories et de structures.
Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.2] Analyse des objectifs de l’enseignement
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
16
3. Application
2. Compréhension
1. ConnaissanceStudent Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002
Niveau 2 Compréhension et application
La compréhension fait référence aux réponses qui témoignent de l’entendement du message littéral contenu dans une communication. Cela signifie que l’élève est en mesure d’interpréter ou d’extrapoler le sens d’un message.
L’interprétation met en jeu la remise en ordre d’idées (inférences, généralisations ou résumés). L’extrapolation fait appel à des estimations ou des prédictions basées sur la compréhension des tendances.
L’application exige que l’élève applique une abstraction appropriée (théorie, principe, idée, méthode) àune nouvelle situation.
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.2] Analyse des objectifs de l’enseignement
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
17
6. Évaluation
5. Synthèse
4. Analyse
3. Application
2. Compréhension
1. Connaissance
Niveau 3 Processus mentaux supérieurs
L’analyse se traduit par la capacité de reconnaître les sous-entendus, de distinguer les faits des hypothèses, de discriminer les conclusions des arguments qui les étayent, de reconnaître les hypothèses et les faits qui sont essentiels à la thèse ou à l’argument et de faire la différence entre les relations de cause à effet et d’autres relations séquentielles.
La synthèse met en jeu la production d’une communication unique, la capacité de proposer des modalités de contrôle des hypothèses, de concevoir une expérience, de formuler et de modifier des hypothèses et de faire des généralisations.
L’évaluation se définit comme l’expression de jugements de valeur sur des idées, des solutions et des méthodes. Elle fait appel à des critères et à des normes pour mesurer le degré d’exactitude, d’efficacité, d’économie ou de pertinence des détails. L’évaluation met en jeu la capacité d’appliquer des critères donnés à des jugements sur le travail accompli, de reconnaître les erreurs de logique et de comparer les principales théories et généralisations. Les questions qui font appel aux processus mentaux supérieurs subsument le niveau Connaissance ainsi que le niveau Compréhension et application.
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.2] Analyse des objectifs de l’enseignement
Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
18
2. Mise en formede l’épreuve
- Définition desModalités deQuestionnement
- Équilibrage del’épreuve
2. Mise en formede l’épreuve
- Définition desModalités deQuestionnement
- Équilibrage del’épreuve
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.3] Mise en forme de l’épreuve
PHYSIQUE 12DESCRIPTION DE L’EXAMEN PROVINCIAL
(…) L’examen provincial comporte deux parties :
PARTIE A : Questions à choix multiple comptant pour 50 % de l’examen (60 points). La plupart de ces questions sont des problèmes exigeant une compréhension des définitions et des concepts de base ainsi que l’application d’équations simples alors que quelques questions peuvent être plus complexes.
PARTIE B : Questions à développement comptant pour 50 % de l’examen (60 points). La plupart de ces questions sont des problèmes exigeant une compréhension des définitions et des concepts de base alors que certaines questions peuvent nécessiter une explication des concepts de base.Le nombre de questions à développement peut varier d’un examen à l’autre, selon la valeur attribuée à chaque question. Cependant, le nombre total de points attribués à la section des questions à développement demeure inchangé.
Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002
PHYSIQUE 12
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
19
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
2. Mise en formede l’épreuve
- Définition desModalités deQuestionnement
- Équilibrage del’épreuve
2. Mise en formede l’épreuve
- Définition desModalités deQuestionnement
- Équilibrage del’épreuve
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.3] Mise en forme de l’épreuve
Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002
PHYSIQUE 12
20
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.4] Construction de l’épreuve
x
Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002
BIOLOGIE 12
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
21
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.4] Construction de l’épreuve
x
Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002
BIOLOGIE 12
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
22
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.4] Construction de l’épreuve
Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002
BIOLOGIE 12
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
23
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.4] Construction de l’épreuve
x
Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002
BIOLOGIE 12
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
24
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.4] Construction de l’épreuve FRANÇAIS LANGUE PREMIÈRE 12BARÈME DE NOTATION
ÉPREUVE ORALE
Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002
communiquer informationsopinions sentiments préparationconnaissance
FRANCAIS LANGUE PREMIERE 12
CONTENU
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
25
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.4] Construction de l’épreuve FRANÇAIS LANGUE PREMIÈRE 12BARÈME DE NOTATION
ÉPREUVE ORALE
Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002
maîtrise de la syntaxe,vocabulaire prononciatio
ndébit verbal
FRANCAIS LANGUE PREMIERE 12
FORME
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
26
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.4] Construction de l’épreuve
1. Analyse desobjectifs de
l’enseignement
- Points Enseignés- Catégories de
Performances- Priorités
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
2. Mise en formede l’épreuve
- Définition desModalités deQuestionnement
- Équilibrage del’épreuve
Y. Lion, 2000
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
27
Exemple de QCM :(Castaigne & Hanzen, 2000)
2,8
cm
3,9 cm
0,6
cm
1,5 cm
Cette échographie de l’ovaire gauche d’une vache pie noire de 6 ans, a été réalisée une semaine après l’oestrus.Votre diagnostic :
1. Un follicule de de Graaf2. Un kyste folliculaire3. Un Corps Jaune4. Un Corps Jaune Cavitaire5. Un artefact6. Aucune7. ToutesExemple d’échelle
de pourcentages de certitude (Leclercq, 1986)
Exemple de recueil des données pour une lecture automatisée des réponses et certitudes :(SMART-ULg, 1996)
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
28
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
29
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
30
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
Le Kaléidoscope des techniques de questionnement - Edumétrie et docimologie, 1999
D. Leclercq & J.-L. Gilles, 1999
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
31
4. Entraînement
5. Epreuve- préparation du
matériel, deslocaux, consignes
- vérification dutiming
- procédures anti-fraude
Testing Interactif Multimédia via Internet (T.I.M.I.)
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.5] Entraînement à l’épreuve
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
32
4. Entraînement
5. Epreuve- préparation du
matériel, deslocaux, consignes
- vérification dutiming
- procédures anti-fraude
Boîtiers de Votes Electroniques (B.V.E.)
Formulaire de réservation en ligne des BVEhttp://www.smart.ulg.ac.be/evaletu/bve/
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.5] Entraînement à l’épreuve
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
33
4. Entraînement
5. Epreuve- préparation du
matériel, deslocaux, consignes
- vérification dutiming
- procédures anti-fraude
Dispositif de Lecture Optique de Marques (L.O.M.)
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.5] Entraînement à l’épreuve
Boucles courtes Boucles courtes (en 5 jours ouvrables maximum)(en 5 jours ouvrables maximum)
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
34
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.6] Epreuve
4. Entraînement
5. Epreuve- préparation du
matériel, deslocaux, consignes
- vérification dutiming
- procédures anti-fraude
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
35
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.6] Epreuve
4. Entraînement
5. Epreuve- préparation du
matériel, deslocaux, consignes
- vérification dutiming
- procédures anti-fraude
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
Dispositif anti-fraude
Forme A
Quatre formes différentes sont possibles : les étudiants ont alors les mêmes questions, mais dans des ordres différents.
36
37
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.6] Epreuve
4. Entraînement
5. Epreuve- préparation du
matériel, deslocaux, consignes
- vérification dutiming
- procédures anti-fraude
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
Dispositif anti-fraude
38
6. Correction etdiscussion
- performances- analyse des
propositions,contrôle qualité aposteriori : rpbis,rectifications
7. Feed-backaux examinés
- FB « matières »,« processusmentaux » et« métacognitifs »
- infos surl’analyse desquestions
(Gilles, 2002)
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.7] Correction & discussion
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
39
Fichiers envoyés par e-mail aux enseignants
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.7] Correction & discussion
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
40
6. Correction etdiscussion
- performances- analyse des
propositions,contrôle qualité aposteriori : rpbis,rectifications
7. Feed-backaux examinés
- FB « matières »,« processusmentaux » et« métacognitifs »
- infos surl’analyse desquestions
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées[1.3.8] Feedback aux examinés
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
41
8. Macro régu-lation (recueil desavis des étudiants)
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.9] Macro régulation
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
42
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.9] Macro régulation
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
43
Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000)
1
2
3
4
5
6
Moy
enne
s de
s av
is
1ère candidature 1997-1998 (n=227)2ème candidature 1997-1998 (n=163)1ère candidature 1998-1999 (n=150)1ère candidature 1999-2000 (n=250)2ème candidature 1999-2000 (n=134)
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.9] Macro régulation
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
44
Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000)
1
2
3
4
5
6
[1.1]
Le m
ode d
'évalu
ation
était
adéq
uat
[1.2]
L'en
traîne
ment a
vant
l'exa
men ét
ait su
ffisa
nt
[1.3]
Les
ques
tions
étaie
nt cla
ires
[1.4]
Que
stion
s bien
adap
tées à
la m
atière
[1.5]
Le m
ode d
'évalu
ation
perm
et au
prof
. d'av
oir un
e bon
ne re
prés
entat
ion de
s...
[1.6]
L'év
aluati
on es
t équ
itable
et im
parti
ale
[2.1]
Les
exige
nces
de l'e
nseig
nant
sont
claire
ment p
résen
tées
[2.2]
Les
exige
nces
de l'e
nseig
nant
sont
prés
entée
s en t
emps
utile
s
[2.3]
L'en
seign
ant m
et l'é
tudian
t à l'a
ise à
l'exa
men or
al
[2.4]
L'ho
raire
fixé p
our l
'exam
en es
t res
pecté
[3.1]
Les
répo
nses
corre
ctes s
ont c
ommun
iquée
s aux
étud
iants
après
l'exa
men
[3.2]
L'an
alyse
stati
stiqu
e de l
a qua
lité d
es qu
estio
ns (r
.bis)
est c
ommun
iquée
[3.3]
Apr
ès l'e
xamen
, l'étu
diant
peut
obten
ir de
s exp
licati
ons s
ur la
quali
té de
ses r
épon
ses a
u...
Moy
enne
s de
s av
is
1ère candidature 1997-1998 (n=227)2ème candidature 1997-1998 (n=163)1ère candidature 1998-1999 (n=150)1ère candidature 1999-2000 (n=250)2ème candidature 1999-2000 (n=134)
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
[1.3.9] Macro régulation
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
45
[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées
Entraînement
Analyse du cours
- Contenus- Processus
mentaux- Objectifs
Choix de laforme d’examen
- Oral/écrit- Pratique- Travail de l’année- ...
Construction desquestions
- Constructiond’échelles
- Instructions auxnotateurs
- Rédaction desquestions
- Taxonomies d’objectifs- Analyse de contenu
(liens conceptuels )- Interdisciplinarité- Transférabilité
Kaléidoscope des tech. dequestionnement :QCM-SGI, degrés decertitude, justifications , th.des décis ions , training
- Règles de rédaction- Historique et
représentativité des Q.- pronostic par les
enseignants
EXAMEN
- papier crayon enauditoire
- à l’aide d’unordinateur (par ex.WINCHECK auCAFEIM-FAPSE)
- Procédures anti-fraude
- Justifications- Avis des
examinés
Correction del’examen
- distribution- moyennes- marge de variation- écart-type- analyse des questions
- r.bis desquestions
- Alpha deCronbach del’épreuve
Feed-back auxexaminés
- FB « matières » et « processus
mentaux »- scores métacognitifs- score final- analyse des
questions
- précis ion- rapididité- disponibilité- Feedback sur
l’épreuve
Recueil des avis(étudiants etenseignants)
Evaluation des- objectifs- contenus- processus
mentaux- processus
d’enseignement- procédures
d’évaluation
Champs deslogiciels
GUESS et TIMI(via internet)
Champ dulogicielEVALENS
Champs deslogiciels
CERT et WINCHECK
- Individualisé- Sur demande- Avant le premier
examen- Feedback détaillé
Cycle de gestion qualité des tests standardisés(Gilles, J.-L. & Leclercq, D., 1996)
EEEVIBVE
TVI
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
46
[1.4] Une applicationUne application
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
47
1. Analyse de l ’enseignement
Points Enseignés, Catégories de Performances
2.Mise en forme de l ’épreuve
Modalités de Questionnement, assemblageet équilibrage (binômes & trinômes)
3.Construction des Questions
Indices de Qualité
4. Entraînement des étudiants
on line : TIMIen amphi : BVE ou Formuloms
5. Mise en œuvre de l ’épreuve
Matériel, Timing, procédures anti-fraude
6. Correction de l ’épreuveOn-line :DC, sévérité, réalisme, r.bis, ...
7. Feedback aux étudiants
On-line ou en amphi
Cycle gestion qualité S.M.A.R.T. des tests pédagogiquesCycle gestion qualité S.M.A.R.T. des tests pédagogiques
8. Régulation du processus
Recueil et analyse des avis des étudiants, propositions d ’améliorations
48
1. Analyse de l ’enseignement
Points Enseignés, Catégories de Performances
2.Mise en forme de l ’épreuve
Modalités de Questionnement, assemblageet équilibrage (binômes & trinômes)
3.Construction des Questions
Indices de Qualité
4. Entraînement des étudiants
on line : TIMIen amphi : BVE ou Formuloms
5. Mise en œuvre de l ’épreuve
Matériel, Timing, procédures anti-fraude
6. Correction de l ’épreuveOn-line :DC, sévérité, réalisme, r.bis, ...
7. Feedback aux étudiants
On-line ou en amphi
8. Régulation du processus
Recueil et analyse des avis des étudiants, propositions d ’améliorations
Cycle gestion qualité S.M.A.R.T. des tests pédagogiques
Gilles & Leclercq, 1996 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
49
1.1 Définir les Points Enseignés [PE]Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance
1.2 Définir les Catégories de Performance [CP]
Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ?
1.3 Relier les Points Enseignés et les Catégories de Performance [PE x CP]
Pour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant
1. Analyse de l ’enseignement
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
50
Isoler chaque module assez important pour justifierd ’une évaluation et en quantifier l ’importance
1.1 Définir les Points Enseignés
[PE]
1. Analyse de l ’enseignement
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
51
Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ?
1. Analyse de l ’enseignement 1.2 Définir les Catégories
de Performance [CP]
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
52
Relier les Points Enseignés et les Catégories de PerformancePour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant ? C ’est le premier binôme.
Les 6 catégories de performances choisies par l ’enseignant sont affichées
Pour ce PE (4.8) , l’enseignant choisit ces 2 catégories de performances. Donc il devra envisager des questions sur laconnaissance et la compréhension.
1. Analyse de l ’enseignement 1.3 [PE x CP]
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
53
1. Analyse de l ’enseignement
Points Enseignés, Catégories de Performances
2.Mise en forme de l ’épreuve
Modalités de Questionnement, assemblageet équilibrage (binômes & trinômes)
3.Construction des Questions
Indices de Qualité
4. Entraînement des étudiants
on line : TIMIen amphi : BVE ou Formuloms
5. Mise en œuvre de l ’épreuve
Matériel, Timing, procédures anti-fraude
6. Correction de l ’épreuveOn-line :DC, sévérité, réalisme, r.bis, ...
7. Feedback aux étudiants
On-line ou en amphi
8. Régulation du processus
Recueil et analyse des avis des étudiants, propositions d ’améliorations
Cycle gestion qualité S.M.A.R.T. des tests pédagogiques
Gilles & Leclercq, 1996 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
54
• Catégories de Conditions : « ...avec degrés de certitude », « ...à livre ouvert », ...
• Catégories de Questionnement : « VF », « QCM », « QROC », ...
Il existe des
…Qui vont permettre de définir des Modalités de Questionnement (MQ) exemple : « QCM avec degrés de certitude »
Les MQ peuvent être reliés aux Catégories de Performances et former des binômes : [CP x MQ]
exemple : « mesurer la compréhension à l’aide de QCM avec degrés de certitude »
Les binômes [PE x CP] de l’analyse de l’enseignement sont croisés avec les binômes [CP x MQ]
2.Mise en forme de l ’épreuve Création des trinômes
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 … ce qui donne une liste de trinômes : [PE x CP x MQ]
55
• Quelles modalités de questionnement utiliser ou ne jamais utiliser ?• Relier la Catégorie de Performance [CP] recherchée chez l ’étudiant avec la/les Modalité(s) de Questionnement [MQ] choisie(s).
[MQ][CP]
Exemple de binôme [CP x MQ] :
2.Mise en forme de l ’épreuve 2.1 [CP x MQ]
Création des Modalités de Questionnement [MQ] & assemblage des binômes [CP x MQ]
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
56
2.Mise en forme de l ’épreuve Répartition des CP par MQ
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
57
2.Mise en forme de l ’épreuve Importance des PE
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
58
1. Analyse de l ’enseignement
Points Enseignés, Catégories de Performances
2.Mise en forme de l ’épreuve
Modalités de Questionnement, assemblageet équilibrage (binômes & trinômes)
3.Construction des Questions
Indices de Qualité
4. Entraînement des étudiants
on line : TIMIen amphi : BVE ou Formuloms
5. Mise en œuvre de l ’épreuve
Matériel, Timing, procédures anti-fraude
6. Correction de l ’épreuveOn-line :DC, sévérité, réalisme, r.bis, ...
7. Feedback aux étudiants
On-line ou en amphi
8. Régulation du processus
Recueil et analyse des avis des étudiants, propositions d ’améliorations
Cycle gestion qualité S.M.A.R.T. des tests pédagogiques
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Gilles & Leclercq, 1996
59
1) conseils méthodologiques2) choix parmi les références des Questions
PE : 1.6.3.CP : analyseMQ : QCM SGI DC
2,8
cm
3,9 cm
0,6
cm
1,5 cm
Cette échographie de l ’ovaire gauche d ’une vache pie noire de 6 ans, a été réalisée une semaine après l ’oestrus.Votre diagnostic :
1. Un follicule de de Graaf2. Un kyste folliculaire3. Un Corps Jaune4. Un Corps Jaune Cavitaire5. Un artefact
3.Construction des Questions
Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000
SMART a créé une liste de trinômes à retrouver dans les questions qui
composeront cette évaluation. À l ’enseignant de rédiger ou choisir les questions qui correspondent à ces trinômes.
RC : 6
60
http://www.smart.ulg.ac.be/formations/gqtp/documents/smart_oga_dakar.pdf
Suite à lire dans l’article accessible sur le serveur web du SMART :
[1.4] Une applicationUne application
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02
61
FIN
Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02