processus de validation dun test diagnostique du français colloque de laqpc 2012 roger de...
TRANSCRIPT
Processus de validation d’un test diagnostique du français
Colloque de l’AQPC 2012Roger de Ladurantaye, Francis Djibo
conseillers pédagogiques au Cégep de Rivière-du-Loup
Collaboration entre deux collèges
Les cégeps de Victoriaville et de Rivière-du-Loup collaborent à la production et à la validation d’un test diagnostique du français écrit.
• Cégep de Victoriaville, en fournissant la première version du test à valider.
• Cégep de Rivière-du-Loup, en validant cette première version et en produisant deux autres versions aussi validées.
• Conjointement, les deux cégeps invitent les cégeps du réseau des collèges à collaborer à ce projet.
Sommaire
1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. invitation
Sommaire
1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. Invitation
Genèse de la réflexion sur la maîtrise du français écrit
Les tableaux de bord du Cégep RDL indiquent des taux d’échecs élevés dans les premiers cours de français
Ils indiquent aussi un abandon des cours de français par certains étudiants Ce constat nous a conduits à :
• caractériser ces étudiants ;• développer une stratégie intégrée d’actions favorisant la maîtrise du français écrit :
o Le cours propre au programme en français devenant le premier cours de la séquence
o Un cours propre destiné spécifiquement aux étudiants ayant une MGS < 70o Un Centre d’entraînement en français (atelier 416)o Le dépistage des fautes récurrentes par un test diagnostiqueo Des stratégies d’autocorrection et de révision communes au département de
françaiso (…)
Contexte : la situation au cégep de Rivière-du-Loup
Contexte : recherche d’un test diagnostique
Objectifs poursuivis : • cibler les erreurs récurrentes de la langue écrite (catégories de fautes) • intervenir prioritairement sur ces difficultés récurrentes • uniformiser les tests des enseignants du département
Le test du Cégep de Victoriaville : entente entre nos deux collèges Mise en ligne du test du Cégep de Victoriaville au mois d’août 2011
• 100 questions du Cégep de Victoriaville• 11 catégories
Sommaire
1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. invitation
Les outils de validation du test Le logiciel : R (gratuit, malléable, documenté) La validation du construit
• La théorie classiqueo fiabilité de l’échelle de mesure o La dimensionnalité du test et des catégories (sous-dimensions)
• Trois paramètres de la TRIo La capacité discriminative de l’item (questions)o La difficulté de l’itemo Le facteur «pseudo-chance» de l’item
La validation du contenu• Rédaction de nouvelles questions : enseignants• Affectation des items aux catégories : enseignants• Analyse des choix de réponse par item : linguiste
La validité prédictive• La relation à l’ÉUF
1. Choisir un ensemble de questions qui mesurent bien une habileté.
2. Choisir les questions selon les paramètres TRI3. Choisir les questions qui échappent à certains facteurs
(variables démographiques, hasard).4. Créer des banques de questions. 5. Créer des versions équivalentes d’un même test.
Modèle simple (Rasch) Effort de limiter la probabilité de trouver la bonne réponse à un item à l’habileté de la personne et au niveau de difficulté de l’item.
Objectifs de la validation
Les outils de validation du test – concept TRI
Sommaire
1. Contexte2. Les outils de la validation3. Première validation du construit (1e version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. Invitation
Première validation : théorie classique (1ère version- Automne 2011)
CATÉGORIESLittéra. Imagin.n = 29
Com. orale et écrite FJA
n= 51
Com. oraleet écrite FJD
n = 90
CEF
n = 11
Coefficient Alpha N items
LES NOMS 5,48 6,24 5,36 5,36 (0,22) 10
LES DÉTERMINANTS 6,21 6,12 5,41 5,55 (0,13) 10
LES ADJECTIFS 5,52 5,24 4,58 4,09 (0,20) 10
LES PRONOMS 7,62 7,78 6,54 7 (0,38) 10
LA CONJUGAISON 6,45 6,65 5,62 6,09 (0,11) 10
L'ACCORD VERBE-SUJET 5,31 5,67 4,54 4,18 (0,29) 10
L'ACCORD DES P.P 7,79 8,37 7,22 8,27 (0,09) 12
LES HOMOPHONES 6,55 7 6,32 6,36 (0,02) 8
LA SYNTAXE 5,41 5,84 5,03 5,18 (0,31) 8
LA PONCTUATION 5,66 5,71 4,8 4,18 (0,39) 8
LES ANGLICISMES 2,97 3,14 2,87 3,27 (0,14) 4
Score total 64,83 67,63 58,23 59,55 (0,75) 100
Groupes forts Groupes faibles
Sommaire
1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. Invitation
Première validation de contenu – Automne 2011
À la suite des analyses statistiques, nous avons : • Analysé les questions les moins liées au construit : celles diminuant le
pourcentage de fiabilité de chaque catégorie• Retranché 33 questions sur les 100• Associé les questions du test d’origine à de nouvelles catégories :
o 9 catégories du « Codes de correction du français écrit et du style »o Un degré d’accord de 61 % pour 4 personnes associant les 67 questions
aux 9 catégories Écriture de 23 nouvelles questions pour un test de 90 questions : 67+23 Mise en ligne de ce nouveau questionnaire sur Moodle
Sommaire
1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. Invitation
Deuxième validation : théorie classique (2e version – Hiver 2012)
CATÉGORIESLittér. Qc103MQn = 45
Com. orale et écrite FJD
n = 42
CEF
n = 28Alpha
Standard. N items
CONJUGAISON 6,27 5,69 4,71 0,31 9GRAMMAIRE 11,8 10,64 10,61 0,32 17HOMOPHONE 6,09 5,6 5,39 0,33 7MAJUS.-MINUS 5,33 3,95 4,18 0,44 9ORTHOGRAPHE 10,07 7,26 7,57 0,64 12PART.-PASSÉ 9,27 6,86 6,18 0,77 13PONCTUATION 5,91 4,98 5,36 0,26 7STRUCT. DE PHRASE 6,02 5,43 4,71 0,34 9VOCABULAIRE 2,98 2,29 2,54 0,12 7
TOTAL 63,73 52,69 51,25 0,83 90
Groupe fort Groupes faibles
17
Révision des items selon la fiabilité de l’échelle de mesure
Conjugaison Alpha Question 1 0,34Question 2 0,28Question 3 0,21Question 4 0,35Question 5 0,34Question 6 0,29Question 7 0,26Question 8 0,33Question 9 0,29
Alpha total= 0,31
Règle
Révision de la question dont la suppression améliore la fiabilité de l’échelle de mesure
Deuxième validation : théorie classique (2e version – Hiver 2012)
18
Révision des items par l’analyse factorielle exploratoire
Révision des questions - 1, 4, 5 - 2,6
Contribution commune minimale acceptable :
> 0,30
Deuxième validation : théorie classique (2e version – Hiver 2012)
conjugaison
Sommaire
1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. invitation
Deuxième validation de contenu – hiver 2012
À la suite des résultats du test fait en février 2012
• Révision des questions : emploi usuel et respect des catégories
• Retrait de 40 questions et suppression de 4 catégories o Majuscule et minusculeo Ponctuationo Structure de phraseo Vocabulaire
Donc, un test de 50 questions
31 questions (62 %) dont le choix de réponse est modifié• Suppression de certains choix : participes passés, vocabulaire.
Sommaire
1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. Invitation
Rappel : la théorie de la réponse aux items Le logiciel : R (gratuit, malléable, documenté) La validation du construit
• La théorie classiqueo fiabilité de l’échelle de mesure o La dimensionnalité du test et des catégories (sous-dimensions)
• Trois paramètres de la TRIo La capacité discriminative de l’item (questions)o La difficulté de l’itemo Le facteur pseudo-chance de l’item
La validation du contenu• Rédaction de nouvelles questions : enseignants• Affectation des items aux catégories : enseignants• Analyse des choix de réponse par item : linguiste
La validité prédictive• La relation à l’ÉUF
Troisième validation Automne 2012
Question 7 : Si tu m’(…), il me fera plaisir de te parlera) appellesb) appelc) appelesd) appelee) appelle
Question 9 : Vous voulez (…) vos vacances en famille.a) passerb) passéesc) passezd) passése) passé
24
Troisième validation du construit (automne 2012)
La question 9 est peu discriminante
Paramètre 1
25
Troisième validation du construit (automne 2012)
La question 9 est la plus facile
Paramètre 2
26
Troisième validation du construit (automne 2012)
La question 9« hasard » la plus
élevé
Paramètre 3
Troisième validation du construit
Test du rapport de vraisemblance d’Andersen
+0,70
-0,20
Les garçons
Les filles
La question 66
Question 66 : Julie a (…) les vidanges.
a. sortieb. sortic. sortiesd. sortis
Fonctionnement différentiel (selon le sexe)
Troisième validation du construit
N° du répondant Chisq df p-value
Outfit MSQ
Infit MSQ
Outfit t
Infit t
29 131.59 89 0.002 1.462 1.099 2.11 1.02
32 174.50 89 0.000 1.939 1.067 4.03 0.73
52 112.22 89 0.049 1.247 1.217 1.62 2.66
53 112.19 89 0.049 1.247 1.004 2.15 0.09
59 118.00 89 0.022 1.311 1.058 2.66 0.90
60 72.76 89 0.894 0.808 0.909 -1.67 -1.35
61 138.84 89 0.001 1.543 1.259 4.65 3.88
66 118.06 89 0.021 1.312 1.248 1.68 2.64
77 127.49 89 0.005 1.417 1.125 2.84 1.63
93 143.16 89 0.000 1.591 1.098 2.72 1.04
105 119.70 89 0.017 1.330 1.048 3.04 0.79
Répondants inappropriés
- leurs scores ne correspondent pas à leur habileté
La qualité de l’échantillon de calibration
Sommaire
1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. Invitation
Améliorations à venir
Échantillonnage • Augmenter l’échantillon pour le modèle à trois
paramètres• Purifier l’échantillon de calibration
Items• Ajouter continuellement de nouveaux items• Réviser les items qui ne sont pas ajustés au modèle• Réviser les items dysfonctionnels
Test• Établir un score de réussite par catégorie• Proposer plusieurs versions équivalentes du test• Identifier les réponses inappropriées• Établir la valeur prédictive du test par rapport à l’EUF
Plateforme• Afficher les scores par catégories
Cas d’amélioration : affichage des scores par catégorie
Cas d’amélioration : affichage des scores par catégorie
sommaire
1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. invitation
Invitation aux collèges
Le modèle de Raschune centaine d’étudiants
Le modèle à deux paramètresun ratio de 1 (item) sur 10 (sujets) : 1000 étudiants et plus
Proposition de collaboration
Utiliser le même test diagnostique en ligne sur Moodle L’utiliser en prétest, post-test Indiquer le cours porteur du test Communiquer les résultats des tests :
• MGS des étudiants• Le sexe : M ou F• Résultats aux tests dans un fichier Excel
Produire 25 nouvelles questions par année