Tests de concordance de scripts
Réunion du groupe TICE de la CGE PdL 1 juin 2010
Morgan MagninMCF Centrale Nantes
[email protected]://twitter.com/morgan_it/
http://eat-tice.ec-nantes.fr
Contexte
● Objectif : assurer une meilleure évaluation du savoir-faire en informatique
● Projet UNIT :– Centrale Nantes
– les Ecoles des Mines de Nantes, d'Alès et de Douai,
– l'INSA de Rouen,
– l'Université de Bordeaux 2
Les TCS (1)
● Tests de concordance de script
● Instrument d'évaluation du raisonnement en contexte d'incertitude
● Complémentaires des procédures d'évaluation « traditionnelles »
● Issus du secteur médical – Université de Montréal
Les TCS (3)
● Score de l’étudiant proportionnel au nombre d’experts ayant choisi la même réponse
● Évalutoile : http://www.evalutoile.u-bordeaux2.fr/
TCS en informatique (1)● Scénario : Christian et Anne-Céline réservent tous deux une place dans
le train Angers-Nantes de 19h00 le 1er juin 2010. Lors de leur arrivée à la gare, ils se retrouvent avec la même place dans le même wagon.
● Hypothèse / Option : Vous supposez que le logiciel de réservation comporte un bug au niveau de la vérification d’attribution des places.
● Nouvelle donnée : Le problème ne se produit qu’une fois par an.
● Quel est l’effet de cette nouvelle donnée sur votre hypothèse ?
□ Rend l'hypothèse beaucoup moins probable
□ Rend l'hypothèse moins probable
□ N'a aucun effet sur l'hypothèse
□ Rend l'hypothèse plus probable
□ Rend l'hypothèse beaucoup plus probable
Proposition de Guillaume Moreau(MCF Centrale Nantes)
Compétence ciblée : identifier le périmètre d'origine d'un bug dans un système d'information
TCS en informatique (2)● Scénario : Christian et Anne-Céline réservent tous deux une place dans
le train Angers-Nantes de 19h00 le 1er juin 2010. Lors de leur arrivée à la gare, ils se retrouvent avec la même place dans le même wagon.
● Hypothèse / Option : Vous supposez que le logiciel de réservation comporte un bug au niveau de la vérification d’attribution des places.
● Nouvelle donnée : Le problème ne se produit qu’une fois par an.
● Quel est l’effet de cette nouvelle donnée sur votre hypothèse ?
□ Rend l'hypothèse beaucoup moins probable
□ Rend l'hypothèse moins probable
□ N'a aucun effet sur l'hypothèse
□ Rend l'hypothèse plus probable
□ Rend l'hypothèse beaucoup plus probable
Experts Étudiants
0% 19%
0% 19%
55% 27%
22% 23%
22% 11%
Cours impactés à Centrale Nantes
● EI1 : – Systèmes d'information et bases de données
– Algorithmique et programmation
● EI2 : – Méthodes logicielles (Java, structures de données)
● EI3 Info : – Systèmes, réseaux et technologies de l'information
– Programmation objet
Bilan intermédiaire du projet à Centrale Nantes
● 64 vignettes créées● Première expérimentation sur l'examen de
« Systèmes d'information »– 26 juin 2009
– 108 étudiants
– Évaluation d'après un panel de 9 experts
– Justification des choix demandée aux étudiants
● Nouvelle expérimentation en juin 2010, avant élargissement
Conclusions partielles
● Évaluation du raisonnement et du savoir-faire– Pertinent
– Efficace
● Particulièrement adapté pour : – Diagnostic
– Conception
● Efforts sur l'écriture des vignettes : objectivité
Plan de mise en oeuvre de TCS
1.Acquisition du savoir-faire en termes de TCS
2.Établissement du référentiel de compétences
3.Conception de questions
4.Saisie des questions
5.Recueil de l’expertise
6.Expérimentations
7.Retour éventuel sur la rédaction de certaines questions → reprendre en 4
Recommandations autour des TCS (1)
● Convaincre les enseignants de la pertinence des TCS pour évaluer des compétences
● Situer la complémentarité des TCS par rapport aux :– QCM
– Exercices "classiques"
● Envisager une rédaction collective des premières vignettes
● Pour une utilisation en évaluation : coupler les TCS à un champ "justification"
● Élargir le panel d'experts en dehors de l'établissement
● Un outil utile pour l'évaluation des compétences du C2i(2mi)
Recommandations autour des TCS (2)
● En TD/TP : ● Confronter l'étudiant à des situations réalistes● Identifier les failles dans le raisonnement de
l'étudiant
● En auto-évaluation : ● Vérification de l'acquisition de compétences
● En examen : ● Validation de compétences « fondamentales »
Utilisation en pratique
● Première extension des TCS en dehors du secteur médical
● Dispositif adopté par l'équipe pédagogique pour l'évaluation de compétences
● Savoir-faire en termes d'écriture de vignettes
Bilan
● Poursuite de l'écriture de TCS et généralisation● Confrontation de l'expérience avec les pratiques du
secteur médical● Extension au niveau M● Application dans d'autres domaines scientifiques :
● Diagnostic ● Problèmes ouverts
Perspectives
Quelques références bibliographiques
● Blog EAT-TICE Centrale Nantes :
http://eat-tice.ec-nantes.fr ● Site de référence sur les TCS en médecine :
http://www.cme.umontreal.ca/tcs/ ● Les motivations des TCS en informatique :
http://tinyurl.com/tcs-unit ● Conférence de Bernard Charlin :
– Canal U : http://tinyurl.com/bcharlin-tcs
– Supports : http://tinyurl.com/bcharlin-slides
