Avant-propos

ExperQuiz offre une solution complète et efficace dédiée à la mesureet à la gestion des connaissances en entreprise. Cette plateformeweb permet l’élaboration simple et rapide de questionnaires à basede QCM et leur déploiement en présentiel ou à distance. Elles’adresse à toute entreprise soucieuse de capitaliser, partager etfaire progresser les connaissances, ainsi qu’aux organismes deformation et aux établissements d’enseignement.

ExperQuiz couvre tous les besoins de l’entreprise :

● au département formation pour enrichir les formationsinternes,

● au support et à la qualité pour accompagner et certifier lescollaborateurs,

● dans l’acquisition de connaissances techniquesindispensables,

● aux ressources humaines pour le recrutement, la mobilitéinterne, les bilans de compétences,

● à la fonction commerciale, par exemple pour faciliterl’acquisition de connaissances des produits et techniques oud’argumentaires.

Notre vision est simple : nous pensons que l'expertise et lamotivation des femmes et des hommes sont les biens les plusprécieux des entreprises et qu’elles auront beaucoup à gagner àdéployer ce type d'outil de manière la plus large possible. Pour cela,nous voulons leur offrir le meilleur outil d'évaluation qui soit, à tous

1

égards, un outil qui permette de s'adapter aux changements, dans lerespect de l'humain.

Le déploiement de la solution ExperQuiz au service de nos clients aconsolidé une solide expertise des problématiques d'évaluation etnous a permis aussi de recenser une grande diversité de casd'usage.

C'est un peu de cette expertise que nous partageons ici avec vous.

Qu'il s'agisse de recrutement, d'accompagnement de la formation,de gestion des connaissances et de capitalisation, de la vérificationdes savoirs intégrée à une démarche d'assurance qualité, du suivides objectifs qualitatifs, d'évaluation ou de certification... dans demultiples domaines, les outils d'évaluation seront facteursd'économies, de maîtrise des risques, de qualité, mais aussi demotivation et d'adhésion.

Élaborer un QCM de qualité, fiable, pertinent, performant, est unexercice délicat qui obéit à la fois à des règles strictes et à demultiples bonnes pratiques. Il en est de même des dispositifs decontribution et d'évaluation et des outils de passage des tests. Nouspartageons ici avec vous quelques-unes de ces bonnes pratiques.

En aval des tests, il s'agit d'exploiter les résultats et de savoir quellesconclusions en tirer. Nous verrons que les formules statistiques quis'y rapportent sont déjà classiques et que leur application n'est pasdifficile. Si l'analyse des résultats relatifs aux utilisateurs est lepremier objectif, l'analyse de la qualité des questions et des tests, deleur fiabilité et de leur marge d'erreur, est absolument nécessaire.

Nous terminerons ce petit ouvrage en vous présentant lesprincipales fonctionnalités d'ExperQuiz.

Nous vous souhaitons une bonne lecture et serons heureuxd'accompagner votre entreprise dans son déploiement d'évaluations.

2

Table des matières

Avant-propos ..................................................................... 1

1 Enjeux de l'évaluation ................................................... 7

2 Évaluation et pédagogie ............................................... 9

2.1 Fondements pédagogiques .......................................... 92.1.1 La taxonomie des objectifs pédagogiques ..................... 9de Bloom .................................................................................. 92.1.2 Le modèle behavioriste ................................................ 102.1.3 Le modèle constructiviste ............................................. 112.1.4 Le modèle socioconstructiviste de Vygotsky ................ 122.1.5 Cognitivisme et travaux en neuro-éducation ................ 12

2.2 La mémoire ................................................................ 14

2.3 Conseils pour un bon outil de test .............................. 16

3 Usages de l'évaluation en entreprise ......................... 17

3.1 Évaluer ....................................................................... 17

3.2 Dédramatiser l'évaluation ........................................... 18

3.3 Usages de l'évaluation pour soi .................................. 19

3.4 L'évaluation, outil d'apprentissage .............................. 20

3.5 Valider des connaissances objectives ........................ 223.5.1 Des savoirs objectifs essentiels ................................... 223.5.2 Trouver la réponse sur le web ...................................... 22

3.6 Des tests pour améliorer une formation ...................... 233.6.1 En amont de la formation : test diagnostic ................... 243.6.2 Pendant la formation : dynamique et remédiation ........ 243.6.3 En aval de la formation : mesure de progrès et de qualité .................................................................................... 253.6.4 Participation à l'élaboration des tests ........................... 25

3.7 Les savoirs périphériques ou spécifiques ................... 27

3

3.8 L'évaluation comme mesure de progrès ..................... 28

3.9 Outil de capitalisation ................................................. 29

3.10 Outil de communication ............................................ 303.10.1 Communiquer en interne ............................................ 303.10.2 Communiquer en externe ........................................... 30

3.11 Outil de sélection en recrutement ............................. 31

3.12 La démarche d'assurance qualité ............................. 323.12.1 Vérifier les conditions du succès, une obligation ........ 323.12.2 L'entreprise peut avoir à démontrer qu'elle a vérifié ... 333.12.3 L'évaluation dans la démarche qualité ....................... 343.12.4 Quelques points de droit ............................................ 34

4 Bonnes pratiques d'élaboration de QCM .................... 37

4.1 Le processus d'élaboration des questions .................. 374.1.1 Structuration de la thématique ..................................... 374.1.2 Le nombre de questions ............................................... 384.1.3 Gérer les tests dans la durée ....................................... 404.1.4 Des tests incluant explications et révisions .................. 414.1.5 Ce qui est vraiment à connaître ................................... 42

4.2 Types de questions et bonnes pratiques .................... 434.2.1 Question binaire (de type Vrai/Faux) ............................ 434.2.2 Question à Choix Multiples .......................................... 45 et bonnes pratiques .............................................................. 454.2.3 Question avec saisie de texte ...................................... 484.2.4 Texte à trous ................................................................. 504.2.5 Association .................................................................... 514.2.4 Ordonnancement ......................................................... 524.2.5 Compréhension d’une image ou d’un média ................ 544.2.6 Question ouverte et réponse libre ............................... 554.2.7 Synthèse de bonnes pratiques pour rédiger un QCM . . 56

4.3 Processus de passage ............................................... 574.3.1 Sélection des questions ............................................... 574.3.2 Temps de réponse ........................................................ 584.3.3 Des tests en libre accès ............................................... 59

5 Utilisation statistique des résultats ............................. 61

5.1 Résultats des utilisateurs ........................................... 61

4

5.1.1 Score brut, pondération ................................................ 615.1.2 Moyenne, écart-type .................................................... 625.1.3 Écart-type et distribution .............................................. 655.1.4 Scores standardisés ..................................................... 675.1.5 Retraiter les scores ...................................................... 68

5.2 Statistiques portant sur les questions ......................... 705.2.1 Appréciation des utilisateurs ........................................ 705.2.2 Utilisation des statistiques ............................................ 715.2.3 Taux de succès des questions ..................................... 715.2.4 Comparaison des quartiles supérieurs et inférieurs ..... 735.2.5 Corrélation des résultats .............................................. 745.2.6 Un exemple .................................................................. 785.2.7 Erreur-type ................................................................... 845.2.8 Étude des réponses choisies ....................................... 85

5.3 Synthèse .................................................................... 86

6 ExperQuiz ................................................................... 87

6.1 Base de questions ...................................................... 896.1.1 Création d’une base ..................................................... 896.1.2 Les questions dans la base .......................................... 906.1.3 Création ergonomique d’une question ......................... 916.1.4 Contribution facile et rapide ......................................... 926.1.5 Import de questions ...................................................... 93

6.2 Questionnaires ........................................................... 936.2.1 Élaboration ................................................................... 936.2.2 Visibilité ........................................................................ 936.2.3 Réglages ...................................................................... 946.2.4 Invitation ....................................................................... 94

6.3 Passage d’un questionnaire ....................................... 956.3.1 Réglages spécifiques ................................................... 966.3.2 Présentation des explications et rappels de cours ....... 976.3.3 Conditions de certification ............................................ 976.3.4 Modalités spécifiques de réponse ................................ 976.3.5 Retours des utilisateurs ................................................ 986.3.6 Bilan du test ................................................................. 98

6.4 Évaluer et certifier un groupe ..................................... 986.4.1 En présentiel ou à distance .......................................... 986.4.2 Résultats confidentiels ................................................. 99

5

6.5 Gérer les utilisateurs ................................................ 1026.5.1 Création des utilisateurs ............................................. 1036.5.2 Gestion des groupes .................................................. 1046.5.3 Permissions ............................................................... 1056.5.4 Différents types d’utilisateurs ..................................... 1066.5.5 Autres fonctions de gestion des utilisateurs ............... 106

6.6 Organiser des formations ......................................... 1076.6.1 Préparation et planification d’une formation ............... 1076.6.2 Questionnaires et documents en accès libre ............. 1086.6.3 Les outils du participant ............................................. 1086.6.4 Les outils du formateur ............................................... 1086.6.5 Le déroulé d’une évaluation ....................................... 1096.6.6 En présentiel ou à distance ........................................ 109

6.7 Caractéristiques techniques ..................................... 1106.7.1 Application en mode SaaS ......................................... 1106.7.2 Application Cloud ....................................................... 1106.7.3 Application sécurisée ................................................. 1106.7.4 APIs pour des échanges automatisés avec les SIs .... 111

Nos remerciements ....................................................... 111

6

1 Enjeux de l'évaluation

Notre parcours personnel et professionnel est parseméd'évaluations.

Depuis l'école primaire, nous sommes conditionnés à vivre lecontrôle de connaissances, ou "interrogation écrite", avec unecertaine angoisse. De son résultat allait dépendre tant de choses :la joie ou la colère des parents, le passage en 6e, l'admission dansune filière supérieure, les perspectives professionnelles. Il est doncbien naturel que l'idée d'un contrôle de connaissances nous donneencore quelque anxiété.

Une fois entré dans la vie active et passée une dernière évaluationde recrutement, on se pense débarrassé de cette épreuve ducontrôle. On sera enfin jugé sur ce que l'on fait réellement, non surce que l'on est censé savoir. L'idée même d'un contrôle deconnaissances peut nous sembler un retour dans le passé, unexercice très scolaire, voire une expérience infantilisante.

Pourtant, nous savons bien que notre métier exige desconnaissances objectives et nous savons aussi que nous ne lespossédons pas toutes. Il y a beaucoup de raisons à cela : nosmétiers se transforment rapidement, nous changeons nous-mêmesde poste, les technologies évoluent…

Si nous avions pu, à un moment, connaître tout ce dont nous avionsbesoin pour être compétents dans notre métier, nous savons que cene sera pas le cas toujours, du moins pas sans efforts, pas sansvérifications, donc évaluations.

7

La conduite individuelle ou collective d'évaluations a desconséquences sur le parcours d'une personne. Sensibles à ladéontologie de l'évaluation, nous pensons donc qu'il faut comprendreles enjeux du couple évaluation/apprentissage, définir les bonnespratiques pour des évaluations fiables, lisibles et constructives etcaractériser les outils qui permettent leur déploiement en entreprise.

8

2 Évaluation et pédagogie

2.1 Fondements pédagogiquesBeaucoup de travaux ont analysé les modèles pédagogiquesperformants. Voyons comment leur connaissance peut être utiledans la problématique d'évaluation objective en entreprise.

2.1.1 La taxonomie des objectifs pédagogiques de Bloom

Dans un ouvrage qui fait référence1, Bloom explique les différentesfaçons de savoir quelque chose, en soulignant que cetteconnaissance requiert différents niveaux d'abstraction mentale.

Lorsque nous abordons un sujet nouveau, notre processus cognitifcomporte les phases suivantes:

(1) recevoir la connaissance (niveau le plus bas),

(2) lui donner du sens (compréhension),

(3) l'utiliser (application)

(4) construire une représentation mentale du contexte.

Bloom insiste sur la phase de synthèse qui "consiste à disposer et àcombiner les fragments, parties, éléments, etc., de façon à former unplan, ou structure, que l’on ne distinguait pas clairementauparavant".

1Bloom, B. S.; Engelhart, M. D.; Furst, E. J.; Hill, W. H.; Krathwohl, D. R. (1956). Taxonomy ofEducational Objectives: The Classification of Educational Goals. Handbook I: Cognitive Domain.

New York: David McKay Company

9

Ainsi, en structurant les questions en fonction de ces différentesétapes (connaissance, compréhension, utilisation...), les enseignantspeuvent plus facilement déterminer où se situent les faiblesses deleurs élèves.

Dans la construction d'une évaluation, il faut diversifier les typesde questions en sollicitant les différentes tâches mentales(analyse, synthèse, déduction, évaluation) qui permettent deconstruire une connaissance solide.

2.1.2 Le modèle behavioriste

Le modèle behavioriste s'appuie sur un modèle d'apprentissage"stimulation-réponse" et a produit les bases d'un enseignementprogrammé. Il est issu de la rencontre des travaux sur lecomportement ("behavior") de Pavlov en psychologie animale(1890) et de ceux de Skinner en psychologie expérimentale (1978).

Le psychologue Skinner est considéré comme le père del'enseignement programmé (ancêtre de l'enseignement assisté parordinateur). Il propose une conception linéaire de l'enseignementprogrammé qui a été ensuite ramifiée par Crowder. L'approchelinéaire de Skinner s'appuie sur un découpage de l'enseignement enobjectifs progressifs à atteindre. Un apprentissage suit le schéma :stimulus, réponse, récompense si succès, renforcement. L'erreur estsans appel et très pénalisante voire traumatisante.

L'approche ramifiée de Crowder repose sur un apprentissageconstruit en arborescence. Selon qu'il répond a, b ou c à unequestion, l'élève poursuivra par une activité différente. L'erreur estpossible et même valorisée car elle permet de détecter une lacune.Une aide est proposée en fonction de la réponse choisie.

Notons que Skinner construisait des questions à choix multiples,mais craignait que l'élève, en faisant une erreur, ne crée uneassociation question-réponse incorrecte. Il préférait donc que l'élèveécrive sa réponse et la compare à la réponse correcte.

C'est la naissance de la pédagogie par objectifs. L'erreur estconsidérée comme une lacune demandant du renforcement. La

10

limite de ce modèle est qu’il ne présente pas de volet acquisition deconnaissances.

Trois principes, issus de cet enseignement partagé, applicables àl'évaluation en entreprise :

● Décomposition des compétences complexes en petitsobjectifs

● Remédiation en cas d'erreur

● Évaluation fréquente des petits objectifs car, pourprovoquer un apprentissage, l’entraînement régulierrenforce les connaissances

2.1.3 Le modèle constructiviste

Contrairement au modèle behavioriste, le modèle constructiviste2

considère positivement l'erreur. Il est issu des travaux de Piaget, quipense que la connaissance se construit. L'image des plaquestectoniques qui bougent sur la surface de la Terre est une métaphoreutilisée pour illustrer l'approche de Piaget. L'apprentissage doit semettre en place dans un environnement actif, où les activitésconduisent à la réflexion et bousculent les représentations mentales.

La connaissance se construit et l'apprentissage demande uneactivité de l'apprenant. Le rôle de l'enseignant est de créer dessituations pédagogiques où l'élève est actif et se pose des questions.Quel que soit le cadre mis en place par l'enseignant (étude de cas,résolution de problèmes en groupe, jeu de questionnements entrel'élève et l'enseignant...), l'élève construit son savoir dans l'activité.

L'exercice qui consiste à créer des questions sur un sujet est trèsformateur et constitue un excellent moyen d'apprendre et de sepréparer à une évaluation.

2Piaget, La naissance de l'intelligence chez l'enfant, Paris, Delachaux et Niestlé, 1936 ; Laconstruction du réel chez l'enfant, Paris, Delachaux et Niestlé, 1937

11

2.1.4 Le modèle socioconstructiviste de Vygotsky

À la même époque que Piaget, mais sans le savoir dans un premiertemps, un psychologue russe, Vygotsky, va s’intéresser auxinteractions sociales des processus cognitifs permettantl’apprentissage. Son modèle repose également sur le fait quel'apprentissage passe par l'action mais Vygotsky ajoute unedimension nouvelle, en affirmant que l'on apprend mieux au contactdes autres, que l'apprentissage doit être collaboratif. Ce moded'apprentissage à plusieurs présente l'avantage de conduire l'élève àexpliquer ses stratégies ce qui ancrera plus encore sa connaissance.

La connaissance se construit encore mieux en partageant et enéchangeant sur ses stratégies. En entreprise, où la rencontre n'estpas toujours facile à organiser, la contribution à une base dequestions est une bonne option pour communiquer, partager saconnaissance et apprendre à partir des autres.

CONTRIBUER : mettre sa connaissance en relation avec celle desautres.

2.1.5 Cognitivisme et travaux en neuro-éducation

Avec l’émergence de l’informatique s’est développé le cognitivismequi établit un parallèle entre le couple esprit/cerveau et le couplematériel/logiciel. La mémoire traite et recueille les nouvellesinformations et ensuite les restitue selon différentes stratégies.

Beaucoup plus récemment, les recherches en neuro-éducation ontdonné quelques pistes faciles à mettre en œuvre pour améliorerl'apprentissage. Parmi ces conseils, on retiendra qu'il faut :

● structurer la connaissance, car la mémoire à court terme(MCT) ne peut retenir, en moyenne, que 7 items;

● répéter pour ancrer dans la mémoire. Un rappel 24 heuresaprès l'apprentissage initial permet d'intégrer laconnaissance pour une semaine. Si le rappel a lieu unesemaine plus tard, la connaissance reste pendant un mois.Enfin, un rappel un mois plus tard durera 6 mois;

12

● ajouter du concret sur de l’abstrait permet de faire plusfacilement le lien entre la théorie et la pratique. Par exemple,"Voici ton goûter, donnes-en la moitié à ton frère" sera plusefficace que la phrase "Quand on divise par deux, on obtientla moitié";

● varier les approches et les supports. Il existe différenteshabitudes d'apprentissage en fonction des cultures et despays. Varier les techniques et les représentations permet des'adapter et d'aborder les différentes facettes d'unecompétence;

● rassurer. Les trois couches du cerveau (reptilien,mammalien et cortex) fonctionnent avec des prioritésdécroissantes. Difficile d’apprendre si la faim ou la peur noustenaillent, le cortex est débranché. Il est donc impératifd'instaurer un climat de confiance pour que chacun donne lemeilleur de lui-même;

● découper le temps. Il est préférable de faire 15 minutes detest et de passer à autre chose. Il est également profitablede faire une synthèse de la séance en fin de test.

13

Quelques principes à appliquer pour construire une évaluation :

● structurer la connaissance,

● construire des questions similaires pour permettre derépéter,

● apporter des exemples concrets,

● varier les supports,

● faire des tests de courte durée,

● présenter une synthèse en fin de test,

● laisser un temps confortable pour répondre afin d'éviter lestress.

2.2 La mémoire La mémoire est évidemment indispensable à tout apprentissage.C'est un sujet qui a fait l'objet de recherches depuis toujours, lamémoire étant plus essentielle encore avant l'écriture et l'imprimerie.Dans l'Antiquité, Platon est un expert de la mémoire. Pour lui, on neconnaît pas, on re-connaît ; on ne se souvient pas, on se “re-mémore”. Il fait la différence entre la mémoire naturelle (conservationdu passé) et la mémoire artificielle qui est un rappel volontaire,renforcé par l'exercice. Il compare la mémoire à une volière et, pourlui, posséder la science c'est avoir l'oiseau dans sa volière, avoir lascience, c'est le tenir dans sa main. Quand on est un jeune enfant, lavolière est presque vide, l'apprentissage la remplit tout au long de lavie et, pour saisir l’oiseau rapidement, il faut pratiquer. Travailler samémoire, c'est ouvrir régulièrement la volière pour repérer l'oiseau etle tenir dans sa main.

Les recherches dans le domaine du fonctionnement de la mémoire,mettent en évidence trois phases dans l’acte de mémorisation :

14

l’encodage (volontaire ou involontaire)

Il consiste à acquérir de nouvelles informations sur le concept àmémoriser. Imaginons que nous devons apprendre le mot"éléphant". Nous allons l'associer à la catégorie "animal", "gros",nous allons compléter ces informations en faisant appel à d'autresstratégies. Il vit en Afrique ou en Asie. Le mot a 3 syllabes("é","lé","phant"), au féminin on dit "éléphante" donc je mémorise le"t" muet... Plus on raffine le codage, plus l'apprentissage est efficace.

le stockage (consolidation et transformation)

Les informations issues de l'encodage doivent être stockées pourêtre accessibles. Le cerveau va répéter automatiquementl'information jusqu'à ce qu'elle soit ancrée dans la mémoire.

la restitution (directe et explicite ou indirecte et implicite)

Il s'agit de pouvoir récupérer l'information et, plus les stratégiesd'encodage ont été nombreuses, plus le rappel sera rapide.

On peut améliorer les performances de la mémoire en s'exerçant eten apprenant à mobiliser son attention et, bonne nouvelle, cettecapacité augmente avec l'âge.

Pour aider à mémoriser, on peut :

● réduire le codage (phrase mnémotechnique) en choisissantdes exemples marquants,

● enrichir les stimulus (image, son, rime…),

● favoriser l'attention par une attitude active : produire uneréponse est plus efficace qu'en choisir une,

● structurer l'information à mémoriser et l'illustrer,

● répéter ce qui est indispensable,

● mettre en place des jeux.

Quelques principes pour construire des questions ou passer des

15

tests :

● les questions doivent porter sur des savoirs essentiels etnon des détails,

● les questions doivent être variées et solliciter une action,

● multiplier les questions similaires pour créer la répétitionsans lassitude,

● introduire du jeu dans les tests.

2.3 Conseils pour un bon outil de test

Voici en quelques mots les principaux points à retenir des travaux derecherche pédagogiques cités :

● découper et structurer la connaissance pour mieux cibler lesquestions et assurer une bonne couverture du sujet,

● utiliser des supports variés pour enrichir la représentation enmémoire et solliciter les différentes mémoires (visuelle,auditive, émotionnelle…),

● veiller à ajouter des questions similaires sur une mêmenotion pour entraîner et réviser,

● illustrer par l'exemple pour favoriser la mémorisation,

● enrichir la base de questions pour éviter les réponsesréflexes sans réflexion,

● justifier ses erreurs à l'utilisateur pour favoriser le progrès,

● revoir les questions en cas d'erreur,

● rendre autonome l'utilisateur et le rassurer dans sonapprentissage,

● présenter à l'utilisateur le bilan de son test après l'avoirpassé,

● introduire le jeu permet de mieux apprendre.

16

3 Usages de l'évaluation en entreprise

3.1 ÉvaluerÉvaluer, c'est donner une valeur à une chose, la quantifier. C'estprendre la mesure. Mais si mesurer est une opération en généralobjective et précise, évaluer est a priori moins cartésien, moinsexact, éventuellement empreint de subjectivité.

Or, que ce soit dans un contexte éducatif ou professionnel,l'évaluation a en général des conséquences, favorables ou non. Sesinévitables imperfections pourraient conduire à des résultatsincorrects, donc injustes, amenant des décisions erronées, une pertede confiance et de motivation de l'intéressé.

C'est pourquoi l'évaluation doit être considérée, élaborée etconduite avec une extrême rigueur, une démarche scientifiqueet des outils adaptés. On n'éliminera pas toute forme d'imperfectionet de subjectivité, mais on pourra en évaluer statistiquement lesimpacts et les rendre pratiquement négligeables.

Toute démarche d'évaluation peut viser soit le contrôle, soitl'accompagnement. Qu'il s'agisse de définir les besoins en formation,de valider les acquis d'un enseignement, ou de remédier à quelqueslacunes, l'évaluation est indissociable d'un processus deformation.

17

3.2 Dédramatiser l'évaluationPour l'entreprise, il faut parvenir à dédramatiser l'évaluation, afinqu'elle ne soit plus vécue comme retour en enfance, ni comme unflicage, encore moins comme un préalable à la sanction.

La meilleure manière d'y parvenir consiste à laisser les évaluationsen accès libre et anonyme (cf.§4.3.3). Au sein de l'entreprise,chacun peut ainsi mesurer le niveau de ses connaissances et lecomparer au niveau cible visé par l'entreprise. Il dispose ainsi d'uneanalyse précise des domaines à travailler. Il lui appartient alorsd'apprendre les points manquants, et il peut, autant qu'il le souhaite,revenir s'évaluer, et constater les progrès réalisés.

Dans cette perspective, l'entreprise peut, sur un ou plusieurs sujetsclés, suivre la démarche suivante :

● elle fait connaître l'existence du test en accès libre(typiquement sur un intranet, ou un service web). L'accèspeut être anonyme, ou tout du moins confidentiel. Elleindique le niveau cible que chacun doit pouvoir atteindre,ainsi que le délai visé;

● les collaborateurs passent leur propre évaluation, une ouplusieurs fois;

● une dernière fois, chaque collaborateur est invité à passerl'évaluation, cette fois-ci de manière identifiée. Ce peut êtreen conditions contrôlées, ou bien en faisant confiance àchacun pour ne pas tricher.

Pour que cette démarche, qui autorise de multiples tentatives, soitpossible et reste efficace, il faut disposer de bases de questionssuffisamment larges.

Pour conserver le caractère non dramatique de l'opération, ilconvient que, même en cas d'échec au passage final, il n'y aitaucune sanction à la clé. L’amour propre et le déplaisir de sonpropre échec est bien suffisant pour motiver chacun à se secouerpour ne pas le répéter. Il suffit donc que ceux qui n'ont pas atteint leniveau cible soient invités à repasser l'évaluation le mois suivant, etencore le mois d'après si besoin. À aucun moment il n'y a desanction. Mais bien sûr, si la connaissance mesurée était nécessaire

18

à l'exécution de telle mission, la conduite de tel projet ou l'obtentionde tel poste, la décision reste en attente.

L'entreprise se prive souvent des bénéfices de l'évaluation objectivepar crainte de la perception négative des collaborateurs.

Dédramatiser l'évaluation, la banaliser, c'est le moyen de lagénéraliser.

3.3 Usages de l'évaluation pour soiLe passage d'une évaluation peut être exigé et peut être aussi vécucomme un mauvais moment à passer. Mais on peut égalements'approprier la démarche d'évaluation et ses outils.

Pour celui qui se sent acteur de son acquisition deconnaissances, l'évaluation n'est pas un mal nécessaire, elleest une amie : elle dit le chemin parcouru et annonce les étapesencore à franchir.

A l'évidence, si l'évaluation révèle ce que l'on ne sait pas, ou pasassez, elle affirme aussi ce que l'on sait : elle nous met en confiance,nous rassure, nous permet d'en faire état, de communiquer et dedémontrer notre connaissance.

En offrant un diagnostic précis et détaillé, l'évaluation nous traceaussi un plan de travail pour aller plus loin. Elle identifie lesconnaissances qui nous manquent, celles qui méritent un réel effortd'apprentissage, mais aussi celles qui sont présentes, celles qui,bien qu'un peu enfouies, ont pu remonter à la surface.

Enfin, l'évaluation est aussi la mesure de sa progression, lavalidation d'un palier, et même la récompense des effortsaccomplis, c'est donc une source de motivation. De même qu'unathlète aurait beaucoup de mal à courir plus vite sans unchronomètre ou à sauter plus loin sans un mètre, notre progressiona besoin d'une mesure.

On peut distinguer deux contextes, deux démarches d'évaluationradicalement différents:

● l'évaluation pour un tiers, qui peut être une entreprise ouun établissement d'enseignement,

19

● l'évaluation pour soi-même, c'est-à-dire voulue et initiéepar soi et confidentielle.

Les deux démarches se complètent et peuvent s'articuler, et c'estselon nous le plus efficace.

● Dans une première phase, chacun est libre de s'évaluer pourlui-même et peut compléter son apprentissage puis repasserl'évaluation.

● Lorsque l'intéressé est confiant, c'est-à-dire lorsque lesrésultats atteints lui donnent confiance, il devient candidat àl'évaluation pour le tiers, en condition d'examen le caséchéant.

La phase d'évaluation pour soi et choisie est extrêmementbénéfique: elle est véritablement un outil au service de son propreapprentissage. Elle dédramatise totalement l'évaluation, y comprispour un tiers, qui n'est plus, au final qu'une pure formalité, dont onconnaît déjà le résultat et que l'on aborde donc en confiance. Biensûr, ce n'est que l'évaluation par et pour un tiers qui offrira unepreuve du niveau atteint, dont on pourra faire état, qui sera danscertains cas une véritable certification de son niveau.

3.4 L'évaluation, outil d'apprentissageLe test de type QCM ("question à choix multiples") dont nous verronsplus loin la diversité des déclinaisons, n'est pas qu'un outild'évaluation, c'est aussi un excellent outil d'apprentissage.

L’utilisation des QCM comme outil d’évaluation massif n’est pasnouvelle3. Il y a un siècle, au moment de la Première GuerreMondiale, lorsque les premiers migrants devaient être formés etéduqués, alors qu’il y avait pénurie d’enseignants, le professeurFrederick J. Kelly proposa le premier test de lecture silencieusechronométré. Efficacité et automatisation étaient les critères les plus

3 https://www.washingtonpost.com/opinions/standardized-tests-for-everyone-in-the-internet-age-thats-the-wrong-answer/2011/09/21/gIQA7SZwqK_story.html

20

appréciés des QCM. En 1926, il a été introduit aux États-Unis dansle SAT (Scholastic Aptitude Test, évaluation des connaissances desélèves).

Les QCM, après avoir été dénigrés par leur créateur même, sonttoujours utilisés et restent appréciés pour leur efficacité etl'objectivité de leur correction. Il faut connaître leur force et veiller àpallier leurs lacunes en rédigeant des questionnaires avec unegrande rigueur.

Dieudonné Leclercq, chercheur en sciences de l’éducation,décortique chaque terme de l'expression "question à choix multiples"et estime qu'un QCM permet de développer différents niveauxd'abstraction mentale4. "Solliciter l’apprenant par le biais d’un QCM,c’est en fait le mettre en position de dilemme, le confronter à desréponses auxquelles il n’aurait pas forcément pensé, afin d’étayer saréflexion. C’est par le biais de ce rapprochement que le QCM prend,selon nous, toute sa dimension didactique".

Comment utiliser le QCM pour en faire un véritable outild'apprentissage ? Lorsque l'individu est confronté à une question, ilmobilise sa mémoire pour obtenir les connaissances abordées.Après qu'il ait répondu, il est très pertinent de lui indiquerimmédiatement si sa réponse est juste ou non : il s'estmentalement investi dans le sujet, il souhaite ardemment savoir laréponse, c'est un moment privilégié à ne pas manquer. Soit ilrectifiera sa connaissance, soit il complétera et confortera sareprésentation.

Pour utiliser le QCM dans une démarche d'apprentissage, il fautdisposer de bases de questions plus larges afin de permettre derecommencer un exercice plusieurs fois, sans lassitude niautomatisme. Des questions peuvent être semblables, permettantde revoir une situation sous un angle légèrement différent. Lesquestions doivent aborder des points précis et concrets, lesspécialistes estiment qu'ils seront plus facilement assimilés que desgénéralités plus abstraites.

4 Dieudonné Leclercq - La question à choix multiples (QCM) : un outil d'hier ou de demain ?Cahiers Pédagogiques 1978.

21

Il faut également que les connaissances soient abordées sousdifférentes représentations et pour cela il existe une grande variétéde QCM -que nous présenterons dans le chapitre suivant-permettant de diversifier les approches et les supports, et ainsi derenforcer l'apprentissage.

3.5 Valider des connaissances objectives

3.5.1 Des savoirs objectifs essentiels

Évidemment, tous les savoirs et toutes les qualités ne peuvent seréduire à un ensemble de questions objectives. Ainsi le leadership,l'imagination, l'éloquence, la dextérité, etc. Personne ne suggéreraitdonc de ne juger les gens qu'au moyen de tests objectifs: ce seraitvain et stupide.

Et cependant, il y a dans tous les métiers une part de savoirsobjectifs, des choses qu'il faut connaître, absolument,exactement, sans ambiguïté. Dans certains cas, ce peut être unbesoin impératif, par exemple des consignes de sécurité, des textesde loi, etc. Dans d'autres cas, ce peut être moins critique etnéanmoins essentiel. Il n'y aura pas danger immédiat à ne pasconnaître tel ou tel point, mais plus on s'intégrera, plus son travailsera efficace et qualitatif.

On peut citer le cas d'un commercial qui connaîtra plus ou moinsbien les caractéristiques du produit qu'il vend, ou les références deson entreprise. Chacune de ces informations n'est pas critique, maison sait que mieux il connaîtra son sujet, plus il sera un interlocuteurde qualité pour ses clients.

3.5.2 Trouver la réponse sur le web

Il est devenu extrêmement facile de retrouver une information sur leweb, en quelques secondes. Peut-on dire que l'information objectivea perdu de son importance, de même que la capacité de calculmental est moins importante depuis que les calculatrices sontdisponibles ? Oui et non.

22

D'une part, le web regorge des savoirs qui sont à peu prèsuniversels, mais ne donne pas accès aux savoirs spécifiques del'entreprise.

D'autre part, même si l'on peut retrouver une information sur sonsmartphone en quelques secondes, cela ne signifie pas qu'il soitinutile de la connaître. Car on ne trouve sur le web que ce que l'on yrecherche. Et on ne fait une recherche que lorsque l'on imagine quel'information peut avoir une utilité. Or pour imaginer la notion mêmede cette utilité éventuelle, il faut déjà avoir une notion de cetteinformation. Si l'on a en tête une information approximative, alors onpourra aisément confirmer ou préciser cette information. Mais si l'onn'a aucune notion de l'information, on n'ira pas même lachercher.

Un second point est que ces informations déjà disponibles dansnotre mémoire forment une soupe dans laquelle puisent nosraisonnements, et même nos idées, selon un processus presqueautomatique et du moins difficilement contrôlable. S'il manque desingrédients dans cette soupe de savoirs, le raisonnement ne prendpas naissance, l'idée ne germe pas. Le processus n'est pas "J 'ai unebonne idée, il me faudrait juste vérifier tel ou tel point pour m'assurerqu'elle tient la route". La bonne idée ne vient simplement pas.

Un troisième cas de figure est celui de l'immédiateté, voire del'urgence. Lorsque l'atelier est en feu, il n'est plus temps deconsulter son smartphone pour connaître la marche à suivre.

Ainsi, il est clair que les savoirs objectifs gardent toute leurimportance, et Google sera utile pour confirmer ou préciser un pointde connaissance.

3.6 Des tests pour améliorer une formationUne loi récente a changé la donne de la formation professionnelle.Depuis janvier 2015, chaque salarié dispose d'un Compte Personnelde Formation (CPF) qui le suivra tout au long de sa carrière. C'est lafin du Droit Individuel à la Formation (DIF). La gestion des comptesn'est plus assurée par l’entreprise mais par la Caisse des Dépôts etConsignations. L’employeur n’a plus de droit de regard sur le compte

23

formation du salarié. Toutefois, l'employeur a la responsabilité deformer le salarié et d’envisager ses possibilités d’évolutionprofessionnelle et les formations qui peuvent y contribuer. Il y a uneréelle volonté de rendre le salarié acteur de son évolution.

L'évaluation dans ce cadre devient un outil plus précieux encore. Ellepeut intervenir à différents stades du processus de formation :

● évaluation diagnostique en début pour définir le besoin,

● évaluation formative qui accompagne l'apprentissage,

● évaluation sommative à la fin, qui permet de délivrer unecertification.

3.6.1 En amont de la formation : test diagnostic

En amont d'une formation, l'évaluation permet de mesurer lesacquis au préalable et de choisir ou même de construire uneformation qui soit ciblée sur les véritables besoins. L'évaluationporte sur des objectifs définis à partir d'une situation réelle.

Il est fréquent qu'un salarié termine une formation avec le sentimentqu'elle n'a pas répondu à ses attentes, qu'elle s'éternisait sur desnotions qu'il maîtrisait déjà et n'approfondissait pas suffisammentcertains points où il se sentait plus fragile.

De même un questionnaire général sur les notions que l'on sepropose d'aborder pendant une formation permet de préparer lesparticipants qui deviennent ainsi plus réceptifs.

Le cadre est posé, le participant sait ce qui l'attend, il est tout desuite attentif à la formation. C'est évidemment au bénéfice duparticipant comme du formateur et de l'employeur.

3.6.2 Pendant la formation : dynamique et remédiation

L'évaluation pendant la formation permet de mesurer la progressionde l'assimilation. Elle permet d'adapter le parcours de formationaux profils des participants et de mettre en place un étape deremédiation face aux problèmes rencontrés.

24

Une évaluation courte mais fréquente rythme le cours et permet des'assurer que l'attention des participants est maintenue, elleforce chacun à alterner un état d'écoute et un état d'action. C'est ladémarche retenue aujourd'hui par une majorité des MOOCs: sipossible pas plus de 15 minutes de cours sans coupure, et lameilleure des coupures est une courte évaluation, qui peut seréduire à 3 ou 4 questions. Dans cette logique, certains formateurss’adressent à l’un des participants et lui posent une questionoralement. Mais un outil permettant de poser quelques questions àtous les participants rend la technique bien plus efficace.

3.6.3 En aval de la formation : mesure de progrès et de qualité

Après une formation, un questionnaire d'évaluation permet enpremier lieu de mesurer les connaissances acquises, mais il donneaussi la mesure des apports de la formation, de son utilité, voireaussi des talents du formateur. On a dit parfois "Il n'y a pas demauvais élève, il n'y a que de mauvais professeurs". C'est excessif,bien sûr, mais il est clair que le professeur est évalué lui-même parl'évaluation de ses élèves. Les tests en aval mesurent le cheminparcouru, par chacun et par le groupe, et sont utiles, nécessairesmême, à l'entreprise comme au formateur.

3.6.4 Participation à l'élaboration des tests

On peut également dynamiser la formation en demandant auxpersonnes formées (étudiants, salariés), de participer activement àla rédaction de questions et de leurs réponses.

Les bénéfices pour le participant sont les suivants :

● comprendre chaque notion sur laquelle on souhaiteformuler une question,

● concevoir une question et sa réponse correcte, et imaginerd'autres réponses plausibles, oblige à un niveau certain demaîtrise du sujet et constitue un exercice didactique en soi,

25

● l'élaboration du test constitue déjà un premier exercice pourles étudiants. C'est une mise en pratique immédiate de leurapprentissage,

● les participants en tirent une certaine valorisation et lerésultat de leur apprentissage est tout de suite appliqué doncconsolidé.

Les bénéfices pour l'enseignant sont les suivants :

● le travail du professeur, ou de l'expert, est allégé, il peut seconcentrer sur la validation des questions proposées, ilappréhende les confusions, reformule la notion, amélioreson enseignement,

● c'est un moyen de prendre en compte l'hétérogénéité desparticipants et de répondre à leurs attentes,

● pour certifier, être expert est une condition nécessaire maiselle n'est pas suffisante pour bien enseigner. En étudiantles questions proposées, la connaissance de l'expert peutêtre renforcée par une expertise relative au processusd'apprentissage,

● l'ensemble des questions ainsi élaborées peut constituer unnouveau test pour les étudiants,

● si la session de formation est répétée plus tard avec d'autresstagiaires, ce type d'exercices contribue à unenrichissement de la base de questions.

Les bénéfices pour l'entreprise sont les suivants :

● en rédigeant une question qui sera partagée avec ses pairs,le participant prend l'habitude d'exposer et de communiquerson travail,

● cela renforce l'esprit d'entraide et de collaboration,

● cela approfondit les relations professionnelles et améliore lasynergie entre les équipes.

26

3.7 Les savoirs périphériques ou spécifiques

Dans chaque métier, on pourrait distinguer des savoirs centraux etdes savoirs périphériques. Même si, bien sûr, il n'y a pas de frontièremarquée, mais une continuité entre les uns et les autres.

Le médecin libéral connaît parfaitement son métier, mais il y a despoints de droit social, ou de fiscalité qu'il devrait connaîtreégalement. Le chef de projet informatique gagnerait à connaître unpeu le métier de ses clients, ou avoir des notions du droit d'auteur.

On observe souvent que l’entreprise, au travers de la hiérarchiequ'elle a mise en place, a une notion assez bonne, assez fiable, dela valeur de ses collaborateurs sur les savoir centraux, mais biensouvent une appréciation très faible des savoirs périphériques.

C'est pourquoi nous pensons que l'évaluation de connaissances estparticulièrement utile pour ces savoirs périphériques.

On peut faire la distinction aussi entre les connaissances générales,plus ou moins universelles, et celles qui sont propres à l'entreprise.

Dans la première catégorie, on range évidemment les lois de laphysique, mais aussi le juridique et le droit social, les connaissancesmédicales, etc. Toutes choses que l'on apprend en général durantses études.

Dans la seconde catégorie, on peut citer des règles et usagesinternes de l’entreprise, des outils informatiques spécifiques, lesproduits commercialisés, l'organigramme, ainsi que des savoir-fairequi sont des atouts concurrentiels. Des choses que l'on ne peutapprendre qu'au sein de l'entreprise.

Ces derniers points sont particulièrement appropriés pour uneévaluation régulière, pour plusieurs raisons :

● on ne trouvera pas l'information sur le web,

● on ne peut pas compter qu'un nouvel embauché possèdeces savoirs si spécifiques à l'entreprise,

● certains relèvent d'un avantage compétitif, qu'il fautimpérativement cultiver,

27

● ils font partie de la culture de l'entreprise, de ces élémentsqui construisent le sentiment d'appartenance et d'adhésion.

Il y a dans cette catégorie des savoirs qui ne sont pas objectivementessentiels, mais dont la culture est importante, par exemple l'histoirede l'entreprise, ses dates clés, etc. Non essentiels, mais pas futilespour autant, car ils donnent une âme à l'entreprise.

Sur ces sujets, la réalisation des évaluations ne pourra être menéequ'au sein de l'entreprise, même si c'est avec de l'aide extérieure. Etl'on veillera évidemment à garder ces connaissances pour le seulusage des employés.

3.8 L'évaluation comme mesure de progrèsLes entreprises ne cessent de se fixer des objectifs. Objectifmacroscopiques et quantitatifs, de vente, de croissance, derentabilité, de parts de marché… Mais aussi des objectifs qualitatifs.Par exemple : "Cette année, nous devons améliorer notre serviceclient". Aussitôt qu'un tel objectif est posé, il est impératif de fixeraussi une ou plusieurs mesures objectives associées, les valeursprésentes de ces mesures, et les valeurs cibles. Et de mettre enplace les indicateurs permettant de suivre le progrès et l'écart avecl'objectif. Dire que l'on va améliorer le service client n'a aucun sens sil’on ne pose pas cette démarche et ces outils de mesure. Et pourtantbeaucoup d'entreprises le font régulièrement.

Il en est de même de la diffusion des bonnes pratiques et de laconnaissance objective dans l'entreprise. Il ne sert à rien de dire :"Notre force commerciale devrait mieux connaître nos produits", oubien "Nos managers devraient avoir une meilleure maîtrise du droitdu travail".

Aussitôt qu'un tel objectif est posé, il faut se donner les moyensd'en mesurer le progrès. Sinon, il est probable que l'ambitionrestera un vœu pieux.

Ainsi, lorsque l'entreprise s'est donné un objectif portant sur laconnaissance, sur la diffusion de l'expertise, sur la maîtrise dessavoir-faire, sur la formation, un dispositif d'évaluation objective estabsolument nécessaire. Il permettra de mesurer l'état initial, le point

28

de départ, et donc de fixer un objectif réaliste. Il permettra, dans ledéroulement du plan, de mesurer le progrès et la proximité del'objectif. Et il permettra enfin de valider et de consacrer l'atteinte del'objectif.

3.9 Outil de capitalisationL'entreprise a besoin d'une démarche et d'outils de capitalisationpour :

● éviter de refaire les erreurs déjà commises,

● transférer l’expérience acquise d’un projet à un autre etd’une équipe à une autre,

● améliorer les flux d’informations qui accompagnent les fluxde production,

● faciliter l’accès à la connaissance utile à chaque fonction, àchaque tâche,

● formaliser, consolider et diffuser les règles et standards desmétiers.

La capitalisation des savoirs est un sujet critique danspratiquement toutes les entreprises. A l’inverse, certains savoirs,certaines bonnes pratiques, des expertises essentielles, quiconstituent un patrimoine clé de l'entreprise, restent dans la tête dequelques-uns, ne se diffusent pas, ne bénéficient pas aux plusjeunes, se perdent quand ces experts quittent la société.

Il arrive que, sensibilisé à ces questions, on demande à quelquescollaborateurs de mettre par écrit une partie de leur savoir. L'effortest conséquent, c'est un investissement significatif pour l'entreprise.Le document produit est mis à disposition de tous, sur une étagèreou sur un Intranet. Mais bien souvent le processus s'arrêtera là: lacapitalisation manquera la phase de diffusion.

L'idéal serait d'être en mesure de s'assurer que ceux qui ontbesoin de cette connaissance, ceux par exemple qui démarrentun projet demandant une certaine expertise, ont acquis cessavoirs. Pourrait-on imaginer que, en plus de son document, l'expert

29

ait été chargé d'écrire des questions ? Nous pensons que l'on peutaller plus loin encore : l'expert aurait pu écrire des questions à laplace de son document. Et ses bonnes pratiques auraient figuré enannexe de chaque question, au titre d'explications et de rappels.

C'est un usage original, mais très pertinent, des questionsd'évaluation : elles peuvent constituer elles-mêmes des supportsde la capitalisation en entreprise. Ce qui permet à la fois d'enorganiser la rédaction au fil de l'eau, d'en assurer la diffusion la pluslarge possible et d'en vérifier l'acquisition.

3.10 Outil de communication

3.10.1 Communiquer en interne

Il est rare que l'on appréhende une plateforme d'évaluation commeoutil de communication ou de partage. Elle peut l'être pourtantdans ses possibilités de contribution, c'est-à-dire de participation àl'élaboration des questions.

La contribution ouverte à tous - avec validation finale bien sûr - meten place une démarche de capitalisation, mais aussi decommunication, d'échange, de partage entre les employésimpliqués.

L'utilisateur n'est pas isolé derrière son écran. Il peut faire desremarques sur la qualité des questions, enrichir la base et voir sacompétence reconnue.

L'entreprise, quant à elle, élabore une cartographie de ses experts ety fait appel plus facilement.

3.10.2 Communiquer en externe

Partager avec d'autres entreprises permet (1) de réduire le coûtd'élaboration, (2) de disposer d'un référentiel statistique plus large et(3) de bénéficier des savoirs et bonnes pratiques externes àl'entreprise.

30

Pour autant, ce n'est pas chose facile dans la pratique, car lesentreprises ont le plus souvent des relations assez distantes avecleurs consœurs.

On peut imaginer toutefois une sorte de place de marché, où chacunpourrait proposer des tests qu'il a construits pour un usage interne,mais qui portent sur des thématiques d'intérêt plus large.

3.11 Outil de sélection en recrutement Lorsque l'on parle d'évaluation de connaissances, beaucoup pensenten premier lieu à la sélection de candidats dans le cadre durecrutement. C'est clairement un des cas de figure majeurs del'évaluation, même si nous pensons que ce n'est pas le principal.

Il y a une profonde différence entre l'évaluation en phase derecrutement et l'évaluation de salariés déjà embauchés.

Dans le premier cas, on ne connaît les personnes que par leur CV etles informations issues de quelques entretiens. Il s'agit de savoir sil'on veut les embaucher.

Dans le second, les personnes sont connues de leur hiérarchie etcollègues, ont un historique, des réalisations, des évaluations, etc. Ils'agit de sécuriser leurs projets à venir ou de mesurer leurs besoinsde formation.

L'outil peut être le même, mais si nous soulignons la finalitédifférente, c'est surtout que, dans le second cas, il est important dene créer ni méfiance ni défiance, mais une réelle adhésion audispositif, comme relevant avant tout de la formation. Et pour cela, ilfaut que l'outil fasse partie de la vie de l'entreprise, que le salarié ensoit familier et l'ait adopté.

D'un point de vue pratique, le déroulement du test sera un peudifférent également : le candidat n'est pas inscrit dans le systèmeRH, il n'a pas d'historique.

31

3.12 La démarche d'assurance qualité

3.12.1 Vérifier les conditions du succès, une obligation

Dans l'exercice de son métier, des connaissances factuelles sontnécessaires pour mener à bien ses projets. On pourrait distinguerdes connaissances de fond, acquises sur la durée, et desconnaissances plus ponctuelles, plus spécifiques, qui peut-être neseront nécessaires que pour un seul projet.

Ces dernières sont trop souvent négligées. On fait le pari quel'expérience et le "niveau général" d'un collaborateur lui permettra deréussir et, s'il lui manquait quelques connaissances, de les acquérirsans difficulté. Cette hypothèse est erronée, le niveau général necrée pas magiquement les connaissances requises et pour lesacquérir il faut au minimum les avoir identifiées en amont.

Prenons un petit exemple.

Marie est une informaticienne expérimentée, elle travaille depuis 5ans dans une entreprise d'édition logicielle, où elle est appréciée,ayant mené à bien de nombreux projets. Marie vient d'être affectéesur un nouveau projet, qui utilise une base de données d'un typenouveau. Elle en a une petite connaissance, qui remonte à sesétudes, de sorte qu'elle estime, et son chef également, qu'elle s'ensortira probablement.

Dans les premiers temps du projet, Marie se débrouille assez bien :elle découvre ces nouveaux outils et trouve le moyen de fairemarcher ses requêtes sur la nouvelle base de données.

Mais, deux mois plus tard, des volumes de données plus importantssont chargés dans la base et l'on observe des temps de réponsecalamiteux. Un expert est appelé au secours. Il relève que toutes lesrequêtes sur la base de données ont été mal formulées. Lesfondements techniques du projet sont à reprendre, plusieurs mois detravail ont été perdus, le projet ne sera pas livré dans les délais. Leclient menace d'un procès, il estime que l'entreprise est en faute,puisqu'elle ne s'est pas assurée que les conditions nécessaires ausuccès étaient réunies.

32

Pour Marie, c'est un échec professionnel douloureux et elle envisagedésormais de changer d'entreprise. Dans son rapport, l'expertsouligne que l'erreur est assez classique et avait été rencontrée parune autre équipe, sur un autre projet, 6 mois plus tôt. Quel gâchis !

Cet exemple, nullement imaginaire, vise à illustrer les pointssuivants :

● même les personnes les plus compétentes ne peuventréussir sans posséder les connaissances nécessaires.L'apprentissage sur le tas a ses limites,

● pour l'entreprise, lancer le projet sans s'être assurée quecette connaissance était acquise est une erreur grave etcoûteuse. Une formation n'était pas forcément nécessaire,mais il était nécessaire au moins de s'en assurer,

● pour le collaborateur, démarrer sans disposer desconnaissances requises, c'est se retrouver en situationd’échec programmé. Il n'aurait pu qu'apprécier uneévaluation,

● la connaissance ici relève en partie de la capitalisation,c'est-à-dire de la préservation, au sein de l'entreprise, desretours d'expérience d'un projet, au profit des suivants.

3.12.2 L'entreprise peut avoir à démontrer qu'elle a vérifié

L'exemple cité plus haut peut avoir des suites juridiques coûteuses.Le client invoque les pertes importantes qu'engendre le retard. Lorsdes réunions de crise qui ont été conduites, il a compris que Marien'avait pas été formée correctement aux technologies du projet.L'entreprise assure que l'expérience de Marie sur d'autres projets,son agilité intellectuelle souvent démontrée et sa formation initialesolide, laissaient penser qu'elle pourrait s'en sortir. Le clientréplique : “Des éléments qui laissent penser que” ça devrait marcherne constituent pas une assurance satisfaisante dans le contexte d'un

33

projet critique, l'entreprise devait non pas penser que mais vérifierque les conditions du succès étaient réunies.

C'est un point qui aura un écho important si le litige débouche sur unprocès : "Estimer que le projet peut réussir", ce n'est pas la mêmechose que "S'assurer que le projet va réussir". L'entreprise aurait undossier plus solide si elle pouvait montrer qu'elle a vérifié laconnaissance de Marie sur les technologies du projet. Mais, bien sûr,si elle l'avait fait, on n'en serait sans doute pas là...

3.12.3 L'évaluation dans la démarche qualité

C'est l'un des principes fondamentaux d'une démarche d'assurancequalité que de ne pas penser que les choses iront bien, mais devérifier que tous les éléments sont réunis pour que ce soit le cas. Etc'est une exigence importante aussi que de tracer lesdispositions prises, d'être en mesure de démontrer que lesassurances ont été prises.

L'évaluation généralisée est un outil presque nécessaire à unedémarche d'assurance qualité et l'on peut poser pour règle que,avant le démarrage d'un projet, on s'assure de manièresystématique, de manière mesurable et démontrable, quel'équipe possède les connaissances requises pour réussir.

3.12.4 Quelques points de droit

La loi n'impose pas à l'employeur d'évaluer ses salariés, mais il estclairement en droit de le faire. Des dispositions conventionnellespeuvent autoriser l'évaluation dans certaines branches, et dans cecas l'employeur doit respecter les dispositions prévues. L'évaluationdes savoirs n'est en général pas codifiée.

Le salarié, quant à lui, ne peut pas refuser d'être évalué par sonemployeur, dans la mesure où le dispositif mis en œuvre dansl'entreprise a été porté à sa connaissance.

Citons quelques articles du code du travail :

● Article L. 1222-2 - Les informations demandées, sousquelque forme que ce soit, à un salarié ne peuvent avoir

34

comme finalité que d'apprécier ses aptitudesprofessionnelles. Ces informations doivent présenter un liendirect et nécessaire avec l'évaluation de ses aptitudes. Lesalarié est tenu de répondre de bonne foi à ces demandesd’informations.

● Article L. 1222-3 - Le salarié est expressément informé,préalablement à leur mise en œuvre, des méthodes ettechniques d'évaluation professionnelles mises en œuvre àson égard. Les résultats obtenus sont confidentiels. Lesméthodes et techniques d'évaluation des salariés doiventêtre pertinentes au regard de la finalité poursuivie. (V2 de l'article L. 121-8 du code du travail)

● Article L. 1222-4 - Aucune information concernantpersonnellement un salarié ne peut être collectée par undispositif qui n'a pas été porté préalablement à saconnaissance.

La jurisprudence exige que les critères d'évaluation des salariéssoient objectifs et transparents. La technique du "forced-ranking", parlaquelle les salariés sont rangés dans des groupes de performancesdont les proportions sont fixées en amont, n'est pas acceptée,puisqu'elle présage d'un nombre obligatoire de salariés jugés"faibles" et ne peut donc être objective. On s'en souviendra parexemple dans l'exploitation des quartiles.

Notons que la jurisprudence s'applique à la problématiqued'évaluation dans son ensemble, incluant les entretiens d'évaluation,les dispositifs d'évaluation et d'appréciation ainsi que les incidencesde ceux-ci en termes de rémunération et de carrière. Elle concerneaussi, bien sûr, l'évaluation de connaissances appuyée sur uneplateforme de tests.

Même si l'évaluation de connaissances est un sujet moins délicat,elle doit respecter les critères d'objectivité, de transparence et depertinence.

● objectivité. Il est clair que la typologie de tests concernéepar ExperQuiz est de nature objective : les réponsescorrectes sont précisément identifiées en amont du test et

35

l'appréciation de la réponse obéit à des règles claires etsimples,

● transparence. Indépendamment de l'obligation éventuellede consultation du comité d'entreprise, le salarié lui-mêmedoit bien évidemment être informé en amont de la teneur del'évaluation, de son déroulement et de l'utilisation qui serafaite de ses résultats,

● pertinence. Pour les tests de connaissance, c'est ici le sujetmême du test, et non le dispositif, qui doit être pertinent.Autrement dit, le test doit porter sur une connaissance utiledans l'exercice du métier.

Les méthodes et techniques d'évaluation des salariés doiventêtre objectives et transparentes (pas de critères d'évaluationdiscriminatoires, ni de critères susceptibles de générer du stress).Ici encore, les résultats des évaluations sont immédiats etconfidentiels et il n'y a pas de place pour la discrimination.

Comme l’administration l’a indiqué, "Si la loi n'institue pas unprincipe de validité scientifique des méthodes employées, principequi serait inadapté dans un certain nombre de cas, elle exige undegré raisonnable de fiabilité. Ainsi, le recours à des techniquesprésentant une marge d'erreur importante ne serait pas conforme àl'obligation de pertinence imposée par la loi" (Circ. DRT 93-10 du 15mars 1993).

À cet égard, la qualité des outils peut être déterminante etparticulièrement la capacité à calculer la fiabilité et la marge d'erreurde la mesure.

36

4 Bonnes pratiques d'élaboration de QCM

Nous décrivons dans ce chapitre la manière d'élaborer desévaluations de qualité.

Quelles sont les caractéristiques d'une évaluation de qualité ?

● fiabilité : elle fournit des mesures qui reflètent de manièreexacte la connaissance ou l'aptitude que l'on vise,

● efficacité : elle fait bon usage du temps et des efforts desutilisateurs, ne leur pose que des questions qui contribuentutilement au score, ne les encombre pas de considérationsou de complexités sans intérêt,

● lisibilité : les utilisateurs comprennent aisément la finalité etla pertinence de chaque question, ils ont confiance dansl'évaluation, ils ne la jugent pas arbitraire ni injuste.

4.1 Le processus d'élaboration des questions

4.1.1 Structuration de la thématique

Avant d'écrire la première question, il est essentiel d'organiser et deplanifier son travail, en commençant par structurer le sujet traité.

Si l'on dispose d'un ouvrage de référence sur le sujet, on pourra

37

s'inspirer du plan du livre pour identifier les principaux domaines àcouvrir.

On distingue typiquement entre 5 et 15 domaines.

La seconde étape consiste à décider du nombre de questionsapproprié pour chacun des domaines. Bien sûr, on aura fixéauparavant le nombre total de questions que l'on envisage, commeon l'a dit plus haut, qui sera si possible compris entre 40 et 100. Larépartition sur les domaines à couvrir n'est pas forcément uniforme,elle dépend de l'étendue et de l'importance relative des domaines.On pourra alors se fixer comme objectif d'élaborer 100 questions,dont 30 sur le domaine A, 20 sur les domaines B et C, et 10 sur lesdomaines D, E et F. Viser une égalité de répartition n'est paspertinent.

On pourra aller plus loin dans la structuration et identifier, au sein dechaque domaine, des items de connaissance qui sont à valider.Ensuite seulement, on écrira, pour chacun des points listés, une ouplusieurs questions. Les chapitres suivants diront quelques bonnespratiques pour la rédaction unitaire de ces questions.

La structuration de la thématique en différents domaines est trop peupratiquée, elle présente pourtant de nombreux bénéfices. Ellepermet d'organiser le travail de rédaction, d'assurer une couverturehomogène du sujet, mais elle permet aussi de mieux analyser lesrésultats de chaque utilisateur, en les décomposant selon lesdomaines. Elle permet enfin de réaliser, à partir de la même base dequestions, des tests ciblant certains domaines en particulier.

4.1.2 Le nombre de questions

Le nombre de questions d'une évaluation est en soi un importantcritère de fiabilité, et l'on peut dire qu'un bon test doit avoir auminimum 25 questions. On visera si possible plutôt 40 questions, cequi représente approximativement 30 minutes de test.

Nous verrons plus loin comment il est possible de calculer la fiabilitéd'un test à partir des résultats d'une population d'utilisateurs. Nous

38

nous intéressons ici à l'impact du nombre de questions sur cettefiabilité.

La formule suivante permet d'évaluer l'amélioration de fiabilité d'untest lorsque l'on double le nombre de questions :

F2=2F11+F1

Où F1 est la fiabilité du test pour Q questions, et F2 la fiabilité du testpour 2Q questions.

Par exemple, si l'on calcule la fiabilité d'un test de 25 questions, F 1 =0.74, et qu'on étende ce test avec 25 questions supplémentaires (demême qualité unitaire, évidemment), on obtiendra un test dont lafiabilité sera de 0.85.

La figure suivante illustre l'accroissement de la fiabilité d'un test enfonction du nombre de questions. Attention, la courbe est construitepour une hypothèse initiale d'une fiabilité de 0.40 pour 10 questions.La forme générale est toujours celle-ci, mais les valeurs dépendentdu point de départ.

Si l'on retient des questions courtes et lisibles, on peut tabler sur 30à 45 secondes par question, de sorte qu'il est raisonnable de viser

39

au-delà de 40 questions pour un test, ce qui donnera un temps depassage de l'ordre d'une demi-heure. Si l'on dispose de plus detemps, on peut tout à fait pousser jusqu'à une centaine de questions.

Retenons qu'un nombre de questions élevé :

● conduit à une meilleure fiabilité,

● permet de mieux couvrir les domaines au sein du sujet,

● permet de faire repasser les tests avec un effet bienmoindre de mémorisation.

Les concepteurs de tests se posent souvent la question : "Combienfaut-il de questions pour couvrir mon sujet ?" Alors que la questionclé est plutôt "Combien faut-il de questions pour obtenir une mesurefiable ?"

En effet, un test procède toujours par échantillonnage, il n'estdonc pas nécessaire que l'utilisateur ait répondu sur chaquedomaine pour pouvoir évaluer de manière fiable son niveau.L'analyse statistique des réponses permet de connaître le nombre dequestions qui donnera une estimation fiable.

Mais avant d'obtenir les premiers résultats, on ne peut que (1)travailler à la qualité propre de chaque item, (2) viser au-delà de 40questions.

4.1.3 Gérer les tests dans la durée

De même que le nombre de questions est un facteur important pourla fiabilité de l'évaluation des utilisateurs, de même le nombred'utilisateurs ayant répondu, et donc de réponses aux questions, estessentiel dans l'évaluation de la qualité des questions.

Le principe étant que chaque fois que quelqu’un répond à unequestion, cette réponse nous informe autant sur la qualité de laquestion posée que sur les capacités de la personne.

Plus on dispose de réponses, plus on peut mesurer et améliorer laqualité du test.

40

Pour cette raison, il est bon de capitaliser, de gérer les tests dansla durée.

Par exemple, si une entreprise réunit ses 50 managers une fois paran pour un séminaire comprenant des formations et qu'elle profite decet événement pour faire passer quelques tests aux intéressés, alorsil serait dommage de reconstruire un test spécifique chaque année.On aura intérêt au contraire à reprendre le test de l'annéeprécédente, quitte à supprimer, ajouter ou modifier quelquesquestions.

Cette gestion en continuité permettra :

● d'améliorer le test sur la base d'un plus grand nombre derésultats,

● de suivre l'évolution dans le temps du savoir qui estmesuré,

● de calibrer les nouvelles questions en corrélation avec lesanciennes.

Les tests jetables, réalisés rapidement pour une occasion ponctuelleet un nombre réduit d'utilisateurs, sont parfois nécessaires, mais ilfaut retenir qu'ils seront d'une moindre qualité.

4.1.4 Des tests incluant explications et révisions

On rencontre souvent des tests qui ne fournissent aucuneexplication, et dans beaucoup de cas, pas même la réponse à laquestion. Beaucoup de tests, en particulier de tests commerciaux,ont pour principale préoccupation que les utilisateurs ne puissentpas avoir déjà appris les réponses. Dans cette perspective, ilsfournissent le moins possible d'informations : l'utilisateur sait qu'il aobtenu un score de 830/1000, mais n'a aucune idée des réponseserronées qu'il a pu faire.

Cette logique peut se comprendre, mais ne permet pas le meilleurusage des tests : le test est réduit à sa fonction de contrôle etrenonce à sa fonction formatrice.

41

On peut citer plusieurs arguments en faveur d'un debrief (analyse etexplication) de chaque question, consistant à donner à l'utilisateur labonne réponse, ainsi qu'une explication et éventuellement un rappelde cours.

● Après avoir réfléchi à une question, considéré les solutionsproposées et répondu, l'utilisateur est dans une dispositiontrès favorable pour apprendre quelque chose. Il a mobiliséses connaissances sur le sujet. Si sa réponse n'était pas labonne, il a une grande envie de comprendre pourquoi : il estparticulièrement réceptif. Il serait dommage de ne pas utilisercette disposition favorable pour un apprentissage.

● À l'inverse, la finalité étant que l'utilisateur connaisse le sujet,il semble étrange de lui cacher les bonnes réponses. Ilpourra quoi qu'il en soit essayer de les retrouver par lui-même une fois le test terminé, mais ce serait laborieux,incertain et bien moins efficace.

Notre recommandation est donc de prévoir, sur chaque question, undebrief que l'utilisateur pourra passer rapidement s'il n'est pasintéressé.

Dans certains tests, en particulier ceux comptant un nombre faiblede questions, et ne pouvant donc pas être rejoués, ou bien ayantune stricte finalité de contrôle, on pourra supprimer ces explications.

4.1.5 Ce qui est vraiment à connaître

Un point important pour élaborer des QCM pertinents est de bienveiller à ne demander que des choses qu'un expert confirmé connaît.C'est un principe constitutif: le meilleur expert doit avoir tout bon, oupresque. Certes, on pourra toujours recalibrer les résultats pourmettre 20/20 au meilleur, mais ce n'est pas la solution: une questiondont le meilleur des experts ignore la réponse est une mauvaisequestion.

Dans toutes les expertises, il est des points que personne ne connaîtpar cœur. Tel taux d'un composé chimique, tel paramètre rare d'unappel de fonction en informatique, etc. Même l'expert chevronné irase plonger dans la documentation, et aujourd'hui via Google.

42

Il faut donc garder bien cela à l'esprit, et si c'est l'expert qui écrit lesquestions, alors il doit éviter de fouiller dans la documentation pourtrouver des réponses qu'il ignorait lui-même.

4.2 Types de questions et bonnes pratiques

4.2.1 Question binaire (de type Vrai/Faux)

La question binaire présente une affirmation et demande àl'utilisateur d'indiquer s'il la croit vraie ou fausse.

Toute reproduction d'une œuvre est interdite par la loi.

Vrai

Faux

Pour le rédacteur, ce type de question est plus facile à élaborer,surtout pour les affirmations positives : il prend une phrase du courset demande si elle est vraie.

Cependant, nous conseillons de ne pas d'utiliser trop largement cetype de question, et ce pour les raisons suivantes :

● La probabilité d'avoir juste en répondant au hasard est de50%, de sorte que la question n'est pas très sélective, ellene contribue pas beaucoup au score final. Par rapport autemps passé par l'utilisateur à la lire et à la comprendre, elleest d'une efficacité moindre.

● Il est délicat de répartir le nombre de questions vraies et dequestions fausses, et l'utilisateur, même malgré lui, estinfluencé par cette répartition: après 4 questions qu'il ajugées vraies, il doute que la cinquième puisse l'être aussi,ce qui biaise son jugement, et donc le résultat.

● Le rédacteur lui-même aura du mal à ne pas donner desindices dans la formulation de la question : il aura pris lesaffirmations vraies dans son cours, tandis qu'il doit inventerde toutes pièces les fausses.

43

Bonnes pratiques dans la rédaction d'une question Vrai/Faux

● Privilégier la forme interrogative à la forme affirmative.Lorsqu'une phrase est présentée sous forme affirmative,nous pensons qu'il est préférable qu'elle soit vraie si l'onprivilégie le cadre formant. En effet, dans le cadre d'uneformation, la lecture d'une phrase affirmative erronée risquede laisser une trace dans le cerveau. Par contre dans lecadre d'une évaluation, choisir que toutes les questions detype Vrai/Faux ont pour réponse Vrai est une option difficile àretenir. C'est pour ces raisons que nous conseillons deprivilégier les phrases sous forme interrogative.

● Éviter les affirmations tellement absolues que lesutilisateurs les plus experts pourraient les mettre en doute,précisément parce qu'ils sont experts et connaissent unepetite exception. Par exemple: "Il y a de la végétation enAntarctique" : la personne qui a une petite connaissance del'Antarctique répondra Faux, ce qui est peut-être la réponseattendue. Mais l'expert sait qu'il y a quelques mousses etlichens et répondra Vrai. La question aurait pu être : "Il y aextrêmement peu de végétation en Antarctique", etclairement, la réponse est Vrai.

● Éviter les affirmations négatives. Elles ne sont pasabsolument proscrites, mais elles sont plus complexes àinterpréter pour l'utilisateur, surtout s'il s'agit de dire quel'affirmation négative est fausse. Par exemple : "Lasalamandre n'est pas un amphibien", à quoi il faut répondreFaux. Une erreur d’inattention peut conduire à une erreur.Préférer plutôt une formule qui se démarque comme “Quelest l’intrus parmi ……..? “

● Ne pas réunir deux connaissances distinctes dans unemême affirmation, ce qui obligerait l'utilisateur à sedemander si elles doivent être vraies l'une et l'autre ou sil'une pourrait suffire. Par exemple : "L'étain est un mélangede cuivre et de zinc qui était déjà exploité du temps del'Empire romain". En fait, on croit compenser ici la faible

44

efficacité d'une question Vrai/Faux en réunissant deuxquestions en une. Mais c'est au détriment de la clarté. Il estaisé de faire deux questions : "L'étain est un mélange decuivre et de zinc (Faux)", et "L'étain était exploité du tempsde l'Empire romain (Vrai)".

● Faire des questions assez courtes, auxquelles onmettra moins de 30 secondes à répondre. Puisqu'on a vuque la question Vrai/Faux est d'une efficacité réduite, il n'estpas pertinent de présenter par exemple un problème difficilesur 10 lignes de texte, pour ensuite poser une question detype Vrai/Faux : le temps de l'utilisateur aura été mal utilisé.

4.2.2 Question à Choix Multiples et bonnes pratiques

La question à choix multiples présente une question, ou uneaffirmation, suivie de différentes possibilités de réponses. Elle a deuxvariantes : une seule réponse correcte, plusieurs réponsescorrectes.

Une seule réponse correcte.

C'est le type de question le plus utilisé, devenu l'archétype del'évaluation objective.

À partir de quel nombre de salariés, une entreprise doit-elle avoir uncomité d'entreprise ?

11

23

50

300

Explication : Dans les entreprises de 50 salariés et plus, le chefd'entreprise a pour obligation d'organiser la mise en place d'uncomité d'entreprise (CE). En dessous de cet effectif, le CE n'est pasobligatoire. (Wikipédia)

45

Plusieurs réponses correctes.

Il s'agit de sélectionner plusieurs réponses parmi celles proposées.

On peut indiquer le nombre de propositions attendues ou non ce quirend la question d’autant plus difficile que le nombre de propositionsest grand. Pour avoir juste, le candidat ne doit pas cocher uneréponse erronée et ne doit pas oublier une réponse correcte. Il n'apas d'indication sur le nombre de réponses correctes à sélectionner. La question à choix multiples à plusieurs réponses correctes est plusdiscriminante, la probabilité de bonne réponse sans connaissanceest faible. Mais elle apporte une complexité liée à la combinaisondes propositions, qui n'est pas très utile. Nous pensons qu'il faut enfaire un usage modéré.

La formulation par QCM est de loin la plus riche car elle couvreplusieurs types d'exercices (exclusion, énumération,compréhension, réflexion…) et peut s'appuyer sur différents supportsmultimédia (texte, image, illustration, bande son, vidéo…).

Question par exclusion

Quel est l'intrus ?

Eventually

Finally

Perhaps

Question de réflexion

Quel est le domino qui complète cette suite ?

46

Passage de la question et analyse

La probabilité d'une réponse correcte par un choix aléatoire n'est quede 1/q, où q est le nombre de réponses proposées (typiquement del'ordre de 4), de sorte qu'elle est plus discriminante et donc plusefficace qu'une question Vrai/Faux.

Il est évidemment impératif de présenter les réponses dans un ordretotalement aléatoire de manière à évacuer toute considération del'utilisateur sur la fréquence de telle ou telle position.

Lorsque l'on étudiera les résultats obtenus par une populationd'utilisateurs sur des questions à choix multiples, on s'intéressera,comme pour toutes les questions, au taux de succès moyen, mais onconsidérera aussi le taux de sélection de chacune des réponsesproposées. Si une réponse proposée est très peu choisie, elle estd'une utilité réduite et il serait bon de la remplacer.

Bonnes pratiques dans la rédaction de QCM

Quelques-unes des bonnes pratiques pour la rédaction d'unequestion à choix multiples :

● Pas d’ambiguïté possible dans les réponses. Dans le casd'une seule réponse à choisir, une seule des réponsesproposées doit être vraie, c'est-à-dire qu'il ne doit pas s'agirde trouver la réponse qui est plus vraie que les autres.Certains utilisateurs pressés sélectionnent une réponsequ'ils savent vraie sans même avoir lu les suivantes, car il nepeut y avoir de réponses plus vraie encore.

● Homogénéité dans les solutions. Les réponses proposéesdoivent être de nature comparable, rester dans un axe

47

donné. Par exemple on évitera : "Le Maroc : 1) est unimportant exportateur de phosphates, 2) est membre del'Union Africaine; 3) a un climat tropical; 4) a une frontièrecommune avec le Mali." Si l'on juge tous ces sujetsintéressants, on préférera poser plusieurs questions, tellesque par exemple : "Le Maroc est un important exportateur...1) de phosphates; 2) d'acier; 3) de soja; 4) de bois."

● Distracteurs plausibles : Les distracteurs doiventévidemment être raisonnablement possibles, ne pas êtretrop faciles à éliminer. Par exemple, on évitera : "EnFrance, le maire est élu par : 1) les conseillers municipaux;2) les fonctionnaires de la mairie; 3) les députés; 4) lessénateurs".

● Pas d'indices. De même, on sera attentif à la formulationdes réponses, certaines ne respectant pas le cours de laphrase. Par exemple, on évitera : "En 1971, John Vane etPriscilla Piper découvrent l'action inhibitrice de l'aspirine surles : 1) hypothalamus, 2) prostaglandines, 3) tronc cérébral,4) canal calcium". Ici la question exige une réponse aupluriel.

● Les questions sont indépendantes les unes des autres,de sorte qu'elles peuvent être tirées dans un ordrequelconque et retravaillées individuellement.Pour l'utilisateur,c'est l'assurance que la mauvaise compréhension d'unequestion n'a pas d'impact au-delà de celle-ci.

4.2.3 Question avec saisie de texte

Un autre type de question demande à l'utilisateur de saisir un texteau clavier. Par rapport aux questions binaires et aux QCM, lesquestions avec saisie peuvent être extrêmement discriminantes. Iciles possibilités de saisie sont pratiquement infinies et une réponsealéatoire n'apporte rien. Ce sont donc d'excellentes questions, maispour des cas d'utilisation bien spécifiques. Elles doivent êtreréservées aux cas de réponses suffisamment courtes.

48

Dans les problématiques professionnelles réellement rencontrées, ilest fréquent que l'on soit davantage en face d'un choix d'options.Dans beaucoup de situations réelles, n'avoir pas en tête ladénomination exacte d'une chose n'est pas un réel problème, ce quiimporte, c'est de la reconnaître parmi des options. Dans ce cas,une question avec saisie risque d’être tout simplement trop difficile.C'est le cas de l'exemple de l'aspirine pour un non spécialiste :

Dans quel cas l'aspirine est-elle contre-indiquée ?

□ Traitement symptomatique des douleurs

□ Grossesse

□ Traitement symptomatique des états fébriles

□ Hémophilie

De même, les questions à choix multiples permettent de créer desécarts suffisamment grands entre les réponses, et donc présententl'avantage de ne pas exiger une précision absolue. Par exemple, laquestion "Notre entreprise a été créée en ____, par Bernard Dupuis"qui attend une année exacte, est peut-être plus difficile qu'il seraitsouhaité, alors que : "En quelle année Bernard Dupuis a-t-il créénotre entreprise ? 1) 1905; 2) 1936; 3) 1952; 4) 1984"', cetteversion teste, au travers des années proposées assez éloignées,une connaissance moins précise, mais peut-être suffisante.

Les questions à saisie sont de loin les plus discriminantes. On hésitesouvent à y recourir par crainte de ne pas identifier des réponses"presque bonnes" : un espace en trop, une erreur d'orthographesans impact sur le sens, ou encore un synonyme qui serait unevariante acceptable. Ce sont effectivement des risques. On peuttoutefois y faire face avec des outils permettant de définir la réponseattendue non pas comme une égalité exacte, mais par égale à l’unedes variantes indiquées comme également vraies.

Par exemple, dans les domaines techniques, il est possible de définirau moyen d'expressions régulières5, les caractéristiques d'uneréponse correcte. Mais il est également possible de fournir une listede valeurs vraies.

5- https://fr.wikipedia.org/wiki/Expression_rationnelle

49

Bonnes pratiques dans la rédaction d'une question avec saisie detexte :

● Longueur réduite. Le texte à saisir doit former un motunique, ou à la rigueur deux, qui soit assez court, disonsmoins de 15 caractères et si possible moins de 10.

● Une seule réponse possible. Il ne doit pas y avoir plusieursréponses qui satisfassent l'énoncé ou, s’il y a des variantes,elles doivent toutes avoir été décrites et être acceptées.

● Position centrale. Le mot à saisir doit être au cœur de laphrase, être essentiel dans sa signification. On évitera parexemple : "Les staphylocoques et les bacilles pyocyaniquesont un rôle important dans les ____ en milieu hospitalier.(infections)". Le mot n'est clairement pas le plus important dela phrase et pourrait avoir un trop grand nombred’alternatives également correctes, e.g. "maladies".

● Pas d'indice. On évitera ici aussi de donner des indices parla tournure de la phrase.

4.2.4 Texte à trous

Le texte à trous consiste à proposer à l’utilisateur de renseigner lesmots qui ont été supprimés d’un texte. Ce type d’exercice demandeune bonne compréhension et des réponses sans ambiguïté pour quela correction puisse se faire automatiquement. Il est très adapté àdes tests techniques où les mots sont spécifiques.

Il faut toutefois prévoir une certaine souplesse dans l’orthographedes mots à compléter, ou bien accepter des variantes de réponseségalement valides.

Complétez le texte sur la faune de l'Antarctique :

On compte ______ espèces d'oiseaux pour une population totaleestimée à 200 millions d'individus.

50

L’Education sentimentale

La mauvaise éducation

Un mauvais fils

Philippe Lioret

Alexandre Astruc

Pedro Almodovar

Le fils de Jean

Claude Sautet

Les plus représentés sont les ______ appelées aussi hirondelles desmers, et les ______ se dandinant sur la glace.

Dans l’exemple ci-dessus, il y a 40 espèces d’oiseaux : accepter 40,quarante, éventuellement “quarente” si on tolère une certainesouplesse dans l’orthographe.

La correction automatique peut conclure à un échec dès la premièreerreur ou affecter un score proportionnel au nombre de motscorrectement donnés.

Quoi qu’il en soit, le succès ne laisse pas de place au hasard.

Bonnes pratiques dans la rédaction d'une question de type texte à trous

● Longueur réduite. Le texte à lire doit être clair, sansambiguïté. et la liste des mots acceptés doit êtreparfaitement définie.

● Les réponses possibles. Elles doivent être spécifiées àl’avance. Les mots manquants doivent être représentatifsdes compétences à évaluer.

● Pas d'indice. On évitera ici aussi de donner des indices parla tournure de la phrase.

4.2.5 Association

Il s’agit d’établir des liens logiques entre deux listes, autrement dit defaire la correspondance un pour un entre les deux listes.

Associer le titre d’un film à son réalisateur

51

Dans ce type de questions, il n’est pas nécessaire de connaîtretoutes les réponses car certaines pourront être affectées pardéduction après avoir positionné les réponses les mieux maîtrisées.Ainsi pour une liste comportant 3 éléments, il y a 6 possibilités maisdès que la première réponse est affectée, il y a une chance sur deuxde bien affecter les réponses restantes.

Bonnes pratiques dans la rédaction d'une question de type association

● Nombre d’items. Le nombre d’items doit être suffisammentgrand pour réduire la place du hasard et pas trop importantpour ne pas perdre le candidat par manque d’organisation.Une liste de 4 éléments est suffisamment réduite pour enfaire une synthèse rapidement, elle permet 24 possibilitéspour le premier choix puis 6 pour le second. C’est donc unnombre raisonnable.

● Les réponses possibles. Elles doivent être présentéesdans un ordre différent à chaque test pour éviter unemémorisation de l’ordre des liens.

● Pas d'indices. On équilibrera les éléments de chaquecolonne pour éviter de donner des indices.

4.2.4 Ordonnancement

L’exercice d'ordonnancement révèle chez un candidat sa capacité àrepérer le critère qui permet d’ordonner chaque élément, à l’associerà une mesure qu’il utilise pour ordonner.

52

Bonnes pratiques dans la rédaction d'une question de type ordonnancement

● Nombre d’items. Comme pour les questions de typeassociation, le nombre d’items doit être suffisamment grandpour réduire la place du hasard et pas trop important pour nepas perdre le candidat par manque d’organisation. Toutefois,il peut être un peu plus important que dans le cas de lacorrespondance qui comporte le double d’items. Une listecomportant entre 4 et 6 items est raisonnable dans unequestion de type ordonnancement.

● La consigne. Elle doit être extrêmement claire, avec unebonne indication sur le critère et le sens (croissant,décroissant).

● Les réponses à ordonner. Elles doivent être présentéesdans un ordre différent et doivent avoir des longueurs detexte équivalentes.

53

4.2.5 Compréhension d’une image ou d’un média

Voici le scanner cérébral de M. X. Indiquez ce que vous voyez.

● une hypodensité frontale droite

● une hypodensité cérébelleuse droite

● une hypodensité cérébelleuse gauche

● une hypodensité occipitale gauche

● un quatrième ventricule normal

L’utilisation de l’image est indispensable aujourd’hui car c’est unedonnée utilisée dans beaucoup de domaines, pour faire undiagnostique. Elle doit être de bonne qualité.

54

L’image peut également être un bon support dans le cadred’apprentissage.

La question peut consister à désigner une zone à la souris.

Indiquez où se situe le bouton d’arrêt d’urgence.

4.2.6 Question ouverte et réponse libre

Les questions ouvertes auxquelles on répond librement ne peuventpas être corrigées de manière automatisée. Elles sont corrigées,généralement en différé, par un intervenant professeur/formateur.

● Elles sont un complément très pertinent aux testsautomatisés, auxquels précisément il est fait le reproched’un carcan trop rigide. Elles permettent d’évaluer aussil’imagination, les idées, le raisonnement et les capacitésrédactionnelles. On peut utiliser aussi ces questions pour

55

récolter, en fin de test, un avis sur une formation, ou bien surle test lui-même.

● Bien sûr, contrairement aux questions à la correctionautomatisée, elles ne garantissent pas l’objectivité de lacorrection.

4.2.7 Synthèse de bonnes pratiques pour rédiger un QCM

Beaucoup de travaux6 ont présenté les bonnes pratiques derédaction de QCM, en voici un résumé. Rappelons que l'énoncédésigne la présentation du problème, les solutions sont les choixproposés incluant les bonnes réponses et les distracteurs. Cesderniers désignent les réponses incorrectes parmi les solutions.

Général

● Chaque question mesure un objectif importantd'apprentissage.

● L'ensemble des questions couvrent le domaine.

● Éviter les pièges et préférer les questions qui lèveraientdes confusions notoires.

● Éviter de complexifier inutilement la tâche, par des calculsfastidieux par exemple.

Énoncé

● L'énoncé porte sur une seule notion.

● Énoncé simple, précis, sans ambiguïté, sans notion devaleur (éviter "toujours","jamais", "souvent", "parfois").

● Énoncé de préférence dans la forme affirmative.

● Énoncé cohérent avec les solutions proposées (règlesouvent transgressée).

6Par exemple: Stéphane Bravard - Usages Pédagogiques des QCM - Université de Poitiers 2005(étude demandée par le CNED EIFAD)

56

Solutions (réponses proposées)

● La formulation des solutions est homogène : longueuridentique, niveau de détail, niveau de langue…

● La bonne réponse est incontestablement exacte et la seuleparmi le choix des solutions.

● Dans le cas de plusieurs réponses acceptables,l’ensemble des réponses correctes doit être parfaitementdéfini.

● Les distracteurs sont plausibles mais incontestablementfaux.

● On évitera de répéter un même mot dans les solutionsproposées.

● On évitera que des mots importants de l'énoncéapparaissent dans la réponse correcte.

Passage

● Chaque question est indépendante des autres questionsde l'exercice.

● La position de la bonne réponse varie de façon aléatoire.

● Les questions sont présentées dans un ordre aléatoire ausein d'un test.

● Les utilisateurs ne sont pas pressés par le temps (unemajorité d'entre eux).

4.3 Processus de passage

4.3.1 Sélection des questions

Il arrive souvent qu'ayant terminé un test à base de QCM, nousayons envie de recommencer. Mais nous arrêtons très vite car nousavons le sentiment de tourner sur des questions déjà proposées.

57

Pour permettre de répéter l'expérience du test de manière utile, ilfaut disposer d'une base de questions suffisamment riche pouropérer des sélections toujours différentes. Dès lors se posera leproblème de la sélection des questions pour un test. Nous avons vuqu'il est préférable que l'utilisateur devienne autonome et puissedéfinir lui-même les critères de son test.

Un système efficace devra faire une sélection intelligente desquestions en tenant compte des choix de l'utilisateur mais aussi deses tests passés.

Un cycle d'apprentissage passe inévitablement par des cycles desouvenir et d'oubli. Par conséquent, l’algorithme de choix desquestions pour un test devra prendre en compte toutes ces données.Si une question a fait l'objet d'une erreur, elle sera reposée un peuplus tard. Une question correcte une première fois ne sera pasposée immédiatement mais dans un laps de temps proche pours'assurer que la réussite n'était pas le fait du hasard. Si elle est denouveau validée, la probabilité d'être à nouveau choisiecommencera à baisser sans pour autant devenir nulle car uneconnaissance mérite toujours d'être rafraîchie.

4.3.2 Temps de réponse

Il est très difficile de fixer a priori un temps de réponse pour chaquequestion, mais il existe des études qui mesurent la vitesse moyennede lecture. Il faut garder à l'esprit que le temps de lecture de 10lignes variera en fonction de l'origine du document (texte littéraire,texte dans une langue étrangère, programme informatique…).

Dans l'ensemble, la règle est simple : il faut laisser aux utilisateursun temps confortable pour répondre. Il n'est pas très utile de tester laréponse réflexe, immédiate, sous pression. Sauf si bien sûr, le métiern'impose précisément une réponse réflexe.

Et cependant, une petite partie des utilisateurs n'auront jamais assezde temps, continueront de réfléchir et d'hésiter tant qu'il leur reste dutemps. Il faut donc borner le passage du test. Qu'est-ce qui constitueun délai raisonnable, un délai qui assurera qu'au moins 90% desutilisateurs n'auront pas le sentiment d'être pressés ?

58

Classiquement, on accorde un temps total pour l'ensemble d'un test.C'est une méthode héritée certainement des tests papier. En théorie,elle permet à chacun de gérer son temps, c'est-à-dire que répondreplus rapidement à une question laisse plus de temps pour une autre.

Cependant, cette capacité à gérer le temps n'est pas forcément untalent de tous et il nous semble préférable de donner un temps deréponse spécifique pour chaque question. Face à une gestion detemps globale, certains vont se dépêcher inutilement sur certainesquestions, et donc répondre moins bien, alors que le temps gagnéne leur sera guère utile plus loin. Il faut bien comprendre que, le plussouvent, "On sait ou on ne sait pas", doubler le temps n'amélioreguère les résultats.

Nous pensons que le mieux, le plus précis, est de calculer le tempsde réponse estimé de chaque question en fonction descaractéristiques propres de la question :

● le nombre de mots à lire, incluant la question et l'ensembledes réponses proposées (la vitesse de lecture moyenne d'unadulte est de 300 mots par minute),

● le nombre de caractères à écrire, si la question est de typesaisie,

● le nombre de réponses à considérer,

● la difficulté de la question,

● le tout avec un temps plancher de 30 secondes.

Certains utilisateurs aiment au contraire le défi, la stimulation, le petitstress d'un temps de réponse réduit. Il n'est pas mauvais de leurpermettre ce piment si cela rend l'exercice plus ludique.

4.3.3 Des tests en libre accès

Dans une démarche d'apprentissage, il est préférable que les testssoient en libre accès et les résultats confidentiels, pour amenerl'utilisateur à une pratique régulière et responsable. En passant untest et en accédant instantanément à la correction, l'utilisateurdevient autonome. Il n'y a pas de témoin, pas d'échec, il observeses progrès et constate que l'entraînement régulier conduit aux

59

progrès. Le test n'est plus une contrainte mais une décisionpersonnelle. L'utilisateur prend ainsi l'habitude de passer des testset, le moment venu, la certification sera perçue comme uneformalité, car il sait déjà que son niveau est satisfaisant.

60

5 Utilisation statistique des résultats

5.1 Résultats des utilisateurs

5.1.1 Score brut, pondération

À partir des réponses des utilisateurs, on commence par calculer unscore brut. Le plus simple est d'additionner le nombre de réponsescorrectes obtenues.

On se demande souvent s'il est utile de pondérer les questions :certaines pourraient valoir plus que d'autres, pour différentesraisons.

En général, ce n'est pas très utile :

● il sera souvent délicat de trouver les coefficients pertinents,

● même si la pondération modifie mathématiquement le scoreobtenu, le plus souvent elle ne changera pas profondémentle score relatif de chacun.

Il y a toutefois des cas d'utilisation possible.

● Une pondération en fonction du caractère discriminant de laquestion, et en particulier du résultat d'un choix aléatoire.Une question de type Vrai/Faux a 50% de succès pour unchoix aléatoire, tandis qu'une question à choix multiplescomportant quatre réponses possibles n'a qu'un taux desuccès aléatoire de 25%. Une réponse correcte à la seconde

61

question apporte donc deux fois plus d'informations qu'unebonne réponse à la première.

● On veut parfois identifier des connaissances particulièrementimportantes, essentielles, voire même des connaissancesdont l'ignorance est éliminatoire. Un coefficient élevé pourragérer ce cas de figure.

Revenons au score brut : par simple somme, ou après pondération,on a converti les réponses de chaque utilisateur en un total, quiconstitue le score brut. Par exemple s'il y a 25 questions, enl'absence de pondération, le score de chacun est théoriquemententre 0 et 25. Dans la pratique, la probabilité d'avoir 0, même enl'absence de la moindre connaissance, sera faible.

On peut aisément convertir les scores absolus en scores relatifs.Cela permet de comparer les scores obtenus à deux tests quiauraient un nombre différent de questions.

Par exemple pour un test de 25 questions, 18 sur 25, deviendra 0.72ou 7.2/10 ou 72%. Pour un test de 40 questions, 32 sur 40 deviendra0.8 ou 8/10 ou 80 %. C'est facile à interpréter et à comparer. Maisbien moins parlant que les scores standardisés, que nous verronsplus loin.

5.1.2 Moyenne, écart-type

La moyenne est une notion assez bien connue, elle figurait sur nosbulletins dès l'école primaire. Pour calculer la moyenne des scoresde la population d'utilisateurs, on calcule la somme de ces scores,que l'on divise par le nombre d'utilisateurs:

m=1N∑i=1

N

vi

Où:

● m est la moyenne des scores

● vi, le score obtenu par un utilisateur i

● N, le nombre d'utilisateurs ayant passé le test.

62

Cela suffit pour repérer si le score d'un utilisateur est au-dessus ouen dessous de la moyenne.

Pour illustrer la suite, nous allons considérer une petite population de15 utilisateurs, ayant obtenu les scores suivants :

63

Pour une meilleure lisibilité des résultats, on peut ordonner lesutilisateurs par score, du moins bon au meilleur score.

:

Une fois les scores ordonnés, on peut identifier ce que l'on appelledes percentiles, c'est-à-dire la position de chaque utilisateur dans lapopulation, exprimée en pourcentage. Puisqu'il y a 15 utilisateurs,chacun correspond à 100/15 = 6.66% de la population.

64

Sur cette base, on peut dire par exemple que le score de l'utilisateur#3 est dans les 20% les moins bons, tandis que le score del'utilisateur #10 est dans les 30% les meilleurs.

On peut aussi distinguer 4 sous-ensembles parmi ces utilisateurs,selon leur positionnement :

● entre 0 et 25%, on appellera ce groupe le quartile inférieur,

● entre 25% et 50%, le second quartile,

● entre 50% et 75%, le troisième quartile,

● entre 75% et 100%, le quartile supérieur.

Dans notre exemple, ces groupes ont respectivement 3 utilisateurs(#5, #6, #3), 4 utilisateurs (#7, #9, #13, #11), 4 utilisateurs (#2, #4,#14, #10) et 4 utilisateurs (#15, #1, #8, #12).

Par construction, ces quartiles ont toujours le même nombred'utilisateurs, à 1 près.

Soulignons que si le classement est la chose la plus simple, il fautêtre vigilant quant aux utilisations qu'on en fait, tout particulièrementsur de petites populations. Si on a demandé à un grouped'utilisateurs de bien apprendre quelques faits essentiels pour leurtravail et que l'on effectue un test pour vérifier ces acquis, la questionposée est de savoir si tous ont atteint le niveau requis, ou qui ne l'apas atteint, mais il est très possible que les utilisateurs du dernierquartile aient le niveau demandé, auquel cas il est inutile dechercher d'autres conclusions. Autrement dit, l'enjeu n'était pas desavoir qui était le meilleur et il est important que chacun sache quece n'était pas l'enjeu.

Une autre utilisation courante des scores ordonnés est d'identifier lescore médian, c'est-à-dire celui qui partage la population en deuxgroupes égaux. Sur notre exemple il est de 15. Le score médian estparfois plus pertinent que le score moyen, il est moins impacté parles valeurs extrêmes.

5.1.3 Écart-type et distribution

Jusqu'ici, ces notions sont généralement bien maîtrisées par tous.

65

L'écart-type l'est un peu moins, car sa formulation est un peu plusmathématique :

σ=√ 1N ∑

i=1

N

(vi−m)2

Où:

● vi est le score brut obtenu par l'utilisateur i,

● m est la moyenne des N utilisateurs.

L'écart-type est une mesure de la dispersion des données : pourobserver dans quelle mesure elles sont 'resserrées' autour de lamoyenne. On voit aisément que si tous les vi étaient égaux, lamoyenne m aurait la même valeur que les vi et l'écart-type serait nul.

Dans l'exemple précédent, on obtient :

Notons que les outils bureautiques tels que Excel ou LibreOffice Calcdisposent tous de fonctions calculant moyenne et écart-type.

66

5.1.4 Scores standardisés

Exprimer les scores en termes de pourcentage de bonnes réponsesest un moyen simple d'évacuer le nombre de questions du test. Demême, s'intéresser à l'écart de chaque utilisateur par rapport à lamoyenne générale, permet de faire abstraction de cette moyenne.

On standardise les scores de la manière suivante : pour chacundes scores, on soustrait la moyenne, puis on divise le résultat parl'écart-type.

Soit : v'i=(vi−m)

σOn obtient un ensemble de scores positifs et négatifs, compris à peuprès entre -3 et +3. En théorie, les scores standards sont entre-infini et +infini, mais un très petit nombre est hors de l'intervalle [-3; +3].

En faisant l'hypothèse que la répartition des scores suit une loi ditenormale ce qui est souvent le cas dans les mesures de traits humains, ou plus largement de nombreuses caractéristiquesnaturelles alors la répartition des scores ainsi standardisés est telle que : 34.1% des utilisateurs ont un score standardisé situé entre0 et 1, 68% donc entre -1 et +1.

67

Les scores ainsi standardisés ne sont pas les plus habituels, ni lesplus lisibles et ne sont donc pas utilisés directement. Mais lesexploitations statistiques des résultats s'appuient souvent sur desscores standardisés.

Notons que, une fois que l'on dispose des scores standardisés, onpeut très facilement élaborer des scores sur une échelle qu'on aurachoisie, avec la moyenne et l'écart-type qu'on aura choisis.

5.1.5 Retraiter les scores

À partir des scores standardisés, une simple règle de trois permetd'obtenir des scores avec une moyenne donnée et une répartitiondonnée. Ainsi, si l'on veut retraiter les scores pris en exemple plushaut afin d'avoir une moyenne à 14 et un écart-type de 4, il suffit demultiplier les scores standards par 4, puis d'ajouter 14. On pourraaussi choisir de définir un plafond à ne pas dépasser et les notessupérieures seront limitées à ce plafond. On pourra par exemplemettre 20 à tout ce qui dépasse 20. On sait que cela fait perdre del'information, mais c'est une pratique courante dans l'enseignement.De même bien sûr pour les scores négatifs.

68

Si l'on dispose de deux jeux de scores, correspondant à deux testspassés par une même population, on peut de cette manière alignerl'un et l'autre, en fixant une moyenne et un écart-type cibles. Ceserait une manière de calculer ensuite une moyenne des deux testspour chaque utilisateur.

Attention, s'il est aisé d'aligner ainsi deux jeux de scores, cela nesignifie en rien que les deux tests mesurent la même chose. Nousverrons plus loin les traitements qui permettent de s'assurer de cela,c'est-à-dire de mesurer la corrélation entre les deux tests.

Imaginons que, l'année dernière, on ait fait passer un test TA à unepopulation d'utilisateurs. Cette année, le test a été modifié pourdonner un test TB. Certaines questions ont été retirées et desquestions nouvelles ont été écrites. On se demande s'il est possiblede comparer les résultats obtenus pour TA avec ceux de TB.

Un alignement par les scores standards est possible, mais est-ilcorrect ?

69

Il conviendra ici de commencer par mesurer la corrélation entre TA etTB. Si les populations sont différentes, alors on pourra mesurer, ausein de TB, la corrélation entre le sous-ensemble issu de TA et lesquestions nouvelles ou modifiées. Si la corrélation est satisfaisante,alors seulement on pourra comparer les scores standardisés.

5.2 Statistiques portant sur les questions

5.2.1 Appréciation des utilisateurs

Il est toujours pertinent de demander leur avis aux utilisateurs, deleur proposer de fournir un "feedback", un avis sur chacune desquestions posées. Ceci à deux égards :

● Ces retours permettent de déceler plus rapidement deserreurs qu'on aurait laissé passer dans la rédaction du test.

● Ils montrent aux utilisateurs que l'on est à leur écoute, queleur avis est important.

Bien entendu, il ne s'agit pas de compter sur les utilisateurs pourvalider et corriger nos tests. Chaque test doit passer par différentesétapes de validation avant d'être soumis à des utilisateurs véritables.Mais la possibilité d'un retour offre un dernier filet de sécurité.

L'interface doit permettre deux niveaux de retours :

● Un niveau instantané, typiquement par le choix d'un certainnombre d'étoiles, entre 1 et 5,

● Un niveau plus complet, où l'utilisateur pourra décrire ledéfaut qu'il voit dans la question.

Bien évidemment, l'utilisateur doit pouvoir faire ce retour sans queson temps soit décompté.

Même dans ces conditions, il ne faut pas s'attendre à avoir desretours nombreux et précis. Les utilisateurs sont globalement dansune disposition d'esprit qui n'est pas propice: d'une part ce sont euxqui sont testés, d'autre part ils sont soumis à un léger stress.

70

En revanche, il existe une autre forme de retours, dont on disposenécessairement: ce sont les résultats des passages. Ils constituentune source d'information extrêmement précieuse et souventnégligée.

Comme on l'a vu, chaque réponse nous informe sur les capacité del'utilisateur, mais aussi sur la question elle-même. Bien souvent, onne s'intéresse qu'aux résultats des utilisateurs et nous avons commencé par là mais il faut également utiliser les données pour qualifier les questions elles-mêmes.

5.2.2 Utilisation des statistiques

L'analyse statistique des réponses fournit des informationsextrêmement précieuses qui permettent d'améliorer un test demanière sûre. Malheureusement, une majorité de rédacteurs detests occasionnels connaissent peu le sujet, n'y sont pas sensibiliséset ne disposent pas des outils nécessaires pour mener à bien cettetâche.

Pourtant, les formules permettant un traitement statistique sontfaciles à mettre en œuvre, surtout évidemment si elles sontprogrammées. On peut donc, à l'issue d'un test passé parsuffisamment d'utilisateurs, indiquer immédiatement les questionsqui devraient être étudiées de plus près, et éventuellementmodifiées, afin de rendre le test plus fiable.

Il y a quatre analyses principales à considérer :

● le taux de succès des questions,

● la comparaison des quartiles,

● la corrélation des questions avec l'ensemble du test,

● la fiabilité globale du test et l’erreur type.

5.2.3 Taux de succès des questions

Si chaque question a été passée un grand nombre de fois, par unepopulation assez large, le taux de succès de la question est uneinformation précieuse.

71

En première analyse, le taux de succès semble témoigner de ladifficulté de la question. Mais ce n'est pas si simple.

Une question avec un taux de succès élevé :

● peut témoigner d'un savoir largement répandu dans lapopulation concernée, ce qui est le but visé,

● mais peut aussi être mal construite, les mauvaises réponsespar exemple étant trop faciles à démasquer.

De même pour une question qui est rarement réussie, on peut jugersimplement qu'elle est trop difficile, mais il peut y avoir d'autresraisons.

Une question avec un taux de succès bas :

● peut témoigner d'un savoir sous-jacent peu répandu et dansce cas est-il véritablement utile de le tester ?

● ou, ici encore, peut être mal posée, avec une certaineambiguïté,

● ou encore, plus grave, peut être simplement fausse.

Indépendamment de l'estimation de difficulté relative, le taux desuccès est l'indication du caractère discriminant d'une question: untaux de succès de 10%, comme un taux de 90%, caractérisent desquestions peu discriminantes, qui ne contribuent pas beaucoup àdépartager les utilisateurs. Un taux de succès de 50% est aucontraire le plus discriminant.

En général, il faut éviter les questions trop peu discriminantes,puisqu'elles n'apportent pas beaucoup au test alors qu'ellesconsomment du temps et des efforts. Mais il peut y avoir desexceptions. Par exemple, quelques questions très faciles pourrontdonner confiance aux utilisateurs les plus faibles, tandis quequelques questions difficiles permettront aux plus forts de sedistinguer.

Certains points sont connus des personnes plus expertes. Dessujets que l'on ne rencontre pas souvent, des bonnes pratiques donton sait qu'elles sont peu répandues. Les questions difficiles peuventêtre peu discriminantes pour l'ensemble de la population, maisdiscriminantes au sein du quartile supérieur.

72

On peut se donner pour règle qu'au plus 20% des questions ont untaux supérieur à 80% ou inférieur à 20%, autrement dit, au moins80% des questions ont un taux de succès entre 20 et 80%.

5.2.4 Comparaison des quartiles supérieurs et inférieurs

Nous avons vu comment il était possible de répartir les utilisateursen quartiles selon les scores obtenus.

D'une manière générale, on souhaite que chaque question contribuepositivement au score total des utilisateurs. Ce principe peuts'analyser en termes de corrélation, comme on le verra plus loin. Ilpeut aussi s’énoncer plus simplement : si toutes les questionsportent sur différents aspects de la même connaissance d'ensemble,alors on doit s'attendre à ce que, sur chaque question, lesutilisateurs du quartile supérieur aient des résultats meilleurs queceux du quartile inférieur.

Une fois déterminés les utilisateurs composant ces quartiles, on peutcalculer le score moyen de chacun des quartiles d'utilisateurs surchacune des questions. On s'intéressera alors à la différence de tauxde succès entre le quartile supérieur et le quartile inférieur (delta).

Par exemple:

Question

Taux de succèsdu quartileinférieur

Taux de succèsdu quartilesupérieur Delta

#1 42 76 34

#2 23 61 38

#3 53 51 -2

#4 45 82 37

#5 39 52 13

...

73

On a fait apparaître ici une question (#3) dont le delta est négatif,c'est-à-dire qu'en moyenne les meilleurs utilisateurs (pour le testdans son ensemble) y ont moins bien répondu. C'est une anomalie,et en général l'indice d'une question qui pose problème. Sur laquestion #5, le delta n'est que de 13 points, ce qui n'est pas trèsélevé: cette question ne permet pas de bien distinguer les meilleurséléments.

D'une manière générale, un écart inférieur à 20 points mérite d'êtreanalysé, ce qui le plus souvent conduira à retoucher la question.

5.2.5 Corrélation des résultats

Corrélation entre deux jeux de résultats

Supposons un ensemble d'utilisateurs U et leurs scores obtenus àdeux tests TA et TB.

Il est intéressant de se demander si les résultats obtenus à TA et à TB

sont corrélés, c'est-à-dire si, en moyenne, un utilisateur qui obtientun bon score à TA obtient un bon score à TB.

On peut imaginer que TA et TB soient deux tests portant sur dessujets différents, par exemple l'un de vocabulaire et l'autre dereprésentation spatiale. Malgré la différence de sujets, on observesouvent une corrélation: certains individus sont à l'aise dans l'un etl'autre et ils sont plus nombreux que ceux qui n'excellent que dansun sujet unique. Rechercher des corrélations entre des mesures estun exercice intéressant pouvant conduire à identifier des relationsréelles insoupçonnées, mais attention cela peut aussi faire croire àdes relations qui n'existent pas.

TA et TB peuvent aussi être deux tests portant sur le même sujet,ayant les mêmes objectifs d'évaluation. Dans ce cas, on s'attend àune forte corrélation et l'on peut même dire que la corrélation estune mesure de la qualité des tests: s'ils ne sont pas corrélés, alorsl'un des tests, voire les deux, ne donne pas une mesure fiable.

Un cas de figure particulier est celui où TA et TB sont deux passagesdu même test à quelque temps d'écart. Ici, la corrélation mesurera àla fois les variations de "forme individuelle", la fraîcheur des savoirs,et la composante aléatoire toujours présente. Malgré cela, la

74

corrélation doit être forte, disons supérieure à 70%. Entre deux testsde QI élaborés et ajustés scientifiquement, on arrive à descorrélations supérieures à 90%.

Calcul de la corrélation

Sur un jeu de scores standardisés de N utilisateurs, la corrélation secalcule très simplement:

r=1N∑i=1

N

x'iy'i

Où les x'i et y'i sont les scores standardisés obtenus par chaqueutilisateur Ui respectivement sur TA et sur TB.

La corrélation est une mesure comprise entre -1 et 1. Une valeur dezéro, ou proche de zéro, traduit une absence de corrélation. Unevaleur de 1 traduit une corrélation parfaite: le score standardisé dechaque utilisateur sera identique sur l'un et l'autre test. Une valeursupérieure à 0.5 traduit une corrélation qui commence à êtresignificative. Les corrélations négatives indiquent une relationinverse: plus un utilisateur est bon sur TA, moins il est bon sur TB. SiTA et TB portent sur des thématiques très opposées, cela peut serencontrer.

Corrélation entre chaque question et le test entier

Comme on l'a dit, chaque question doit participer positivement àl'obtention du score final. Autrement dit, pour chaque question ondoit pouvoir dire que, en moyenne, plus un utilisateur est bon sur lesujet dans son ensemble, plus il obtient un résultat correct sur cettequestion.On comprend bien que l'affirmation contraire traduirait unproblème : si les individus globalement les plus experts sur le sujetont, sur une question donnée, des résultats moins bons que lesindividus les moins compétents. C'est ce que nous avons identifiéplus haut au moyen de la méthode des quartiles supérieur etinférieur. On peut le relever de manière plus complète en calculant lacorrélation entre chaque question et le test dans son ensemble.

75

Considérons une question Q0 d'un test T. Cette question peut êtreconsidérée comme un test en soi, appelons-le T0 , dont le score est 0si la réponse est incorrecte, 1 si la réponse est correcte.

Par la méthode précédente, on peut calculer les scores desutilisateurs au tests T0, puis la corrélation entre le test T0 et le test Tpour la même population d'utilisateurs.

On retient que :

● une corrélation négative traduit certainement un problèmedans la question,

● une corrélation proche de zéro est le signe d'une questionn'apportant pas grand chose au test,

● une corrélation supérieure à 0.5 est satisfaisante.

Cohérence interne, mesure de fiabilité du test

La formule appelée Kuder-Richardson-20, ou encore KR-20, exprimela cohérence interne d'un test, c'est-à-dire la corrélation moyenneentre le test dans son ensemble et chacune de ses questions.

KR20=N

N−1[1−

∑ piqi

σ ²]

Où :

N est le nombre de questions du test,

pi, le taux de réponse correcte à la question i,

qi, le taux de réponses incorrectes à la question i,

σ2l'écart-type des scores du test, au carré.

Pour être précis, ce que mesure le KR20, c'est la corrélation estiméeentre le test considéré et une hypothétique forme alternative. Unevaleur supérieure à 0.7 est jugée satisfaisante7.

La formule de Kuder-Richardson s'applique quand chaque questionest binaire, le résultat étant correct ou incorrect. Dans le cas où

7Par exemple, dans http://chemed.chem.purdue.edu/chemed/stats.html, l'auteur cite desrésultats de 51 tests de chimie de l'Université de Purdue, avec un indice moyen de 0.779.

76

chaque question a une échelle de scores possibles, la généralisationde cette formule est appelée Alpha de Cronbach et s'exprime ainsi:

α=N

N−1[1−

∑ σi2

σ ²]

Où

σ i2

est la variance (écart-type au carré) des scores de chaque

question i

Il faut souligner que, si ces formules peuvent sembler complexes,leur calcul est un jeu d'enfant pour un programme informatique,tandis que leur apport dans l'analyse et l'amélioration d'un test peutêtre très important. À l'arrivée, la formule donne une valeur unique,qui traduit la fiabilité du test. Si cette fiabilité est faible, il convient decreuser en analysant la cohérence particulière de chacune desquestions.

77

5.2.6 Un exemple

Voyons la mise en œuvre de ces calculs sur quelques donnéesexemples.

Considérons un test fait de 25 questions, qui a été passé par 15utilisateurs. Chaque question est notée de manière binaire: 0 si laréponse est incorrecte, 1 si elle est correcte.

On a obtenu le tableau suivant:

78

Le score de chaque utilisateur est simplement la somme de sesréponses positives et l'on peut calculer, comme on l'a vu plus haut,moyenne et écart-type :

79

En soustrayant la moyenne à chaque score, et en divisant parl'écart-type, on obtient les scores standardisés :

On peut, de la même manière, s'intéresser au score de chaqueutilisateur sur la question 1 et standardiser ce score :

80

Nous avons fait apparaître le score de chaque utilisateur surl'ensemble du test, ainsi que le score standardisé, et enfin, dans lacolonne Produit, le produit des scores standardisés de Q1 et du testentier. Nous calculons ainsi la corrélation entre Q1 et le test,moyenne de ces produits, qui vaut ici 0.80, ce qui est une corrélationtrès satisfaisante.

En procédant de la même manière pour les autres questions, onobtient :

81

Sur ce tableau, on constate deux choses :

● les questions Q15 et Q25 ont des taux de succès extrêmes:moins d'une personne sur 10 a réussi la Q15 et tout lemonde a réussi la Q25. Ces questions méritent d'êtreré-examinées;

● la question Q14, bien qu'elle ait un taux de succès classiquede 0.60, ressort par un taux de corrélation très faible, de0.06, c'est-à-dire que le résultat des utilisateurs à cettequestion ne semble en rien corrélé à leur niveau. Ici aussi,c'est une question qu'il faut sans doute retravailler.

Les questions Q15 et Q25 n'apportent pas grand chose au test. Laquestion Q14 a peut-être un effet néfaste, elle dégrade sans doute laqualité du test.

82

Pour finir l'exercice, calculons le KR20 de ce test:

On obtient une valeur de KR-20 égale à 0.93, ce qui est satisfaisant.

83

vv-e

v+e

68% entre v-e et v+e

autre utilisateur

5.2.7 Erreur-type

Le score obtenu à un test, même un test de grande qualité, nereprésente que l'approximation d'une hypothétique valeur vraie de lapersonne sur le savoir testé. Les sources d'erreur ou de variationssont nombreuses: état de forme intellectuelle, aléas de l'intersectionentre les connaissances et les questions posées, part des réponsesfaites au hasard.

Malgré ces sources de variation, si l'on pouvait faire passer descentaines de tests équivalents à une même personne sur un mêmesujet, son score moyen convergerait vers une valeur, que l'onconsidère comme valeur vraie de la mesure. Et l'on pourrait calculer,sur l'ensemble des tests passés, comment se répartissent les scoresautour de cette valeur moyenne, et donc calculer l'écart-type de cettedistribution, que l'on appelle erreur-type.

De la même manière que pour la distribution des notes, 68% destests passés par une même personne auront des résultats comprisentre v-e et v+e, où v est le score vrai de la personne et e est l'erreurtype.

C'est ce qui est représenté sur la figure suivante :

Bien sûr, ce ne sont pas ces hypothétiques centaines de passagesde tests qui nous intéressent, mais plutôt l'affirmation réciproque : sivt est le score mesuré par notre test, alors le score vrai se situe entrevt-e et vt+e avec une probabilité de plus des deux tiers. On peut donc

84

retenir, schématiquement, que les scores sont valables avec unemarge d'erreur de e. Et par exemple un classement des utilisateursn'est fiable que dans la mesure où les écarts entre deux utilisateurssont supérieurs à e.

La valeur de e peut se calculer au moyen de l'estimation de fiabilitéobtenue par la formule de Kuder-Richardson évoquée plus haut:

e=σ√1−KR20 où e est l'erreur-type, σ est l'écart-type.

Dans notre exemple du §5.2.6, l'erreur-type est donc de 1.95 sur lesscores bruts.

Ici encore, les formules peuvent sembler complexes, mais elles ne lesont pas quand un programme s'en occupe pour vous, etl'information qu'elles apportent est essentielle, on ne doit pas en faireabstraction.

5.2.8 Étude des réponses choisies

Enfin, pour les questions à choix multiples, il conviendra d'étudieraussi la répartition des réponses erronées sur les différents choixprésentés.

Par exemple sur la question:

Le principal client de notre entreprise est:

A. Carrefour 21%

B. Le ministère des Affaires étrangères 3%

C. Leclerc 54%

D. Casino 22%

Ici, on voit que le choix Le ministère des Affaires étrangères est tropfacilement éliminé par les utilisateurs, de sorte que la question à 4choix est pratiquement une question à 3 choix. On envisagera doncde modifier cette réponse.

85

5.3 SynthèseNous n'avons abordé ici que les notions relativement simples del'analyse statistique liée aux tests.

Si certaines formules peuvent malgré tout être rebutantes, il fautsurtout retenir que tout cela peut être entièrement automatisé, c'est-à-dire qu'un programme vous indiquera simplement les questions quisont probablement à ré-étudier.

Avec de bons outils, une analyse statistique relativement avancéeest chose aisée et nous pensons que les entreprises devraient enfaire un usage plus systématique.

86

6 ExperQuiz

ExperQuiz est une plateforme web librement accessible, au design"responsive", qui permet aux entreprises d'une part d'évaluer defaçon objective les connaissances, d'autre part de contribuer trèsfacilement à l'expertise.

En tant que plateforme de tests à base de QCM, ExperQuiz offre lesmoyens de :

● valider les compétences afin de mieux connaître ses atouts,

● certifier les équipes pour améliorer les démarchesd'assurance qualité,

● apporter des mesures utiles au recrutement,

● cibler et améliorer sa formation.

En tant que plateforme de contribution, ExperQuiz permet de :

● capitaliser l'expertise et la transmettre,

● fédérer et mettre en réseau des compétences internes,

● participer à la construction d'une identité forte et pérenne del'entreprise.

87

La dimension Responsabilité Sociale des Entreprises (RSE) seretrouve dans les volets :

● social (développer les compétences de tous les salariés,promouvoir l’égalité des chances),

● économique (respecter les intérêts des clients, garantir lesperformances),

● gouvernance (s’inscrire dans une démarche d’innovationpour la RSE, instaurer un dialogue social avec les salariés etleurs représentants).

ExperQuiz a choisi des questions à choix multiples ou à saisie deréponse manuelle pour matérialiser l'expertise. Nous allonsprésenter les fonctions test et contribution ainsi que leur utilisationlibre dans un cadre public ou privé.

La solution ExperQuiz repose sur deux grands socles:

1) les connaissances

ExperQuiz a choisi des questions à choix multiples enrichies pourmatérialiser l'expertise. 9 types de questions intégrant lesquestions ouvertes et des questions utilisant des médias sontdisponibles, pour exprimer l’expertise et varier les représentations etles tests.

2) les utilisateurs

Les utilisateurs sont les personnes qui sont attachées à l’entreprise àune période donnée. Ils peuvent être des collaborateurs, des clients,des stagiaires…

88

6.1 Base de questions

6.1.1 Création d’une base

ExperQuiz vous offre tous les outils pour paramétrer vos bases enfonction de vos besoins.

Une base de questions est définie par :

● un nom et la couleur de son étiquette,

● des domaines,

● des paramètres.

Les domaines peuvent être assimilés à des chapitres qui permettentde structurer la base et de mettre en évidence les connaissancesimportantes qui doivent être représentées.

Ils sont utiles pour s’assurer d’une bonne couverture de l’expertise.On doit donc veiller à ce que tous les domaines soientreprésentés dans la base.

Ils permettent d’obtenir une mesure plus précise des acquisitions oulacunes sur la base.

Les paramètres sont également facultatifs. Ils permettent àl’administrateur de définir les critères des questions qu’il souhaitedéfinir spécifiquement. Si l’administrateur ne souhaite pas lesprendre en charge, ExperQuiz les gérera automatiquement.

Ces paramètres concernent :

● le niveau de difficulté,

● le temps de réponse,

● l’explication qui sera présentée à l’utilisateur lorsqu’il aurarépondu,

● le support de cours qui alimente l’espace personnel derévision de l’utilisateur,

● la présence de séquences de questions lorsqu’un groupe dequestions doit être présenté dans un ordre précis.

89

Concernant le temps alloué pour répondre, ExperQuiz a développéun algorithme qui donne un temps confortable en fonction du nombrede mots à lire et à écrire, de la vitesse de lecture moyenne d'unadulte, de la difficulté de la question. À partir de cette durée calculée,chacun pourra choisir un rythme rapide ou lent, en fonction de sonenvie. Toutefois, le temps de réflexion dépendant du contenu,l’utilisateur peut être amené à modifier ce paramètre pour éviter lestress dans un test.

En ajoutant des explications et rappels de cours sur la notionabordée, les tests sur le sujet permettront à l'utilisateur decomprendre ses résultats et aussi de réviser.

ExperQuiz devient alors une plateforme d'apprentissage rassurante.

6.1.2 Les questions dans la base

ExperQuiz propose 9 types de questions :

1. question à réponse unique,

2. question à réponses multiples,

3. question binaire,

4. question à saisie manuelle,

5. texte à trous,

6. question reposant sur la mise en correspondance desréponses,

7. question reposant sur le tri des réponses,

8. question à zone image,

9. question à réponse libre.

Dans les cas de réponse au clavier (type 4), texte à trous (type 5),ExperQuiz permet de rajouter de la flexibilité dans le contrôle desréponses. Par exemple, ExperQuiz acceptera une réponseindépendamment du nombre d'espaces superflus, ou de l'utilisationde guillemets doubles ou simples, et pourra même accepterplusieurs variantes de réponses correctes.

90

Exemple :

Qui a écrit “To be or not to be”?

Les 3 réponses acceptées: W. Shakespeare, William Shakespeare,Shakespeare.

Cette diversité des questions permet de respecter les bonnespratiques évoquées précédemment pour une évaluation objective.

Une question ExperQuiz appartient à une base. Elle est définieobligatoirement par un titre, une question, un ensemble de solutions(correctes ou fausses) et par des informations facultativesconcernant le niveau de difficulté, le score, l'explication et le rappelde cours.

Aucune formation n’est nécessaire pour créer des questions. Il estpossible d’importer des questions existantes en Word ou d’utiliserune interface de saisie très ergonomique.

6.1.3 Création ergonomique d’une question

Laissez-vous guider par l’interface pour créer ou modifier unequestion. Lorsque le type de question est choisi, le cadre estcontraint pour vous conduire dans sa définition.

Vous pouvez ajouter des images pour illustrer votre question, ajouterdes liens dans les explication et support de cours.

Une fois l’écriture de la question achevée, son auteur choisit sonétat:

● brouillon si sa rédaction n’est pas achevée,

● proposée à la correction et validation par un utilisateur del’entreprise qui a le droit de valider une question,

● active si l’auteur de la question est lui-même habilité àajouter une question dans la base.

91

6.1.4 Contribution facile et rapide

Lorsque l’auteur d’une question n’est pas habilité à intégrerdirectement des questions dans une base, la validation de cettequestion suit un circuit de validation pour en assurer la qualité avantl'intégration dans la base de questions.

Une fois écrite, la question va être proposée à la validation, unutilisateur habilité va la vérifier et éventuellement demander descorrections à son auteur qui pourra ensuite la corriger et la proposerà nouveau. A la fin de ce circuit, seuls les utilisateurs qui ont le droitde valider une question décideront de la rendre active et dans ce cascette question pourra être intégrée dans un questionnaire.

La contribution appartient à l’entreprise qui pourra, si elle le souhaite,être mis en avant chaque fois que sa question sera proposée dansun test.

92

6.1.5 Import de questions

Les questions peuvent être intégrées à partir d’un fichier de typebureautique. Son format est simple et l’opération d’import estautomatique et rapide. Cette fonction est aujourd’hui très appréciéecar elle permet à la fois de récupérer très facilement l’existant maisaussi de travailler hors ligne sur des fichiers bureautiques.

6.2 Questionnaires

6.2.1 Élaboration

Un questionnaire est défini par un ensemble de questions et desconditions de passage. Les évaluations, certifications et tests libresont pour point de départ un questionnaire.

ExperQuiz gère deux types de questionnaires:

● questionnaire dit ‘statique’, qui comportent une liste fixe dequestions, choisies par l’administrateur,

● questionnaire dit ‘dynamique’, dont les questions sontchoisies par tirage aléatoire au moment du passage.

Le tirage aléatoire respecte des critères définis par l’administrateur,portant sur le niveau, le nombre de questions, les domaines visés.Par conséquent, deux passages du même questionnaire dynamiquedonneront lieu à des sélections de questions différentes. Dans le casd’une évaluation de plusieurs personnes portant sur le mêmequestionnaire, le tirage sera le même pour tous les participants.

6.2.2 Visibilité

Un questionnaire peut être utilisé dans le cadre des formations, desévaluations, des certifications ou comme tests en accès libre par despersonnes de l’entreprise. Toutefois, il est possible de restreindre lavisibilité d’un questionnaire à certains utilisateurs ou groupesd’utilisateurs.

93

6.2.3 Réglages

Ensuite, il est possible de définir un grand nombre de réglagesintervenant dans le passage du questionnaire :

● taux de certification si c’est une certification (75% de réussitepar exemple),

● contrôle du temps de passage par question ou global pourl’ensemble du test,

● le rythme de passage (sans contrainte, lent, rapide, normal),

● présentation des questions dans un ordre aléatoire ou fixe,

● présentation des réponses dans un ordre aléatoire ou fixe,

● présentation de la validité de la réponse et de l’explicationlorsque l’utilisateur a répondu,

● personnalisation du message présenté dans la colonne degauche pendant le test.

ExperQuiz permet d’intégrer de l’aléatoire à 3 niveaux duquestionnaire :

● sélection aléatoire de questions dans la base,

● présentation aléatoire des questions pendant le test,

● présentation aléatoire des réponses à la question.

Vous pouvez conserver ou modifier les paramètres de votrequestionnaire avant de le soumettre.

6.2.4 Invitation

Définir une invitation à passer un questionnaire consiste à :

● donner une date d’ouverture et de fermeture du test (lequestionnaire peut être programmé à une date à venir),

● définir l’objet et le corps du mail qui sera envoyé commeinvitation,

94

● choisir les participants, qu’ils soient des utilisateurs déjàenregistrés ou des personnes extérieures (dans ce cas leuradresse email est requise).

Lorsque l’invitation, est envoyée, chaque participant reçoit un emailet, pour les utilisateurs créés dans l’entreprise, une notification surleur compte ExperQuiz.

6.3 Passage d’un questionnaireLe passage d’un test, c’est-à-dire la réponse aux questionspréparées, est évidemment une étape clé. Pour beaucoupd’utilisateurs, c’est même pratiquement la seule partie de la solutionqu’ils verront.

Les interfaces présentées pour le passage d’un test doivent êtreparticulièrement claires et lisibles, intuitives, rapides, mais aussiagréables à utiliser. C’est ce qui caractérise ExperQuiz.

Les questions sont présentées, l’une après l’autre, à l’utilisateur. Ilpeut voir clairement où il en est dans le test, son score actualisé et letemps qui lui reste (si le test comporte un contrôle de temps).

95

6.3.1 Réglages spécifiques

ExperQuiz permet à une entreprise de configurer les conditions depassage de chaque test de manière très précise:

● contrôle de temps, global ou par question, rapide ou lent, ouillimité,

● format de l’interface du player: mobile, tablette, large, trèslarge,

● thème graphique de l’interface,

● logo de l’entreprise en fond de page,

96

● message spécifique au questionnaire,

● mode de transition d’une question à l’autre,

● certaines questions qualifiées d’essentielles peuvent êtrebloquantes pour l’obtention d’une certification.

6.3.2 Présentation des explications et rappels de cours

Comme on l’a vu, lorsque l’utilisateur vient de répondre, il est dansune disposition idéale pour apprendre. Il est donc pertinent, du pointde vue pédagogique, de lui présenter immédiatement la bonneréponse. Mais pour certains types de tests, on préfère ne pasmontrer les réponses, que ce soit pour promouvoir un rythme depassage plus rapide, ou pour préserver la confidentialité desréponses.

C’est donc une option configurable sur les tests ExperQuiz.

6.3.3 Conditions de certification

Il est toujours bon de pouvoir dire immédiatement aux utilisateurss’ils ont ou non réussi leur certification. Le seuil minimal de lacertification est donc l’une des options définies pour le test. Sil’utilisateur a échoué à des questions bloquantes, il n’obtient pas lacertification. D’autre part, si le test inclut des questions libres, àcorrection différée, il n’est pas possible de lui annoncerimmédiatement son résultat définitif.

6.3.4 Modalités spécifiques de réponse

Les différents types de questions ont des modalités de réponseadaptées :

● pour les questions de type réponse unique, ou bienVrai/Faux, l’utilisateur clique directement sur la réponsechoisie, sans nécessité de validation,

97

● pour les questions à plusieurs réponses, l’utilisateursélectionne (ou désélectionne) chacune des réponseschoisies, puis valide son choix,

● pour les questions de type ordonnancement d’items ou miseen correspondance d’items, l’utilisateur déplace les réponsespar glisser-déposer, puis valide son choix,

● pour les questions à saisie, ou de type ‘remplir les blancs’,ou encore en texte libre, l’utilisateur tape l’ensemble de sontexte, puis valide son choix.

6.3.5 Retours des utilisateurs

Chaque utilisateur peut faire remonter un commentaire à travers un"feedback" pendant le passage d'un test, entre deux questions. Ilpeut exprimer un avis général rapide, par un nombre d’étoiles, oualler plus loin en formulant une critique. Ce feedback est soumis aux"reviewers" qui pourront en tenir compte et ainsi améliorer la qualitéde la base de questions.

6.3.6 Bilan du test

A l’issue du test, un bilan est présenté à l’utilisateur. Le titre desquestions est rappelé, ainsi que le résultat obtenu et le cas échéant,le point de cours associé. Le bilan inclut le détail des questionsbloquantes passées, ainsi que les questions libres dont la correctionest mise en attente.

6.4 Évaluer et certifier un groupe

6.4.1 En présentiel ou à distance

L'administrateur peut envoyer des évaluations aux utilisateurs enprévision d'une formation, de la constitution d'une équipe…L'évaluation peut être paramétrée et se dérouler à distance ou dansdes conditions d'examen, en temps limité.

98

Chaque collaborateur dispose d’un espace personnel sécurisé pourpasser à distance les évaluations, dans les conditions demandées.Plus besoin de se déplacer, un gain de temps très importantapprécié par tous.

Les questionnaires peuvent donner lieu à certification avec lapossibilité de régler 3 niveaux d'aléatoire: choix des questions dansla base, ordre de passage des questions et ordre de présentationdes réponses.

Une certification interne est une évaluation sur un sujet dont lesquestions n'ont jamais été passées. Il peut comporter des questionsessentielles qui deviennent alors éliminatoires. Une certification estétablie en fonction d’un taux de certification qui représente le niveauà atteindre pour être certifié et une réussite totale sur toutes lesquestions essentielles.

L’utilisateur et l’administrateur sont informés directement de lacertification sauf si des questions à réponse libre nécessitant unecorrection manuelle font partie du questionnaire.

6.4.2 Résultats confidentiels

Seul l'utilisateur et l'administrateur reçoivent les résultats du test.

Les résultats concernant une évaluation sont présentés sous formede tableaux.

Un tableau global présente les résultats de façon très synthétique.En un seul coup d’œil, l’administrateur peut voir qui a passé lequestionnaire.

99

Ensuite, il peut analyser plus précisément les résultats obtenus pourchaque question passée. Cela lui permet de repérer des notions àreprendre ou des questions à reformuler.

100

Un tableau porte sur les temps de réponse à chaque question,permettant ainsi de régler au plus juste le temps par question ou demettre en évidence les questions difficiles.

Enfin, un autre tableau relève les réponses données précisémentpar les utilisateurs et un autre graphe situe chaque participant parrapport à la moyenne sur l’axe du taux de réussite et celui du tempsde réponse.

101

6.5 Gérer les utilisateursUne solution efficace de gestion des évaluations doit s’accompagnerde fonctionnalités très complètes de gestion des utilisateurs car tousles processus de travail impliquent des utilisateurs, que ce soit pouradministrer la solution, proposer ou valider des questions, définir desévaluations ou des formations et inviter des personnes à les passer.

C’est pourquoi la gestion des utilisateurs est au cœur d’ExperQuiz.Voyons-en rapidement les possibilités.

102

6.5.1 Création des utilisateurs

Le premier utilisateur est celui qui a créé l’entreprise sur ExperQuiz,il en est automatiquement l’administrateur, c’est-à-dire qu’il a toutpouvoir dans la gestion de l’espace et des entités propres àl’entreprise.

L’administrateur peut créer d’autres utilisateurs de plusieursmanières :

● invitation par email : il peut inviter des personnes à s’inscrire,en saisissant simplement (ou par copier-coller) une listed’adresses email. Chacune des personnes recevra alors unemail d’invitation, qui lui permettra de s’inscrire en tantqu’utilisateur rattaché à l’entreprise;

● création par saisie : l’administrateur peut renseigner un petitformulaire pour définir l’utilisateur. A la suite de cette saisie, ildemande qu’un email d’invitation soit envoyé. Dans ce cas,l’utilisateur n’a plus qu’à définir son mot de passe pourrendre son compte actif;

● création par import de fichier : l’administrateur télécharge unfichier au format Excel, qui définit un ensemble d’utilisateurs,qui peuvent être en grand nombre. Chaque ligne de la feuilleExcel correspond à un utilisateur et chaque colonne définitun attribut: prénom, nom, date de naissance, matricule,département, etc. ;

● création par API : les utilisateurs peuvent être créés demanière automatique par l’appel d’une API offerte parExperQuiz, invoquée par le système d’information(application RH, ERP). Nous détaillerons ces possibilitésplus loin.

Bien entendu, l’administrateur peut également supprimer et modifierdes utilisateurs créés.

103

6.5.2 Gestion des groupes

Beaucoup de fonctionnalités sont simplifiées par la gestion decollective de sous-ensemble d’utilisateurs, que l’on appelle desgroupes. ExperQuiz propose une gestion simple et complète desgroupes d’utilisateurs. Les principes sont les suivants :

● les groupes peuvent avoir des définition de nature trèsdifférente : les collaborateurs d’un département, d’unéchelon hiérarchique, d’une typologie de métier, ousimplement de centre d’intérêt, etc. On peut faire parexemple un groupe des "Embauchés 2017", qui suivent uncycle de formation commun;

104

● un utilisateur peut appartenir à plusieurs groupes, et peutn’appartenir à aucun groupe;

● les groupes interviennent dans de nombreuses opérations :

- ils permettent de définir les droits d’accès des utilisateursvis-à-vis des questionnaires : la visibilité d’un questionnaire(c’est-à-dire la possibilité de le jouer librement) peut êtreaccordée aux utilisateurs appartenant à certains groupesseulement.

- ils permettent de filtrer les utilisateurs chaque fois que l’ondoit en sélectionner, que ce soit pour choisir un utilisateurunique (auteur d’une base, formateur, etc.), ou bien pourretenir une liste d’utilisateurs (participants à une formation,destinataires d’une invitation à une évaluation).

6.5.3 Permissions

Comme on l’a vu, l’administrateur ExperQuiz peut pratiquement toutfaire en relation avec son entreprise. Par exemple définir denouvelles bases de questions, des questions et des questionnaires,lancer des évaluations et définir des formations, ou encore créerd’autres utilisateurs et gérer les permissions accordées à chacun.

Il peut y avoir plusieurs administrateurs, qui ont tous les mêmespossibilités.

Les permissions gérées concernent :

● le droit de proposer de nouvelles questions

● le droit de valider les questions proposées

● ces droits sont accordés individuellement par l’administrateur

● et, comme on l’a vu plus haut :

- le droit de passer librement certains tests, qui est accordépour un ou plusieurs groupes d’utilisateurs.

- chaque utilisateur peut passer librement les testscorrespondant à tous les groupes auxquels il appartient.Soulignons qu’on ne parle ici que du passage libre, la

105

réponse à des évaluations ou le passage de tests dans lecadre de formations ne sont pas régis par ces droits.

6.5.4 Différents types d’utilisateurs

Les utilisateurs d’ExperQuiz rattachés à l’entreprise ne sont pasnécessairement des collaborateurs, leur lien à l’entreprise peut êtrede différentes natures:

● collaborateur,

● prestataire,

● candidat,

● client,

● stagiaire,

● autre.

Toutes les fonctions de recherche d’utilisateurs, par exemple pourinviter à une évaluation, permettent de filtrer l’un seulement de cestypes d’utilisateurs.

6.5.5 Autres fonctions de gestion des utilisateurs

Citons quelques-unes des autres fonctions importantes relevant dela gestion des utilisateurs:

● multi-linguisme personnalisé : chaque utilisateur peut définirsa langue préférée (français ou anglais pour le moment),toutes les interfaces de travail lui sont présentées dans lalangue choisie ;

● dates de début et de fin d’activité : l’administrateur peutdéfinir une période de validité pour le compte d’un utilisateursur ExperQuiz. C’est typiquement le cas pour un stagiaireparticipant à une formation, pour qui l’on peut définir parexemple une période d'une semaine durant laquelle il peutaccéder à ExperQuiz ;

● recherche par filtre instantané sur le nom des utilisateurs ;

106

● APIs de synchronisation automatisée avec le Systèmed’Information, permettant par exemple d’inscrireautomatiquement les nouveaux arrivants et de désactiverautomatiquement les sortants.

6.6 Organiser des formationsExperQuiz propose d’accompagner les formations en y intégrant desévaluations, ce qui les rendra mieux ciblées, plus efficaces, plusdynamiques et permettra d’en mesurer les résultats.

Comme on l’a vu, les tests s’intègrent aux formations aussi bien enamont, pour valider les prérequis et identifier les besoins, qu'en avalpour valider les acquis et mesurer les apports, donc l’utilité de laformation, mais aussi en intersticiel, c’est-à-dire par petites séries dequestions insérées après quelques dizaines de minutes de cours.

ExperQuiz permet aussi de gérer la diffusion de supports deformation ou d’autres matériels pédagogiques dans le cadre desformations.

Les principes et possibilités sont les suivants :

6.6.1 Préparation et planification d’une formation

Avec ExperQuiz, un administrateur organise une formation de lamanière suivante :

● la formation se rapporte à une base de questions,

● elle a une durée, un lieu, une date de début, une date de fin,

● un formateur est désigné, en charge de l’animer,

● il est possible de sélectionner différents questionnaires àutiliser dans le cadre de la formation,

● de même, on peut choisir un ensemble de documents dansla médiathèque et télécharger des documents spécifiques àutiliser dans la formation,

● enfin, on invite les participants, sélectionnés dans la basedes utilisateurs.

107

Les participants reçoivent un email d’invitation, et confirment leurprésence.

6.6.2 Questionnaires et documents en accès libre

Certains des questionnaires sélectionnés ou préparés pour laformation peuvent être en accès libre pour les participants : ilspeuvent les passer à leur guise, à tout instant et autant de fois qu’ilsle souhaitent. D’autres questionnaires ne sont pas visibles pour lesparticipants, mais le formateur pourra les soumettre aux participantsau moment de son choix, en tant qu’évaluation.

De même, certains documents intervenant dans le cours ne sontvisibles par les participants qu’au moment choisi par le formateur. Ilpeut dire par exemple : “Je vous propose de regarder maintenant leschéma que voici…” et rendre disponible le schéma.

Ces outils conviennent très bien également à des formationseffectuées à distance.

6.6.3 Les outils du participant

Chaque participant dispose d’une page web dédiée à la formation,sur laquelle il voit :

● un rappel des caractéristiques de la formation,

● les documents en accès libre, qu’il peut ouvrir outélécharger,

● les questionnaires en accès libre, qu’il peut jouer autant defois qu’il le souhaite,

● les évaluations qui lui sont soumises par le formateur, et qu’ildoit passer.

6.6.4 Les outils du formateur

Le formateur, quant à lui, dispose d’un espace dédié à la formation,sur lequel il peut :

● indiquer les participants présents,

108

● rendre des documents ou des questionnaires disponiblesaux participants,

● lancer des évaluations à destination des participants,

● consulter en temps réel tous les résultats des évaluationslancées.

6.6.5 Le déroulé d’une évaluation

Ainsi, le déroulé peut être le suivant. Le formateur a présenté unepartie de son cours pendant une demi-heure, après avoir poussé lesupport aux participants. Il veut marquer une étape avec quelquesquestions portant sur cette phase de cours. Il soumet unquestionnaire de 5 questions à tous les participants. Chacun le voitapparaître sur sa page participant, lance le test et répond auxquestions. Tout cela ne prend peut-être que 5 à 8 minutes. Au fur età mesure que les participants terminent le test, le formateur peutconsulter une page de synthèse des résultats et s’assurer que tout lemonde a bien suivi. Il peut également disposer du détail desréponses de chacun.

Avant de passer à la phase suivante, le formateur rend disponible denouveaux supports de cours.

6.6.6 En présentiel ou à distance

Rappelons-le, c’est une démarche qui convient parfaitement aussibien en présentiel qu’à distance. C’est la pédagogie le plus souventemployée par les MOOCs les plus en vue : une participation activedes apprenants, des variations de rythme, la validation de chaqueétape.

109

6.7 Caractéristiques techniques

6.7.1 Application en mode SaaS

ExperQuiz est une application en mode SaaS (Software as aService), c’est-à-dire qu’elle est accessible au moyen de n’importequel navigateur web connecté à l’Internet. Il peut s’agir d’un poste detravail, d’une tablette ou d’un smartphone, quel qu’en soit le systèmed’exploitation.

Ainsi le déploiement d’ExperQuiz au sein d’une entreprise estinstantané et ne demande aucune intervention technique.

Les interfaces sont dites "responsive", c’est-à-dire qu’elless’adaptent automatiquement à la taille de l'écran utilisé.

6.7.2 Application Cloud

ExperQuiz est développé sur une plateforme Cloud, utilisant lesoutils de développement et de base de données les plus modernes.Sur ce type de plateforme, les serveurs sont activésautomatiquement en fonction du trafic, de sorte que la capacitéd’accueil est illimitée, et les performances sont constantes, quelsque soient les volumétries (bases, questions, utilisateurs…) et lenombre d’utilisateurs simultanés.

6.7.3 Application sécurisée

ExperQuiz est une application hautement sécurisée :

● gestion des mots de passe cryptés, à l’état de l’art,

● cloisonnement strict des données,

● les configurations des serveurs sont entièrement gérées etmises à jour par le prestataire de l’infrastructure Cloud,

● ExperQuiz peut être utilisé en session sécurisée (HTTPS).En option, l’accès non-sécurisé peut même être interdit.

110

6.7.4 APIs pour des échanges automatisés avec les SIs

ExperQuiz dispose d’interfaces permettant d’automatiser leséchanges avec les Systèmes d’Information des clients, ERP ouapplication RH :

● synchronisation des utilisateurs, entrants, sortants,changements de statuts,

● remontée des résultats de tests et certifications,

● remontée des questions.

Nos remerciements

Nous vous remercions de votre intérêt pour l'évaluation objective enentreprise et pour la plateforme ExperQuiz.

Nous espérons avoir su vous montrer l'intérêt et les multiples casd'utilisations du test en entreprise, ainsi que les caractéristiquesuniques de notre plateforme.

L'équipe ExperQuiz est à votre disposition pour répondre à vosquestions et échanger avec vous sur le déploiement de ces outilsdans votre entreprise.

111