deuxième journée de l’ifres 9 mai 2008 les rapports entre …leclercq/media/roeifres2008.pdf ·...

D. Leclercq (2008). Rapports entre objectifs et évaluations pédagogiques. Journée IFRES 9 mai 20008. Université de Liège 1

Les rapports entre objectifs

et évaluations pédagogiques

Evaluer pourquoi ? quoi ? Comment ? A quel prix ?

D. Leclercq

Deuxième journée de l’IFRES

9 mai 2008


Objectifs de l’exposé :

donner des réponses - repères sur 7 questions

• 1. Qu’est-ce qu’évaluer ?

• 2. Pourquoi évaluer ?

• 3. Qu’est-ce qu’un dispositif d’évaluation ?

• 4. Evaluer quoi ?

• Evaluer comment (Méthodes) ?

5 -selon quels principes ?

6 -avec quels instruments ?

• 7. Avec quels critères de qualité et à quel prix ?


1. Qu’est-ce qu’évaluer ?

Evaluer = Observer (mesurer) + juger

2. Pourquoi évaluer ?

2 visées ou fonctions) :

-formative (au service de la régulation de

l’apprentissage)

-sanctionnante (au service de la régulation de la

société : certification ou sélection)


3. Qu’est-ce qu’un dispositif d’évaluation ?• Un système d’observation permettant un jugement • à visée formative OU/ET sanctionante

• concernant des individus, des groupes ou des institutions

• portant sur des d’objectifs• selon des principes : quand ? Par qui ? de façon

modifiable ou définitive ? de façon standardisée ou adaptative? avec quelle préparation ? à correction automatisée ou par experts ou par pairs ou par l’étudiant ? etc.)

• à l’aide de méthodes (QCM, QROC, QROL, oral, exposé, ECOS, rapport, portfolio, stage, etc.)

• et de techniques (Solutions Générales Implicites, Degrés de Certitude, présentation factionnée, etc.)

• tentant de satisfaire un certain nombre de critères de qualité (ETIC PRAD).


A statut révisable (améliorable ou dépréciable) ou définitif

A notation subjective (par jugements, même à partir de critères) –

objective (par application aveugle et automatisable de règles)

A référence critérielle (repères préalables) – normative (comparaison au groupe)

A tempo continu (réparti dans le temps) ou ponctuel (concentré dans le temps)

Par agents experts – pairs – soi (auto-évaluation)

5. Evaluer selon quels Principes ( Caractéristiques du dispositif)

(Leclercq, 2007)

A procédure standardisée (la même pour tous et à tout moment)

ou non (adaptative, ex : oral)

En contexte artificiel-authentique

Avec préparation isomorphe (examen simulé) ou non ou absente

D’une durée de recueil des données de….(jours –heures min)

A précision sommative (UN score de passage)- diagnostique (les causes)

Dont les sujets sont des individus, un groupe, une institution


7. Selon quels Critères de qualité (validité) ? Leclercq (2006)

E = Ecologique (degré d’authenticité / artificialité,

proximité à la réalité, sa complexité)

T = Théorique (représentative des processus

mentaux visés, des contenus, du niveau d’exigence)

I = Informative (diagnostique et compréhensible

pour les utilisateurs)

C = Conséquentielle (suivie d’effets

chez les apprenants ou le prof))

P = Prédictive statistiquement du futur

(réussite ou échec scolaire, professionnel, etc.)

R = Replicable (Fidélité : erreur de mesure faible)

A = Acceptable (sur les principes, les coûts, les délais, sur les

charges de travail, pour les encadrants et les étudiants)

D = Déontologique (équitable, respectueuse des droits…)


7 bis : Exigences de qualités différentes selon les visées ?

formative sanctionnante

XX XXX

XX

X XX

??

?

E = Ecologique (degré d’authenticité / artificialité,

proximité à la réalité, sa complexité)

T = Théorique (représentative des processus

mentaux visés, des contenus, du niveau d’exigence)

I = Informative (diagnostique et compréhensible

pour les utilisateurs)

C = Conséquentielle (suivie d’effets

chez les apprenants ou le prof))

P = Prédictive statistiquement du futur

(réussite ou échec scolaire, professionnel, etc.)

R = Replicable (Fidélité : erreur de mesure faible)

A = Acceptable (sur les principes, les coûts, les délais,

sur les charges de travail, pour les encadrants et les étudiants )

D = Déontologique (équitable, respectueuse des droits…)

À visée

?

?

?


Les objets d’observation (de mesure) peuvent relever

du niveau de complexité-de performances isolées (habiletés)

-de performances intégrées et complexes (compétences)

4. Evaluer quoi ?

des domaines - cognitif (des savoirs)- sensori-moteur : (des skills, des savoir-faire)

- affectif (des attitudes, engagements, des savoir-être) - métacognitif (des jugements, analyses et régulations

sur soi)


L’évolution de la notion d’objectifs…

Contexte « scolaire »----------------------------------------------Situation professionnelle

Contenus

Habiletésde savoirde faired’être

Compétences

autonomes

spontanées

…et de leur évaluation

X ActivitésMentales ou physiques

x en Situation

Performances isolables Performances complexes ou intégrées

nouvellecomplexe

4. Evaluer quoi ? (suite)


6. Techniques et Instruments d’évaluationContexte « scolaire »----------------------------------------------Situation professionnelle

Contenus x Activités x SituationautonomeshabiletésCompétences

spontanées

Projets

complexe

nouvelle

de savoirde faired’être

Synthèse

Analyse

Application

Compréhension

Connaissance

Evaluation

Synthèse

Analyse

Application

Compréhension

Connaissance

Evaluation


Méthodes et Techniques d’évaluationContexte « scolaire »----------------------------------------------Situation professionnelle

Contenus x Activités x SituationautonomeshabiletésCompétences

spontanées

Projets

complexe

nouvelle

de savoirde faired’être

Synthèse

Analyse

Application

Compréhension

Connaissance

Evaluation

Synthèse

Analyse

Application

Compréhension

Connaissance

Evaluation

TOISENon abordé ici


T.O.I.S.E.Taxonomie d’Objectif Instrumentée

au Service de l’ Evaluation

D. Leclercqoctobre 2007

[email protected]

voir Leclercq (2007)


La taxonomie de BLOOM

sur les objectifs (processus)

cognitifs (1956)

Synthèse

Analyse

Application

Compréhension

Connaissance

Evaluation

6 processus mentaux

rangés en ordre

croissant de complexitéBenjamin Bloom

Université de Chicago


Synthèse

Analyse

Application

Compré-hension

Connaissance

EvaluationQuelles sont les

plus évaluées

DISTINCTEMENT

?Synthèse

Analyse

Application

Compréhension

Connaissance

Evaluation

Hypothèse : Par manque d’instrumentation spécifique.

Hypothèse :

Pourquoi ?


La recherche (Luh,

1922, Bahrick, 1984)

montre que le Rappel doit être distingué de

la Recognition Synthèse

Analyse

Application

Compréhension

Connaissance(de rappel)

Evaluation

Connaissance (de Reconnaissance)

Schurwirtz (2000)

0

10

20

30

40

50

60

70

80

90

100

Open Ended Q Multiple Choice Q%

of

Co

rrec

t an

swer

s

4th Year

6th Year

2th Year

Specialists

Generalists

Schuwirth


Synthèse

Analyse

Application

Compréhension

Connaissance

Evaluation

Instruments(lampes de poche)

Exemples de questionObjet / Objectif à évaluer


Synthèse

Analyse

Application

Compréhension

Connaissancede rappel

Evaluation

Instruments Exemples de question

QCM A

Quelle est la capitale

de l’Italie ?

1. Turin

2. Naples

3. Rome

4. Venise

Connaissancepar reconnaissance

QCM A =

K solutions

1 seule solution correcte

1 seule réponse permise

1/k chances de RC

par réponse au hasard

Objet / Objectif à évaluer


Synthèse

Analyse

Application

Compréhension


Evaluation


QCM SGEN

« Nulle, Aucune »


de l’Italie ?

1. Turin

2. Naples

3. Le Vatican

4. Venise

5. Oslo

6. Nulle (Aucune)

d’entre elles


QCM SGEN = K solutions



1 Solution Générale

Explicite :

« Nulle, Aucune »



Synthèse

Analyse

Application

Compréhension


Evaluation


QCM A’ : avec la SGI « Aucune »


de l’Italie ?

1. Turin

2. Naples

3. Le Vatican

4. Venise

5. Oslo


QCM A’’ = K solutions



1 Solution Générale

Implicite : « Aucune »



Synthèse

Analyse

Application

Compréhension


Evaluation


QCM B

Quel est le meilleur

synonyme de

« par le biais de »

1. par le soutien de

2. par la réussite de

3. par le moyen de

4. par la responsabilité de

5. par la forme de


QCM B (Best) =

K solutions

La meilleure des k ?

1 seule réponse

permise



Synthèse

Analyse

Application

Compréhension


Evaluation


Exemples de question

Quel est le meilleur

synonyme de

« par le biais de » ?


QROC =

Réponse Ouverte Courte

QROC



Synthèse

Analyse

Application

Compréhension


Evaluation


Exemples de question


QROC =

Réponse Ouverte Courte

Quel est le style de cette

sculpture ?

QROC



Synthèse

Analyse

Application

Compréhension


Evaluation

Instruments Exemples de questions

QCLConnaissancepar reconnaissance

QCL ou Long Menu Q

Des centaines de solutions

rangées alphabétiquement



Q1. Qui a proposé le concept

d’advance organizer ?

…………..

Q2. BACON a écrit des ………

Q3. Changer fréquemment de

stratégie d’apprentissage est

appelé ………….mathétique

Q4. L’étayage (selon Bruner)

aide à accroître la

……………………….. De

développement de l’apprenant.

21. Advance Organiser22. ALBERTINI J. M. 23. Allo24. Ambivalence25. Analyse26. Aphorisme27. Application28. Ausubel D.29. Bloom.599. Tutoriel600. TULVING E. 601. VYGOTSKY L.602. ZEIGARNIK



Chapitre 1 p. 4 Imitation

p.5 Acquiescement, Identification, Intériorisation, Taught, Teach

p. 6 Façonnage, Modelage social ,Opérant , Progressivité, Shaping, Vicariant

p. 7 Créativité Outcome expectancy Self efficacy

p. 8 Attente d'efficacité, Attente du résultat Efficacité, Outcome expectancy Résultat, Self efficacy

p. 9 Bareers, Belief, Coût, Curabilité, Détectabilité, Douleur, Freins, Gravité, Health, Honte, Modelage social, Susceptibilité, Temps

p. 10 Autoempathie, Autofixation, Difficulté, Segmentation

p. 11 Prestigieux

Médias, Préconcepton

p. 12 SITCOMS, Subliminales

Chapitre 2 p. 1 Code, Galaxie Gutenberg, Mac Luhan MARCONI

p. 4 Action, Instrumentalisme, Intériorisation Langage, Opération mentale

p. 5 Diffuseur, Diffusion, Ecriture, Graphisme Ecole Gratuite et obligatoire , Imprimerie, Imprimeurs, Internet, Lecteurs, Ordinateurs Parole, Scripteurs

p. 6 Bayeux

p. 7 Conventions

p. 8 Flesh, Lisbilité

p. 15 Confirmation, Internalisation, Progression Sollicitation, Spontanéité

p. 16 Behavioriste

p. 18 Cognitiviste

p. 19 Liaisons, Lien

p. 20 Relations

p. 21 Iceberg

p. 22 Exercisation

Chapitre 4 p. 1 Hypermédias

p. 4 Filet, Hypertexte, Métaphore, Toile, Web

p. 5 Backstracks, Bookmarks, Désorientation, Guided Tours, Hyperespace, Marques, se perdre, Visites guidées

p. 7 Brouter, Browsing, Butinage, Picorage

p. 8 Virtuelle

p. 9 Brouter, Frame, Marge

p. 10 Fictif

p. 11 Maestros

p. 12 ELIZA Rogerienne

p. 13 Turing

p. 14 DéLINE

p. 15 Analytique, Approfondissements, Globaliste Holiste, Sérialiste, Superficielle

p. 16 Contraintes, Croisée, Interaction, Intra-individuelle

p. 17 Note

p. 19 Gains absolus et relatifs , MAX, MIN, Gain POSSIBLE, POST-TEST, PRE, PRETEST, Style

*Cours PSYCHO 058 Matière à mémoriser


*


Les Questions à Choix Large (QCL)

*


Synthèse

Analyse

Application

Compréhension


Evaluation


Questions

Quel est l’auteur de

A. La légende des siècles

B. Germinal

C. L’idiot

D. Le rouge et le noir

E. La cantatrice chauve

F. Hernani


QCMR =

Appariement

QCMR


Solutions

1. Ionesco

2. Montherland

3. Victor Hugo

4. Dostoievski

5. Stendahl

6. Emile Zola

Une solution peut

convenir

à plusieurs questions


Jan Smedslund (1997)

• « Une personne E (comme Elève) comprend

correctement ce qui est signifié par une

expression X produite par une personne P

(comme Professeur) si les deux personnes

s’accordent sur ce qui, pour P :

• est équivalent à X, c-à-d signifie la même chose que X

• est impliqué par X, c-à-d découle de X

• est contredit par X, ou nié par X

• est non pertinent par rapport à X, c-à-d n’a rien à voir avec X

• Un désaccord sur un seul de ces critères indique une mauvaise compréhension (misunderstanding).

• Cela suppose que E est logique.

• On ne peut en effet distinguer un manque de compréhension d’ un manque de logique. »


La Comprehension

= des traductions

comme un échangeur

d’autoroutes


QCM A ou B ou

QCM + SGE ou SGI

Aucune ou Toutes

Concepts

mots

Formules

Tableaux

Graphiques

Comprendre,

c’est traduire...

Synthèse

Analyse

Application

Compréhension

Connaissance(rappel)

Evaluation

Connaissance(Recognition)

Les points entourés en bleu sont des enfants

avec :

1. Une bonne prédiction et un mauvais score

2. Une bonne prédiction et un bon score

3. Une mauvaise prédiction et un bon score

4. mauvaise prédiction et mauvais score

6. Nulle des 4 précédentes : Aucune

7. Toutes les 4.

Objet / Objectif à évaluer Instruments Exemples de questions

K solutions


1 seule réponse, 2 Solution

Générales : « Aucune » et

« Toutes »


QCM A ou B ou

QCM + SGE ou SGI

Concepts

mots

Formules

Tableaux

Graphiques

Comprendre,

c’est traduire...dans tous les sens

Synthèse

Analyse

Application

Compréhension


Evaluation



Dans cette feuille de Feedback

d’un Progress test en médecine à

l’U. Maastricht, dans quel

domaine l’étudiant est-il le plus

supérieur à la moyenne ?

1. Anatomie

2. Biochimie

3. Pharmacologie

4. Physiologie

5. Génétique


QCM A ou B ou

QCM + SGE ou SGI

Concepts

mots

Formules

Tableaux

Graphiques

Comprendre,


Synthèse

Analyse

Application

Compréhension


Evaluation



Dans leurs conclusions de la page 51, les auteurs suggèrent

que :

1. Il faut introduire un quota restrictif

2. Il faut limiter les possibilités de changement de carrière

3. L’incidence du triplement est élevée

4. Les efforts déployés pour les étudiants ayant échouéest un investissement perdu


QCM A ou B ou

QCM + SGE ou SGI

Concepts

mots

Formules

Tableaux

Graphiques

Comprendre,


Synthèse

Analyse

Application

Compréhension


Evaluation



CartesQuelle est la distance,

en km, entre Aoste et

Courmayeur ?


QRO

ou QCM + SGE ou

SGI

Synthèse

Analyse

Application

Compréhension


Evaluation



Voici une tête de marteau.

Quel est son volume ?

Sachant que le marteau

est en fer dont la

densité est 7.87, que le

trou est circulaire et

son diamètre est 2 cm,

que la hauteur de la

tête de marteau est 3

cm et sa longueur 5

cm.

Un cas où

-la question est explicite, -le modèle n’est pas dit (cylindre, parallélépipède)-Toutes les données

sont disponibles

Application


Enjeu de l’analyse :

Mesurer la détection d’erreurs ou

la vigilance cognitive et faire

contrepoids au

Curriculum caché

Quino

�Quand on vous pose une question,

vous devez répondre

� Il y a une réponse à toute question

�Une question posée par l‘autorité est

bien posée

Analyse


Synthèse

Analyse

Application

Compréhension


Evaluation


QRO ou QCM SGI

Manque et

Absurdité


Quelle est l’aire d’un triangle dont la base est 5 cm?

1. 8 cm22. 12 cm23. 20 cm2

6 = Aucune

7 = Toutes

8 = Manque de

données

9 = Absurdité

-Données manquantes

-Problème mal formulé

-question absurde

-connaissances conditionnelles

Analyse =Vigilance cognitive


QRO ou QCM SGI

Manque et

Absurdité

Synthèse

Analyse

Application

Compréhension


Evaluation



6 = Aucune

7 = Toutes

8 = Manque de données

9 = Absurdité

-Données manquantes

-Problème mal formulé

-Question absurde

-connaissances conditionnelles

Analyse =Vigilance cognitive

Quel est le périmètre d’u n

triangle dont les côtés sont

2 cm, 3 cm and 6 cm ?

1. 9 cm

2. 11 cm

3. 16 cm


QRO ou QCM SGI

Manque et Absurdité

Synthèse

Analyse

Application

Compréhension


Evaluation



Distinguer Analyse et application

Quel est le périmètre d’u n

triangle dont les côtés sont

2 cm, 3 cm and 6 cm ?

1. 9 cm

2. 11 cm

3. 16 cm

PRIM

BISIl y avait une absurdité

dans l’énoncé. Où ?

QRO ou QCM SGI

Manque et Absurdité


QROC ou QROLSynthèse

Analyse

Application

Compréhension


Evaluation



Pour des performances

complexes (Rapports,

dissertations, projets, …)

qui comportent plusieurs

dimensions

Les 4 critères de

Torrance’s se rapportent

aux QR ouvertes :

fluidité

flexibilité

originalité

élaboration

Synthèse


QROC ou QROLSynthèse

Analyse

Application

Compréhension


Evaluation



Pour des performances complexes

(Rapports, dissertations, projets, …) qui

comportent plusieurs dimensions

Exactitude

C01 : Exactitude des 3 exemples donnés

C02 : Degré de détail

C03 : Originalité

C04 : Structuration de la réponse

C05 : Pertinence des liens établis

C06 : Explications claires

C07 : Reformulation par ses mots

C08 : Présence du vocabulaire technique

C09 : Orthographe d’usage

C10 : Orthographe grammaticale

Rubriques de jugement

(Ici les poids sont cachés)


Effets de correction dans les notations subjectives(Leclercq, 2007, chap 3)

• Sévérité du correcteur

• Contamination / halo

• Contraste / séquence

• Inertie / stéréotypie

• Posthumus (Courbe de Gauss) - relativisation


QROC ou

QROL +

Synthèse

Analyse

Application

Compréhension


Evaluation



Pour des performances

complexes (Rapports,

dissertations, projets, …)

qui comportent plusieurs

dimensions

Exactitude Certitude

C01 : Exactitude des 3 exemples donnés

C02 : Degré de détail

C03 : Originalité

C04 : Structuration de la réponse

C05 : Pertinence des liens établis

C06 : Explications claires

C07 : Reformulation par ses mots

C08 : Présence du vocabulaire technique

C09 : Orthographe d’usage

C10 : Orthographe grammaticale

Rubriques de jugement

(Ici les poids sont cachés)

Auto-évaluation par

Degrés de Certitude

0 20 40 60 80 100


Basé sur des modèles de l’activité mentale

lors de la réponse à une question

(Bruce Choppin, 1974, IEA)


Bruno De FinettiMethods of discriminating levels

of partial knowledge concerning a test item

Brit. Journ. of Math. & Statist. Psychol., 1965, 18, 87-123.

• La connaissance partielle existe.

La détecter est nécessaire et faisable (p. 109)

• Seule la probabilité subjective peut donner une

signification objective à toute réponse et toute

méthode de notation (p. 111)

Epistémologiquement, mesure la

connaisance partielle :

….et de mesure des gains d’apprentissage.


Aussi pour les Questions Ouvertes

(QROC ou QROM)

SMART


D. Leclercq (2007) recommande le remplacement

• Modèle théorique faux

• Injuste

• Pas informative

• Pas formative

• Limitée aux QCM

• Modèle théorique meilleur

• Plus Juste

• Informative

• Formative

• générale

de la Correction

for guessing classique

par les Degrés de Certitude

TC = +1TI = -1 / (K-1)


« Plus » métacognitifs

Si CONFIANCE

>50%, +0,5

>60%, +1

>70%, +1,5

Si IMPRUDENCE

<50%, + 0,5

<45%, +1

<40%, +1,5

Score classique

Par Réponse Correcte : + 1

Par Réponse Incorrecte

ou par Omission : -0,25

On transforme le total

Sur 20 points.

Puis, si le taux d’omissions

ou de certitudes 0 est <20%,

alors………>

Formule de scoring Leclercq, Poumay, Castaigne (2005) :


L’auto-évaluation par Degrés de Certitude

a été utilisée et étudiée dans des domaines vitaux :

RCP

pilotes techniciens

Patients

diabétiques

étudiants


A grande échelle, le

testing de 4000 étudiants entrant (oct 1999) dans les universités belges

sur 10 matières

par QCM + 2 SGE

avec Degrés de Certitude

a permis d’établir des repères des

indices de Confiance et d’Imprudence, des

scores spectraux, des sur et sous-estimations.

et l’analyse certimétriquedes résultats à chaque question.


Validité conséquentielle (en évaluation formative)

(voir chap 1 p. 25)

(voir chap 1 p. 26)Feedback :


Conclusions…provisoires

• La qualité d’un dispositif d’évaluation dépend

• -de ses fonctions,

• -de ses caractéristiques,

• -de ses indices de validité,

• -de ses méthodes,

• -de ses instruments et

• -de leur usage.


Références mentionnées dans l’exposé : • Leclercq (2003) Diagnostic cognitif et métacognitif au seuil de

l’université. Le porojet MOHICAN mené par les 9 universités de la

Communaute française Wallonie Bruxelles. Liège : Editions de

l’université de Liège.

• Leclercq (2006) Les QCM et ETICPRAD, in Figari et Mottier-Lopez.

Recherche en évaluation. Paris : L’Harmattan.139-148.

• Leclercq (2007) Evaluation et docimologie. Editions de l’université

de Liège

qui contient, entre autres, les Règles de rédaction des QCM, extraites de ------------------------�

* Téléchargeable depuis le site de la journée

1986 *

*

deuxième journée de l’ifres 9 mai 2008 les rapports entre …leclercq/media/roeifres2008.pdf ·...

Documents