processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et...
TRANSCRIPT
![Page 1: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/1.jpg)
Processus de macro-régulation : impact des modalités du recueil de données sur l’efficacité et l’équité
XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004
Pascal Detroz Assistant de recherche
Muriel Delforge Faculté Polytechnique de Mons
![Page 2: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/2.jpg)
Le fichier de cette présentation est téléchargeable sur le site web du
SMART-ULg :
http://www.smart.ulg.ac.be/congres/amse2004/
![Page 3: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/3.jpg)
Méthodologie « SMART »
(Gilles & Leclercq, 1996)
1. Analyse desobjectifs de
l’enseignement
- Points Enseignés- Catégories de
Performances- Priorités
4. Entraînement
6. Correction etdiscussion
- performances- analyse des
propositions,contrôle qualité aposteriori : rpbis,rectifications
7. Feed-backaux examinés
- FB « matières »,« processusmentaux » et« métacognitifs »
- infos surl’analyse desquestions
3. Constructionde l’épreuve
- Rédaction desquestions
- Barèmes et tarifs- Contrôle qualité
a priori
2. Mise en formede l’épreuve
- Définition desModalités deQuestionnement
- Équilibrage del’épreuve
8. Macro régu-lation (recueil desavis des étudiants)
5. Epreuve- préparation du
matériel, deslocaux, consignes
- vérification dutiming
- procédures anti-fraude
CycleSMART de
réalisation des évaluations
Un cycle de réalisation des évaluations en 8 étapes :Un cycle de réalisation des évaluations en 8 étapes :
![Page 4: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/4.jpg)
L’évaluation des enseignements : Une stratégie gagnante
L’exemple de la Faculté de Psychologie et des Sciences de l’Education : Les feedbacks
En analysant les questions suivantes relatives aux feedbacks donnés aux étudiants après les examens …
• 2.11 L’étudiant peut obtenir des explications sur la qualité de ses réponses• 2.12 Les résultats (points ou grades) sont affichés • 2.13 Pour les écrits, les corrections ont été communiquées en temps utile
… on constate qu’en 1997-1998, ces items constituaient les pointsfaibles de l’évaluation des examens.
Après de nombreux efforts conjoints de la Faculté et du SMART, une très nette amélioration a été constatée.
![Page 5: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/5.jpg)
Faculté FAPSE - Evalution des examens en première candidature
1
1,5
2
2,5
3
3,5
4
4,5
5
5,5
6
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
2.10
2.11
2.12
2.13
QuestionsMoyenne pour chaque question en 2001-2002 Moyenne générale en 2001-2002
Moyenne pour chaque question en 2000-2001 Moyenne générale en 2000-2001"
Moyenne pour chaque question en 1999-2000" Moyenne générale en 1999-2000
moyenne pour chaque question en 1998-1999 Moyenne générale pour chaque question en 1997-1998
L’évaluation des enseignements : Une stratégie gagnante
![Page 6: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/6.jpg)
L’évaluation des enseignements : Les jalons institutionnels
• L’évaluation de la qualité de l’enseignement dans les institutions universitaires de la communauté française de Belgique (11 mars 1997).
• La déclaration de Bologne « L’espace européen de l’enseignement supérieur » (19 juin 1999).
• Le décret créant l’agence pour l’évaluation de la qualité de l’enseignement supérieur organisé ou subventionné par la communauté française (14 novembre 2002).
• Le décret définissant l’enseignement supérieur, favorisant son intégration à l’espace européen de l’enseignement supérieur et refinancant les universités (23 mars 2004).
![Page 7: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/7.jpg)
L’évaluation des enseignements : Analyse de cas - FMPs
La FPMs :
• Institution monofacultaire de petite taille (1100 étudiants)
• Formation d’Ingénieur civil, forte composante « entreprise »
• Très influencé par la procédure qualité issue du monde industriel
![Page 8: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/8.jpg)
F a c u l t é P o l y t e c h n i q u e d e M o n s
L’industrieL’industrie
La procédure QualitéInspiration
Processus
Ensemble de moyens et d’activités qui transforment les éléments entrants en éléments sortants
ATTENDU PERCU
Satisfaction du client
VOULU REALISEConformité
Pro
duit
s en
tran
ts
Pro
duit
s so
rtan
ts
![Page 9: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/9.jpg)
L’évaluation des enseignements : Analyse de cas : FPMs
La FPMs : Deux voies d’évaluation
• Le enquêtes pédagogiques (avis des étudiants, papier crayon). • Elles existent depuis une quinzaine d‘années• Elles sont annuelles • Elles sont sanctionnantes• L’échelle utilisée est sous la forme ++, +, N, -, --
• La procédure qualité• Existe depuis 1998• Formative• Plus fouillée• Analyse des « faits quantitatifs » (inscription, taux de réussite, flux, …)• Comité de concertation (étudiants, Doyen, cellule qualité, …)
![Page 10: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/10.jpg)
L’évaluation des enseignements : Analyse de cas : ULg
L’ULg : Historique
• Avant 1990, apanage de volontés individuelles ou émanent des étudiants
• Première enquête pédagogique en mai 1991
• En 1995-1996, acquisition d’un lecteur optique de marques
• En 1997, une commission interfacultaire d’Evaluation des Enseignements
• En 1997-1998, 400 cours sont évalués
• En 2000-2001, naissance du SMART et subsidiation de l’ULg
• En 2002-2003, première maquette du projet EEEVI (Evaluation des Enseignements par les Etudiants via Internet)
• En 2003-2004, finalisation d’EEEVI
• Aujourd’hui, environ 1.500 cours et 60.000 feuilles lues par an
![Page 11: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/11.jpg)
L’évaluation des enseignements : Analyse de cas : ULg
L’ULg : Description des structures
Quatre types de structure régulent la procédure Evalens
• La commission interfacultaire « Evaluation des enseignements »
• Le SMART
• Les conseils des études facultaires
• Les secrétariats facultaires
Sans oublier, évidemment, les étudiants et les enseignants
![Page 12: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/12.jpg)
Conseil général des études
Commission permanente Evalens
Rapports de la commission Conseil d’administration
Huit facultés
SMART
Ancrage institutionnel de l’évaluation des enseignements
![Page 13: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/13.jpg)
L’évaluation des enseignements : Analyse de cas : ULg
L’ULg : Méthodologie
Régie par une circulaire émanant de la commission interfacultaireEvalens et votée au Conseil d’Administration du 20 mars 2002.
Cette circulaire préconise :
• d’évaluer chaque enseignement au moins tous les quatre ans, • de séparer l’évaluation des cours et des examens
(calendrier => validité), • d’utiliser un questionnaire commun à toutes les Facultés,• de fournir les feedbacks aux étudiants concernés et au doyen,• d’organiser une réunion spéciale du Conseil des Etudes pour analyser les résultats publics,• d’autoriser le doyen à régler un problème éventuel avec les personnes impliquées,• de veiller à la mise en place effective du Comité de Pilotage Interfacultaire ;• d’assurer un retour des résultats de ces évaluations vers les
étudiants
![Page 14: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/14.jpg)
3. Les questionnaires d’évaluation des enseignements à L’université de Liège
![Page 15: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/15.jpg)
3c. Les questionnaires d’évaluation des enseignements à L’université de Liège : Le questionnaire « évaluation des examens »
1. Évaluation des examens SO 1 2 3 4 5 6
2.1 L’entraînement à la procédure d’évaluation avant l’examen était suffisant .......................................... 2.1 1 1 1 1 1 1 1 0
Les exigences de l’enseignant sont présentées aux étudiant(e)s … 2.2 … clairement ................................................................................................................................................... 2.2 1 1 1 1 1 1 1 0 2.3 … en temps utile ............................................................................................................................................. 2.3 1 1 1 1 1 1 1 0
2.4 Le mode d’évaluation (QCM, oral, écrit, travaux personnels, …) est adéquat ...................................... 2.4 1 1 1 1 1 1 1 0 2.5 L’horaire fixé pour l’examen est respecté .................................................................................................. 2.5 1 1 1 1 1 1 1 0 2.6 La durée de l’examen est suffisante ............................................................................................................ 2.6 1 1 1 1 1 1 1 0 2.7 Les questions de l’examen sont clairement formulées ............................................................................ 2.7 1 1 1 1 1 1 1 0 2.8 La procédure d’examen recouvre bien toute la matière ........................................................................... 2.8 1 1 1 1 1 1 1 0 2.9 L’examinateur(trice) est impartial(e) ........................................................................................................... 2.9 1 1 1 1 1 1 1 0 2.10 L’examinateur(trice) adopte une attitude correcte à l’égard de l’étudiant(e) .................................... 2.10 1 1 1 1 1 1 1 0
Après l’examen … 2.11 … l’étudiant(e) peut obtenir des explications sur la qualité de ses réponses .................................. 2.11 1 1 1 1 1 1 1 0 2.12 … les résultats (points ou grades) sont affichés en conformité avec le règlement facultaire ....... 2.12 1 1 1 1 1 1 1 0 2.13 … pour les écrits, les corrections ont été communiquées en temps utile ........................................ 2.13 1 1 1 1 1 1 1 0
![Page 16: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/16.jpg)
4. Les feedbacks confidentiels : Les donnéesU N I V E R S I T E D E L I E G E
Evaluation des enseignements - Données confidentielles
Faculté EGSS - Gestion de l'entreprise (2002-2003)
Tableau des moyennes pour le cours codé ED062H Nombre d'étudiants : 21
Les chiffres qui figurent dans les cases indiquent le nombre de cours qui récoltent la moyenne correspondant à la case. Les cases grisées indiquent les moyennes obtenues par le cours codé ED062H.
Formule adoptée pour ce cours : (% des réponses cochées)86% ex cathedra 5% discussions 0% exposés étu. 24% t.p. 5% conférences
Moyennes des avis
Préalables : modalités d'organisation du cours Jamais Toujours SO NulTous les cours prévus ont été donnés 1 1 5 0 2Le professeur était présent 2 5 0 1Le professeur était ponctuel (début, fin des séances) 3 4 0 1
1 2 3 4 5 61. Evaluation du cours SO Nul1.1 Les objectifs sont clairement définis (explicités) 1 1 1 3 1 0 2
Vous avez fait des PROGRES en …1.2 ...connaissances 1 2 3 1 0 11.3 ...méthodes 1 2 1 3 1 2
1.4 Le cours oral est bien structuré et clair 1 3 3 0 21.5 Le cours écrit (syllabus, livre, …) est bien structuré et clair 1 2 4 1 11.6 La charge globale de travail est adaptée au volume horaire 1 2 3 1 0 11.7 Le professeur rend la matière attrayante 1 2 3 1 0 21.8 Le professeur a une bonne élocution (débit, puissance vocale) 1 4 2 0 11.9 Le professeur fait participer les étudiant(e)s au cours oral 2 1 3 1 2 11.10 Le professeur et/ou ses collaborateurs est (sont) disponible(s) pour répondre 1 5 1 0 1
aux questions1.11 Les documents pédagogiques (transparents, vidéo, multimédias) facilitent 3 3 1 7 2
la compréhension1.12 Cet enseignement m'a permis de m'améliorer dans une langue étrangère 2 1 1 1 1 1 11 51.13 Le poids ECTS accordé à cet enseignement est adéquat 4 2 1 8 9
Quant aux évaluations / exercices corrigés en cours d'année …1.14 … ils étaient en nombre suffisant 3 1 1 1 4 91.15 … ils m'ont procuré des informations utiles 1 2 1 1 1 4 81.16 … j'obtiens des explications sur la qualité de mes réponses 2 3 1 1 8 81.17 … les corrections ont été communiquées en temps utiles 2 1 1 2 1 6 91.18 … le local était adéquat 2 3 2 6 8
5,51,5 2,5 3,5 4,5
![Page 17: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/17.jpg)
4. Les feedbacks confidentiels : Les données (explication)
![Page 18: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/18.jpg)
L’évaluation des enseignements : Perspectives
D’une approche formaliste vers une approche naturaliste :• Evaluation administrative et évaluation formative• Importance de l’enjeu de l’évaluation• Validité et fidélité
Centra, 1993 -> L’évaluation régule l’enseignement si :• L’information est nouvelle• L’enseignant y apporte du poids• Il doit savoir comment faire pour s’améliorer• Il doit être motivé à faire des améliorations
Apports des nouvelles technologies et de l’Internet : EEEVI
![Page 19: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/19.jpg)
Démonstration du logiciel : mode étudiant et mode professeur quelques copies d’écran
Présentation du logiciel d’Evaluation des Enseignements par les Etudiants Via Internet (EEEVI – version 1.0) - 18/11/02
![Page 20: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/20.jpg)
![Page 21: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/21.jpg)
![Page 22: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/22.jpg)
![Page 23: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/23.jpg)
![Page 24: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/24.jpg)
L’évaluation des enseignements : Impact des TIC sur la qualité
• Module générale : évaluation administrative• Modules à choisir ou non : évaluation formative
Modules et Items validés par la recherche(fb uniquement enseignant)
![Page 25: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/25.jpg)
L’évaluation des enseignements : Impact des TIC sur la qualité
La charge de travail :• En présentiel• A distance
Le taux de réponses :• Taux de réponses et questionnaire électronique :
(Rege Colet, 2002 ; Carini, 2003)• Obligations ?• Représentation des étudiants (Thivierge et Bernard, 1996)• Vers une meilleure communication
Le lien avec l’anonymat : • Respect de l’anonymat en présentiel• Respect de l’anonymat à distance
![Page 26: Processus de macro-régulation : impact des modalités du recueil de données sur lefficacité et léquité XIVème Congrès de lAssociation Mondiale des Sciences](https://reader035.vdocuments.site/reader035/viewer/2022070309/551d9da0497959293b8cef2d/html5/thumbnails/26.jpg)
L’évaluation des enseignements : Impact des TIC sur la qualité
Variations des réponses en fonction de la modalité utilisée
• Carini et al. 2003• Réponses en moyenne légèrement plus favorables dans le cas de l’enquête électronique• Forte différence quand le thème abordé a trait aux nouvelles technologies
• Sax et al. 2003• Pas de différences entre les filles et les garçons• Différences importantes en fonction de l’origine ethnique
• Vigilance historiquement nécessaire en évaluation des enseignements
Ainsi, Carson (2001) note que, à conditions égales, les filles sont plus enclines à produire des évaluations positives que
les garçons