evaluation des enseignements et des formations. contrôler ou valoriser? expériences de...
TRANSCRIPT
Evaluation des enseignements et des formations.
Contrôler ou valoriser?
Expériences de l’Université de Genève
Dr Nicole Rege Colet
Plan
Evaluation formative et démarches qualité
Le contexte européen
Genèse de l’évaluation à UniGe
Epistémologie de l’évaluation
Bilan des pratiques
Perspectives et enjeux
EvaluationDémarches qualité
Assurance qualité
Quality management
Accréditation
Quality culture
Démarches qualité – assurance qualité
Accréditation
Audit qualité
Evaluation institutionnelle
Evaluation d’unité d’enseignement et de recherche
Evaluation de discipline ou de filières
Evaluation de programme
Evaluation de l’enseignement par les étudiants
Une progression qui implique de passer de
Unités de formation Systèmes de formation
Evaluation interne Evaluation externe
Micro-régulation Pilotage institutionnel
Gestion individuelle Gestion collective
Ajustements Décisions
De l’EEE aux démarches qualités intégrées
Approche qui vise à Améliorer pratique
d’enseignement Renforcer apprentissages
des étudiants Favoriser dialogue entre
enseignants et étudiants
Approche qui vise à Renseigner/informer sur la
qualité de l’enseignement Promouvoir la formation
universitaire Contrôler les prestations
Une démarche orientée vers
Développement pédagogique
Valorisation des activités d’enseignement
Une démarche orientée vers
La régulation et le pilotage institutionnel
Développement professionnel & académique
Reconnaissance - ranking
EEE AQ
Principaux enjeux
Documenter la qualité de l’enseignement et de la formation
Mesurer les prestations Construire des indicateurs Systématiser les démarches
Bases de donnéesTableaux de bordOutils de gestion/aide à la prise de décisionCritères
Principaux enjeux
AQ en Europe ….
Objectif de la Déclaration de Bologne
Promotion de la coopération en matière d’évaluation de la qualité (critères & méthodologie)
ENQA – ESIB – EUA – EURASHE = 4E
Analyse des pratiques d’évaluation en Europe
Rencontre ministérielle à Bergen en 2005
Adoption des standards et du guide [ESG] pour l’AQ dans l’enseignement supérieur
Colloque européen annuel
Forum AQ de l’EUA, Rome novembre 2007
Genèse à l’Université de Genève
Principales étapes
Années ‘80: Études exploratoires & premiers outils
1996-1998: Phase des projets pilotes 1998-2000: Phase de généralisation 2000-2003: Phase de consolidation &
mesure impact 2003-2004: Premier audit qualité 2004-2007: La traversée du désert 2007-2008: Deuxième audit qualité
Principes clés
Approche formative
Consentement
Anonymat
Confidentialité
Retour aux étudiants
Valorisation dans dossier d’enseignement
Les démarches qualité de l’enseignement
Évaluation de l’enseignement– Depuis 1999– Méthode: questionnaire auprès des étudiants– Mesure: perceptions des étudiants par rapport aux situations
d’enseignement et d’apprentissages (degré de satisfaction) Évaluation des programmes
– En développement– Méthode: questionnaire– Mesure: perceptions des étudiants par rapport à l’ensemble d’un
cursus ou programme (degré de satisfaction) Évaluation des UERs
– De 1992 à 2000 puis reprise dès 2007– Méthode: rapport d’auto-évalution et évaluation externe par experts– Mesure: qualité des prestations de recherche, d’enseignement et de
services
49
321
554 581
854 814 850
1542
0
500
1000
1500
2000
H99-E00 H00-E01 H01-E02 H02-E03 H03-E04 H04-E05 H05-E06 H06-E07
Évolution du nombre de dossiers d’évaluation:1999 à 2007
3
76
138
340
751
0
100
200
300
400
500
600
700
800
Très mauvais Insuffisant Suffisant Bon Excellent
Classement 06-07 de 1308 enseignements évalués selon l’indice de satisfaction: valeurs comprises entre 0.00 - 1.00
[0.00–0.40] [0.41–0.70] [0.71–0.80] [0.81–0.90] [0.91–1.00]
Une épistémologie de l’évaluation
L’évaluation, une forme de recherche
• QdR: Quelle est la perception des étudiants?
• Hypothèse: satisfaction par rapport à certaines
dimensions
• Opérationnalisation: construction d’indicateurs
• Méthode: questionnaire & élaboration cadre
d’analyse
• Analyse & interprétation
• Plan d’action & suivi
Choix méthodologiques
15-20 items fermés Énoncés positifs Items libres Échelle de lickert: 4 positions 3-4 questions ouvertes
Dimensions couvertes
Contenus Structure Habiletés communication Supports Évaluation apprentissage Encadrement Investissement
Choix méthodologiques
Tableaux de fréquence Graphique: valeurs relatives Retranscription intégrale
Indice de satisfaction: 0.00 – 1.00
0.00
0.20
0.40
0.60
0.80
1.00
Obj
ectif
s
Con
tenu
Equi
libre
Plac
e du
cou
rs
Con
naiss
ance
spr
éala
bles
Prés
enta
tion
Ryt
hme
Doc
umen
tatio
n
Disp
onib
ilité
docu
men
tatio
n
Supp
orts
Con
tenu
exa
men
Crit
ères
exa
men
Com
men
taire
s
Trav
ail p
erso
nnel
Enca
drem
ent
Scor
e gl
obal
Echelle de classification
Très
mau
vais
Insu
ffisa
nt
Suffi
sant
Bon
Exce
llent
0.00
0.20
0.40
0.60
0.80
1.00
Très mauvais Insuffisant Suffisant Bon Excellent
Profils individuels Comparaison profil individuel –
tendance générale Groupes de comparaison
Type d’enseignementDépartementNiveau d’études
Études longitudinales
Exploitation de l’indice de satisfaction
Profils individuels
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
Objectifs du cour Contenu Equilibre théorie-
exemples
Place cours plan
d'études
Présentation Rythme Documentation Usage supports Modalités
d'évaluation
Critères
d'évaluation
Commentaires
enseignants
Charge de travail Encadrement
off ert
Disponibilité
enseignant
1er semestre
2ème semestre
3ème semestre
4ème semestre
Comparaison profil individuel – tendance générale
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
Obj
ectif
s
Con
tenu
Equi
libre
Plac
e du
cou
rs
Con
naiss
ance
spr
éala
bles
Prés
enta
tion
Ryt
hme
Doc
umen
tatio
n
Disp
onib
ilité
docu
men
tatio
n
Supp
orts
Con
tenu
exa
men
Crit
ères
exa
men
Com
men
taire
s
Trav
ail p
erso
nnel
Enca
drem
ent
Con
tact
s
Groupe de comparaison
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
Obj
ectif
s
Cont
enu
Equi
libre
Plac
e du
cou
rs
Conn
aiss
ance
s pr
éala
bles
Prés
enta
tion
Ryth
me
Docu
men
tatio
n
Disp
onib
ilité
docu
men
tatio
n
Supp
orts
Cont
enu
exam
en
Critè
res
exam
en
Com
men
taire
s
Trav
ail p
erso
nnel
Enca
drem
ent
Cont
acts
Cours, 1ère année bachelor
Étude longitudinale
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
Obj
ectif
s
Con
tenu
Appo
rts
Plac
e du
cou
rs
Con
naiss
ance
s pr
éala
bles
Doc
umen
tatio
n
Ryt
hme
Supp
orts
Fil c
ondu
cteu
r
Rép
artit
ion
tem
ps
Inté
rêt m
atiè
re
Mod
alité
s év
alua
tion
Nive
au d
e tra
vail
2000-2001
2001-2002
2002-2003
2003-2004
2004-2005
Bilan des pratiques
Évaluation de l’enseignement
Forces Augmentation nombre
dossiers Généralisation à toutes les
structures académiques Émergence d’une culture
d’évaluation Analyses des résultats Satisfaction des usagers Impact sur pratique
d’enseignement Observatoire des pratiques
A développer Suivi & exploitation des
résultats Articulation entre
évaluation diagnostique et évaluation formative
Mécanismes de régulation et de pilotage
Procédures d’arbitrage La politique & le dispositif
de travail: répartition des responsabilités
Évaluation de programmes
Forces Intérêt marqué Suivi des innovations
dans le cadre du processus de Bologne
Quelques expériences pilotes
Impact sur planification curriculaire
A développer Politique & dispositif de
travail: principes et cadre Articulation entre
satisfaction des étudiants et analyse de la cohérence et pertinence d’un programme
Suivi des résultats Lien avec l’accréditation et
les démarches de l’OAQ
Évaluation des UERs
Forces Importante expérience
antérieure Nouveau concept ‘07:
principes et cadre de travail
Procédure bien définie & guide de travail
Mise en place d’un bureau qualité
Projet pilote en cours
A développer Planification des
évaluations Suivi des résultats et des
plans d’action Évaluation externe de la
procédure Lien avec procédures
d’assurance qualité et d’accréditation de l’OAQ
Se rappeler que
Démarche qualité ≠ Qualité
Prochains enjeux
Définir une politique en matière d’assurance qualité pour l’Université de Genève
Impliquer l’ensemble de la communauté académique
Établir un dispositif intégré et unifié de travail Réviser & développer les différentes
procédures existantes Dégager les ressources nécessaires Communiquer et informer sur la politique AQ