Évaluer les qualités terminales dans un parcours de formation : lexpérience en génie conférence...

Évaluer les qualités terminales dans un parcours de formation :

l’expérience en génie

Conférence présentée dans le cadre du Mois de la pédagogie universitaire

Roch Lefebvre, vice-doyen à la formation, Faculté de génieCatherine Pilon, adjointe au vice-décanat à la formation, Faculté de génie

Faculté de médecine et des sciences de la santé – 3 avril 2014Agora du Carrefour de l’information – 9 avril 2014

Objectifs de la présentation

• Vous faire part de notre :– projet d’agrément, changements et vision (horizon 2014, 2020… 2026!)– structure organisationnelle pour le mener à bien– approche générale pour rendre compte du développement des qualités– approche générale pour l’évaluation des qualités chez les étudiants– approche générale pour l’amélioration continue des programmes

• Recueillir vos commentaires

Ultimement, l’objectif est de rendre compte de notre expérience de ce processus à la Faculté de génie

31

Préambule

30

Relevé de notes

28

Un programme

Une série de cours(activités pédagogiques)Note de l’étudiant

… par rapport à son groupe

… dans une activité pédagogique

dont on peut aller voirLes objectifsLe contenuLa répartition

Les productions del’étudiant avec sesrésultats

CV

27

« Langages informatiques :C, C++, Java, VB »(connaissances sur certains contenus clés)

« Environnements desimulation et de développement: Matlab,SolidWorks, CodeComposer »(outils de l’ingénieur)

« Langues : français et anglais, parlés et écrits » + forme du CV

(communication)

26

CV (suite)

« Projets développés etresponsabilités »

(gestion de projets)

(conception)

(analyse de problèmes)(travail en équipe)

(communication)

« Qualités principales:capacité de synthèse,adaptation à divers contextesde travail, responsable, approche client, … »(professionnalisme)

Question

Pour un étudiant, pourquoi le relevé de notes et le contenu de ses cours ne suffisent

pas pour son CV ?

25

La Faculté de génie en quelques chiffres

• 4 départements

• 6 programmes de 1er cycle

• 120 crédits par programme

• Environ 1 400 étudiants au 1er cycle

24

génie biotechnologiquegénie chimiquegénie civilgénie électriquegénie informatiquegénie mécanique

Particularités des programmes de 1er cycle

• Programmes fortement orientés sur la pratique et la conception

• Des projets de fin d’études d’envergure pouvant représenter jusqu’à un investissement de plus de 4 000 h de travail pour les étudiants

23

http://introlab.gel.usherbrooke.ca/mediawiki-introlab/images/d/dd/AZIMUT_track.jpg

http://introlab.gel.usherbrooke.ca/mediawiki-introlab/images/f/f0/AZIMUTMulti.jpg

Particularités des programmes de 1er cycle

• Programmes assujettis à un processus d’agrément d’Ingénieur Canada, par l’intermédiaire du Bureau canadien d’agrément des programmes de génie (BCAPG) – Durée maximale de l’agrément : 6 ans

• Ordre des ingénieurs du Québec : environ 60 000 membres

22

Réforme majeure dans le processus d’agrément des programmes de génie

21

Historiquement Vers l’avenir

« Vision contenu avecunités d’agrément (UA) »

« Vision qualités terminaleset amélioration continue »

2014

Nouvelles normes d’agrément

• Qualités requises des diplômés (graduate attributes)– Interprétées dans le contexte de candidats qui viennent de terminer leurs

études– Qualités « techniques » et «non techniques »

• Amélioration continue (continual improvement)– Démontrer qu’un processus est en place

• Tient compte des résultats (Qualités)• Les résultats sont utilisés pour améliorer le programme.

20

Beaucoup de place à la créativité…

• Le BCAPG n’a fourni aucun outil de mesure ou de « formule » aux établissements d’enseignement supérieur

• Nous avons donc dû :– développer nos outils de mesure– définir une approche pour prendre les mesures souhaitées– déterminer une façon de présenter les résultats obtenus (bien que des

exemples à cet effet aient été donnés par le BCAPG à la fin de décembre 2013)

19

Les 12 qualités du BCAPG

• Choix et définition des 12 qualités requises des diplômés

01 –

Con

nais

sanc

es e

n gé

nie

02 –

Ana

lyse

de

prob

lèm

es

03 –

Inve

stig

atio

n

04 –

Con

cept

ion

05 –

Util

isat

ion

d’ou

tils

d’in

géni

erie

06 –

Tra

vail

indi

vidu

el e

t en

équi

pe

07 –

Com

mun

icat

ion

08 –

Pro

fess

ionn

alis

me

09 –

Impa

ct d

u gé

nie

sur l

a so

ciét

é

et l

’env

ironn

emen

t

10 –

Déo

ntol

ogie

et é

quité

11 –

Éco

nom

ie e

t ges

tion

de p

roje

t

12 –

App

rent

issa

ge c

ontin

u

18

Vision de la Faculté à l’égard de ce nouveau processus

• Au-delà des préoccupations relatives à l’agrément, une occasion pour :– en faire plus qu’un exercice administratif pour répondre

la « commande » du BCAPG;– intégrer cette approche dans nos pratiques d’évaluation;– créer outil de pilotage pour permettre aux étudiants de

documenter leurs réalisations– Conséquence: être prêts en tout temps pour l’agrément

(i.e. démontrer la progression et l’atteinte des qualités pour tous nos étudiants)

Des objectifs ambitieux! Rappel : horizon 2014-2026

17

Vision 2014-2026

Structure organisationnelle

Développement des qualités

Évaluation des qualités

Amélioration continue


16

Vision 2014-2026





Directionsdépartementales,secrétaires et autrespersonnes-ressources

+GdT-Facultaire

GdT-Progr.

GdT-Progr.

GdT-Progr.

GdT-Progr.

GdT-Progr.

GdT-Progr.

Développement des 12 qualités

• Programmes = logique de progression dans les apprentissages des étudiants

15

Vision 2014-2026





S1S2

S3T1

S4T2

S5T3

S6T4

S7T5

S8

T

SessionStage

S

Rendre compte de cette progression

14

Vision 2014-2026





• Pour chaque activité pédagogique, déterminer :– le coefficient de complexité des qualités développées

et/ou évaluées par rapport au programme– l’importance de la ou des qualités développées et

évaluées dans l’activité pédagogique ou l’APP

• Toutes ces nouvelles informations ont été intégrées dans de nouveaux dossiers de cours harmonisés au niveau facultaire

Résultat : cartographie du développement des qualités

13

Vision 2014-2026





S1 S2 S3 S4 … S8

Q01 ABC122 ABC156

Q02 ABC101 ABC522 ABC910

Q03 ABC122 ABC105ABC111

Q04 ABC311

Q05

…

Q12

Évaluation des 12 qualités

12

Vision 2014-2026





• Conception d’échelles descriptives communes aux 6 programmes (échelles basées sur une revue de la littérature et sur l’expertise interne de la Faculté)

• Ces outils présentent une description du comportement attendu ou des caractéristiques recherchées chez les étudiants/équipes à l’endroit des 12 qualités du BCAPG

Éléments de nos échelles descriptives

11

Niveau 1 Niveau 2 Niveau 3 (cible)

Niveau 4 R

Critère 1

Critère 2

Critère 3

…

Échelle d’appréciation du niveau de

maîtrise démontré

Critères à évaluer

Énoncés décrivant les niveaux d’appréciation

(descripteurs)

Résultatobtenu

Exemples de nos échelles descriptives

10

Q04 - Conception


Niveau 4 R

L’étudiante, l’étudiant ou l’équipe…

Critère 1Définir un projet ou un problème d’ingénierie

… omet plusieurs informations pertinentes pour bien définir le problème. Formule partiellement la problématique et une partie des objectifs à atteindre.

… identifie des informations utiles pour définir le problème. Formule la problématique et les objectifs, mais de manière imprécise.

… recherche des informations de sources variées pour définir le problème. Formule la problématique à résoudre et les objectifs à atteindre.

… recherche des informations de sources variées et fiables pour définir le problème. Formule clairement la problématique à résoudre et les objectifs à atteindre.

Exemples de nos échelles descriptives

9

Q070 – Communication orale


Niveau 4 R

L’étudiante, l’étudiant ou l’équipe…

Critère 2Recourir à un support visuel de qualité

… recourt à un support visuel dont l’allure devrait être améliorée, puisqu’elle détourne l’attention.

… recourt à un support visuel qui appuie minimalement le contenu de sa présentation.

… recourt à un support visuel qui appuie bien le contenu de sa présentation et veille à ce que son support soit sobre, visible et équilibré (pas seulement du texte).

… recourt à un support visuel qui appuie efficacement le contenu de sa présentation et veille à ce que son support soit sobre, visible, équilibré (pas seulement du texte) et d’allure professionnelle.

S1S2

S3T1

S4T2

S5T3

S6T4

S7T5

S8

Utilisation de nos échelles descriptives

8

Vision 2014-2026





• Identification d’un ensemble de situations clés par qualité (minimum 3 par qualité),lesquelles sont généralement associées à des modalités d’évaluation sommatives

S

T

SessionStage

Échelledescriptive

(12 Q)

Résultat : cartographie du développement ET de l’évaluation

7

S1 S2 S3 S4 … S8

Q01 ABC122 ABC156

Q02 ABC101 ABC522 ABC910

Q03 ABC105ABC111

Q04 ABC311

Q05

…

Q12

Vision 2014-2026





Analyse des donnéesExemple du BCAPG

6

Analyse des donnéesNos objectifs

• Donner plus d’informations • Courbes de progression

– pour un étudiant– dans une filière/concentration donnée (maths,

conception, etc.)• Poser un diagnostic précis pour l’amélioration continue

• pour le programme• pour l’étudiant (outil de pilotage)

Vision 2014-2026





5

Amélioration continue(demande du BCAPG)

4

Vision 2014-2026




• Discuter des résultats précis des mesures en ce qui concerne les attentes futures du programme. Conclusions sur les données présentées

• Intervenants consultés, et types de consultations• Façon dont les résultats et les analyses seront

utilisés pour améliorer le programme• Mesures particulières prévues ou mises en œuvre


Conclusions / réflexions

3

Vision 2014-2026




• À la Faculté de génie, nouvelles normes et processus mis en œuvre vus comme étant bien plus qu’un exercice administratif pour obtenir l’agrément

• Pourra-t-on vraiment s’affranchir complètement des mesures « contenu » (les U.A.)?

• Comment mieux intégrer l’expérience et les apprentissages en stage dans l’appréciation du niveau de maîtrise des étudiants?


Conclusions / réflexions

2

Vision 2014-2026




• Comment assurer la pérennité et l’intégration dans la culture facultaire des outils et de la démarche développés aux fins de l’agrément• Objectif est de faire évoluer nos pratiques de formation et

d’évaluation

• Quelles sont vos réflexions?


1

Merci pour votre attention

Questions?

Évaluer les qualités terminales dans un parcours de formation : lexpérience en génie conférence...

Documents