Download - Visie en praktijk in KHLim - KHLeuven
Visie en praktijk in KHLim - KHLeuven
Evalueren ondersteunen
Aanpak van kwaliteitsborging
Niveau
Bologna (1999)
EQF (2008)
Decreet op kwalificatiestruct
uur (2009)
Domeinspecifieke
leerresultatenkaders
Toetsing
NVAO visitatie- en accreditatie
Nieuw visitatie- en
accreditatiekader (2010)
Decretale context
Rol van toetsing:Toetsen is sturend voor zowel het leerproces en de ontwikkeling van studenten als voor de optimalisatie van de kwaliteit van het onderwijs. (Joosten – ten Brinke, 2011)
Onderwijskundige context
Als de student tevreden is, is de kwaliteit van de toetsing in orde.
Stelling 1
Wat is kwaliteit?
Toetssysteem
Toetssysteem
Toets
Toetsprogramma
Toetssysteem
Toets Modaliteiten kiezen
Ontwikkelen
Afnemen
Beoordelen
Terugkoppelen
Toetsprogramma
De verantwoordelijkheid van de kwaliteit van de toets ligt bij de lector/ docent.
Stelling 2
Validiteit Betrouwbaarheid
Transparantie …
Toetssysteem
Toets Modaliteiten kiezen
Ontwikkelen
Afnemen
Beoordelen
Terugkoppelen
Toetsprogramma
Toetssysteem: kwaliteitsbewaking
PDCA
PDCA
Validiteit Betrouwbaarheid Transparantie
Toetssysteem
Toets Modaliteiten kiezen
Ontwikkelen
Afnemen
Beoordelen Het resultaat van de beoordeling is onafhankelijk van de beoordelaar.
Terugkoppelen
Toetsprogramma
Toetssysteem - P
Validiteit Betrouwbaarheid Transparantie
Toetssysteem
Toets Modaliteiten kiezen
Ontwikkelen
Afnemen
Beoordelen Antwoordmodel – beoordelingscriteria – afspraken
Terugkoppelen
Toetsprogramma
Toetssysteem - D
Validiteit
Betrouwbaarheid Transparantie
Toetssysteem
Toets Modaliteiten kiezen
Ontwikkelen
Afnemen
Beoordelen Analyse resultaten, bevraging studenten, zelf- en peerscreening
Terugkoppelen
Toetsprogramma
Toetssysteem - C
Validiteit
Betrouwbaarheid Transparantie
Toetssysteem
Toets Modaliteiten kiezen
Ontwikkelen
Afnemen
Beoordelen Workshops afstemming scores, doorlichting scoreprocedure
Terugkoppelen
Toetsprogramma
Toetssysteem - A
Toetscommissies nemen de C uit de PDCA voor hun rekening.
Een kwaliteitsvolle toetspraktijk begint bij kwaliteitsvolle beoordelingsinstrumenten.
Stelling 3
Praktijk van kwaliteitsborging
Toetsplanontwikkeling – OOF Toetskoffer Coachingstraject – OOF Toetskoffer Beoordelingscriteria – OOF Bachelortoets
Praktijkvoorbeelden
Validiteit Betrouwbaarheid Transparantie
Toetssysteem
Toets Modaliteiten kiezen
Ontwikkelen
Afnemen
Beoordelen
Terugkoppelen
Toetsprogramma
Kader
Praktijk 1 toetsplanontwikkeling
Validiteit Betrouwbaarheid Transparantie
Toetssysteem
Toets Modaliteiten kiezen
Ontwikkelen
Afnemen
Beoordelen
Terugkoppelen
Toetsprogramma
Kader
Praktijk 2 coachingstraject
Validiteit Betrouwbaarheid Transparantie
Toetssysteem
Toets Modaliteiten kiezen
Ontwikkelen
Afnemen
Beoordelen
Terugkoppelen
Toetsprogramma
Kader
Praktijk 3 beoordelingscriteria
Praktijk 1 Toetsplanontwikkeling
OOF Toetskoffer
Oprichten van toetscommissies Voeren kwaliteitsbevordering- en
borging van toetsing uit met behulp van een toetskoffer met instrumenten en methodieken
Validiteit Betrouwbaarheid Transparantie
Toetssysteem
Toets Modaliteiten kiezen
Ontwikkelen
Afnemen
Beoordelen
Terugkoppelen
Toetsprogramma
Kader
Toetsplanontwikkeling
Van toetsmatrix naar toetsplan
Toetsmatrix Toetsplan
• Beschrijving huidige situatie inzake toetsing
• Opleidingsniveau• Inventarisatie van huidige
toetsvormen• Koppeling aan beoordelaars,
tijdstip van afname, doel, feedback, etc.
• Beschrijving van de gewenste situatie inzake toetsing
• Opleidingsniveau• Systematisch beschrijving
van alle toetsen• Koppeling aan de
competenties, beoordelaars, tijdstip van afname, doel, feedback, etc.
Ontwikkelen toetsplan in 4 stappen
1. Inventarisatie huidige toetsing bij docenten
2. Opstellen toetsmatrix 3. Onderwijskundige analyse 4. Komen tot een toetsplan
Van toetsmatrix naar toetsplan
• Via onderwijskundig debat= medium om afstemming te bekomen tussen de toetspraktijk binnen de opleiding enerzijds en het competentieprofiel en de opleidingsvisie
anderzijds
TOETSPLAN
Toetsplan◦ Heuristiek
Richtinggevende vragen per essentieel aspect Aspect van de organisatie Aspect van relatie tussen toetsen en te verwerven
competenties Aspect van toetsvormen kiezen, toekennen en spreiden Aspect van het doel van de evaluatie Aspect van de beoordeling
Ter ondersteuning van het onderwijskundig debat
Toetsplan-verhaal
Resultaat van onderwijskundig debat
Schriftelijke weergave van keuzeoverwegingen
Hulpinstrument bij uitschrijven ZER
Praktijk 2 Coachingstraject
Praktijk 2 Coachingstraject
Praktijk 3 Beoordelingscriteria
1
2
3
Tijd
Inh
oud,
niv
eau
, in
tegra
tie
Eindtoets Bachelor
Teams van studenten (Onderzoeks-)project Aangeleverd door externen uit het vakgebied Begeleid door docenten en externe
opdrachtgevers Rapporteren conclusies/ product
◦ Paper◦ Presentatie voor medestudenten, externen en docenten
Voorbeeld
1
2
3
Tijd
Inh
oud,
niv
eau
, in
tegra
tie
TOETSVORM ScriptieOveralltoetsProjectPortfolioStage(verslag)…
Eindtoets Bachelor
Teams van studenten teamgericht werken
(Onderzoeks-)projectprojectmatig werken, informatieverwerving en -verwerking
Aangeleverd door externen uit het vakgebiedoplossingsgericht werken
Begeleid door docenten en externe opdrachtgevers
kritisch reflecteren Rapporteren conclusies/ product
communiceren
Voorbeeld
Problem solving
communication
Critical reflectio
n
Literacy skills
Teamwork
Societal responsi
bility
Project manage
ment
Generieke competenties
Beroeps-specifieke competenties
Generieke
competenties
Eindtoetsing bachelor
◦ Gevalideerde associatiebreed inzetbaar
◦ Set evaluatiecriteria kwaliteit: betrouwbaarheid/ transparantie
Minimumcriteria concretisering van niveau 6 Uitbreidingscriteria differentiatie
◦ Sjabloon toetsinstrument
Instrument eindtoetsing
Flexibel gebruik • Selectie criteria• ‘Semi-’ generieke criteria• Bijkomende beroepsspecifieke criteria
Assessment designRating purpose(s)Rating form/ scaleProcedures
RaterExpertisePerformance theoryBeliefsMoodAffectGoals…
Organizational contextNorm, valuesAccountabilityFeedback cultureResources (time, training,…)…
Ratee performance
Rater Information Processing
Private judgement
Public decision making
ScoreFeedback
Model of performance assessment process (adapted by M. Govaerts, 2011 from DeNisi, 1996)
Criteria(experts
)
Literatuur
Toetspraktijken
Ontwikkeling generieke criteria
Problem solving
communication
Critical reflection
Literacy skills
Teamwork
Societal responsibilit
y
Project managemen
t
Evaluatiecriteria
Holistisch Analytisch
Intu
ïtiev
e
crite
ria
Globa
le
crite
riaBre
de cr
iteria
Spec
ifiek
e
crite
ria
Gedet
aille
erde
crite
ria
ZorgenVerschillende interpretatie Contextspecificiteit Globaal oordeel moet mogelijk blijven
Monitoring van het proces van probleemoplossen◦ Identificatie en analyse van het probleem◦ Ontwikkelen van de oplossing◦ Uitvoeren en evalueren van de oplossing
Zelfregulatie◦ Meta-begrip◦ Metacognitieve planning
Vb ‘oplossingsgericht werken’
Monitoring van het proces van probleemoplossen◦ Identificatie en analyse van het probleem◦ Ontwikkelen van de oplossing◦ Uitvoeren en evalueren van de oplossing
Zelfregulatie◦ Meta-begrip◦ Metacognitieve planning
Van criteria tot standaarden
Identificatie van het probleem Zoeken, selecteren en organiseren van
relevante informatie◦ Breedte van gebruikte informatie◦ Verantwoording◦ Detectie van betekenisvolle patronen
Bepalen van mogelijke problemen◦ Correct begrip van de inhoud/ correcte inschatting
van de situatie◦ Analyse van de situatie◦ Relevantie van de mogelijke problemen
…
Van criteria tot standaarden
Set criteria/ standaarden Van set tot instrument Test x 10 Implementatie x 19
Verloop
Vragen en discussie