een systemische aanpak van toetsing nvmo hoofdlezing maastricht, 15-16 november 2012 cees van der...
TRANSCRIPT
![Page 1: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/1.jpg)
Een systemische aanpak van toetsingNVMO HoofdlezingMaastricht, 15-16 november 2012
Cees van der VleutenUniversiteit Maastricht
![Page 2: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/2.jpg)
![Page 3: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/3.jpg)
![Page 4: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/4.jpg)
![Page 5: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/5.jpg)
![Page 6: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/6.jpg)
Overzicht
• Van praktijk naar onderzoek• Van onderzoek naar theorie• Van theorie naar praktijk• Conclusies
![Page 7: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/7.jpg)
Toetsvormen
• MCQ, MEQ, OEQ, SIMP, Write-ins, Key Feature, PMP, SCT, Patiënt examen, OSCE, OSPE, DOCEE, SP-based test, Video assessment, MSF, Mini-CEX, DOPS, assessment center, self-assessment, peer assessment, incognito SPs………….
![Page 8: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/8.jpg)
Knows
Shows how
Knows how
Does
Knows Feitgerichte toetsen: MCQ, open vragen, mondeling…..
Knows how(Klinisch) Contextuele toetsen:MCQ, open vragen, mondeling…..
Shows howPerformance assessment in vitro:OSCE, SP-based test…..
DoesPerformance assessment in vivo: KKB, 360 ۫…, Peer, Video, Incognito Pat, Video…….
De beklimming......
![Page 9: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/9.jpg)
Karakteristieken van instrumenten
Validiteit
Betrouwbaarheid
Onderwijs-invloed
Acceptabiliteit
Kosten
Validiteit
Betrouwbaarheid
Onderwijs-invloed
![Page 10: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/10.jpg)
Validiteit: wat beoordelen we?
• Curricula zijn veranderd van input sturing naar output sturing
• Van disciplines naar leerdoelen, eindtermen, en nu competenties
• Van docentsturing naar zelfsturing
![Page 11: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/11.jpg)
Competentie-frameworks
CanMeds (Canada)
Medical expert Communicator Collaborator Manager Health advocate Scholar Professional
ACGME(US)
Medical knowledge Patient care Practice-based
learning & improvement
Interpersonal and communication skills
Professionalism Systems-based
practice
GMC (UK)
Good clinical care Relationships with
patients and families
Working with colleagues
Managing the workplace
Social responsibility and accountability
Professionalism
![Page 12: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/12.jpg)
Knows
Shows how
Knows how
Does
Knows
Knows how
Shows how
Does
Validiteit: wat beoordelen we?
Gestandaardiseerde Toetsing (ver uitontwikkeld)
Ongestandaardiseerde Toetsing (opkomend)
![Page 13: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/13.jpg)
Inzichten over validiteit
• We hebben een veelheid aan toetsmethoden nodig om de hele competentiepiramide te dekken
• Nodig zijn gestandaardiseerde èn ongestandaardiseerde toetsmethodieken
• Kwaliteitscontrole van instrumenten is essentieel voor gestandaardiseerde beoordeling
• De gebruikers (de mensen) zijn essentieel bij ongestandaardiseerde beoordeling.
![Page 14: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/14.jpg)
Betrouwbaarheid: hoe precies beoordelen we?
Toets-Tijd inHours
1
2
4
8
MCQ1
0.62
0.76
0.93
0.93
Kortecasus
gerichteEssay2
0.68
0.73
0.84
0.82
Simu-laties1
0.36
0.53
0.69
0.82
Mon-de-ling3
0.50
0.69
0.82
0.90
Patientexamen4
0.60
0.75
0.86
0.90
OSCE5
0.54
0.69
0.82
0.90
PraktijkVideoObser-vatie7
0.62
0.76
0.93
0.93
1Norcini et al., 19852Stalenhoef-Halling et al., 19903Swanson, 1987
4Wass et al., 20015Van der Vleuten, 19886Norcini et al., 1999
In-cognito
SPs8
0.61
0.76
0.82
0.86
KKB6
0.73
0.84
0.92
0.96
7Ram et al., 19998Gorter, 2002
![Page 15: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/15.jpg)
Inzichten over betrouwbaarheid
• Acceptabele betrouwbaarheid wordt slechts bereikt bij een grote steekproef aan toetselementen en beoordelaars
• Geen enkele methode is inherent beter dan een andere (ook de nieuwere niet!)
• Objectiviteit is NIET gelijk aan betrouwbaarheid• Vele onafhankelijke subjectieve oordelen
maken een objectief oordeel.
![Page 16: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/16.jpg)
Onderwijsinvloeden: Hoe stuurt toetsing het leren?
• Sturing is complex (zie Cilliers, 2011, 2012)• Veel negatieve invloeden
– Povere leerstijlen– Cijferproblematiek (zesjes cultuur, genade-zes, jagen op punten)
– Hoge werkplekbeoordelingen• Veel reductionisme in toetsing
– Weinig feedback (cijfer is slechte vorm van feedback)– Toetsconcept niet aansluitend op onderwijsconcept– Aggregatie van informatie over niet betekenisvolle eenheden– Weinig longitudinale opvolging– Veel vinken, weinig vonken (OSCE, werkplekbeoordelingen).
![Page 17: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/17.jpg)
Inzichten over onderwijsgevolgen
• Geen enkele toets of beoordeling zonder betekenisvolle feedback
• Narratieve feedback heeft meer impact dan scores op complexe vaardigheden
• Feedback alleen is niet genoeg voor gebruik• Meer longitudinale beoordeling is wenselijk.
![Page 18: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/18.jpg)
Overzicht
• Van praktijk naar onderzoek
• Van onderzoek naar theorie• Van theorie naar praktijk• Conclusies
![Page 19: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/19.jpg)
De beperkingen van de enkelvoudige toetsbenadering
• Geen enkele toets kan alles• Elke toets heeft beperkingen• Elke toets houdt een fors compromis in
![Page 20: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/20.jpg)
Implicaties
• Validiteit: een veelheid aan toetsen nodig• Betrouwbaarheid: veel (gecombineerde)
informatie nodig • Onderwijsgevolgen: toetsing moeten
(longitudinaal) betekenisvol voor het leren zijn
Toetsprogramma’s
![Page 21: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/21.jpg)
Toetsprogramma’s
• Curriculum programma is goede metafoor; in een toetsprogramma zijn:
– Onderdelen gepland, gearrangeerd, gecoördineerd– Systematisch geëvalueerd en bijgesteld
• Maar hoe doe je dat dan? (de literatuur biedt bitter weinig houvast!)
![Page 22: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/22.jpg)
Toetsprogramma’s
• Zie Dijkstra et al 2012: 73 generieke richtlijnen voor toetsprogramma’s
• Nog te doen:– Verdere validering– Een handzaam (zelfevaluatie) instrument
![Page 23: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/23.jpg)
Bouwstenen Toetsprogramma’s 1
• Elke toets of beoordeling is één datapunt (Δ) • Elk datapunt is geoptimaliseerd voor leren
– Informatierijk (kwantitatief, kwalitatief)– Betekenisvol– Gevarieerd in vorm
• Summatief versus formatief vervangen we door een continuüm van wat er op het spel staat (stakes)
• N datapunten zijn gerelateerd aan aard van beslissing
![Page 24: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/24.jpg)
Continuüm van wat er op spel staat,relatie met datapunten en hun functie
Er staatniets op
spel
Er staatalles op spel
Eéndatapunt:
• Gericht op informatie,
• feedback
TussentijdseVoortgangsbeslissingen:
• Meer datapunten nodig
• Gericht op diagnose, bijsturing en voorspelling
FinaleBeslissingen:
• Veel datapunten nodig• Gericht op een (niet
verassende) zware beslissing
![Page 25: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/25.jpg)
Toetsinformatie als pixels
![Page 26: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/26.jpg)
Klassieke benadering van aggregatie
Methode 1voor beoordeling
van vaardigheid AΣ
Methode 2voor beoordeling
van vaardigheid BΣ
Methode 3voor beoordelingvan vaardigheid C
ΣMethode 4
voor beoordelingvan vaardigheid D
Σ
![Page 27: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/27.jpg)
Betekenisvolle benadering van aggregatie
Methode 1
Σ
Methode 2
Σ
Methode 3
Σ
Methode 4
Σ
CompetentieA
CompetentieB
CompetentieC
CompetentieD
![Page 28: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/28.jpg)
![Page 29: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/29.jpg)
Overzicht
• Van praktijk naar onderzoek• Van onderzoek naar theorie
• Van theorie naar praktijk• Conclusies
![Page 30: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/30.jpg)
Terug van theorie naar praktijk
• Bestaande toetspraktijken:– Master Diergeneeskunde Utrecht– AKO, graduate entry geneeskunde Maastricht– Jaar 6 geneeskunde Maastricht (later hele Master)– Huisartsopleiding Nederland– Sommige specialistenopleidingen zijn hard op weg– Cleveland Learner Clinic, Cleveland, Ohio
![Page 31: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/31.jpg)
Cleveland Clinic Lerner College of Medicine(Dannefer et al., 2007)
• 5 jarige opleiding arts/klinisch onderzoeker• Overkoepelende competententiestructuur• Beschreven standaarden per fase van de studie• Alle toetsing formatief en infomatief
– Wekelijkse casustoetsing met open vragen, geen grades maar feedback
– Veel docent en peer evaluaties in narratieve vorm– Werkplekbeoordelingen– OSCEs
![Page 32: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/32.jpg)
Competentie framework
• Research• Medical Knowledge in the Basic and Clinical Sciences• Communication• Professionalism• Personal Development• Clinical Skills• Clinical Reasoning• Health Care Systems• Reflective Practice
![Page 33: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/33.jpg)
Voorbeeld van standaardenCompetency Year 1 Year 2 Year 5
Research
Demonstrate knowledge base for basic and clinical research, skills set to conceptualize and conduct research
Demonstrates ability to critically review basic science research
Actively participates in the performance of laboratory procedures relevant to their basic science research
Demonstrates ability to critically review clinical research papers
Applies principles and skills in medical biostatistics and clinical epdidemiology to analysis of data
Analyzes and effecitively critiques a broad range of research papers
Demonstrates the ability to generate research a hypothesis and formulate questions to test it
Designs and performs studies to test a hypothesis
![Page 34: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/34.jpg)
Cleveland Clinic Lerner College of Medicine(Dannefer et al., 2007)
• Alle infomatie in een centraal webgebaseerd systeem• Mentor systeem met longitudinale opvolging,
gesprekken op basis van zelfanalyses• Voortgangsbeslissingen door onafhankelijke
commissie met zware procedures voor besluitvorming
![Page 35: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/35.jpg)
Strategy toestablish trustworthiness Criteria
Potentiele Toepassingen in Toetsing
Credibility Prolonged engagement Trainen van beoordelaars
Triangulation Toenemende inschakeling van experts op basis van mate van zekerheid over het oordeel
Peer examination Benchmarken beoordelaars
Member checking Incorporeer een zelf-oordeel van de lerende
Structural coherence Controle op inconsistenties in besluitvorming
Transferability Time sampling Gebruik van veel datapunten
Thick description Gemotiveerde besluitvorming
Dependability Stepwise replication Grootte van de commissie bestaande uit gerespecteerde leden
Confirmability Audit Creëer beroepsmogelijkheid
![Page 36: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/36.jpg)
Cleveland Clinic Lerner College of Medicine(Dannefer et al., 2007)
• Alle infomatie in een centraal webgebaseerd systeem• Mentor systeem met longitudinale opvolging,
gesprekken op basis van zelfanalyses• Voortgangsbeslissingen door onafhankelijke
commissie met zware procedures voor besluitvorming
![Page 37: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/37.jpg)
Cleveland Clinic Lerner College of Medicine
• Opbrengsten:– Studenten passen zich probleemloos aan na de “test-
cultuur” waaraan ze gewend zijn– Hoog presterende studenten (USMLE)– Studenten zijn de ambassadeurs geworden van het
systeem en waarderen:• De rijkheid van het systeem• Het aandacht bieden aan brede vaardigheden• De zelf-controle• De begeleiding
![Page 38: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/38.jpg)
Overzicht
• Van praktijk naar onderzoek• Van onderzoek naar theorie• Van theorie naar praktijk
• Conclusies
![Page 39: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/39.jpg)
Conclusies 1
• We moeten af van het exclusief denken in individuele toetsmethoden
• Een systemische, programmatische aanpak is daarvoor noodzakelijk, longitudinaal gericht
• Elke toetsmethode kan hierin functioneel zijn (oud en nieuw; gestandaardiseerd en ongestandaardiseerd)
• Professionele oordeelsvorming is onontbeerlijk (vergelijkbaar aan de klinische praktijk)
• Subjectiviteit wordt gepareerd met sampling en met procedurele maatregelen (en niet met standaardisering of objectivering)
![Page 40: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/40.jpg)
Conclusies 2
• Het toetsprogramma optimaliseert:– De leerfunctie (door informatierijkheid)– De beslisfunctie (door combinatie van informatie)
![Page 41: Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht](https://reader035.vdocuments.site/reader035/viewer/2022062513/5551a0ed4979591f3c8b6267/html5/thumbnails/41.jpg)
Deze Powerpoint:
www.fdg.unimaas.nl/educ/cees/nvmo
Dank voor uw aandacht!