de kansen die comparatief beoordelen biedt...•over jaren heen centrale toetsing 30...
TRANSCRIPT
![Page 1: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/1.jpg)
De kansen die comparatief beoordelen biedt
Maarten Goossens
Universiteit Antwerpen
112/11/2018
![Page 2: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/2.jpg)
Comparatief beoordelen
2
![Page 3: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/3.jpg)
Beoordelingsfamilies (Coertjens, 2017)
3
Holistisch beoordelen
“het geheel is meer dan de som van de delen”
Betrouwbaarheid
![Page 4: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/4.jpg)
4
Gray scale Description
1 White
2 Slightly darker than white
3 Between white and gray
4 Almost gray
5 Gray
6 Slightly darker than gray
7 Dark gray
8 Slightly darker than dark gray
9 Almost black
10 Black
Beoordelingsfamilies (Coertjens, 2017)
![Page 5: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/5.jpg)
5
Beoordelingsfamilies (Coertjens, 2017)
Analytisch beoordelen
Criterialijsten, rubrics
“opgedeeld staat netjes”
Betrouwbaarheid
Validiteit
Gray scale Description
1 White
2 Slightly darker than white
3 Between white and gray
4 Almost gray
5 Gray
6 Slightly darker than gray
7 Dark gray
8 Slightly darker than dark gray
9 Almost black
10 Black
![Page 6: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/6.jpg)
6
Analytisch beoordelen
Criterialijsten, rubrics
“opgedeeld staat netjes”
Betrouwbaarheid
Validiteit
Holistisch beoordelen
“het geheel is meer dan de som van de delen”
Betrouwbaarheid
Vergelijkende methoden
Paarsgewijs vergelijken
“vergelijken is puur natuur”
Absoluut (per product)
Comparatief
Beoordelingsfamilies (Coertjens, 2017)
![Page 7: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/7.jpg)
Comparatief beoordelen
7
Welke papers is de beste?
VS
VS
![Page 8: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/8.jpg)
Data
8
Sterke punten Werkpunten
Beoordelaar A Zeer relevante onderzoeksvraag.Deze paper draagt echt nieuwe wetenschappelijke inzichten aan.
Volgens mij kan je nog verder gaan in je praktische implicaties. Denk bv aan…
Beoordelaar B Schitterend gebruik van mixed methode. Ik zou je vervolg onderzoek nog meer in de verf zetten. Kijk eens naar (hupeldepup, 2012)
Beoordelaar C Must read!
Feedback
![Page 9: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/9.jpg)
Data
• Rangorde• Kwaliteitsscores (in logits) met betrouwbaarheidsinterval
• Scale Separation Reliability• Geeft schatting van interbeoordelaars betrouwbaarheid (Verhavert, 2017)
• Misfit data voor beoordelaars • Welke beoordelaars hebben een ‘andere’ kijk (in vergelijking met de gedeelde
consensus van beoordelaars?)
• Misfit data voor representaties• Welke representatie(s) zijn moeilijk te beoordelen?
9
SSR= .80
![Page 10: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/10.jpg)
Rangorde <-> punten
• 2 punten toekennen, en berekenen a.d.h.v. ability
• Voldoende meenemen (+ 1 extra punt)
10
6/2014/20
‘voldoende’ 15/20
![Page 11: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/11.jpg)
Rangorde <-> punten
• Benchmarks
11
6/2014/2012/2010/208/20
![Page 12: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/12.jpg)
Voorbeeld tool
- Maak enkele vergelijkingen:
URL: https://sandbox.d-pac.be
Ga naar ‘Beoordeel’
12
![Page 13: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/13.jpg)
Voorbeeld competenties
o Schrijfvaardigheden:
Argumentatieve teksten
Synthese teksten
Creatieve teksten
Formele brieven
o Onderzoeksvaardigheden:
Wetenschappelijke rapporten
Papers
Bachelor-master proeven
Labo verslagen (tekst + grafieken)
Zelfreflecties
o Probleemoplossing
Wiskunde
Statistiek
ER diagrammen (schema)
13
o Beeldende vaardigheden
Schetsen (image)
Moodboards (image)
Personal branding (poster)
Animatiefilms (movie)
o Spreekvaardigheden
Presenteren (movie)
Interviewen (movie/audio)
o Combinaties
Porfolio’s
Stages (video)
![Page 14: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/14.jpg)
Werkwijze
14
![Page 15: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/15.jpg)
Praktijkvoorbeelden
15
![Page 16: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/16.jpg)
Selectie/summatief beoordelen
• 50 studenten multimedia -> 50 animatics
• 9 beoordelaars• Docenten• Professionals: geluidshuis, software bedrijf, grafische vormgever/illustrator
• Werkbelasting: • 347 vergelijkingen
• 14 vergelijkingen per animatic• 38 vergelijkingen per beoordelaar
• 80 sec. per vergelijking = 50 min.
• Resultaat:• Betrouwbaarheid rangorde .72
16
![Page 17: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/17.jpg)
Peer assessment
• Eenvoudig studenten beoordelen even betrouwbaar als docenten (SSR beide groepen = .77; correlatie = .65)
• Veilig want alles gaat anoniem
• Leerkansen:• Vergelijken• Feedback formuleren• Feedback krijgen
• Sterke en verbeterpunten• Positie in rangorde
• Voorbeelden • Mediërende rol docent
17
![Page 18: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/18.jpg)
Peer assessment leercyclus
18
10 taken
Bespreking Versie 1
Bespreking
Summatief?
![Page 19: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/19.jpg)
Combinatie peer assessment/summatief
19
Studenten:- Rangorde van minst goede tot beste paper via CJ- Gem. 10 min per vergelijking- Feedback = relevant, eerlijk en terecht, hoeveelheid is een
meerwaarde
![Page 20: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/20.jpg)
Combinatie peer assessment/summatief
20
Studenten:- Rangorde van minst goede tot beste paper via CJ- Gem. 10 min per vergelijking- Feedback = relevant, eerlijk en terecht, hoeveelheid is een
meerwaardeTutoren:- 14 fails- Gelijkaardige FB
![Page 21: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/21.jpg)
Combinatie peer assessment/summatief
21
Studenten:- Rangorde van minst goede tot beste paper via CJ- Gem. 10 min per vergelijking- Feedback = relevant, eerlijk en terecht, hoeveelheid is een
meerwaardeTutoren:- 14 fails- Gelijkaardige FB
Laattijdig ingediend->fail ongeacht kwaliteit
![Page 22: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/22.jpg)
Professionalisering
• Voorbeeld Ahovoks• 9 interne beoordelaars
• 16 externe beoordelaars
• 37 teksten
• Pre-test: 5 misfits
• Professionaliseringsdag
• Post-test: 1 misfit
22
Rangorde internen
Data externe 1
Data externe 2
Data externe …
![Page 23: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/23.jpg)
Kwaliteitszorg / peilingsonderzoek
23
Welke uitspraak typeert onze school het beste?
Wij doen de nodige inspanningen opdat elke leerling zich goed voelt op school
Onze lessen sluiten aan bij de voorkennis van de leerlingen.
A B
Welke uitspraak typeert jou het best op dit moment?
Ik vind ‘goed’ vaak niet goed genoeg
Ik doe het liefst alles zelf
A B
Ik kan goed delegerenAls iets mislukt, voel ik me schuldig
![Page 24: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/24.jpg)
Live assessment
• Beoordelen interactieve installaties (Avans)
• Beoordelen afstudeerprojecten architectuur (UA)
24
![Page 25: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/25.jpg)
Live assessment
Procedure
A. Demo/presentatie
B. Beoordelen met D-PAC
C. Punten toekennen
25
![Page 26: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/26.jpg)
Live assessment
• Bevindingen• ‘Doet recht’ aan werken
• Beoordelen snel en simpel
• Elk jury-lid kan zich vinden in punten
• Tijd voor feedback
26
![Page 27: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/27.jpg)
Toekomstmogelijkheden
27
![Page 28: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/28.jpg)
Kwaliteitszorg beoordelingen
• Bijvoorbeeld op departementen/academies• Groeien we over de jaren heen naar elkaar toe als beoordelaars?
• Hoe evolueert dit als er mensen de instelling verlaten/bijkomen?
• Is er genoeg diversiteit?
• Hoe verhouden we ons als docenten tot het werkveld?
• Benchmarks
28
Rangorde jaar 1/ klas A/…
Rangorde jaar 2/ Klas B/…
![Page 29: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/29.jpg)
Leerwinstmonitoring
29
• Benchmarks/schalen hergebruiken• Over opdrachten heen
(zelfde competentie)
• Over jaren heen
![Page 30: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/30.jpg)
Centrale toetsing
30
• Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland
• Individuen, klassen, jaren, scholen,… inschalen op representatieve schaal
bewaken standaard
tendensen en evoluties op ≠ niveaus
succesvolle interventies?
![Page 31: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/31.jpg)
Conclusie
• Comparatief beoordelen genereert rijke data die leerkansen biedt op alle niveaus en zou daarom een plaats moeten krijgen in elk evaluatiebeleid
31
![Page 32: De kansen die comparatief beoordelen biedt...•Over jaren heen Centrale toetsing 30 •Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland •Individuen, klassen,](https://reader034.vdocuments.site/reader034/viewer/2022050201/5f54727ad2cc7439f2646f0a/html5/thumbnails/32.jpg)
Referenties
• Bouwer, R., Goossens, M., Mortier, A., Lesterhuis, M., & De Maeyer, S. (2018). Een comparatieve aanpak voor peer assessment : leren door te vergelijken. In D. Sluijsmans & M. Segers (Eds.), Toetsrevolutie : naar een feedbackcultuur in het hoger onderwijs (pp. 92–106). Phronese.
• Coertjens, L., 2017: Key-note op D-PAC event. UAntwerpen
• Lundstrom, K., & Baker, W. (2009). To give is better than to receive: The benefits of peer review to the reviewer's own writing. Journal of second language writing, 18(1), 30-43.
• Rollinson, P. (2005). Using peer feedback in the ESL writing class. ELT journal, 59(1), 23-30.
32