waarop , w at , en hoe kan worden gepersonaliseerd in het ......hebben het minocw, minez, en de po-,...
TRANSCRIPT
Waarop, wat, en hoe kan worden gepersonaliseerd in het onderwijs?
Een studie naar de effecten van adaptiviteit in digitale leersystemen op leren en kansen voor toekomstig onderzoek hiernaar.
Marcel Tillema Ministerie van Onderwijs, Cultuur en Wetenschap
Let Voor [email protected]: vragen
verslag. originele het van versie aangepaste een is dit op:
2
Inhoudsopgave
Inhoudsopgave ............................................................................................................................ 2
Samenvatting .............................................................................................................................. 3
Inleiding ..................................................................................................................................... 5
Gepersonaliseerd leren ........................................................................................................... 5
Adaptieve leersystemen .......................................................................................................... 6
Learning Analytics ................................................................................................................. 6
Doel en aanpak ........................................................................................................................... 8
Literatuuronderzoek ................................................................................................................... 9
Complexiteit van adaptieve leersystemen ............................................................................ 10
Drievoudige structuur van adaptiviteit ................................................................................. 14
Potentiële factoren van adaptiviteit ...................................................................................... 20
Discussie ................................................................................................................................... 72 Literatuurlijst ............................................................................................................................ 31 Bijlage .. .................................................................................................................................... 36
3
Samenvatting
Er is de laatste jaren steeds meer aandacht voor onderwijs dat recht doet aan verschillen
tussen leerlingen door rekening te houden met hun behoeften en capaciteiten. Dit wordt ook
wel gepersonaliseerd leren genoemd. Deze aandacht wordt onder andere veroorzaakt door de
opkomende mogelijkheid van slimme digitale leersystemen die een één-op-één tutor
leerervaring kunnen nabootsen om een leerling zo efficiënt mogelijk te laten leren. Deze
adaptieve leersystemen (ALS’en) maken gebruik van informatie van en over de leerling om
het leerproces en de leeromgeving te optimaliseren. Daarnaast kan deze informatie worden
gebruikt om de kwaliteit van het ALS zelf ook te blijven verbeteren door hier bijvoorbeeld
onderzoek mee te doen. De literatuurstudie in dit verslag had als doel te inventariseren welke
breed-geaccepteerde onderwijskundige variabelen in adaptieve context te onderzoeken.
Hiervoor is eerst een literatuurstudie uitgevoerd met als onderzoeksvraag: waarop, wat, en
hoe kan worden gedifferentieerd en wordt al gedifferentieerd.
Uit de literatuurstudie bleek dat onderzoek naar ALS’en vaak onsystematisch wordt
uitgevoerd zonder een brug te slaan naar de praktijk. Daarnaast wordt er vaak geen antwoord
gegeven op de vraag waarom het systeem efficiënt is voor de leerling om van te leren. Wel
werd er consequent gevonden dat adapteren van moeilijkheid op basis van voorkennis
effectief is. Adaptie op basis van persoonlijke kenmerken, zoals leerstijlen of
intelligentieprofielen, bleken daarentegen niet bij te dragen aan een hogere effectiviteit van
digitale gepersonaliseerde leermiddelen.
Meerdere onderwerpen voor toekomstig onderzoek zijn gevonden door breed-
geaccepteerde onderwijskundige variabelen te analyseren op hun adaptieve potentie. Hier
worden de belangrijkste genoemd. De eerste variabele is een opvallende voorspeller van latere
prestatie, namelijk: de verwachting van de leerling zelf over zijn of haar toekomstige
prestatie. De grote correlatie hiervan met daadwerkelijke prestatie zou een reden kunnen zijn
om leerlingen zelf hun niveau te laten bepalen zonder hier een uitgebreide test voor te hoeven
gebruiken. De tweede interventie is het belang om te differentiëren op de verschillende
ontwikkelingsstadia die een leerling doorloopt. Adaptie hierop resulteert in een positief effect
op leren. Ten slotte werd feedback gevonden als belangrijke beïnvloeder van leren. Feedback
is per definitie persoonlijk omdat het aangepast is op de input van de lerende.
Naar aanleiding van de literatuurstudie is het advies om onderzoek naar ALS’en
systematischer aan te pakken en te beginnen bij onderzoek over in welke context, welke vorm
van adaptie werkt. Het is hierbij belangrijk duidelijk te beschrijven waarop, wat, en hoe wordt
4
gedifferentieerd. Per interessegebied van adaptie zou kunnen worden begonnen met een
theoretisch review over de adaptieve mogelijkheid hiervan. Hierdoor wordt theorie gedreven
onderzoek gedaan en kunnen weinig belovende aspecten eerder worden ontdekt voordat deze
voor veel geld en moeite zorgen bij het implementeren in een ALS. Het is ook belangrijk dat
er daarna bij experimenteel onderzoek goed wordt nagedacht over de controlegroep. Vaak is
de controlegroep een groep die klassikaal onderwijs krijgt. Hierdoor kan er niets worden
gezegd over de adaptieve werking van een aspect, maar alleen over het hele leersysteem als
geheel. Hierdoor kan niet worden beantwoord waarom iets werkt. Ten slotte, zou een
samenwerking in welke vorm dan ook moeten beginnen met het afstemmen van (pre-
competitieve) doelen waarop samengewerkt kan worden. Hierbij is het nodig scholen vanaf
het begin te betrekken zodat markt- en wetenschappelijk onderzoeken als deel van hetzelfde
paradigma kunnen plaatsvinden. Daarnaast helpt deze betrokkenheid bij correcte
implementatie van de leersystemen. Als volgende stap zouden gezamenlijke doelen en
specificaties van een samenwerking moeten worden besproken met relevante partijen.
5
Inleiding
Traditioneel onderwijs kenmerkt zich door een gestandaardiseerde aanpak waarbij een
groep leerlingen dezelfde stof aangeboden krijgen ongeacht hun voorkennis of voorkeur op
dit gebied. De laatste jaren is er echter steeds meer aandacht voor onderwijs dat wel rekening
houdt met deze verschillen tussen leerlingen. Enkele nieuwe onderwijsinitiatieven geven
leerlingen bijvoorbeeld meer autonomie over hun leerweg of verdelen leerlingen over groepen
gebaseerd op kennis, in plaats van op leeftijd. Daarnaast bieden ontwikkelingen in de IT ook
mogelijkheden tot vergaande differentiatie in het onderwijs. Een voorbeeld hiervan is dat
leerlingen niet meer afhankelijk zijn van één gestandaardiseerde bron van informatie, maar
hun eigen tablet bij zich hebben met daarop een gepersonaliseerd leermiddel. Onderwijs dat
recht doet aan verschillen tussen leerlingen door rekening te houden met hun behoeften en
capaciteiten wordt dan ook wel gepersonaliseerd leren genoemd (Lee & Park, 2008). Andere
benamingen zijn gedifferentieerd onderwijs, adaptief onderwijs, of maatwerk. In dit verslag
worden deze begrippen als synoniemen van elkaar gebruikt.
Gepersonaliseerd leren
Er is ook veel aandacht voor gepersonaliseerd leren vanuit de overheid en verschillende
publieke en private instellingen. Zo is er in een sectorakkoord tussen het Ministerie van
Onderwijs, Cultuur en Wetenschap (MinOCW) en de VO-raad van 2014 opgenomen dat
onderwijs uitdagend moet zijn voor elke leerling en dus recht doet aan verschillen. Daarnaast
hebben het MinOCW, MinEZ, en de PO-, en VO-raad de handen ineengeslagen met het
Doorbraakproject Onderwijs en ICT (DBP), om scholen te helpen gefundeerde keuzes te
maken over de inzet van digitale adaptieve leermiddelen (MinOCW, 2015). Het DBP doet dit
onder andere door onderzoek te doen naar praktijksituaties waarin gepersonaliseerd leren met
ICT wordt ingezet.
Onderwijskundig onderzoek laat zien dat verschillen tussen leerlingen er voor zorgen
dat er niet één gestandaardiseerde manier van lesgeven mogelijk is die in iedere situatie ideaal
werkt (Reigeluth, 1996). Daarnaast blijkt dat leerlingen die les krijgen van een docent die
rekening houdt met individuele leerbehoeften betere resultaten behalen dan leerlingen die les
krijgen van een docent die hier geen rekening mee houdt (Ruiz-Primo & Furtak, 2007). Naast
leerbehoeften is het ook belangrijk dat instructie aansluit bij eerder geleerde concepten van
leerlingen. Het is een misconceptie van docenten om te denken dat een leerling “niet klaar” is
voor bepaalde stof door bijvoorbeeld hun leeftijd (Willingham, 2008). Mogelijkheid tot leren
6
van de leerling hangt namelijk vooral af van beschikbare voorkennis waarop aangesloten kan
worden met instructie (Bransford, Brown, & Cocking, 2000).
Adaptie op aanwezige voorkennis en leerbehoeften is dus een vereiste voor leren. In
grote groepen vinden docenten dit echter moeilijk en houden zij maar zelden rekening met
deze individuele behoeften (Ruiz-Primo & Furtak, 2007). Hierdoor worden de beste
leeropbrengsten behaald in persoonlijke tutor sessies waarin een docent slechts één of enkele
leerlingen begeleidt (e.g., Bloom, 1984; Cohen, Kulik, & Kulik, 1982). In deze situaties kan
leren namelijk persoonlijk worden doordat instructie aansluit bij de voorkennis en
leerbehoeften van een leerling. Met behulp van ontwikkelingen in de ICT wordt het mogelijk
om één-op-één leerervaring na te bootsen door de rol van de docent over te hevelen naar of te
laten ondersteunen door een digitale leeromgeving.
Adaptieve leersystemen
Een adaptief leersysteem (ALS) combineert de interactieve mogelijkheden van digitaal
leermateriaal met een nagebootste één-op-één leerervaring van gepersonaliseerd leren. Het
gebruik van digitaal leermateriaal neemt de afgelopen 10 jaar gestaag toe (Kennisnet, 2015).
Deze groei is ook te vinden in de inzet van ALS’en (Vasilyeva, Puuronen, Pechenizkiy, &
Rasanen, 2007). Het gebruik van ICT kan onderwijs onder andere effectiever en efficiënter
maken mits dit op een goede en gedoseerde manier wordt ingezet (Kennisnet, 2015).
Resultaten van onderzoek naar ALS’en zijn echter nog ambigue. Hoewel enkele reviews
positieve resultaten laten zien van specifieke implementaties van ALS’en (e.g., Anderson,
Corbett, Koedinger, & Pelletier, 1995; Mitrovic, Mayo, Suraweera, & Martin, 2001),
beargumenteren (Vandewaetere, Desmet, & Clarebout, 2011) dat onderzoek naar deze
leersystemen onsystematisch is uitgevoerd. Zo is het onderzoek verspreid over meerdere
onderzoeksvelden zonder een brug te slaan naar praktische toepassingen. Daarnaast wordt er
veel onderzoek gedaan naar het wel of niet werken van een bepaalde technische
implementatie, in plaats van de vraag te stellen waarom dit werkt (Vandewaetere et al., 2011).
Het is hierdoor nog niet mogelijk om dit soort onderzoek te vertalen naar praktijkimplicaties
voor het ontwerpen van ALS’en (Marquenie, Opsteen, Brummelhuis, & Van der Waals, 2014;
Vandewaetere et al., 2011).
Learning Analytics
ALS’en passen onderwijs aan op individuele kenmerken van de leerling. Dit is
gebaseerd op beschikbare informatie over de leerling. Het gebruik van deze informatie van en
7
over leerlingen om het leerproces en de leeromgeving te optimaliseren wordt learning
analytics genoemd (Johnson et al., 2013). Voorbeelden van dit soort data zijn de scores van
een leerling op een toets of tussentijdse meting, maar ook de tijden waarop de leerling
studeert en zelfs met welke vraag de leerling moeite had. Hieronder worden meer
voorbeelden genoemd. Wetering (2016) onderscheidt twee niveaus van gebruik van data,
embedded en extracted. Embedded gebruik van data is het voorbeeld van een ALS dat op
basis van de input van de leerling (eventueel gecombineerd met bestaande kennis van de
leerling) gepersonaliseerde feedback geeft of een opgave geeft op het niveau van de leerling.
Als data niet door het leersysteem wordt gebruikt, maar geïnterpreteerd door een docent of
iemand anders, wordt dit extracted gebruik van data genoemd (Wetering, 2016). Een
voorbeeld hiervan is een docent die voortgangsgegevens van een leerling gebruikt tijdens een
coaching gesprek.
Een andere vorm van extracted learning analytics is het gebruik van data voor het
verbeteren van het leersysteem zelf (Romero & Ventura, 2007). Digitale leersystemen
verzamelen veel (soorten) data die de mogelijkheid bieden om naast het voorspellen ook
bepaalde leerprocessen van de leerling te verklaren. Hierdoor creëren deze leersystemen data
die gebruikt zou kunnen worden voor onderwijskundig onderzoek. Doordat veel partijen deze
data voor zichzelf houden is data niet altijd beschikbaar voor het doen van onderzoek.
Hierdoor zijn de eigenaren van data op zichzelf aangewezen bij het innoveren terwijl er nog
veel valt de ontdekken over wat wel en niet werkt. Het doel van onderzoek in het DBP is om
meer te weten te komen over de succesfactoren van de inzet van ICT in het onderwijs en over
gepersonaliseerd leren met ICT in het bijzonder. Daarnaast wordt er verkend of een publiek-
private onderzoekagenda kan bijdragen aan het vergroten van dit inzicht en het versnellen van
de toepassing van opgedane inzichten in de praktijk (MinOCW, 2015).
8
Doel en aanpak
Het doel van dit verslag is het komen tot (een aanzet voor) een onderzoeksagenda met
betrekking tot gepersonaliseerd leren met ICT. Dit wordt gedaan door te inventariseren op
welke gebieden samenwerking tussen partijen mogelijk is en door in kaart te brengen welke
variabelen potentie tonen om onderwijs adaptief op aan te bieden en waar onderzoek zich dus
op zou kunnen richten. Als de kwaliteit van ICT toepassingen niet gewaarborgd kan worden
is het mogelijk dat het gebruik hiervan meer kwaad dan goed doet (Lei & Zhao, 2007). Het is
daarom belangrijk dat er voldoende onderzoek wordt gedaan naar in welke situatie welke
vorm van adaptiviteit werkt en in welke situatie juist niet. Door de complexiteit van ALS’en
kost het echter veel tijd en geld om deze systemen te maken (Chung, Delacruz, Dionne,
Baker, Lee, & Osmundson, 2007; Kelly & Tangney, 2006). Een publiek-private
samenwerking zou hierbij kunnen helpen.
Door data en resultaten te delen, onderzoek te stapelen en gezamenlijk te werken aan
antwoorden op gedeelde kennisvragen kan sneller een hogere kwaliteitsstandaard bereikt
worden en hoeven partijen niet steeds dezelfde ontdekkingen opnieuw te doen. Door hier
verschillende onderzoeksinstanties bij te betrekken kan een systematiek kan worden gecreëerd
waarin nieuwe wetenschappelijke inzichten met betrekking tot ALS’en zo snel mogelijk
worden ingezet in de praktijk. Door een pre-competitieve samenwerking tussen verschillende
onderzoekende partijen zou dit proces kunnen worden versneld waardoor de kwaliteit van
ALS’en sneller toeneemt. Om zo een samenwerking mogelijk te maken is het nodig dat
partijen doelen hebben die gezamenlijk onderzocht kunnen worden. Daarnaast is een zekere
mate van continuïteit in dit onderzoek belangrijk. Een gedeelde onderzoeksagenda zou hier
aan kunnen bijdragen.
Om dit doel te bereiken is voor dit verslag een literatuuronderzoek uitgevoerd met de
vraag wat en waarop zou kunnen worden gedifferentieerd om de kwaliteit van ALS’en toe te
laten nemen. Ook wordt er voorzichtig gekeken naar variabelen die veelbelovend zouden
kunnen zijn om (op) te adapteren om tot een conclusie te komen over mogelijke onderwerpen
voor toekomstig onderzoek.
9
Literatuuronderzoek
Het literatuuronderzoek in dit verslag beantwoordt de vraag wat ALS’en adaptief
zouden kunnen aanbieden. Hiervoor worden eerst twee deelvragen behandeld over de huidige
stand van zaken met betrekking tot ALS’en. De eerste deelvraag is: waarop, wat, en hoe kan
een ALS differentiëren? Dit is een brede vraag die de (technische) mogelijkheden van ALS’en
in kaart brengt. De tweede deelvraag is: wat is er bekend over huidige ALS’en? Deze vraag
probeert met behulp van recente reviews en effectstudies samen te vatten wat al wordt
gebruikt in deze systemen en hoe dit invloed heeft op de kwaliteit van het leermiddel.
De hoofdvraag van het literatuuronderzoek is: waarop, wat, en hoe zou kunnen worden
gedifferentieerd? Enkele breed-geaccepteerde onderwijstheorieën worden vanuit een
adaptieve hoek benaderd om te kijken welke concepten tot hun recht zouden kunnen komen in
een ALS. Het antwoord op deze vraag geeft aan waarop toekomstig onderzoek zich op zou
kunnen richten. Dit kan de basis vormen van een gezamenlijke onderzoeksagenda. Een
belangrijk doel van deze vraag is om te beantwoorden welke data van de leerling verzameld
dient te worden. Volgens Wetering (2016) moet het verzamelen van grote hoeveelheden data
altijd beginnen met de vraag welke data nuttig is om te verzamelen. Door bij de eerste
deelvraag technische aspecten van ALS’en in kaart te brengen is het mogelijk te beoordelen
of deze systemen in staat zijn data te registeren die nodig is om het leerproces aan te passen.
Hierdoor kan dit literatuuronderzoek hopelijk ook de discussie versimpelen over welke data
gedeeld zou moeten worden in een samenwerking tussen partijen.
Generaliseerbaarheid
Gepersonaliseerd leren is een containerbegrip waaronder verschillende vormen van
onderwijs vallen. Blok en Breetvelt (2004) hebben een uitgebreide begripsanalyse uitgevoerd
om tot een sluitende maar ruime definitie te komen van de term adaptief onderwijs, namelijk:
“het doelbewust afstemmen van de onderwijsleersituatie op verschillen tussen leerlingen in
dezelfde leergroep”. In dit verslag wordt gesproken over ALS’en die de rol van de docent
kunnen overnemen en dus het ‘afstemmen van de onderwijsleersituatie’ op zich nemen.
Hierbij ligt de nadruk op controle door het leersysteem terwijl de voorkeur van de leerling
slechts beperkt of niet wordt meegenomen. Uit onderzoek blijkt dat leerlingen over het
algemeen niet in staat zijn om keuzes in hun leerpad te maken die bijdragen aan een positief
leerresultaat (Brummelhuis, Kramer, Post, & Zintel, 2015). Door deze sturing over te laten
aan het leersysteem kan onderwijs efficiënter worden vormgegeven (Marquenie et al., 2014).
10
Leerlingen geven zelf ook aan dat efficiëntie de belangrijkste reden is om leermateriaal
adaptief aan te bieden (Harrigan, Kravčík, Steiner, & Wade, 2009). Bij het generaliseren van
de resultaten van dit literatuuronderzoek dient er dus rekening te worden gehouden met deze
afbakening dat er slechts leersystemen worden meegenomen die routinetaken automatiseren
en data van de leerling in het systeem zelf gebruiken om het leerproces te personaliseren. Dit
is een voorbeeld van embedded learning analytics. Er is in dit verslag geen aandacht voor het
gebruik van sturing en coaching van docenten met behulp van extracted data.
Complexiteit van adaptieve leersystemen
Er zit veel verschil in de adaptiviteit, en hiermee de complexiteit, van leersystemen.
Afhankelijk van het doel van de aspecten waarop een systeem moet adapteren wordt er
onderscheid gemaakt tussen drie soorten ALS’en (Beldagli & Adiguzel, 2010; Mödritscher,
Garcia-Barrios, & Gütl, 2004). Dit zijn: macro-adaptieve instructie, aptitude-treament-
interaction, en micro-adaptieve instructie. De complexiteit van deze systemen neemt toe
naarmate de mogelijkheid tot adaptie ook toeneemt. Hieronder worden de drie benaderingen
besproken en worden voor- en nadelen genoemd.
Macro-adaptieve instructie
Adaptie op het macro niveau betekent dat instructie wordt aangepast op de
(persoonlijke) doelen en vermogens van de leerling (Park & Lee, 2004). ALS’en die
ontworpen zijn met macro-adaptieve instructie gebruiken vaak een mastery learning aanpak
(Carrol, 1963; Agodini et al., 2009), waarin leerlingen pas instructie of opgaven krijgen als ze
aan alle vereisten hiervan hebben voldaan (Park & Lee, 2004). Adaptiviteit in deze systemen
is daardoor beperkt tot het tempo waarin de leerling nieuwe stof eigen maakt. Macro-
adaptieve instructie komt niet alleen voor in ALS’en, maar wordt als sinds het begin van de
20e eeuw toegepast in het klaslokaal door leerlingen te groeperen op basis van kennis van een
bepaald onderwerp en instructie hierop aan te passen. Een bepaalde basisbeheersing was dan
nodig om aan te schuiven bij groepen van een hoger niveau.
Hoewel een mastery learning aanpak een positief effect heeft op leerresultaat (Agodini
et al., 2009), is dit effect zeer verschillend tussen leerlingen en tussen scholen. Dit laat zien
dat er andere (leerling) kenmerken zijn die van invloed zijn op het leerproces. De volgende
benadering van ALS’en houdt hier rekening mee.
11
Aptitude-Treatment-Interaction (ATI)
ALS’en ontwikkeld vanuit een ATI benadering adapteren, op basis van
profielkarakteristieken van de leerling, onder andere de instructievorm, gebruikte media, en
de volgorde van de stof (Park & Lee, 2004). Dit is gebaseerd op het idee dat verschillen
tussen leerlingen er voor zorgen dat zij op andere manieren het best leren (Cronbach, 1957;
Riding & Rayner, 1998). Profielkarakteristieken bepalen de aanleg van een leerling voor een
bepaalde vorm van instructie. Snow en Swanson (1992) onderscheiden hier twee soorten in,
namelijk: cognitieve aanleg (e.g., intelligentie, leerstijlen, en voorkennis) en conatieve en
affectieve aanleg (e.g., motivatie, interesse, en zelfwerkzaamheid). Hoewel sommige
profielkarakteristieken op zichzelf in verband worden gebracht met leren, mist overtuigend
bewijs dat differentiatie hierop bijdraagt aan beter leren (Park & Lee, 2004).
Er is veel kritiek op het adaptief aanbieden van onderwijs op basis van een pre-test die
leerlingen indeelt in een bepaalde groep op basis van profielkarakteristieken. Ten eerste is het
indelen van een leerling in een groep een oversimplificatie van de relatie tussen individuele
kenmerken en leeruitkomsten (Cronbach & Snow, 1977; Park & Lee, 2004). Systematisch
bewijs dat deze manier van adaptiviteit werkt mist dan ook. Een tweede punt van kritiek is dat
de ATI benadering ervan uit gaat dat bepaalde kenmerken constant blijven over langere tijd
terwijl dit vaak niet zo is. Hierdoor ontstaat een steeds grotere meetfout tussen de test en de
daadwerkelijke kenmerken van de leerling. Ten slotte gaat de ATI benadering ervan uit dat
leerlingen in staat zijn een pre-test over persoonskenmerken over zichzelf juist in te vullen en
hier goed aan mee werken. Dit is echter niet vanzelfsprekend waardoor de interactie tussen
kenmerken en onderwijs vanaf het begin al foutief wordt bepaald (Park & Lee, 2004).
ATI onderzoek naar adaptie op basis van verschillen in intelligentieprofielen (Kelly &
Tangney, 2006) en leerstijlen (Assis, Danchak, & Polhemus, 2006; Reints, 2013; Sun, Joy, &
Griffiths, 2007) laten zien dat dit niet werkt. Pashler, McDaniel, en Bjork (2008) benadrukken
dat er nergens in de literatuur overtuigend bewijs te vinden is dat adaptiviteit op leerstijlen
werkt. Ook zij erkennen dat iedere leerling in een bepaalde context beter of slechter leert,
maar dit kan niet worden uitgelegd aan de hand van leerstijlen. Naast intelligentieprofielen en
leerstijlen zijn er nog andere profielkarakteristieken die onder ATI adaptie vallen.
Voorbeelden hiervan zijn motivatie, interesse, en zelfwerkzaamheid. Bewijs dat adaptie op dit
soort profielen werkt mist echter (Park & Lee, 2004; Vandewaetere et al., 2011).
Slechts één cognitieve factor schijnt nut te hebben om mee te nemen bij het aanbieden
van adaptie volgens de ATI benadering. Dit is de eerdere prestatie van een leerling binnen een
bepaalde taak (Park & Lee, 2004). Meerdere studies hebben gevonden dat leerlingen die
12
eerder op een lager niveau presteerde meer ondersteuning nodig hadden op een
daaropvolgende taak, terwijl leerlingen die hoger presteerde het juist beter deden als ze
minder ondersteuning kregen (e.g., Tobias & Federico, 1984). Een bijkomend voordeel van
deze vorm van adaptie van instructie is dat er geen meetfout plaatsvindt door het afnemen van
een vragenlijst over de profielkenmerken van een leerling. Wel gaat adaptie op basis van
voorkennis in de ATI benadering er nog van uit dat de eerdere prestatie van een leerling voor
langere tijd de adaptiviteit van verdere instructie kan bepalen. Micro-adaptieve instructie
daarentegen past zich aan tijdens het leerproces van de leerling.
Micro-adaptieve instructie
De ontwikkeling en onderzoeken naar ALS’en hebben de afgelopen jaren een
ontwikkeling doorgemaakt naar een meer directe vorm van kleinschalige adaptie; micro-
adaptieve instructie. Micro-adaptieve instructie past continue instructie aan op de specifieke
behoeften van een leerling tot op taakniveau (Mödritscher, et al., 2004). Hierbij kunnen
meerdere variabelen worden meegenomen, zoals informatie over de leerling, maar ook over
het domein en de specifieke taak die moet worden opgelost (Vandewaetere et al., 2011). Een
tutor die één-op-één instructie geeft is ook een voorbeeld van micro-adaptieve instructie (Park
& Lee, 2004). Omdat bij deze vorm van instructie de beste leerresultaten worden bereikt bij
leerlingen (Bloom, 1984; Cohen, et al., 1982), worden micro-adaptieve systemen ontwikkeld
die dit soort instructie kunnen nabootsen. Deze systemen proberen zo goed mogelijk instructie
van een tutor na te doen en zijn daardoor zeer complex.
Micro-adaptieve systemen gebruiken vaak drie modules die samenwerken om tot
adaptieve instructie te komen. Deze modules zijn de expert module, student module, en tutor
module (Beldagli & Adiguzel, 2010). De expert module bevat informatie over het domein en
wat de relaties zijn tussen verschillen stukken informatie. Deze relaties kunnen, afhankelijk
van het ALS, vooraf in het programma zijn geprogrammeerd of door een docent zijn
aangebracht. De student module bevat informatie over de kennis, vaardigheden, en attitudes
van de leerling (Beldagli & Adiguzel, 2010). Deze module verzamelt data van en over de
leerling, gebruikt deze data om een beeld te schetsen over de huidige kennis en eventueel
leerprocessen van de leerling, en voorspelt wat de student gaat antwoorden op een bepaalde
taak. Deze voorspelling wordt na de invoer van de leerling weer gebruikt om het beeld van de
leerling bij te stellen. Voor het voorspellen worden, afhankelijk van de context en het doel,
verschillende algoritmes gebruikt. Deze worden verderop besproken. De laatste module is de
tutor module. In deze module wordt informatie uit de andere modules gebruikt om te bepalen
13
hoe en wanneer bepaalde taken of leermateriaal worden aangeboden aan de leerling (Beldagli
& Adiguzel, 2010). In deze laatste module worden dus de beslissingen gemaakt over de
adaptiviteit die wordt aangeboden aan de leerling.
Een voorbeeld van een specifiek soort ALS dat deze modules combineert zijn
Intelligente Tutor Systemen (ITS’en). ITS’en zijn micro-adaptieve systemen die met behulp
van zelflerende algoritmen een één-op-één tutor leerervaring zo goed mogelijk nabootsen. Dit
doen deze systemen door relevante verklaringen, tips, en oefenopgaven te geven die op dat
moment van toepassing zijn gebaseerd op analyses van het systeem (Phobun &
Vicheanpanya, 2010). Deze systemen zijn complex en daardoor moeilijk om te ontwikkelen.
Daarnaast is er veel moeite nodig om een expertmodel te creëren waaraan de leerling moet
worden gekoppeld.
Resultaten van micro-adaptieve systemen en ITS’en laten positieve effecten zien op het
leren van de leerling (Ben-Naim, Bain, & Marcus, 2009; Mitrovic, Koedinger, & Martin,
2003). Deze systemen worden vaak echter vanuit een technische of kunstmatige intelligentie
benadering onderzocht. Een nadeel hiervan is dat er vaak geen conclusies worden getrokken
over de didactisch toegevoegde waarde (waarom werkt het, werkt het efficiënt), maar slechts
of het algoritme of de techniek erachter werkt (werkt het of niet). Er wordt dan ook vaak een
controlegroep gebruikt die klassikaal onderwijs krijgt. Hierdoor verschillen er te veel
variabelen om uitspraken te kunnen doen over waarom iets heeft gewerkt. Een ander nadeel
van dit soort onderzoek is dat er vaak slechts wordt gekeken naar een momentopname terwijl
de complexiteit in adaptiviteit van deze systemen vraagt om een langdurige aanpak
(Vandewaetere et al., 2011). Graff en Lebens (2007) vergeleken het gebruik van het adaptieve
systeem eFit met klassikale instructie voor een jaar. Zij vonden dat de leerlingen die gebruik
maakten van eFit beter presteerden met betrekking tot wiskunde. Dit was echter alleen van
toepassing voor de hoog presterende leerlingen. De laag presterende leerlingen deden het
beter met klassikale instructie.
14
Drievoudige structuur van adaptiviteit
Aan de hand van de hierboven genoemde complexiteit van ALS’en zijn er al enkele
voorbeelden van differentiatie genoemd. Een ander mogelijk onderscheid is waarop, wat, en
hoe kan worden gedifferentieerd (Vandewaetere et al., 2011). Adaptief onderwijs is gebaseerd
op deze drie vragen en de samenhang hiertussen (zie Figuur 1). Hieronder wordt per aspect
besproken wat de mogelijkheden zijn in een ALS en wat voor resultaten al bekend zijn over
dit soort adaptie. Er wordt geen onderscheid gemaakt tussen macro-, ATI-, en micro-adaptie.
Figuur 1. De drie aspecten van adaptief onderwijs inclusief samenhang. Model aangepast van
Vandewaetere en collega’s (2011).
Waarop kan worden gedifferentieerd
Dit is informatie over de leerling waarop adaptie gebaseerd wordt. Als het doel van
adaptief onderwijs is dat iedere leerling op unieke wijze wordt behandeld door het systeem, is
het nodig informatie van en over de leerling te gebruiken om op te adapteren. Hoewel er
overeenstemming is over het belang van adapteren op verschillen tussen leerlingen
(Brusilovsky & Millán, 2007), is er veel onenigheid over op welke variabelen zou moeten
worden gedifferentieerd. Daarnaast worden veel voorgestelde variabelen in student-modellen
niet empirisch getest en enkel theoretisch besproken of slechts in isolatie onderzocht
(Vandewaetere et al., 2011). Ten slotte, blijven veel onderzoeken steken op de vraag of het
werkt en wordt niet gekeken of het systeem ook efficiënt gebruikt kan worden om te leren.
15
Als ergens op wordt gedifferentieerd kan er gebruik worden gemaakt van statische en
dynamische data (Karampiperis & Sampson, 2005). Voorbeelden van statische data zijn
gegevens over de leerling waarvan verwacht wordt dat ze niet snel zullen veranderen zoals
doelen en leervoorkeuren. Voorbeelden hiervan zijn de profielkenmerken waarop ATI
systemen adapteren. Dit soort informatie wordt vaak al eerder verzameld of is al bekend.
Dynamische data daarentegen wordt constant verzameld door het ALS en wordt gebruikt om
het student model up-to-date te houden met bijvoorbeeld nieuw vergaarde kennis van en over
de leerling. Statische data kan ook gecombineerd of zelfs gecontroleerd worden met
dynamische data om de betrouwbaarheid en validiteit te verhogen (Vandewaetere et al.,
2011).
Een ander onderscheid is tussen impliciet en expliciet verzamelde data. Statische data
verzameld voorafgaand of tijdens het leerproces is vanzelfsprekend vaak expliciet. Vaak is
expliciete uitvraag nodig om bijvoorbeeld het kennisniveau van de leerling te toetsen. Echter,
als de leerling expliciet wordt gevraagd om iets in te vullen wordt het leerproces onderbroken.
Dit kost leerlingen moeite om weer verder te gaan (Lo, Chan, & Yeh, 2012). Daarom moet er
goed worden nagedacht wat de toegevoegde waarde is van expliciet verzamelde gegevens.
Een minder ingrijpende bron van informatie is data die impliciet wordt verzameld. Dit is data
die zonder tussenkomst van de leerling kan worden gebruikt. Voorbeelden hiervan zijn de tijd
die een leerling nodig heeft voor het beantwoorden van een vraag en of de leerling wel alle
pagina’s heeft bezocht. Dit soort data zorgt voor de grote ongestructureerde big datasets en
wordt ook wel meta-data genoemd.
Ondersteuning adapteren op basis van eerder prestatieniveau bleek al succesvol in een
ATI systeem (Park & Lee, 2004). Op micro-adaptief niveau worden deze resultaten ook
gevonden. Kalyuga en Sweller (2006) hebben aangetoond dat differentiëren van cognitieve
belasting op basis van voorkennis van de leerlingen effectief is om deze belasting terug te
dringen en om hen betere resultaten te laten behalen. Daarnaast adapteren veel huidige
ALS’en puur door op basis van eerder gemaakte vragen leerlingen taken op hun eigen niveau
toe te wijzen. Deze ALS’en worden besproken bij: Hoe kan worden gedifferentieerd.
Wat kan worden gedifferentieerd
Wat kan worden gedifferentieerd is hetgeen dat voor iedere leerling uniek wordt
gemaakt. Leermiddelen worden vaak onderverdeeld in drie componenten, namelijk: de
inhoud, de presentatie, en de instructie (Elen, 1993). Adaptie is mogelijk op al deze
componenten, maar Vandewaetere en collega’s (2011) laten zien dat veruit de meeste
16
programma’s een combinatie van deze componenten adaptief aanbieden. Reints, Roll, en
Wilkens (2014) noemen enkele voorbeelden bij ieder component. Adaptiviteit van de inhoud
kan een goede manier zijn om de interesse van de leerling te wekken door leerteksten,
voorbeelden, en afbeeldingen aan te passen. Een voorbeeld is het gebruik van de interesses
van de leerling op Facebook om een som op aan te passen. Zo krijgt de ene leerling een som
over 20 voetballen en de andere over 20 auto’s. Adaptie van de presentatie gaat meer over de
uiterlijke kenmerken en functionaliteit van een ALS. Een voorbeeld is het verstoppen van een
overslaan-knop de eerste paar seconden om een leerling te motiveren een som eerst te
proberen. De laatste vorm van wat er adaptief kan worden aangeboden is de instructie.
Instructie in een ALS is de feedback van het systeem op de input van de lerende. Dit kan
feedback zijn in de vorm van een uitleg wat goed of fout was, maar kan ook het aanbieden
van een nieuwe taak zijn aangepast, op het niveau van de leerling. Hieronder wordt feedback
in ALS’en verder besproken.
Feedback heeft veel invloed op het leerproces van de leerling (Hattie & Timperley,
2007). Daarnaast is feedback per definitie persoonlijk omdat het is afgestemd op het
persoonlijke proces en/of resultaat van de leerling. Effectieve vormen van feedback
verschillen van een eenvoudige terugkoppeling over de juistheid van het gegeven antwoord
tot specifieke hulp die een leerling helpt om het probleem op te lossen (Azevedo & Bernard,
1995; Black, Harrison, Lee, Marshall, & Wiliam, 2003). Daarnaast is het bekend dat feedback
het effectiefst is als het precies wordt gegeven als de leerling het nodig heeft (Kester,
Kirscher, & van Merriënboer, 2005). Vasilyeva en collega’s (2007) noemen enkele aspecten
waarop feedback adaptief zou kunnen worden aangeboden. Voorbeelden hiervan zijn niveau,
persoonskenmerken, interesse, en humeur. Zij vinden echter in hun review slechts één artikel
dat onderzoek heeft gedaan naar de adaptiviteit van feedback. Dit is de studie van Lütticke
(2004) waarin feedback wordt aangepast op voorkennis, hoeveelheid fouten, voortgang door
de taak, en persoonlijke voorkeur. Er werd een positief effect gevonden van het adaptief
aanbieden van feedback op de leerresultaten. Uit onderzoek van Reints en collega’s (2014)
kwam echter dat leerlingen niet tot nauwelijks gebruik maken van feedback van een ALS. De
soort feedback maakte hierbij niet uit.
Hoe kan worden gedifferentieerd
Tussen waarop en wat er moet worden gedifferentieerd zit een vertaalslag om van de
bron van adaptie naar het doel van adaptie te komen. Om te bepalen wat er precies adaptief
moet worden aangeboden naar aanleiding van bepaalde kenmerken van een individu worden
17
er verschillende algoritmes gebruikt met een spectrum van simpel tot zeer complex. In de kern
kunnen al deze algoritmes worden gezien als een: “als…dan…” constructie.
De meest eenvoudige constructie is te vinden in geprogrammeerde instructie (Park &
Lee, 2004). Het systeem heeft dan een reactie klaar staan voor ieder mogelijk antwoord.
Hierdoor krijg de ene student een extra uitleg voor een bepaald soort fout terwijl de andere
leerling gewoon kan doorwerken. Dit soort systemen maken adaptie op macro niveau
mogelijk, maar bieden niet veel mogelijkheden voor adaptie op andere persoonskenmerken.
Een andere vorm van geprogrammeerde instructie is inplanting. Een leersysteem hanteert dan
bijvoorbeeld vier instructievormen die aansluiten bij bepaalde persoonskenmerken. Een
leerling maakt van te voren een test en voert de uitslag hiervan in. Het systeem past hier dan
bepaalde elementen op aan.
Ontwikkelingen in de IT hebben complexere algoritmes mogelijk gemaakt. Toch
worden vaak dezelfde basisprincipes gehanteerd. In plaats van voor ieder mogelijk antwoord
een bepaalde reactie in te programmeren worden leersystemen bijvoorbeeld voorzien van
wiskundige modellen die voorspellen wat voor taak een leerling goed zal gaan beantwoorden.
Op basis hiervan kiest het systeem een taak uit. Deze modellen hebben als voordeel dat zij
geen gebruik maken van complexe expert modellen waaraan de leerling moet worden
gematcht. Deze modellen gebruiken namelijk eerder verzamelde data van andere leerlingen
om een voorspelling te doen over het leerproces van deze leerling. Enkele voorbeelden van dit
soort modellen zijn ELO, Bayesian probability, en Markov modellen (Park & Lee, 2004).
Deze worden hieronder kort toegelicht.
Het ELO model (Elo, 1978) komt vanuit de schaakwereld en werd gebruikt om de win-
kans van een speler te voorspellen met behulp van de niveaus van beide schakers. In ALS’en
wordt dit toegepast door een niveau toe te kennen aan de leerling en een moeilijkheidsgraad
aan de taak die moet worden opgelost (Pelánek, 2016). Aan de hand hiervan kunnen taken
worden gekozen door het leersysteem die bijvoorbeeld een oplossingskans hebben van 60%.
Hiervoor is dus data over de leerling en over de taken nodig. Deze wordt gegenereerd door het
systeem zelf. Als een leerling een vraag goed beantwoord stijgt zijn of haar niveau. Daarnaast
daalt de moeilijkheidsgraad van de vraag. Hierdoor sorteert het systeem zelf de volgorde van
taken. Een nadeel is wel dat er een stabiliseringsperiode nodig is voordat de moeilijkheid van
de taken bekend is of over het niveau van de leerling. Systemen met ELO modellen
differentiëren dus de moeilijkheid van de vraag, gebaseerd op het niveau van de leerling.
Uitbreidingen van adaptiviteit is moeilijk in ELO modellen, maar wel mogelijk doordat er
keuzes moeten worden gemaakt over enkele constante variabelen in het voorspellingsmodel.
18
Voor systemen met een ELO model zijn er twee constanten waarover ontwikkelaars
moeten nadenken. De eerste is het percentage van de oplossingskans. Aangezien de mate van
uitdaging een belangrijke voorspeller is voor leersucces is het belangrijk om sommige
leerlingen moeilijkere taken te geven dan andere leerlingen, ondanks dat zij hetzelfde niveau
hebben. In plaats van een oplossingskans van 60% in het model te programmeren zou dit ook
per leerling verschillend kunnen zijn gebaseerd op leerlingkenmerken. De tweede constante
waarover na moet worden gedacht is de mate van stijging of daling van het niveau van de
leerling en de moeilijkheidsgraad van de taak. Deze stijging of daling zou afhankelijk van het
verschil tussen moeilijkheid kunnen worden aangeboden. Zo zou een leerling die een
moeilijkere som oplost sneller stijgen in niveau dan een leerling die een makkelijkere som
oplost. Hetzelfde geldt voor de moeilijkheid van de taak. Die zou in dit geval harder kunnen
dalen voor de moeilijkere som omdat het niet werd verwacht dat een leerling met dit niveau
deze vraag goed zou kunnen beantwoorden. Een andere mogelijkheid is het afhankelijk
maken van de tijd. Hoe langer een leerling erover doet, hoe minder hard zijn of haar score
stijgt of daalt bij een goed of fout antwoord. Dit is gebaseerd op het feit dat leerlingen die een
som snel oplossen, de stof waarschijnlijk beter beheersen dan leerlingen die langer doen over
dezelfde som.
Hoewel ELO modellen dus de mogelijkheid hebben tot uitbreiding van adaptie, is dit
beperkt. Deze systemen gaan er namelijk in de kern vanuit dat iedere student op dezelfde
manier, in hetzelfde tempo leert. Modellen die hier een oplossing voor zouden kunnen bieden
zijn Bayesian probability of Markov modellen. In plaats van een taak aan te bieden gebaseerd
op de input van een leerling, wordt er gewerkt met een model van de leerling die wordt
vergeleken met andere student-modellen voor het aanbieden van een taak. Zo wordt bij het
Bayesian probability model een pre-test afgenomen waarmee het slagingspercentage per taak
wordt berekend en waarmee het niveau van de leerling wordt bepaald. Daarna laat dit model
toe dat dit voorspellingsmodel iedere taak wordt bijgewerkt op basis van nieuwe input van de
leerling. Hierdoor combineert dit model variabelen die iets zeggen over hoe de leerling het
best leert, met factoren die het niveau van de leerling bepalen. Het Markov model voegt hier
nog eens aan toe dat er rekening kan worden gehouden met willekeurige informatie en fouten
in de data. Hierdoor is het model minder gevoelig voor onverwachte input die niet in het
student-model past (Brusilovsky, 2001).
19
Nederlandse adaptieve leersystemen
Veruit de meeste Nederlandse ALS’en werken met wiskundige modellen die op basis
van het niveau en/of de snelheid van reageren een persoonlijk pad of bepaalde moeilijkheid
aan de leerling voorschotelt. Dit niveau wordt dynamisch vastgesteld aan de hand van eerdere
input van de lerende of door een pre-test. Vergeleken met de mogelijkheden van ALS’en die
hierboven zijn genoemd is dit een beperkte vorm van adaptie. De resultaten laten echter
significante voordelen zien van het werken met deze vormen van adaptie. Hieronder worden
enkele bekende ALS’en besproken die in het Nederlandse onderwijs worden gebruikt.
Het eerste systeem dat hier wordt besproken is Snappet. Snappet is een
oefenprogramma voor meerdere disciplines voor op de tablet. Het systeem laat de leerling
direct weten of het antwoord goed of fout is. Daarnaast past het systeem met behulp van ELO
adaptie de moeilijkheid van de taken en het niveau van de leerling aan op basis van of het
antwoord goed of fout was. Recente onderzoeken naar de effectiviteit van Snappet laten zien
dat leerlingen in groep 6 een hogere vaardigheidsgroei lieten zien, in zowel spelling als
rekenen dan de controlegroep (Molenaar, Van Campen & Van Gorp, 2016). In groep 4 was
dit slechts het geval voor spelling. Verder bleek dat de mate van vaardigheidsgroei van
leerlingen die met Snappet werkte meer parallel liep met leerlingen van een lager niveau dan
leerlingen uit de controle groep (Molenaar et al., 2016). Dit zou kunnen betekenen dat
leerlingen van een hoger niveau op een bepaald moment niet meer genoeg hebben aan
klassikaal onderwijs, maar adaptieve programma’s nodig hebben om te blijven groeien. Uit
onderzoek van Faber en Visscher (2016) kwam dat alle leerlingen in groep 5 baat hadden bij
werken met Snappet op het gebied van rekenen. Ook uit deze studie bleek dat leerlingen van
het hoogste niveau de meeste baat hadden.
Een ander ALS dat gebruik maakt van adaptie met behulp van een ELO algoritme is
Rekentuin van Oefenweb.nl. Dit online programma neemt daarnaast responsietijd mee in de
mate waarin leerlingen dalen of stijgen qua niveau (Maas, Straatemeier, & Klinkenberg,
2010). Hierdoor stijgt een leerling meer als die een antwoord snel weet, maar daalt hij of zij
ook harder als er snel een foutief antwoord wordt ingevuld. Onderzoek naar de effectiviteit
van de Rekentuin laat een grotere groei zien bij leerlingen die gebruik maakten van het
systeem in vergelijking met leerlingen die hier niet mee werkten (Meijer & Karssen, 2013).
Opvallend is wel dat de effecten bij Snapper groter waren voor de leerlingen op hoger niveau,
terwijl het gebruik van Rekentuin beter werkt voor leerlingen van een lager niveau.
Het adaptieve leersysteem Muiswerk werkt anders. Dit systeem past de taken en
volgorde aan op basis van een pre-test die wordt afgenomen aan het begin. Ook feedback en
20
instructie wordt op basis hiervan gepersonaliseerd. Deze route en instructie worden iedere
paar weken aangepast met behulp van een tussentijdse toets. Resultaten van Muiswerk laten
zien dat leerlingen die werken met Muiswerk meer vragen per seconde goed maakten op het
gebied van rekenen en wiskunde (Haelermans & Ghysels, 2013).
SlimStampen past geheugenmodellen toe door bij te houden wat de leerling waarover
weet en dit te vergelijken met een ideaal model. Het systeem wordt gebruikt in meerdere
taalmethoden en bepaalt op basis van de juistheid van een antwoord en de tijd die het de
leerling heeft gekost om te reageren wanneer een woordje weer herhaald moet worden.
Leerlingen die werkten met dit programma deden het beter dan leerlingen die zelf de volgorde
mochten bepalen en dan leerlingen waarbij dit random gebeurde (Rijn, Maanen, &
Woudenberg, 2009).
Potentiële factoren van adaptiviteit
Instructie is het effectiefst in een één-op-één setting tussen leerling en tutor (Bloom,
1984). Met gepersonaliseerd onderwijs wordt geprobeerd dit soort effectiviteit weer terug te
brengen zodat iedere leerling zijn of haar potentieel maximaal kan benutten. Hiervoor worden
ALS’en gebruikt die op basis van verschillende kenmerken van een leerling instructie adaptief
kunnen aanbieden. Er is echter nog weinig bekend over welke variabelen, in welke context
moeten worden gedifferentieerd om een specifiek leerdoel te behalen. Vandewaetere en
collega’s (2011) benadrukken dat veel onderzoek naar ALS’en tot nu toe werd gedaan vanuit
een technische richting met de vraag: werkt het? Zij beargumenteren dat onderzoek naar
ALS’en vanuit de onderwijskundige theorie zou moeten worden benaderd om te kunnen
beantwoorden waarom iets werkt en of het efficiënt werkt. In deze laatste paragraaf wordt een
start gemaakt met het beantwoorden van deze vraag door belangrijke onderwijskundige
voorspellers te benaderen vanuit een adaptieve richting.
Het is belangrijk om te benoemen dat simpelweg het gebruiken van onderwijskundige
voorspellers in een adaptieve setting niet betekent dat dit een efficiëntere manier van leren
oplevert. Volgens Park en Lee (2004) worden er veel ALS’en ontwikkeld op basis van
onbevestigde theoretische aannames. De resultaten die uit deze onderzoeksvraag komen
moeten dan ook eerst nog in een adaptieve setting worden onderzocht. Hiervoor is een andere
aanpak nodig dan nu wordt gebruikt. Normaliter worden effectstudies uitgevoerd met behulp
van empirisch experimenteel onderzoek met twee of meer condities waarin slechts één of
enkele variabelen worden aangepast. Hierbij worden persoonskenmerken teniet gedaan door
aselecte toewijzing in condities. Hiermee kan er uitsluitsel worden gegeven over de
21
effectiviteit van deze interventie. Kennis van dit soort onderzoek wordt daarna gebruikt om te
implementeren bij grotere groepen leerlingen. Bij onderzoek naar gepersonaliseerd leren
moeten echter verschillen tussen leerlingen het beginpunt zijn van het onderzoek. In plaats
van het zoeken naar een interventie die voor alle leerlingen werkt, moet er worden onderzocht
welke vorm van adaptie het maximale uit zoveel mogelijk, zo niet alle, leerlingen haalt.
Aanpak
Hieronder wordt de onderzoeksvraag beantwoord welke breed-geaccepteerde
onderwijskundige voorspellers zouden kunnen worden gebruikt in gepersonaliseerd onderwijs
om de kwaliteit hiervan te laten toenemen. Om deze vraag te beantwoorden zijn verschillende
onderwijskundige reviews en meta-analyses geraadpleegd die effectieve onderwijskundige
voorspellers, interventies, en theorieën benoemen. Echter, door de grote overlap tussen deze
bronnen is ervoor gekozen om slechts de meest omvattende bron te gebruiken voor deze
analyse. Dit is een samenvoeging van meer dan 800 onderwijskundige meta-analyses van
Hattie (2008). Andere geraadpleegde bronnen zijn een boek van Bransford en collega’s
(2000) en een review van Scheerens, Luyten, Steen, en Luyten-de Thouars (2007). In het boek
van Hattie wordt de invloed van belangrijke onderwijskundige variabelen vergeleken op basis
van impact voor het onderwijs. Hiervoor wordt de effectgrootte Cohens d gebruikt (Cohen,
1988). Deze effectgroottes zijn berekend door het effect van een interventie te delen door de
spreiding in het resultaat (de standaard deviatie). Hierdoor wordt een groot effect met een
grote spreiding genuanceerd, terwijl een klein effect die voor veel leerlingen hetzelfde was,
relevanter wordt. Hattie (2008) benadrukt dat interventies met een effectgrootte van Cohens d
> 0.40 belangrijk zijn voor het onderwijs. d = 0.40 is de gemiddelde effectgrootte van alle
onderzochte interventies. Hoewel ieder positief effect nuttig is voor het onderwijs, kiest Hattie
opzettelijk een d van 0.40 als omslagpunt omdat anders de lat te laag wordt gelegd voor het
onderwijs. Ter vergelijking, het verschil tussen één-op-één tutoren en klassikale instructie
betreft een d van 2.00 (Bloom, 1984). Hattie (2008) noemt 66 variabelen met een d van 0.40
of hoger. Van al deze variabelen is in bijlage 1 kort benoemd op wat voor manier deze
adaptief kunnen worden gebruikt. Hierbij is rekening gehouden met de drie aspecten van
Vandewaetere en collega’s (2011): waarop, wat, en hoe kan worden gedifferentieerd. De
waarop-vraag test een voorspeller op de toegevoegde waarde om hierop te adapteren en dus
data hierover op te slaan. De wat-vraag test of dit iets is wat adaptief zou moeten worden
aangeboden. De hoe-vraag test of de theorie kan bijdragen aan de vertaalslag tussen waarop
22
en wat moet worden gedifferentieerd. De resultaten van deze drie vragen zijn te vinden in
bijlage 1.
Resultaten
Bij het beoordelen van de belangrijke onderwijskunde variabelen op hun nut voor
adaptief onderwijs werden zes overkoepelende thema’s herkend: voorspellers, doelen en
verwachtingen, voorkennis, feedback, individueel versus samenwerkend leren, en
interventies. Bijna alle variabelen vielen in één of meer van deze thema’s. Hieronder wordt
per thema een korte uitleg gegeven voordat de resultaten worden besproken. Aangezien alle
genoemde variabelen uit de review van Hattie (2008) komen, wordt hieraan gerefereerd met
behulp van de rang van de desbetreffende variabele op basis van effectgrootte. Deze staat
tussen haakjes achter de variabele van Hattie. Deze rang kan in de meest linker kolom van
bijlage 1 worden teruggevonden.
Voorspellers. Voorspellers zijn variabelen die het mogelijk maken de latere prestatie
van een leerling te voorspellen. Aangezien we slechts naar effectgroottes van groter dan 0.40
hebben gekeken zijn dit belangrijke voorspellers. Voorspellers zouden door ALS’en gebruikt
kunnen worden om bijvoorbeeld de moeilijkheid van een taak op aan te passen. Een goed
voorbeeld hiervan is de voorspeller eerdere prestatie (rang 4). Deze vorm van adaptie wordt al
gebruikt in veel ALS’en, waaronder de systemen die gebruik maken van ELO-adaptie. Een
voordeel hiervan is dat deze data dynamisch wordt verzameld tijdens het maken van taken.
Een grotere correlatie met prestatie is echter gevonden voor zelf gerapporteerde cijfers (1).
Blijkbaar zijn leerlingen zeer goed in staat hun toekomstige presteren te voorspellen. Dit
brengt mogelijkheden met zich mee voor ALS’en omdat een nadeel van sommige systemen is
dat niveau in te kleine stappen toeneemt bij het goed beantwoorden van een vraag. Beginnen
met de leerling zijn of haar niveau zelf te laten inschatten is wellicht een betrouwbaar
startpunt en scheelt het afnemen van een toets om het startniveau te bepalen. Het nadeel van
deze eigen inschattingen is dat leerlingen zich zelf wellicht gaan aanpassen aan het
prestatieniveau dat zij voor ogen hebben en hierdoor niet hun maximale potentieel bereiken.
Zo noemt Hattie (2008) dat het zelfbeeld (60) van leerlingen invloed heeft op de latere
prestatie van de leerling. Meer hierover bij ‘Doelen en verwachtingen’.
Overige voorspellers die genoemd zijn door Hattie (2008) hebben te maken met de
thuissituatie (31, 32), gewicht bij vroegtijdige geboorte (38), en de schoolgrootte (59). Dit zijn
voorbeelden van statische expliciet uit te vragen data. Hoewel deze factoren latere prestatie
23
voorspellen en een systeem hier dus op zou kunnen adapteren, lijken dit omslachtige
variabelen die expliciet gevraagd moeten worden en waar de leerling waarschijnlijk geen
antwoord op heeft. Daarnaast kan het vragen naar de thuissituatie een sociaal wenselijk
antwoord opleveren.
Doelen en verwachtingen. Veel variabelen die de prestatie van de leerling beïnvloeden
hebben te maken met het stellen van doelen en de verwachtingen van de leerling over zichzelf
en de verwachtingen van de docent over de leerling. Doelen kunnen te maken hebben met een
bepaald gewenst niveau van de leerling of met een bepaald onderwerp waar de leerling meer
over wil leren. Deze doelen zijn vaak uniek voor iedere leerling en zijn daarom belangrijk om
mee te nemen in gepersonaliseerd onderwijs. Het stellen van doelen opzich heeft al een
positieve invloed op prestatie (34). Helderheid in doceren draagt ook bij aan een betere
prestatie van de leerling (8). Een belangrijk aspect van helderheid is dat de docent duidelijk
communiceert wat de te behalen doelen zijn. Ook directe instructie, een lesmethode
gecentreerd rondom het behalen van gestelde doelen heeft een positief effect op prestatie (26).
Uit de review van Hattie (2008) blijkt dat het effect van het stellen van doelen groter is
als de verwachtingen hoger worden gesteld (34). Een docent die hoge verwachtingen heeft
van zijn of haar leerlingen zorgt ervoor dat deze leerlingen beter presteren (58). Zelfs als deze
verwachtingen niet gegrond zijn. Daarnaast zorgt het stellen van lage verwachtingen door het
labelen van leerlingen als ‘onder gemiddeld’ ervoor dat leerlingen ook slechter gaan presteren
(21). Kwaliteitskenmerken van doceren die het grootste positieve effect hebben op prestatie
zijn het uitdagend aanbieden van de stof en het aansporen van de leerlingen om hoge
verwachtingen van zichzelf te hebben (56). Dit heeft weer te maken met het eerder genoemde
zelfbeeld. Leerlingen die een hoge verwachting van zichzelf hebben zullen ook beter gaan
presteren (60).
ALS’en kunnen gebruik maken van deze informatie over doelen en verwachtingen door
realistische, maar uitdagende doelen te stellen op basis van persoonlijke informatie van en
over de leerling. Dit kan door bijvoorbeeld een unieke leerweg te genereren voor iedere
leerling op basis van voorkennis. Dit vereist echter wel gedetailleerde informatie over wat de
leerling precies beheerst en op welk niveau. Het volgende thema bespreekt variabelen die op
basis van voorkennis instructie aanpassen of aangepast aanbieden.
Voorkennis. Veel interventies met betrekking tot gepersonaliseerd leren gaan er van uit
dat het systeem weet wat de leerling weet en niet weet. Adaptie op microniveau maakt
24
bijvoorbeeld gebruik van een student model waarin informatie over de leerling wordt
opgeslagen, maar adaptie op macroniveau gebeurt ook al op basis van voorkennis. Hattie
(2008) noemt vier interventies met een effectgrootte van meer dan 0.40 die op basis van
voorkennis van de lerende het onderwijs adaptief zouden kunnen aanbieden. Positieve
effecten op prestatie werden gevonden voor mastery learning (29) en Keller’s
Gepersonaliseerde Instructiesysteem dat gebruikt maakt van mastery learning (40). In beide
principes moeten leerlingen bewijzen dat ze bepaalde stof beheersen voordat ze door mogen
naar de volgende stof. Dit is een beperkte vorm van macroadaptie waarin leerlingen vooral op
eigen tempo door de stof heen werken. Andere interventies die gebruik zouden kunnen maken
van de lerende om op te adapteren zijn behavioral organizers (61) en het spreiden van
instructie in plaats van alles in één keer aan te bieden (12). Behavioral organizers zijn
hulpmiddelen die op een abstracte manier samenhang tussen verschillende aspecten toont. Dit
hulpmiddel zou meer effect kunnen hebben als rekening wordt gehouden met de voorkennis.
Het spreiden van instructie wordt al toegepast in onder andere het ALS SlimStampen. Hier
wordt herhaling van een woord aangepast op de tijd die het de leerling heeft gekost om het de
vorige keer te vertalen. ALS’en zouden dit op grotere schaal kunnen toepassen waarbij
instructie wordt gespreid op basis van voorkennis, betrokkenheid, motivatie, en andere
factoren.
Een nadeel van adaptiviteit op basis van voorkennis is dat het systeem deze voorkennis
ergens op moet baseren. Op macroniveau is dit niet ingewikkeld, maar op microniveau liggen
er kansen voor ALS’en om instructie aan te passen op precies die aspecten die een leerling
nog niet (goed) beheerst. Hiervoor moet de kennis en de cognitieve samenhang van bepaalde
aspecten bij de leerling in kaart worden gebracht door het ALS. Hierdoor kan het ALS een
foutenanalyse maken en in kaart brengen waarom een leerling bijvoorbeeld een bepaalde fout
maakt. Het doel van Hattie (2008) was om variabelen te vinden die een positief effect hebben
op de prestatie van de leerling en niet om manieren te noemen waarmee de voorkennis van de
leerling in kaart kan worden gebracht. Toch is er één interventie gevonden die hier potentie
voor toont. Dit is het maken van een concept map (33). Door leerlingen een concept map te
laten maken met daarin samenhang van verschillende aspecten in de stof zal de leerling beter
presteren. Daarnaast kan deze input worden gebruikt om (voor)kennis en samenhang tussen
verschillende elementen van de leerling te gebruiken.
Feedback. Feedback is al eerder onderzocht in adaptieve context en de resultaten
hiervan zijn al besproken. Hattie (2008) noemt dat feedback per definitie persoonlijk is omdat
25
het een reactie is op de input van de leerling. Feedback zelf heeft een groot positief effect op
de prestatie van de leerling (10). Deze effecten kunnen echter ook negatief zijn afhankelijk
van de soort feedback. Feedback die een vorm van formatieve evaluatie bevat heeft echter een
groot positief effect op de prestatie van de leerling (3). Daarnaast is deze vorm van feedback
het effectiefst als er gebruik wordt gemaakt van objectieve data van en over de leerling. Een
ALS is hierdoor uitermate geschikt voor het geven van formatieve feedback over het
leerproces van de leerling. Een kleiner effect is gevonden voor feedback in de vorm van een
vraag aan de leerling (53). Veel ALS’en geven feedback in de vorm van een nieuwe taak of
vraag naar aanleiding van de eerdere input van de leerling. De vraag moet uitdagend zijn,
maar niet te moeilijk voor het grootste effect.
Doordat feedback al veel is onderzocht in de context van adaptiviteit is er literatuur
beschikbaar die heeft onderzocht hoe feedback eruit zou moeten zien in digitale leersystemen.
Vasilyeva en collega’s (2007) noemen dat feedback direct na de input van de leerling moet
worden gegeven en specifiek voor die input geldt, normatief moet zijn over de input,
summatief moet zijn over cijfers, en constructief en ondersteunend moet zijn vormgegeven.
Daarnaast geven ze een lijst waar feedback allemaal rekening mee zou kunnen houden. Ze
noemen onder andere doelen, overtuigingen, persoonskenmerken, aandacht, eerdere prestatie,
motivatie, en intelligentie.
Individueel versus Samenwerkend leren. De bevindingen met betrekking tot
individueel en samenwerkend leren hebben niet direct nut voor het ontwikkelen van ALS’en.
Echter, aangezien gepersonaliseerd leren met behulp van ALS’en op dit moment vooral
uitgaat van een individueel leerproces is het nuttig om hier de effecten hiervan kort te
beschrijven. Er wordt namelijk een groot effect gevonden voor coöperatief leren (63). Dit
effect is nog groter vergeleken met individueel leren (24). Vergeleken met competitief leren
doen coöperatieve methoden het ook beter (37). Dit is wellicht nuttig aangezien sommige
ALS’en worden ontwikkeld met een competitief karakter waarin het doel is zoveel mogelijk
punten te behalen. Samenwerken met medeleerlingen is wellicht effectiever.
Leerlingen kunnen ook veel van elkaar leren. Prestatie stijgt van leerlingen die elkaar
tutoren (36). Hierbij spelen vriendschappen en andere effecten wel weer een rol die positief en
negatief kunnen uitpakken (41). Hoewel samenwerken dus werkt, presteren leerlingen beter in
kleine groepen dan in grote klassen (48). Hierbij moet materiaal en instructie wel worden
aangepast op het niveau van de kleine groep. Anders hebben de leerlingen alsnog geen extra
baat bij het leren in kleine groepen.
26
Hoewel dit soort bevindingen wellicht weinig betekenen met betrekking tot
gepersonaliseerd onderwijs, kunnen leerlingen in de toekomst misschien met hun ALS
deelnemen in een online omgeving waarvoor bepaalde domeinen coöperatieve adaptieve
instructie mogelijk is.
Interventies. Het grootste deel van de 66 geanalyseerde onderwijskundige variabelen
van Hattie (2008) waren interventies die in een domeinspecifieke context de prestatie
bevorderden. Voorbeelden hiervan zijn lesmethoden die bijvoorbeeld wiskunde, creativiteit,
meta-cognitieve vaardigheden, of begrijpend lezen aanleerden. Onderzoek naar dit soort
interventies mikten soms op een specifieke doelgroep zoals leerlingen met een leerprobleem.
Andere interventies waren van toepassing op een algemenere populatie. Hoewel er bij deze
interventies niet meteen een brug geslagen kan worden naar adaptiviteit, is het wel mogelijk
dat ALS’en in de toekomst leerlingen met een bepaalde achterstand bepaalde methoden aan te
bieden die dit remediëren. In dit verslag ligt de nadruk echter niet op gepersonaliseerd
onderwijs op basis van het wel of niet toepassen van een bepaalde methode, maar meer op
adaptiviteit binnen een leermiddel om de doelen efficiënter te behalen. Dit soort interventies
worden hier besproken. Daarnaast zijn er al enkele interventies besproken bij ‘voorkennis’.
Deze interventies zullen hier ook niet worden besproken.
Twee interventies blijven over met zeer grote positieve effecten op prestatie van de
leerling. De eerste zijn Piagetian programs (2). Hierbij wordt er van uitgegaan dat leerlingen
zich ontwikkelen door verschillende stadia van Piaget. Onderzoek laat zien dat instructie
aangepast op deze stadia een zeer groot effect oplevert voor de leerling. Hiervoor gelden
echter wel de eerder genoemde nadelen van ATI adaptie, zoals het maken van meetfouten bij
het vaststellen van het stadia van de leerling en het versimpelen van de invloed van
persoonskenmerken op leren. Dit zou dus eerst moeten worden onderzocht in adaptieve
context. De tweede interventie is acceleratie (5). Met acceleratie wordt versneld onderwijs
bedoeld voor hoogbegaafde leerlingen. Deze interventie is terug te vinden in macro adaptieve
systemen waarin leerlingen op hun eigen tempo door de stof heen werken.
27
Discussie
Het hoofddoel van het literatuuronderzoek was om erachter te komen waarop, wat, en
hoe adaptieve leersystemen (ALS’en) zouden kunnen differentiëren om efficiënt leren
mogelijk te maken en hiermee de kwaliteit van deze systemen te laten toenemen. Het
antwoord op deze vraag kan gebruikt worden om de onderzoeksrichting van een potentiële
gedeelde onderzoeksagenda te sturen, maar ook om informatie te bieden in de discussie over
welke data gedeeld zou moeten worden om de kwaliteit van deze leersystemen te laten
stijgen. Belangrijk om te zien is dat de meest gebruikte aspecten van ALS’en, ook genoemd
worden in de wetenschappelijke literatuur als belangrijke variabelen voor het verhogen van de
prestatie van leerlingen. Voorbeelden hiervan zijn het gebruik van eerdere prestaties om het
niveau op aan te passen, differentiëren op doorloopsnelheid (en accelereren indien mogelijk),
het gebruik van mastery learning, en natuurlijk persoonlijke terugkoppeling in de vorm van
feedback.
Een nog niet gebruikt voorbeeld is het gebruik van behavioral organizers die op een
abstracte manier de samenhang in de stof aanbieden. Deze organizers zouden gedifferentieerd
kunnen worden aangeboden als de specifieke voorkennis van de leerling bekend is. De
grootste winst valt hier waarschijnlijk te behalen als de leersystemen in staat zijn te
analyseren wat de leerling nog niet weet. Feedback zou dan ook gepersonaliseerd aangeboden
kunnen worden op basis van wat de reden is dat een leerling een bepaalde taak steeds
verkeerd doet en doelen kunnen uitdagend worden gesteld met behulp van het ALS op basis
van voorkennis.
Met betrekking tot het in kaart brengen van het niveau van de leerling om onderwijs
hierop aan te passen is er één belangrijke voorspeller gevonden in de literatuur van Hattie
(2008). Hieruit blijkt namelijk dat leerlingen in staat om hun eigen toekomstige prestatie zeer
nauwkeurig te voorspellen. Onderzoek zou gedaan kunnen worden in hoeverre een ALS het
niveau van een leerling zou moeten proberen vast te stellen als een leerling dit wellicht veel
nauwkeuriger zelf kan. Met gebruik van complexere voorspel algoritmes is het bijvoorbeeld
mogelijk om de leerling eerst zelf een inschatting van zijn of haar eigen kunnen te laten
maken om dit vervolgens te verfijnen met dynamische input op de gegeven taken.
Toekomstig onderzoek
Los van de belangrijkste voorspellers en interventies met betrekking tot
gepersonaliseerd onderwijs, zijn er een aantal algemene opmerkingen te maken over dit soort
28
onderzoek. Tot nu toe is onderzoek veelal vanuit een technische hoek gedaan zonder een
vertaalslag te maken naar de onderwijskundige theorie of de praktijk (Vandewaetere et al.,
2011). Onderzoek naar ALS’en en gepersonaliseerd leren zouden volgens hen dan ook vanuit
onderwijskundige theorie gedreven moeten worden. Hierdoor is het mogelijk om uitspraken te
doen over waarom iets werkt en of het efficiënt werkt. Daarnaast mist er vaak een
betrouwbare controlegroep in huidig onderzoek naar ALS’en. De controlegroep is vaak
gewoon klassikaal onderwijs waardoor niet adaptiviteit van een bepaalde variabele wordt
gemeten, maar de invloed van het hele systeem ter vergelijking van dit klassikale onderwijs.
Om de waarom vraag te beantwoorden is het nodig de experimentele conditie te vergelijken
met een controlegroep die slechts op de variabele van interesse verschilt. Dit kan bijvoorbeeld
door de controlegroep precies hetzelfde systeem aan te bieden waarbij de adaptiviteit volledig
willekeurig is of waarbij de controle groep opzettelijk verkeerd wordt geadapteerd.
Verder noemen verschillende publieke en private partijen dat het maken van een review
over de huidige stand van zaken een goede start van een gedeelde onderzoeksagenda is.
Hierin zouden de mogelijkheden, huidige systemen, en doelen voor de toekomst nog eens
nader bekeken kunnen worden. Hopelijk draagt dit verslag hier al deels aan bij. Een ander
advies is om per aspect waar onderzoek naar gedaan zal worden, te starten met een specifiek
review over dit aspect in adaptieve context. Een voorbeeld hiervan is de review van
(Vasilyeva et al., 2007) over de adaptiviteit van feedback in digitale leersystemen. Hierdoor
start een nieuw onderzoek altijd vanuit de theorie en zijn de adaptieve mogelijkheden
geïnventariseerd. Mocht uit een review dan blijken dat de adaptieve effecten wellicht beperkt
zijn, kan dit aspect van onderzoek stop worden gezet voordat er veel geld is gestoken in het
ontwikkelen of aanpassen van een ALS.
Voordat er echter wordt gekeken naar nieuwe innovaties in het ontwikkelen van
ALS’en, is het belangrijk om onderzoek te doen naar de huidige ALS’en. Systematisch
onderzoek naar ALS’en ontbreekt namelijk. Er is veel vraag om naar de basis te gaan van
gepersonaliseerd onderwijs en onderzoek te doen naar wat werkt, in welke context, voor
welke leerling. De effecten van (soortgelijke) ALS’en lopen namelijk nog steeds flink uiteen
door de context waarin ze worden ingezet (Klaveren, Vonk, & Cornelisz, 2013; Regian &
Shute, 1992).
Een factor die bekend invloed heeft is de betrokkenheid van de docent bij de
implementatie van een ALS (Ben-Naim et al., 2009). Hieronder worden enkele voorbeelden
genoemd van factoren waar nog weinig over bekend is. Zo is er veel onderzoek gedaan naar
gestructureerde kennisdomeinen zoals wiskunde en natuurkunde, terwijl er nog maar weinig
29
bekend is over de effectiviteit van ALS’en voor domeinen zoals aardrijkskunde of biologie.
Onderzoek zou kunnen helpen af te bakenen waar dit soort leersystemen wel voor werken en
waarvoor niet. Daarnaast worden er nog steeds grote verschillen gevonden tussen de groei in
prestatie tussen leerlingen. Hierbij lijken beter presterende leerlingen meer baat te hebben bij
een ALS, dan slecht presterende leerlingen. Er is echter nog weinig fundamenteels bekend
over de oorzaak hiervan en het verschil in gebruik. Ten slotte blijkt uit de review van Hattie
(2008) dat coöperatief leren in veel situaties beter werkt dan individueel leren. Onderzoek
naar ALS’en zou zich ook nog kunnen richten op welke domeinen geschikter zijn voor
individueel leren, welke voor gezamenlijk leren, en op wat voor manieren coöperatief leren
kan worden geïncorporeerd in ALS’en.
Mogelijkheden voor een publiek-private onderzoeksagenda
Samenvattend lijken interventies die differentiëren op doorlooptijd of voorkennis de
belangrijkste mogelijkheden te bieden voor gepersonaliseerd onderwijs. Vernooij (2009)
noemt zelfs dat leerlingen eigenlijk vooral op hun voorkennis verschillen en dat iedere
leerling een andere tijd nodig heeft met andere begeleiding om tot het einddoel te komen. Dit
sluit ook aan bij de redenen van docenten en leerlingen om gebruik te maken van
gepersonaliseerd onderwijs. Voor docenten zijn de belangrijkste redenen namelijk dat
leerlingen individueel aan de slag kunnen en feedback krijgen op hun taken (Reints et al.,
2014). Voor leerlingen zijn de belangrijkste redenen dat ze persoonlijke aandacht krijgen dat
aangepast is op hun niveau en voorkennis (Harrigan et al., 2009). Onderzoek naar ALS’en die
voorkennis beter in kaart brengen om hier persoonlijke feedback op te geven lijkt dus een
potentieel gebied waar publieke en private partijen elkaar kunnen vinden.
Daarnaast zijn er nog veel fundamentele factoren, zoals de context van het ALS, waar
nog weinig over bekend is. Dit soort onderzoek biedt mogelijkheden voor een gezamenlijke
onderzoeksagenda, mits de deelnemende partijen dezelfde onderzoeksbehoefte ervaren.
Hiervoor is het nodig om met geïnteresseerde partijen rond de tafel te zitten om de
mogelijkheden te bespreken en op elkaar af te stemmen. Het advies is dan ook om naar
aanleiding van deze potentiële onderzoeksagenda een brainstormsessie te organiseren waar
publieke en private partijen kunnen meediscussiëren over de daadwerkelijke invulling van de
onderzoeksprogrammering en onder welke condities men dat wil. Er dient wel rekening te
worden gehouden met de notie dat sommige partijen wellicht niet hun data willen delen of
willen vertellen waar zij op dit moment onderzoek naar aan het doen zijn in deze
30
gezamenlijke sessie. Hiervoor zouden beter één-op-één gesprekken kunnen worden gevoerd
met geïnteresseerde partijen.
31
Literatuurlijst
Anderson, J. R., Corbett, A. T., Koedinger, K. R., & Pelletier, R. (1995). Cognitive tutors:
Lessons learned. The Journal of the Learning Sciences, 4, 167–207.
Azevedo, R., & Bernard, R. M. (1995). A meta-analysis of the effects of feedback computer-
based instruction. Journal of Educational Computing Research, 13, 109–125.
Agodini, R., Harris, B., Atkins-Burnett, S., Heaviside, S., Novak, T., & Murphy, R. (2009).
Achievement Effects of Four Early Elementary School Math Curricula: Findings from
First Graders in 39 Schools. NCEE 2009-4052. National Center for Education
Evaluation and Regional Assistance.
Assis, A., Danchak, M., & Polhemus, L. (2006). Optimizing instruction using adaptive
hypermedia. Proceedings of the Sixth IEEE International Conference on Advanced
Learning Technologies (ICALT'06). Kerkrade, The Netherlands.
Ben-Naim, D., Bain, M., & Marcus, N. (2009). A User-Driven and Data-Driven Approach for
Supporting Teachers in Reflection and Adaptation of Adaptive Tutorials. Educational
Data Mining, 21.
Beldagli, B., & Adiguzel, T. (2010). Illustrating an ideal adaptive e-learning: A conceptual
framework. Social and Behavorial Sciences, 2, 5755-5761.
Black, P., Harrison, C., Lee, C., Marshall, B., & Wiliam, D. (2003). Assessment for learning:
Putting it into practice. Buckingham, UK: Open University Press.
Blok, H., & Breetvelt, I. (2004). Adaptief onderwijs: Betekenis en effectiviteit. Pedagogische
Studiën, 81, 5-27.
Bloom, B. (1984). The 2 sigma problem: The search of methods of group instruction as
effective as one-to-one tutoring. Educational Researcher, 13, 3–16.
Bransford, J. D., Brown, A. L., & Cocking, R. R. (2000). How People Learn: Brain, Mind,
Experience, and School. Washington, DC: National Academy Press.
Brummelhuis, A. ten., Kramer, M., Post, P. & Zintel, C. (2015). Vier in balans monitor 2015.
de laatste stand van zaken van ict en onderwijs. Zoetermeer: Stichting Kennisnet.
Carroll, J. B. (1963). A model of school learning. Teachers College Record, 64, 723–733.
Brusilovsky, P. (2001). Adaptive hypermedia. User modeling and user-adapted interaction,
11, 87-110.
Brusilovsky, P., & Millán, E. (2007). User models for adaptive hypermedia and adaptive
educational systems. In P. Brusilovsky, A. Kobsa, & W. Nejdl (Eds.), The adaptive web
(pp. 3–53). Heidelberg: Springer-Verlag.
32
Chung, G.K.W.K., Delacruz, G.C., Dionne, G.B., Baker, E.L., Lee, J., & Osmundson, E.
(2007). Towards individualized instruction with technology-enabled tools and methods.
Proceedings of the Annual Meeting of the American Educational Research Association.
Chicago, IL.
Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. Hillsdale, NJ:
Erlbaum.
Cohen, P.A., Kulik, J.A., & Kulik, C.L.C. (1982). Educational outcomes of tutoring: A meta-
analysis of findings. American Educational Research Journal, 19, 237–248.
Cronbach, L.J. (1957). The two disciplines of scientific psychology. American Psychologist,
12, 674–684.
Cronbach, L.J., & Snow, R.E. (1977). Aptitudes and instructional methods: A handbook for
research on interactions. New York, NY: Irvington.
Elen, J. (1993). Beoordelen van opleidingsmateriaal. Enkele theoretische bedenkingen.
Opleiding en Ontwikkeling, 9, 13-17.
Elo, A. E. (1978). The rating of chessplayers, past and present. New York, NY: Arco Pub
Faber, J.M., & Visscher, A.J. (2016). De effecten van Snappet: effecten van een adaptief
onderwijsplatform op leerresultaten en motivatie van leerlingen. Twente: Universiteit
Twente.
Graff, M., & Lebens, M. (2007). Web-based direct instruction in mathematics for low
achievers. Proceedings of the Sixth IASTED International Conference WEB-BASED
EDUCATION. Chamonix, France.
Haelermans, C., & Ghysels, J. (2013). The Effect of an Individualized Online Practice Tool
on Math Performance-Evidence from a Randomized Field Experiment. TIER Working
Paper.
Harrigan, M., Kravčík, M., Steiner, C., & Wade, V. (2009, June). What Do Academic Users
Really Want from an Adaptive Learning System?. In International Conference on User
Modeling, Adaptation, and Personalization (pp. 454-460). Heidelberg: Springer Berlin.
Hattie, J. (2008). Visible learning: A synthesis of over 800 meta-analyses relating to
achievement. Abingdon, UK: Taylor & Francis.
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of educational research,
77, 81-112.
Johnson, L., Adams Becker, S., Cummins, M., Estrada, V., Freeman, A., & Ludgate, H.
(2013). NMC Horizon Report: 2013 Higher Education Edition. Austin, TX: The New
Media Consortium.
33
Kalyuga, S., & Sweller, J. (2006). Rapid dynamic assessment of expertise to improve the
efficiency of adaptive e-learning. Educational Technology Research and Development,
53, 83–93.
Karampiperis, P., & Sampson, D. (2005). Adaptive learning resources sequencing in
educational hypermedia systems. Educational Technology & Society, 8, 128-147.
Kelly, D., & Tangney, B. (2006). Adapting to intelligence profile in an adaptive educational
system. Interacting with computers, 18, 385-409.
Kester, L., Kirschner, P. A., & van Merriënboer, J. G. (2005). Timing of information
presentation in learning statistics. Instructional Science, 32, 233–252.
Lee, J., & Park, O. (2008). Adaptive instructional systems. In J. M. Spector, M. D. Merril, J.
J. G. van Merriënboer, & M. Driscoll (Eds.), Handbook of research on educational
communications and technology (pp. 469–484). New York, NY: Taylor & Francis.
Lei, J., & Zhao, Y. (2007). Technology uses and student achievement: A longitudinal study.
Computers & Education, 49, 284–296.
Lo, J. J., Chan, Y. C., & Yeh, S. W. (2012). Designing an adaptive web-based learning system
based on students’ cognitive styles identified online. Computers & Education, 58, 209-
222.
Lütticke, R. (2004) Problem solving with adaptive feedback, in de P. Bra, and W. Nejdl
(Eds.), Adaptive Hypermedia and Adaptive Web-Based Systems (pp. 417-420).
Eindhoven: Springer
Maas, H., Klinkenberg, S., & Straatemeier, M. (2010). Rekentuin.nl: Combinatie van oefenen
en toetsen. Examens, 4, 10-14.
Marquenie, E., Opsteen, J., Ten Brummelhuis, A., & Van der Waals, J. (2014). Elk talent een
kans. Verkenning van gepersonaliseerd leren met ict. Zoetermeer: Stichting Kennisnet
Meijer, J., & Karssen, M. (2013). Effecten van het oefenen met Rekentuin: Technisch
eindrapport. Amsterdam: Kohnstamm Instituut.
Ministerie van onderwijs, cultuur en wetenschap (2015). Doorbraakproject onderwijs & ICT.
Den Haag: Ministerie van onderwijs, cultuur en wetenschap.
Mitrovic, A., Koedinger, K. R., & Martin, B. (2003). A comparative analysis of cognitive
tutoring and constraint-based modeling. In Proceedings of the ninth international
conference on user modeling UM 2003 (pp. 313–322). Heidelberg: Springer Berlin.
Mitrovic, A., Mayo, M., Suraweera, P. & Martin, B. (2001). Constraint-based tutors: A
success story. In L. Monostori, J. Vancza & M. Ali (Eds.), Proceedings of the
34
14thInternational conference on industrial and engineering applications of artificial
intelligence and expert systems IEA/AIE-2001 (pp. 931–940). Budapest.
Mödritscher, F., V. M. Garcia-Barrios, & C. Gütl, (2004). The Past, the Present and the
Future of adaptive E-Learning: An Approach within the Scope of the Research Project
AdeLE. In Proceedings of the International Conference on Interactive Computer Aided
Learning.
Molenaar, I., Van Campen, C., & Van Gorp, K. (2016). Onderzoek naar Snappet: gebruik en
effectiviteit. Nijmegen: Radboud Universiteit.
Park, O. & Lee, J. (2004). Adaptive Instructional Systems. In D. Jonassen (Ed.), Handbook of
Research on Educational Communications and Technology. Mahwah, NJ: Lawrence
Erlbaum Associates.
Pashler, H., McDaniel, M., Rohrer, D., & Bjork, R. (2008). Learning styles concepts and
evidence. Psychological science in the public interest, 9, 105-119.
Pelánek, R. (2016). Applications of the Elo rating system in adaptive educational systems.
Computers & Education, 98, 169-179.
Phobun, P., & Vicheanpanya, J. (2010). Adaptive intelligent tutoring systems for e-learning
systems. Procedia-Social and Behavioral Sciences, 2, 4064-4069.
Regian, J. W., & Shute, V. J. (1992). Cognitive approaches to automated instruction.
Hillsdale, NJ: Lawrence Erlbaum Associates.
Reigeluth, C.M., 1996. A new paradigm of ISD? Educational Technology and Society 36, 13–
20.
Reints, A. (2013). Leerstijlkenmerken van digitale leermiddelen en het effect op de
leerprestaties van jongens en meisjes. Utrecht: CLU.
Reints, A., Roll, G., & Wilkens, H. (2014). Adaptiviteit van Digitale Leermiddelen. Utrecht:
CLU.
Riding, R., & Rayner, S. (1998). Cognitive Styles and learning strategies. London, UK:
David Fulton Publishers.
Romero, C., & Ventura, S. (2007). Educational data mining: A survey from 1995 to 2005.
Expert Systems with Applications. 33, 135-146.
Ruiz�Primo, M. A., & Furtak, E. M. (2007). Exploring teachers' informal formative
assessment practices and students' understanding in the context of scientific inquiry.
Journal of research in science teaching, 44, 57-84.
35
Scheerens, J., Luyten, H., Steen, R., & Luyten-de Thouars, Y. (2007). Review and meta-
analyses of school and teaching effectiveness. Department of Educational Organisation
and Management, University of Twente: Enschede.
Snow, E. R., & Swanson, J. (1992). Instructional psychology: Aptitude, adaptation, and
assessment. Annual Review of Psychology, 43, 583– 626.
Sun, S., Joy, M., & Griffiths, N. (2007). The use of learning objects and learning styles in a
multi-agent education system. Journal of interactive learning research, 18, 381–388.
Tobias, S., & Federico, P. A. (1984). Changing aptitude-achievement relationships in
instruction: A comment. Journal of Computer-Based Instruction, 11, 111–112.
Van Klaveren, C., Vonk, S., & Cornelisz, I. (2015). The Effect of Computerized Adaptive
Practicing on Student Learning: Evidence from a Randomized Field Experiment.
Working Paper.
Van Rijn, H., van Maanen, L., & van Woudenberg, M. (2009). Passing the test: Improving
learning gains by balancing spacing and testing effects. In Proceedings of the 9th
International Conference of Cognitive Modeling (pp. 7-6).
Vandewaetere, M., Desmet, P., & Clarebout, G. (2011). The contribution of learner
characteristics in the development of computer-based adaptive learning environments.
Computers in Human Behavior, 27, 118 – 130.
Vasilyeva, E., Puuronen, S., Pechenizkiy, M., & Rasanen, P. (2007). Feedback adaptation in
web-based learning systems. International Journal of Continuing Engineering
Education and Life Long Learning, 17, 337-357.
Vernooij, K. (2009). Omgaan met verschillen nader bekeken. Wat werkt? Helmond:
Onderwijs Maak Je samen
Wetering, M.W. van (2016). Kennisnet Trendrapport 2016-2017. Zoetermeer: Stichting
Kennisnet.
Willingham, D. T. (2008). What is Developmentally Appropriate Practice? American
Educator, 4. 34-39.
Rang Cohensd Naam Thema Uitleg Adaptievemogelijkheden
1 1.44 Self-reportgrades Voorspeller Leerlingenzijninstaathuntoekomstigeprestatiezeernauwkeurigtevoorspellen Devraagisofeensysteembeterniveaukanbepalendandeleerlingzelf.Controlebijdeleerlingleggenkanwelookeennadeelmetzichmeebrengendoordatleerlingenzichgaanaanpassenaanwatzedenkentekunnenbereiken.
2 1.28 Piagetianprograms Interventie InterventiesgerichtophetgebruikenvanstadiavandeleerlingopbasisvandeontwikkelingstheorievanPiagetomonderwijsopaantepassen.
Eenkindontwikkeldzich(indetheorievanPiaget)volgenseenbepaaldaantalstadia.Kennisoverhoeeenleerlingdenkt(opbasisvandezestadia)kanwordengebruiktomonderanderetaken,materiaal,enmoeilijkheidadaptiefaantebieden.
3 0.90 Providingformativeevaluation Feedback Heteffectvanformatieveevaluatieopdeprestatievaneenleerling.Heteffectvanformatieveevaluatieishetgrootstalsergebruikwordtgemaaktvanobjectievedatavandeleerlingi.p.v.eensubjectievebeoordeling.ALS'enkunnennietalleendezeobjectievedataoverhetlerenvandeleerlinggebruiken,maarzijnookinstaatomnaiederetaakformatievefeedbacktegevendieuniekisvoordeleerling.
4 0.88 Microteaching Interventiesgerichtopdeprofessionaliseringvandedocentdoorhem/haarvideo'svanhundocerentelatenterugkijken
5 0.88 Acceleration Interventie Ditisdemogelijkheidvoor(vaakhoogbegaafde)leerlingenomopeensnellertempodoordestoftegaan. Ditisdekernvanadaptiefonderwijsopmacroniveau.Ditwordtalgebruiktvoorhoogbegaafdeleerlingenm.b.v.plusklassen.Ditlaatziendateenandereveranderingnodigisinhetonderwijssysteemvoordatditkanwerken.
7 0.77 Comprehensiveinterventionsforlearningdisabledstudents Interventie Effectvaninterventiesvoorleerlingenmetleerproblemen.
Leerlingenmetleerproblemenhebbenbaatbijinstructiedieaandachtheeftvoordevolgordevanhetmateriaal,stampen,herhalen,oefenen,endiedemoeilijkheidcontrolerenm.b.v.slimmefeedback.EenALSkanditenisdaardoorgeschiktvoorleerlingenmeteenleerprobleem.
8 0.75 Teacherclarity Doelen Leerlingenmethelderedocentenpresterenbeter.Helderheidbetekentonderanderegoedecommunicatieoverdetebehalendoelen.
9 0.74 Reciprocalteaching Interventie Interventiegerichtophetaanlerenvancognitievestrategieën(zoalssamenvatten).
10 0.73 Feedback Feedback Heteffectvanfeedbackopdeprestatievandeleerling. Feedbackisperdefinitiegepersonaliseerdomdathetisaangepastaandeinputvandeleerling.IneenALSisiedereresponsvanhetsysteemeenvormvanfeedback.Hetkaneenpositief,maarooknegatiefeffecthebben.
11 0.72 Teacher-studentrelationships Eengoederelatiemetdeleerlingdraagtbijaaneenbetereprestatie.
12 0.71 Spacedvs.masspractice Voorkennis/Interventie Heteffectvanhetspreidenvaninstructievergelekenmeteenlangereinstructieinéénkeer. Ditheeftooktemakenmetdematevanherhaling.EenALSkanhetbestemomentbepalenvoorhetherhalenvanbepaaldestof.
DitgebeurtinhetALSSlimStampen.13 0.69 Meta-cognitivestrategies Interventie Interventiesgerichtophetaanlerenvanmeta-cognitievestrategieën.
14 0.67 Priorachievement Voorspeller/Interventie Eerdereprestatieiseensterkevoorspellervanlatereprestatie. DitisdekernvanveelALS'endieopbasisvanhetniveauvaneenleerlingdemoeilijkheidvaneennieuwetaakbepalen.
15 0.67 Vocabularyprograms Interventie Interventiesgerichtophetaanlerenvankennisvanwoorden.
16 0.67 Repeatedreadingprograms Interventie Interventiesgerichtophetherlezenvaneenkortezintotdatereenacceptabelprestatieniveauisbereikt.
17 0.65 Creativityprograms Interventie Interventiesgerichtophetverbeterenvancreativiteit
18 0.64 Self-verbalization/self-questioning Interventie Leerlingendiezichzelfvragenstellentijdenshetlerenpresterenbeter. Voorallaagscorendeleerlingenhebbenhierbaatbij.ALSkaninstructieaanpassendoorlaagscorendeleerlingenuittedagenzichzelftebevragen.
19 0.62 Professionaldevelopment Heteffectvandocentendiezichzelfontwikkelen.
20 0.61 Problem-solvingteaching Interventie Interventieswaarineenprobleemwordtgeïdentificeerd,prioriteitenwordengeselecteerd,enalternatievenwordenbedachtvoorhetoplossenervan.Sturingdoordedocent.
21 0.61 NotLabelingstudents Doelen Leerlingendiedooreendocent(onbewust)wordengelabeldalsbijvoorbeeld'ondergemiddeld'zullenookondergemiddeldgaanscoren.
22 0.60 Phonicsinstruction Interventie Interventiesgerichtoplerenvanhetalfabetomhetlerenvanwoordenteverbeteren.
23 0.60 Teachingstrategies Interventie Interventiesgerichtophetaanlerenvanstrategieënaanleerlingenomtijdenshetlerentegebruiken.
24 0.59 Cooperativevs.individualisticlearning
IndividueelVSSamen Coöperatieflerenwerktbeterdanindividueelleren
25 0.59 Studyskills Interventie Interventiesgerichtophetverbeterenvanstudievaardigheden(meta-cognitieve,cognitieve,enaffectievevaardigheden)
26 0.59 DirectInstruction Doelen/Interventie
Methodewaarindedocentvanuitspecifiekedoeleneenplanopsteltoverhoehijdezedoelengaatbehalenmetzijnklasenhiervoorbetrokkenheidenmotivatiekancreëren.Nadeinstructieiserruimtevoorhetmetenvandeuitkomstenenhet(individueel)herhalenvandestof.
27 0.58 Tactilestimulationprograms Interventie Interventiesgerichtophetverbeterenvansensorischeverrijking
28 0.58 Comprehensionprograms Interventie Interventiesgerichtophetverbeterenvantaalbegrip
29 0.58 Masterylearning Voorkennis/Interventie Leerlingengaanpasnaardevolgendetaak/stofalszijhetvorigebegrijpen. Ditisdekernvanadaptiefonderwijsopmacroniveau.Hiervoormoethetsysteemwetenwatdeleerlingweetvoordateen
nieuwetaakkanwordenaangeboden.
30 0.57 Workedexamples Interventie Methodewaarbijoplossingenvolledigwordenuitgeschrevenwaardoorcognitieveoverbelastingwordtvoorkomenendeleerlingbeterleert.
31 0.57 Homeenvironment Voorspeller Desocio-psychologischeomgevingthuisenintellectuelestimulatiezijneenvoorspellervanprestatie.
32 0.57 Socioeconomicstatus Voorspeller Socio-economischestatusiseenvoorspellervanprestatie.
33 0.57 Conceptmapping Voorkennis/Interventie Interventieswaarbijleerlingenzelfeenabstracterepresentatievandegeleerdestofmaken.
Deleerlinggeeftinputindevormvaneenabstracterepresentatie.Ditkangebruiktwordenomvoorkennisinkaarttebrengen.Veeldatavanveelleerlingenoverdesamenhangtusseninformatiekunnenervoorzorgendathetnietmeernodigiseenexpertmodeltecreëren.
Tabel1BelangrijkstevariabelenuitdereviewvanHattie(2009)verdeeldoverzesthema's,metkorteuitleg,eneventuelemogelijkhedenvooradaptieveleersystemen.
Bijlagethema's, leersystemen. adaptieve voor mogelijkheden eventuele en uitleg, korte met
zes over verdeeld (2008) Hattie van review de uit variabelen Belangrijkste - 1
Rang Cohensd Naam Thema Uitleg Adaptievemogelijkheden
34 0.56 Goals Doelen Hetstellenvandoelenheefteenpositieveinvloedopprestatievandeleerlingen.Hierbijheefthetstellenvanhogeredoeleneengrotereffect.
Hetstellenvandoelenispersoonlijk.ALS'enkunnenopbasisvandoelendeinstructieaanpassenomhetgattussenhuidigekennisenhetdoelzoefficiëntmogelijkteoverbruggen.
35 0.55 Visual-perceptionprograms Interventie Interventiesgerichtophetverbeterenvanletterkennisomlezenteverbeteren
36 0.55 Peertutoring IndividueelVSSamen Prestatiestijgtalsleerlingenelkaarhelpen.
37 0.54 Cooperativevs.competitivelearning
IndividueelVSSamen Coöperatieflerenwerktbeterdancompetitiefleren
38 0.54 Pre-termbirthweight Voorspeller Hetgewichtvanvroeggeborenbaby'svoorspeltlatereprestatie.
39 0.53 Classroomcohesion Hetgevoeldatleerlingendocentsamenwerkenaanhetverbeterenvandeleerprestatiehelptdezeleerprestatie
40 0.53 Keller’sPersonalizedSystemofInstruction
Voorkennis/Interventie EenspecifiekevormvangepersonaliseerdlerenopbasisvanMasteryLearningeneigentempo.
Ditisdekernvanadaptieopmacroniveau.OndanksdatKellersgepersonaliseerdeinstructiesysteemleerlingenopeigentempodoordestoflietengaanwarendeleerlingentochongeveerdezelfdetijdbezig.Hetsysteemzorgdeechterwelvooreenbetereprestatieopeenpost-test.
41 0.53 Peerinfluences IndividueelVSSamen Vriendschapenandereeffectenvanmedeleerlingenopprestatie.Kunnenpositiefennegatiefzijn.
42 0.52 Classroommanagement Goedklaslokaalmanagementzorgtvoorbetereprestatievandeleerlingen.Grotereeffectenwerdengehaaldalsdocentenproblemensnelidentificeerdenenobjectiefreageerden.
43 0.52 Outdoor/adventurePrograms Interventie Interventiesgerichtophetverbeterenvanprestatiedoornaarbuitenenoppadtegaan
44 0.52 Interactivevideomethods Interventie Interventieswaarbijinteractievevideo'swordengebruikt.Educatievegamesvallenhierookonder. Omdatdeleerlinginteracteertmetdevideo(game)isersprakevanadaptiviteit.Ermoetechternogveelonderzoekwordengedaannaarvoorwelkeinhoudditgebruiktkanworden,decontext,desoortfeedbackvanhetsysteem,ennogveelmeer.
45 0.51 ParentalinvolvementInvloedvanoudersschommelttussengrotenegatieveengrotepositieveeffectenopdeprestatievandeleerling.Positieveeffectenwordenbehaaldalsoudersbetrokkenzijnbijhetlerenvandeleerling.
46 0.50 Playprograms Interventie Interventiesgerichtophetspelenderwijsverbeterenvanprestatie
47 0.50 Second/thirdchanceprograms Interventie Interventiesdieleerlingenmeteenlaagniveauinlezenin12tot20wekenweeropniveaubrengt.
48 0.49 Smallgrouplearning IndividueelVSSamen Lereninkleineregroepenwerktbeterdaningroteregroepen. Positieveeffectenvanlereninkleinegroepjeswordenalleenbereiktalsdeleerlingenmateriaaleninstructiekrijgendat
aangepast(adaptief)isnaarhunniveau.Slechtereeffectenwordenbehaaldmethomogenekleinegroepen.
49 0.48 Concentration/persistence/engagement
Eenhogematevanconcentratie,doorzettingsvermogen,enbetrokkenheidvandeleerlingzorgtvooreenhogereprestatie.Ditisniethetzelfdealseenleerlingdielijktdrukttewerken.
50 0.48 Schooleffects Heteffectvanverschillentussenscholen.
51 0.48 Motivation Motivatieheefteenpositiefeffectopprestatie.Nogbelangrijkerisdatdemotivatie(doorbijvoorbeeldslechteresultatenofconflictenmetmedeleerlingenofdedocent)eenveelgroternegatiefeffectkanhebben.Ditwiljedusvermijden.
Eenleerlingkangemotiveerdwordendoorbijvoorbeelddeinhoudvanvoorbeeldenaantepassenaandeinteressesvandeleerling.Daarnaastkaneensysteemeerderingrijpenalsslechteresultatendreigentewordenbehaalddooreenvoudigeretakenaantebieden.
52 0.47 Earlyintervention Interventie Ditisdeinvloedvaninterventiesgerichtopdevroegeherkenningvaneenleerprobleem.
53 0.46 Questioning Feedback Ditisfeedbackindevormvaneenvraagaandeleerling.Ditverhoogtprestatie. Hetisbelangrijkomeenvraagtestellendieuitdagend,maarniettemoeilijkisvoordeleerling.VeelALS'engevenfeedbackopinputvandeleerlingdooreennieuwetaak(vraag)aantebieden.
54 0.45 Mathematics Interventie Interventiesgerichtophetverbeterenvanwiskunde.
55 0.45 Preschoolprograms Interventie Voorschoolseinterventiesinhetalgemeen.
56 0.44 QualityofTeaching Doelen Kwalitatiefonderwijszorgtvoorbetereprestaties.Degrootsteeffectenwerdengevondenalsdestofuitdagendwasenalsdedocentleerlingenaanspoorthogeverwachtingenvanzichzelftehebben.
Uitdagendonderwijsenhetaansporentothogereverwachtingenzijneenvormvanhetstellenvandoelenendaaromzeerpersoonlijk.ALS'enkunnentakenuitdagendaanbiedendoorditaantepassenaanhetniveauvandeleerling.
57 0.44 WritingPrograms Interventie Interventiesgerichtophetverbeterenvanschrijven.
58 0.43 Expectations Doelen Eendocentdiehogereverwachtingenheeftvaneenleerling(zelfalsditnergensopisgebaseerd)zorgtervoordatdezeleerlingbeterzalpresteren
59 0.43 Schoolsize Voorspeller Deidealeschoolgroottevanmiddelbarescholenis800leerlingen.Slechtereprestatieswordengevondenopscholenmetmeerenminderleerlingen.
60 0.43 Self-concept Doelen Leerlingendiehogeverwachtingenvanzichzelfhebbenzullenookbeterpresteren.Dezeinvloedwerkttweekantenopaangezienprestatieookhetzelfbeeldaanpast.
61 0.41 Behavioralorganizers/Adjunctquestions
Voorkennis/Interventie Interventieswaarbijgebruiktwordtgemaaktvanhulpmiddelendievoorkennisvandeleerlinglatenaansluitenbijnieuwestof.
Hoeweldezehulmiddelenopzichzelfalnuttigkunnenzijnomverbandenindestofaantetonen,werkendezebeteralszeaansluitenbijdevoorkennisvandeleerling.Ditkandusadaptiefwordenaangeboden.
62 0.41 Matchingstyleoflearning Instructieaanbiedenopdeleerstijlvaneenleerlingheefteenpositiefeffectopdeprestatie. OndanksdepositieveresultatenisditéénvandeweinigetheorieëndieHattiezeerkritischonderdeloepneemt.NaasthetkleineeffecthiervannoemtHattieveelmethodischefoutenenzwaktesinditsoortonderzoek.
63 0.41 Cooperativelearning IndividueelVSSamen Heteffectvancoöperatieflereninhetalgemeen
64 0.40 Science Interventie Interventiesgerichtophetverbeterenvannatuurkundeen/ofandereexactevakken
65 0.40 Socialskillsprograms Interventie Interventiesgerichtophetverbeterenvansocialevaardigheden
66 0.40 Reducinganxiety Interventie Interventiesgerichtophetvanhetverlagenvanangstvoortoetsenen/ofwiskunde.
Tabel1(vervolg)BelangrijkstevariabelenuitdereviewvanHattie(2009)verdeeldoverzesthema's,metkorteuitleg,eneventuelemogelijkhedenvooradaptieveleersystemen.