Lessen uit de eerste ronde OnderwijsBewijs

Lex BorghansUniversiteit Maastricht

Voorzitter begeleidingscommissie OnderwijsBewijs

Experimenten als experiment• Gerandomiseerde experimenten

– lossen problemen op– maar zijn zelf niet zonder problemen

• OnderwijsBewijs is daarom een experiment met experimenten

• “Experimenten zijn heel waardevol, maar geen reden om te stoppen met nadenken”

Wat gaat er mis?

• Gebrek aan kennis over wat een experiment is en wat er mee kan

• Slechte inbedding in het onderwijs

• Onduidelijke onderzoeksvragen en onderontwikkelde interventies

Wat is er nodig?

• Gebrek aan kennis over wat een experiment is en wat er mee kan

• Slechte inbedding in het onderwijs

• Onduidelijke onderzoeksvragen en onderontwikkelde interventies

Statisticus

Onderwijsveld

Inhoudelijk deskundige

Deze presentatie

• Waarom zijn experimenten nodig?• Waarom zijn de drie deskundigheden

nodig?– Onderwijsveld– Inhoudsdeskundige– Statisticus

Wat is het belang van Latijn?

• Leerlingen die Latijn hebben gehad, verdienen later gemiddeld een veel hoger inkomen dan leerlingen die geen Latijn hebben gehad

• Bij geen enkel ander vak op de middelbare school is dit verschil zo groot

• Dus Latijn is het belangrijkste vak om later een hoog inkomen te krijgen

Selectie• In het onderwijs maken leerlingen, docenten en

scholen keuzes

• De veronderstelling dat groepen die een verschillende keuze hebben gemaakt aan elkaar gelijk zijn, is daarom eigenlijk een belediging van deze leerlingen, docenten en scholen

• Zelfs als ze op het eerste gezicht op elkaar lijken, zijn ze waarschijnlijk verschillend

Waarom zou een school mee doen aan een experiment?

• De experimenteerder is geen vriendelijke gast

• De wil om te weten wat werkt en wat niet moet daarom groot genoeg zijn, om de professionaliteit op te kunnen brengen hem aan de gang te laten gaan

• Kijk op vrijdag naar “Lie to me”, RTL5

Sante februari 2010

• Speeltjes voor de spanning– “Dat seksspeeltjes de seks ook echt beter

maken, blijkt uit een Amerikaans onderzoek onder ruim 2.000 vrouwen en 1.000 mannen. Daaruit bleek dat mensen die een vibrator gebruiken meer tevreden zijn met hun seksleven dan diegenen die geen seksspeeltjes gebruiken.”

Sante februari 2010

• Speeltjes voor de spanning– “Dat seksspeeltjes de seks ook echt beter

maken, blijkt uit een Amerikaans onderzoek onder ruim 2.000 vrouwen en 1.000 mannen. Daaruit bleek dat mensen die een vibrator gebruiken meer tevreden zijn met hun seksleven dan diegenen die geen seksspeeltjes gebruiken.”

Sante februari 2010

• Speeltjes voor de spanning– “Dat seksspeeltjes de seks ook echt beter

maken, blijkt uit een Amerikaans onderzoek onder ruim 2.000 vrouwen en 1.000 mannen. Daaruit bleek dat mensen die een vibrator gebruiken meer tevreden zijn met hun seksleven dan diegenen die geen seksspeeltjes gebruiken.”

Onderwijsveld• Scholen staan niet te springen om mee te doen

aan onderzoek van universiteit• Interventie past vaak niet goed in beleid van

school• Praktijk van de school past niet bij de plannen

van het onderzoek (combiklassen, verloop, …)• Scholen die meedoen willen geen controlegroep

zijn• Gaan ze hier mee door als de uitkomsten

gunstig zijn?

Inhoudsdeskundige• Zonder goede basale theorie heeft uitproberen

geen zin• Interventies zijn soms nog niet uitontwikkeld• Wat is de juiste vraag?

– Wat is de juiste controlegroep?– Interventie is vaak duurder dan de controle-situatie– Als een interventie meerdere cruciale aspecten kent,

kunnen die ook afzonderlijk gevarieerd worden

Statisticus

• Hardnekkige misverstanden over experimenten

•Power• Substitutie-effecten en “care as usual”• Is randomisatie mogelijk?

Voorbeelden• Dit kun je niet maken (hebben mensen eten nodig?)

– Doe dan iets kleiners (wat gebeurt er als mensen iets minder eten?)

• Alles hangt met alles samen (vroege selectie)– Onderzoek dan deelaspecten (wat gebeurt er als een aantal

leerlingen met een VMBO-advies wordt toegelaten voor HAVO/VWO?)

• Ik kan mensen niet dwingen de treatment te volgen (goed gesprek met de studiedecaan)– Het is genoeg om de kans te vergroten dan men de treatment

volgt (geef een random sample een voucher of een indringend advies om naar de decaan te gaan)

– Zie policy Sudoko’s op www.socialeconomics.nl

Voorbeelden• Dit kun je niet maken (hebben mensen eten nodig?)

– Doe dan iets kleiners (wat gebeurt er als mensen iets minder eten?)

• Alles hangt met alles samen (vroege selectie)– Onderzoek dan deelaspecten (wat gebeurt er als een aantal

leerlingen met een VMBO-advies wordt toegelaten voor HAVO/VWO?)

• Ik kan mensen niet dwingen de treatment te volgen (goed gesprek met de studiedecaan)– Het is genoeg om de kans te vergroten dan men de treatment

volgt (geef een random sample een voucher of een indringend advies om naar de decaan te gaan)

– Zie policy Sudoko’s op www.socialeconomics.nl

Voorbeelden• Dit kun je niet maken (hebben mensen eten nodig?)

– Doe dan iets kleiners (wat gebeurt er als mensen iets minder eten?)

• Alles hangt met alles samen (vroege selectie)– Onderzoek dan deelaspecten (wat gebeurt er als een aantal

leerlingen met een VMBO-advies wordt toegelaten voor HAVO/VWO?)

• Ik kan mensen niet dwingen de treatment te volgen (goed gesprek met de studiedecaan)– Het is genoeg om de kans te vergroten dan men de treatment

volgt (geef een random sample een voucher of een indringend advies om naar de decaan te gaan)

– Zie policy Sudoko’s op www.socialeconomics.nl

Voorbeelden• Dit kun je niet maken (hebben mensen eten nodig?)

– Doe dan iets kleiners (wat gebeurt er als mensen iets minder eten?)

• Alles hangt met alles samen (vroege selectie)– Onderzoek dan deelaspecten (wat gebeurt er als een aantal

leerlingen met een VMBO-advies wordt toegelaten voor HAVO/VWO?)

• Ik kan mensen niet dwingen de treatment te volgen (goed gesprek met de studiedecaan)– Het is genoeg om de kans te vergroten dan men de treatment

volgt (geef een random sample een voucher of een indringend advies om naar de decaan te gaan)

– Zie policy Sudoko’s op www.socialeconomics.nl

Voorbeelden• Dit kun je niet maken (hebben mensen eten nodig?)

– Doe dan iets kleiners (wat gebeurt er als mensen iets minder eten?)

• Alles hangt met alles samen (vroege selectie)– Onderzoek dan deelaspecten (wat gebeurt er als een aantal

leerlingen met een VMBO-advies wordt toegelaten voor HAVO/VWO?)

• Ik kan mensen niet dwingen de treatment te volgen (goed gesprek met de studiedecaan)– Het is genoeg om de kans te vergroten dan men de treatment

volgt (geef een random sample een voucher of een indringend advies om naar de decaan te gaan)

– Zie policy Sudoko’s op www.socialeconomics.nl

Voorbeelden• Dit kun je niet maken (hebben mensen eten nodig?)

– Doe dan iets kleiners (wat gebeurt er als mensen iets minder eten?)

• Alles hangt met alles samen (vroege selectie)– Onderzoek dan deelaspecten (wat gebeurt er als een aantal

leerlingen met een VMBO-advies wordt toegelaten voor HAVO/VWO?)

• Ik kan mensen niet dwingen de treatment te volgen (goed gesprek met de studiedecaan)– Het is genoeg om de kans te vergroten dan men de treatment

volgt (geef een random sample een voucher of een indringend advies om naar de decaan te gaan)

– Zie policy Sudoko’s op www.socialeconomics.nl

Conclusie

• Neem de ervaringen van docenten en scholen zeer serieus

• Experimenteer met zaken die er redelijkerwijs ook toe kunnen doen

• Denk goed na over het design– Als het niet lijkt te kunnen, denk dat langer na