p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

Schoolkwaliteit:

Wat zou je willen weten/meten

naast de CITO-toets?

dr. paul jungbluth

Deze powerpoint-presentatie is gebruikt in het

Studium Generale van de masterclass voor

Amsterdamse leraren op 9 maart 2011. De

cijfers stammen voor het grootste deel uit

uitstroommetingen van Zuid-Limburgse

basisscholen (project ‘balaans’).

Meesterschap’ is een masterclass voor

ambitieuze, talentvolle Amsterdamse leraren

van het primair onderwijs en de onderbouw

van het voortgezet onderwijs.

www.meesterschap.nu

Meer over het onderzoek op:

www.kaans.nl

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

Schoolkwaliteit:

Wat zou je willen weten/meten

naastde CITO-toets?

Maar nu eerst de CITO-toets zelf …

Suggesties

-Personeelsbeleid

(ziekte, welbevinden, wisselingen)

- Populariteit bij ouders

(marktaandeel, aantallen)

- Milieubestendig, - neutraal

- Veiligheid omgeving

- Veilig pedagogisch klimaat

- Hygiëne

- Omgangsvormen

- Financieel

- Multiculti

- Oudertevredenheid

- Leerlingtevredenheid

In deze presentatie gaat het in het eerste

uur/deel om het meten van schoolkwaliteit.

Dat is geen eenvoudige en ook geen

uitgemaakte zaak.

In het tweede uur gaat het om segregatie. En

om de vraag wat dat te maken heeft met

kwaliteit.

In deze presentatie kijken we voor kwaliteit

naar diverse schoolresultaten bij de leer-

lingen. Dat is meer dan alleen de CITO-toets.

Verklaringsmodel

talent

personality

zelfvertrouwen

welbevinden

SCHOOL

Prestatie

VO-advies

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

VO-vertrouwen

steun van docenten

tevredenheid ouders

Wij hanteren in onze onderzoeken een simpel model

voor het in beeld brengen en verklaren van resultaten.

Daarin is de school zelf voorlopig een ‘black box’: de

leerling brengt relevante ingrediënten mee en vertrekt

na afloop met een zekere bagage die – zo veronder-

stellen we - het product is van de wat de school met

die ingrediënten heeft gedaan.

Verklaringsmodel

talent

personality

zelfvertrouwen

welbevinden

SCHOOL

Prestatie

VO-advies

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

VO-vertrouwen

steun van docenten

tevredenheid ouders

Sociaal milieu (opleiding ouders, herkomst, thuistaal, adres)

Maar zo simpel is het niet: overal speelt

‘sociaal milieu’ doorheen: de omstandigheden

waaronder je buitenschools leeft, in het gezin

en ook in de wijk of regio.

Huidige onderwijsstructuur

(V)SO

ZMLK

Kleuters in Zuid-Limburg: het ‘nut’ van aandacht

Formeel is het primair

onderwijs voor allen

gelijk, in werkelijkheid

werkt het toe naar de

selectie die vorm krijgt

aan het eind van

leerjaar 8: zeg maar bij

de CITO-eindtoets.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

6

Groeicurves voor (0,6% 50% en 99,4%)

Nederlandse groeistudie 1997

Om helder te maken

wat die CITO-toets

meet, helpt het om naar

de groeitabel te kijken

voor Nederlandse

kinderen: je zou de

lengtemeting eind groep

8 met die CITO-toets

kunnen vergelijken.

Eigenlijk zou die ook

eerder al kunnen

worden afgenomen,

alleen wordt het dan

misschien minder

valide.

Nou wordt lengtegroei

niet door school bepaald

netzomin als de ‘groei-

winst’ tussen 4 en 12,

maar weten we eigenlijk

zeker dat de groei bij

rekenen en taal wel

helemaal voor rekening

van de school komt?

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

Groeicurves voor taal en rekenen (10. 20. 50, 80 en 90 %)

in de PRIMA-cohortonderzoeken (1996)

Jaargroep

Taal Rekenen

kl 2 kl 4 kl 6 kl 8 kl 2 kl 4 kl 6 kl 8 .900

950

1.000

1.050

1.100

1.150

1.200

750

850

950

1.050

1.150

1.250

1.350

Percentiel

10% 20% 50% 80% 90%

7

Reken- en taalcurves

hebben net zo’n soort

verloop tussen 4 en 12

als de lengtegroei en

wie laag start eindigt

vaak ook laag, maar er

zijn wel schommelin-

gen, net als bij de

lengtegroei.

Of je nu alleen kijkt

naar het slot (de CITO-

eindtoets) of die score

vergelijkt met metingen

bij binnenkomst of in

groep 2 (‘leerwinst’), je

loopt het risico dat je

de school beloont voor

wat op zijn minst

gedeeltelijk thuis

gebeurt of daar juist

achterwege blijft.

Bron: Balaans-Gr8

CITO-toets en talentreserves: Herkomst, OVB-gewicht en Impulsgebied

Tweederde van de

populatie is ‘Limburger’.

Ook binnen ‘1.0’ scoren

zij aanmerkelijk zwakker

dan ‘Nederlanders’.

10% van de ‘Limburgers’

heeft een gewicht;

tweederde van hen

woont in een

armoedegebied.

Hun CITOscores zijn

vergelijkbaar met die

van de Turks-

Marokkaanse categorie.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

8

Om te laten zien dat een vergelijking van Zuid-

Limburg met de rest van Nederland geen onzin is,

worden de CITOscores van een aantal ‘achter-

standscategorieën’ vergeleken. Daarbij wordt

onderscheid gemaakt tussen Limburgse en overig-

Nederlandse leerlingen op basis van de geboorte-

plaats van de grootouders.

Buitenschoolse determinanten van de CITO-toets

Er zit een enormetalentreservevooral bij kinderenvan ouders met een opleidingop MBO-niveau of lager.

Deze grafiek laat de feitelijke gemiddelde CITO-

scores zien van ruim 8.000 leerlingen met een

bepaald nonverbaal IQ en een bepaald opleidings-

niveau van moeder (een indicatie voor sociaal

milieu of omgeving). Duidelijk wordt, hoezeer

een meer of minder stimulerende omgeving eigen

invloed heeft op de toetsprestatie en grote

verschillen in nonverbaal IQ kennelijk kan

compenseren. De tabel wordt verderop gebruikt

als normering voor elke leerling: ze resulteert

voor ieder in een ‘expected score’ op grond van

buitenschoolse factoren. Wie feitelijk hoger of

lager scoort dan ‘expected’ wordt verondersteld

relatief veel of relatief weinig geleerd te hebben.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

10

CITO-eindtoets en de rol van leeftijd;

Drie geboortecohorten in één schooljaarcohort

De veronderstelling dat

CITO-scores behalve

door nonverbale

intelligentie en sociaal

milieu ook nog worden

bepaald door leeftijd,

die veronderstelling

pakt andersom uit dan

verwacht:

Juist degenen die al een

jaar inliepen en nu dus

het jongst zijn, hebben

de hoogste CITO-scores,

wie gedoubleerd heeft

blijft desondanks

gemiddeld achter bij de

rest. Hoe en of je

daarvoor moet

corrigeren is nog

onduidelijk. < 12.6 jr 11.6 – 13.0 jr > 13.1 jr

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

11

De proportie laag – en de proportie hoog-scoorders

op scholen met onderscheiden effectiviteit

Op hoog-effectieve

scholen tref je drie keer

zoveel hoog-

presteerders aan als op

laag-effectieve en vier

keer zoveel laag-

presteerders.

Vraag is of dat de

uitkomst is van meer of

minder effectiviteit of

de determinant ervan.

Schooleffectiviteit in (Zuid-)Limburg: populatie-check

Wat betreft nonverbale intelligentie werken meer en minder effectieve scholen met

vergelijkbare leerlingen (links), minder effectieve scholen hebben relatief wat meer

kansarm en relatief wat minder kansrijk publiek (rechts; segregatie-effect!)

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

Schooleffectiviteit in (Zuid-)Limburg

CITO-eindtoets naar nonv IQ en hoogst opgeleide ouder (Nsch=165)

op de 20% minst (links) en op de 20% meest (rechts) effectieve scholen (2009+2010)

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

14

Cito-scores op laag en hoog-effectieve basisscholen

Door de ‘expected CITOscore’ te vergelijken met de feite-

lijke en van het individuele verschil per school het gemid-

delde te berekenen, kun je scholen onderscheiden waar

leerlingen relatief veel en waar ze relatief weinig leren:

zij worden op de X-as afgebeeld van I t/m V.

Op ‘effectieve scholen’ (V) leren vergelijkbare leerlingen dus

relatief meer. Zulke scholen zijn kennelijk effectiever voor

allen. Om te weten of je effectief bent moet je wel meten.

Schooleffectiviteit in (Zuid-)Limburg

CITO-eindtoets naar nonv IQ-quint en hoogst opgeleide ouder (Nsch=165)

Op 20% minst en 20% meest effectieve scholen (zonder correctie voor toeval)

Wie een effectieve school bezoekt maakt bij eenzelfde

intelligentie meer kans op een hoge CITO-score; voor

slimme kansrijken is de school het minst van belang.

Onderstaande grafieken laten hetzelfde zien als op de

vorige pagina, nu met links de 20 % minst en rechts de

20% meest effectieve scholen (Dus alleen I en V).

Duidelijk wordt hoeveel winst bijna allen zouden halen

als alle scholen het hoge resultaat zouden halen;

alleen de allermeest kansrijken doen het overal goed.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

16

VO-adviezen op laag en hoog-effectieve basisscholen

En mate waarin VO-advies gebaseerd is op CITO-scores

6=vwo

4=havo

2=vbo

Effectievere scholen (V) leveren alle intelligentiegroepen af met een

hoger vervolgadvies, minder effectieve scholen adviseren vergelijkbare

leerlingen dus lager. Beide gaan vooral uit van de bereikte CITO-scores .

17

Wat telt eigenlijk echt mee in het VO-advies naast de CITO-score?

Scholen en leerkrachten houden vast aan het geven van een eigen advies voor VO naast de CITO-toets.

Waarmee houdt dat VO-advies zoal verband naast het verband met de CITO-toets? Dat onderzoeken we

zonder het de leerkrachten zelf te vragen.

Om de vraag te beantwoorden worden op de volgende slide diverse rekenmodellen losgelaten op onze

data. Daaruit blijkt om te beginnen dat het VO-advies voor 17 % verband houdt met het sociaal milieu

van de leerling als je met niks anders rekening houdt.

Kijk je alleen naar de CITO-score (‘std_sco in model 1), dan verklaart die liefst 75% van het VO-advies:

leerkrachten letten dus eigenlijk op dezelfde prestaties die ook gemeten worden via de toets.

Voeg je beide variabelen tegelijk in in het model (model 2) dan stijgt de verklaringskracht maar met 1

procent. 16 procent van de verklaringskracht van sociaal milieu zit dus ook al in de CITO-score.

Voeg je vervolgens (model 6) ook persoonlijkheidskarakteristieken toe, dan blijkt dat leerkrachten

enkele daarvan inderdaad verdisconteren in hun advies, maar de totale verklaringskracht blijft

alsmaar dezelfde en het gewicht van de CITO-score neemt af: die persoonskarakteristieken zitten dus

ook al in de CITO-score, ze hebben dus eerder al geleid tot een bepaalde beheersing van de leerstof.

Ook in het laatste model blijft het sociaal milieu een rol spelen, groter dan de persoons-

karakteristieken en los van die karakteristieken en los van de leerstofbeheersing: leerkrachten voegen

dus in hun VO-advies nog weer een extra stukje sociale ongelijkheid toe, bovenop de CITO-toets en de

persoonskarakteristieken. Vraag is of dat nou is wat ze eigenlijk wilden.

Model % verkl.var.Unstandardized Coefficients Stand. Coeff.

t Sig.B Std. Error Beta

1 (Constant)

75%-80,058 ,697 -114,802 ,000

std_sco ,157 ,001 ,866 120,695 ,000

2 (Constant)

76%-77,333 ,728 -106,295 ,000

std_sco ,151 ,001 ,833 109,150 ,000

SES adhv opl ouders (5) ,141 ,012 ,088 11,531 ,000

6 (Constant)

76%-74,447 ,759 -98,125 ,000

std_sco ,144 ,001 ,799 99,342 ,000

SES adhv opl ouders (5) ,136 ,012 ,085 11,258 ,000

doorzetter, maakt ook moeilijke dingen af ,068 ,014 ,040 4,704 ,000

planmatig, precies en kritisch ,048 ,012 ,034 4,031 ,000

stelt hoge eisen aan zichzelf ,052 ,012 ,038 4,378 ,000

snel van streek, maakt zich vaak zorgen -,032 ,011 -,022 -3,005 ,003

a. Dependent Variable: advies-VO

b. Indien alléén SES(5): 17% verklaarde var bij Beta=.406 18

Wat telt mee in VO-advies naast CITO-score?

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

19

Wat telt mee in VO-advies naast CITO-score?

De grafiek laat

zien hoe het VO-

advies bij

leerlingen met een

vergelijkbare CITO-

score varieert met

de opleiding van

de ouders: wie

kansrijk geboren

wordt krijgt bij

een gelijke CITO-

score een beetje

hoger advies en

omgekeerd.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

20

Welke andere mogelijke schooleffecten zijn van belang?

Schoolgebonden:Leuke school 13%

Ervaren steun doc. 10%

Leuke klas 6%

Zelfb.acad. 6%

Zelfb. gelden 4%

Zelfb. sociaal 4%

Zelfb.ict-vdgh. 5%

Tevr.oud.schlk. 9%

Effectiviteit school

correleert met …Leuke school .042

Steun doc. .026

Leuke klas .029

Zelfb.acad. .035

Zelfb.d.gelden .023

Zelfb.sociaal -

Zelfb.ict-vdgh. -

Tevr.oud.schlk. .058

De grafieken laten zien dat schoolwelbevinden en het

zelfbeeld van leerlingen (mogelijke effectmaten van

onderwijs naast de CITOtoets) vooral variëren met

geslacht. Meisjes vinden de school leuker, vinden zichzelf

slimmer en socialer, maar laten zich minder gelden.

Of een school leuk is, of leerlingen

zich er gesteund voelen en of

ouders achteraf tevreden zijn

varieert sterk per school. Een

beetje ook met haar effectiviteit.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

Segregatie:

“Het gaat om de

kwaliteit”

Zou er een verband zijn

tussen segregatie en

kwaliteit?

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

Schoolsegregatie:Welk soort effecten moet je verwachten?

Op grond van

gegevens van ouders

hebben we de

scholen in Zuid-

Limburg in zeven

typen onderverdeeld:

criterium is het

percentage

leerlingen uit de

laagste

opleidingsniveaus

van ouders.

Wat de grafiek laat

zien is ongeveer

hetzelfde als wat de

Inspectie en het

departement zien:

de segregatie naar

het percentage

gewichtenleerlingen.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

Schoolsegregatie:Welk soort effecten moet je verwachten?

De zojuist

gemaakte

typologie blijkt

meteen ook

indicatief voor het

percentage

‘erkende

minderheden’ op

de verschillende

typen scholen, zeg

maar kansarme

minderheden.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

Schoolsegregatie:Welk soort effecten moet je verwachten?

Kijken we naar de

aanwezigheid van

leerlingen uit andere

sociale milieus op

diezelfde typen scholen,

dan blijkt er een minstens

net zo grote segregatie in

de verdeling van de

kansrijksten. Dat kunnen

inspectie en ministerie

niet zien, want het zit

niet in de ‘gewichten’.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

Schoolsegregatie:Welk soort effecten moet je verwachten?

En kijken we vervolgens

naar de aanwezigheid van

leerlingen uit ‘andere

etnische’ groepen (we

onderscheiden in Zuid-

Limburg op goede gronden

ook degenen met

overwegend in Limburg

geboren grootouders

(‘LB’) van de ‘overige

autochtonen (‘NL’)), dan

blijkt dat onze segregatie-

typologie ook indicatief is

voor de aanwezigheid van

‘kansrijke minderheden’.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

Op de scholen met de

meeste kansarmen (1 op

de X-as) scoren leerlingen

uit vrijwel alle sociale

milieus relatief lager op

de CITO-toets dan elders.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

Check op segregatie-effect: alléén ‘Limburgers’

Naarmate er minder kansarmen en

dus ook meer kansrijken op een

school zitten (dus van links naar

rechts op de X-as)

scoren alle intelligentiegroepen in

principe (sommige iets, andere veel)

beter op de CITO-toets.

Die trend is links duidelijker dan

rechts: het gaat er dus vooral om,

scholen met veel kansarmen (of met

weinig kansrijken) te voorkomen.

Bron: regiorapport

Ouderverwachtingen

extra laag op scholen met

veel kansarmen

Bij hoge verwachtingen:

grote betrokkenheid, evt.

intens conflict, grote kans

op reparatie.

Bij lage verwachtingen:

geringe betrokkenheid,

conflictvrij, geen reparatie.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

29

Eerder al concludeerden we in onderzoek

onder ouders van jonge kinderen (schooljaren

1,2 en 3) dat daar segregatie verband houdt

met de verwachtingen van ouders over het

latere schoolsucces van hun kind.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

30

Het verband tussen segregatie en effectiviteit (links absoluut, rechts relatief)

Onder de scholen met relatief veel kansarme

leerlingen (1,2,3) is het aandeel effectieve scholen

relatief geringer dan onder de scholen met relatief

veel kansrijke leerlingen (6.7,8) (terwijl we bij het

berekenen van die effectiviteit juist de individuele

sociale achtergrond al hadden verdisconteerd, zie

het begin van deze presentatie.

p.ju

ngb

luth

@m

aast

rich

tun

iver

sity

.nl

Samenvattende conclusies

1. Scholen verschillen onderling in opbrengst als je eerst controleert voor sociaal milieu en intelligentie. Of dat

restverschil alleen aan de school ligt (en niet aan buitenschoolse omstandigheden buiten het onderzoek), dat

weet je eigenlijk niet. In ieder geval is het de taak van de school om bij allen de prestaties zo goed mogelijk te

krijgen: de effectiefste scholen slagen daarin (ook al weten we nog niet hoezo) beter. Hun ‘best practice’ zou je

tot norm kunnen verheffen (tenzij zou blijken dat zij slechts profiteren van gunstige externe omstandigheden).

2. Scholen die effectiever zijn, zijn dat in doorsnee voor al hun leerlingen. Wie dus voor kwaliteitsbeleid gaat, kan

claimen daarmee alle groepen tegelijk te dienen. Maar scholen met relatief veel kansarme leerlingen tonen

relatief minder vaak die effectiviteit. (En dat is sociologisch gezien niet onlogisch, zie 5.)

3. Wat scholen in hun VO-advies toevoegen aan de CITOscore leidt tot grotere sociale ongelijkheid dan de CITO-

score alleen. Het is maar de vraag of je kansarmen een plezier doet met voorzichtige adviezen.

4. Scholen verschillen behalve in hun effectiviteit onderling ook nog sterk in

- hoe leuk ze worden gevonden door de leerlingen

- hoeveel steun de leerlingen ervaren van het team en

- hoe tevreden de ouders achteraf zijn met de schoolkeuze.

Al die dingen hangen vervolgens wel (enigszins) positief samen met schooleffectiviteit.

5. (Deels uit de cijfers, grotendeels op grond van algemene sociologische inzichten kun je stellen:)

Segregatie bedreigt (zeker op den duur) de uniforme kwaliteit van scholen: in hun leerplan, schoolklimaat,

docentencorps en in hun organisatie dreigen ze zich ongelijk te ontwikkelen. (Organisaties gaan lijken op het

marktsegment dat ze bedienen.) Segregatie draagt slechts enigszins bij tot kansenongelijkheid; de op goede

gronden terechte strijd tegen segregatie zal dus vermoedelijk maar weinig helpen tegen kansenongelijkheid.

6. Verschillen in schooleffectiviteit lijken vooralsnog wezenlijker dan segregatieverschillen!!