screening van toetsen: psychometrische analyse
Post on 12-Feb-2016
57 Views
Preview:
DESCRIPTION
TRANSCRIPT
Screening van toetsen: Psychometrische analysePeter de Vries
Examencommissie Psy/MPS
23 maart 2011
Psychometrische analyse
Toets: bepalen welke studenten de stof beheersen en welke niet (summatieve functie).
Representativiteit en validiteit: vooraf te bepalen m.b.v. o.m. toetsmatrijs
Naderhand: psychometrische analyses Moeilijkheid van de vragen Onderscheidingsvermogen van de vragen Betrouwbaarheid van de toets
Psychometrische analyse
Bij afwijken van “de norm”: inhoud van de vraag opnieuw bestuderen, eventueel “reparatie”:
Item achteraf uit de toets verwijderen Item verwijderen en score aanpassen Modelantwoord wijzigen
NB: Psychometrische normen en uitkomsten vormen indicaties!
Vraagmoeilijkheid : p-waarde
Open vraag: p-waarde = gemiddelde score op een vraag (proportie) Lage p-waarde: zeer moeilijke vraag Hoge p-waarde: zeer makkelijke vraag Idealiter: gemiddelde moeilijkheid, p = 0,5
P-waarde gesloten toetsvraag: proportie correct beantwoord. Idealiter: p-waarde ligt midden tussen de maximale p-waarde (1) en
gokkans.
Vraagmoeilijkheid : p-waarde
Overzicht normen voor p-waarden bij (summatieve) toetsen
Soort toetsvraag“Norm” voor de p-waarde
Open (OV) 0,50
Gesloten (MC) 2 alternatieven3 alternatieven4 alternatieven5 alternatieven
0,750,680,630,60
Onderscheidingsvermogen: item-testcorelatie of item-restcorrelatie
Toetsvragen moeten onderscheid maken tussen studenten met een hoge en lage eindscore (hoog- resp. laagscoorders) wanneer hoogscoorders beter scoren op een vraag dan laagscoorders, is er sprake van een positieve correlatie tussen item- en totaalscore.
item-testcorrelatie; bij minder dan 25 vragen item-restcorrelatie [bij gebruik van SPSS is item-restcorrelaties aan te bevelen ongeacht aantal vragen]
NB: Stabiliteit item-testcorrelatie afhankelijk van aantal toetsdeelnemers; wanneer <50 dan item-testcorrelatie voorzichtig interpreteren!
Onderscheidingsvermogen: item-testcorelatie of item-restcorrelatie
Overzicht normen voor het onderscheidingsvermogen (item-testcorrelatie)
Gevonden waardenKwalificatie
0,35 en hoger 0,25 - 0,350,15 - 0,25Minder dan 0,15
Goed/zeer goedVoldoende/goedMiddelmatig/voldoendeSlecht/middelmatig
Betrouwbaarheid toets: Cronbach’s α
Cronbach’s α: stabiliteit/consistentie toets o.b.v. enkele afname
Normwaarden betrouwbaarheid toets 0,90 en hoger zeer goed
0,80 - 0,90 voldoende/goed
0,70 - 0,80 middelmatig/voldoende
Minder dan 0,70 slecht/middelmatig
I.h.a. zijn betrouwbaarheden lager dan 0,60 niet acceptabel. Echter: Psychometrische gegevens, en dus ook betrouwbaarheidsscores, zijn ter indicatie
Lage aantallen items of studenten hebben een negatieve invloed.
Reparatiemogelijkheden
Mogelijkheden om psychometrische kwaliteit te verhogen op basis van lage p-waarden en item-testcorrelaties:
Vraag anders sleutelen Antwoordopties herzien (als daar reden toe is) Vraag verwijderen Verbetering van vragen “meenemen voor een volgend tentamen”
Reparatiemogelijkheden
Indien Cronbach’s α kleiner dan 0,70: Risico op te veel onjuiste zak/slaagbeslissingen Mogelijk negatieve item-testcorrelaties
Reparatie: Vraag uit toets verwijderen (als daar inhoudelijk gezien aanleiding toe is) Betrouwbaarheidsanalyse op subsets van items: bijv. op alle
kennisvragen, inzichtvragen, en toepassingsvragen (voor zover van toepassing); als deze afzonderlijke α’s wel voldoende hoog zijn is er geen probleem. Echter: kleiner aantal items heeft negatieve invloed op α ...
Reparatiemogelijkheden
Indien Cronbach’s α tussen 0,70 en 0,80: Acceptabel indien gecompenseerd door andere toetsscore Verwijderen items met negatieve item-testcorrelatie Analyse op subsets uitvoeren.
Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)
25 meerkeuze vragen, 6 open vragen (weging 40 : 60)
Gemiddelde cijfer: 7,05 (SD = 1,51)
Aantal studenten: 17 (klein, want < 50)
3 onvoldoendes (≈ 18 %) wellicht wat aan de makkelijke kant…
Cijferverdeling:
Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)
2 sets psychometrische analyses, voor MC en OV.
Bewerking: 0 of 1 punt voor MCvragen: voor OV ligt score tussen 0 en 1
Invoeren in SPSS.
Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)
Run SPSS-syntax:
RELIABILITY /VARIABLES=MC1 MC2 MC3 MC4 MC5 MC6 MC7 MC8 MC9 MC10 MC11 MC12 MC13 MC14 MC15 MC16 MC17 MC18
MC19 MC20 MC21 MC22 MC23 MC24 MC25 /SCALE('Meerkeuzevragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL.
RELIABILITY /VARIABLES=OV1 OV2 OV3 OV4 OV5 OV6 /SCALE('Open Vragen') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL.
Voordeel: deze syntax levert niet alleen Cronbach’s α, maar ook p-waarden en item-restcorrelaties
Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)
Output open vragen: α (is wat laag …) p-waarden
Item-restcorrelatiesα als 1 van de items verwijderd zou worden
Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)
Output meerkeuzevragen:
p-waarde = 1 voor vragen 1, 11, 14, en 16; deze worden daarom niet meegenomen.
α (is wederom laag …)
p-waarden zijn gespreid
Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)
Output meerkeuzevragen:
Item-restcorrelaties laten een aantal lage waarden zien…
…maar deze is wel erg laag…
α springt naar 0,66 als dit item verwijderd zou worden; inspectie van de vraag geeft ook aanleiding daartoe…
Voorbeeld: Tentamen Relatiemanagement & Consumentenvertrouwen (2010)Verwijdering van MC25 is op inhoudelijke gronden verdedigbaar. Herhaling van de analyses levert de volgende gegevens (α = 0,66):
α zou nog verder verhoogd kunnen worden, maar is er wel iets mis met deze vraag? En blijven er wel voldoende items over?
Tot slot
Niet onbelangrijk: Psychometrische gegevens zijn slechts ter indicatie
Lage aantallen items hebben een negatieve invloed op de analyses
Idem voor lage aantallen studenten
Psychometrisch analyseren betekent vaak kiezen tussen twee kwaden; verwijdering van items kan weliswaar tot betere analyseresultaten leiden, maar daardoor kan ook bijv. de representativiteit in het gedrang komen…
Vragen?
top related