Matura in den ErstsprachenMatura in den Erstsprachen

Grundlagen der Testpsychologie:Grundlagen der Testpsychologie:Reliabilität und ValiditätReliabilität und Validität

Wien, 15. Oktober 2010Wien, 15. Oktober 2010 ao.Univ.Prof. Mag. Dr. ao.Univ.Prof. Mag. Dr. Guenther SigottGuenther Sigott

Language Testing CentreAlpen-Adria-Universität Klagenfurt

http://www.uni-klu.ac.at/ltc

Wie gut ist die Neue Matura?

1. Zielt die Prüfung auf jene Kompetenzen ab, die sie messen soll?

2. Misst die Prüfung in allen Schulen dasselbe? 3. Gibt es Parallelformen der Prüfung?

4. Wird die Prüfung jedes Jahr dasselbe messen?

5. Sind die Resultate von Jahr zu Jahr vergleichbar?

6. Misst die Prüfung tatsächlich das, was sie messen

soll?

7. Is it clear how the exam relates to the CEFR? 8. Wenn die Antwort auf eine dieser Fragen Ja lautet,

welche Evidenz gibt es dafür?

Fairness / ObjektivitätFairness / Objektivität Ist klar, was getestet wird?Ist klar, was getestet wird?

– KonstruktKonstrukt– TestmethodeTestmethode

Ist der Zweck der Prüfung klar?Ist der Zweck der Prüfung klar?– Welche Folgen haben die Testergebnisse?Welche Folgen haben die Testergebnisse?

Bevorteilt die Prüfung bestimmte Gruppen von Kandidaten?Bevorteilt die Prüfung bestimmte Gruppen von Kandidaten?– Ethnische Gruppen?Ethnische Gruppen?– Sozioökonomische Gruppen?Sozioökonomische Gruppen?– Geschlecht?Geschlecht?– Menschen mit Behinderungen?Menschen mit Behinderungen?

Hängt das Resultat davon ab, wer die Prüfung durchführt?Hängt das Resultat davon ab, wer die Prüfung durchführt?– ‘‘hilfsbereite’ oder weniger ‘hilfsbereite’ Testadministratorenhilfsbereite’ oder weniger ‘hilfsbereite’ Testadministratoren

Hängt das Resultat davon ab, wer die Prüfung beurteilt?Hängt das Resultat davon ab, wer die Prüfung beurteilt?– BeurteilungskriterienBeurteilungskriterien

Werden die Prüfungsergebnisse richtig interpretiert?Werden die Prüfungsergebnisse richtig interpretiert?– Was misst die Prüfung und was wird behauptet, dass sie misst?Was misst die Prüfung und was wird behauptet, dass sie misst?

Gibt es fundierte Prozeduren zum Setzen von cutscores?Gibt es fundierte Prozeduren zum Setzen von cutscores?

Bleibt die Schwierigkeit der Prüfung über verschiedene Prüfungstermine hinweg konstant?Bleibt die Schwierigkeit der Prüfung über verschiedene Prüfungstermine hinweg konstant?

Fairness / Objektivität resultiert aus Fairness / Objektivität resultiert aus Reliabilität und ValiditätReliabilität und Validität

Reliabilität bedeutet Zuverlässigkeit. Das Ergebnis Reliabilität bedeutet Zuverlässigkeit. Das Ergebnis der Prüfung eines Kandidaten soll nicht vom Zufall der Prüfung eines Kandidaten soll nicht vom Zufall abhängen, also nicht davon, wer beurteilt, oder wann abhängen, also nicht davon, wer beurteilt, oder wann und an welchem Ort beurteilt wird. Das Ergebnis soll und an welchem Ort beurteilt wird. Das Ergebnis soll auch nicht davon abhängen, welche Aufgabe gestellt auch nicht davon abhängen, welche Aufgabe gestellt wurde, sondern soll dasselbe sein auch wenn eine wurde, sondern soll dasselbe sein auch wenn eine andere – vergleichbare - Aufgabe gestellt würde.andere – vergleichbare - Aufgabe gestellt würde.

Validität setzt Reliabilität voraus. Validität ist Validität setzt Reliabilität voraus. Validität ist gewährleistet, wenn die Prüfung jene Fähigkeiten gewährleistet, wenn die Prüfung jene Fähigkeiten misst, die gemessen werden sollen.misst, die gemessen werden sollen.

beurteilen beurteilen v.t.v.t.

Etwas beurteilen – was?Etwas beurteilen – was? Jemanden beurteilen – im Hinblick auf Jemanden beurteilen – im Hinblick auf

was?was?

Beurteilung ist unmöglich, wenn wir uns Beurteilung ist unmöglich, wenn wir uns über das WAS nicht im Klaren sind.über das WAS nicht im Klaren sind.

lehren lehren v.t.v.t.

Etwas lehren – was?Etwas lehren – was? Jemanden etwas lehren – was?Jemanden etwas lehren – was?

Lehren ist unmöglich, wenn wir uns über Lehren ist unmöglich, wenn wir uns über das WAS nicht im Klaren sind.das WAS nicht im Klaren sind.

Warum sich den Kopf über das WAS Warum sich den Kopf über das WAS zerbrechen?zerbrechen?

Es ist wichtig, zu wissen was wir Es ist wichtig, zu wissen was wir lehren wollen und was unsere lehren wollen und was unsere Schüler lernen sollen (Lehr- und Schüler lernen sollen (Lehr- und Lernziele).Lernziele).

Es ist wichtig, zu wissen, was wir Es ist wichtig, zu wissen, was wir messen wollen (Testkonstrukte). messen wollen (Testkonstrukte).

Fragen 1&2: Ist es klar, was gemessen werden Fragen 1&2: Ist es klar, was gemessen werden soll und was tatsächlich gemessen wird?soll und was tatsächlich gemessen wird?

WHATWHAT: curricular objectives / test : curricular objectives / test constructconstruct

- Models of language competenceModels of language competence- CurriculumCurriculum- CEFCEF

HOWHOW: test method: test method

Origins of the WHATOrigins of the WHAT

L.F. Bachman, Fundamental Considerations in Language Testing, OUP 1990, p. 87.

E8 Reading Strategies (extract)E8 Reading Strategies (extract)

Careful Reading• Understanding the Text

- understanding explicitly stated main idea(s) and / or distinguishing that from supporting details- locating, identifying, understanding and comparing facts, opinions, definitions (this includes search reading strategies)- understanding the logical organisation of the text, e.g. understanding relationships among ideas in a text (problem – solution, cause – effect, temporal

sequence, etc.)- understanding cohesive relationships (reference, ellipsis, substitution, conjunction, lexical cohesion)- making propositional inferences (deducing information that is not explicitly stated from information that is explicitly stated)

Adapted from Urquhart & Weir 1998

CEF Overall Written ProductionCEF Overall Written Production

B2Can write clear, detailed texts on a variety of subjects related to his / her field of interest, synthesising and evaluating information and arguments from a number of sources.

C1Can write clear, well-structured texts of complex subjects, underlining the relevant salient issues, expanding and supporting points of view at some length with subsidiary points, reasons and relevant examples, and rounding off with an appropriate conclusion.

Kompetenzmodell schriftliche RPKompetenzmodell schriftliche RP

WIE?WIE?

Was tun wir, um den Was tun wir, um den Schülern Gelegenheit zu Schülern Gelegenheit zu geben, ihre Komptenzen geben, ihre Komptenzen

zur Schau zu stellen?zur Schau zu stellen?

Item 1Item 1

You are asking your friend a lot of You are asking your friend a lot of questions about him and his questions about him and his family. Choose the right answer family. Choose the right answer for each of the questions (there is for each of the questions (there is only one correct answer per only one correct answer per question!) and fill in the empty question!) and fill in the empty boxes with the correct number. boxes with the correct number.

11 Can Tom drive a car?Can Tom drive a car? Yes, they have.Yes, they have.

22 Is your brother goodIs your brother goodat swimming?at swimming? No, she isnNo, she isn’’t.t.

33 Are you listening to theAre you listening to theradio?radio? Yes, I have.Yes, I have.

44 Have you got a cousin?Have you got a cousin? Yes, it is.Yes, it is.

55 Can you come to our Can you come to our barbecue?barbecue? No, he isnNo, he isn’’t.t.

66 Does your sister go toDoes your sister go tonursery school?nursery school? No, they canNo, they can’’t.t.

77 Has your aunt gotHas your aunt gota husband?a husband? Yes, we are.Yes, we are.

88 Do your parents oftenDo your parents oftengo out in the evenings?go out in the evenings? No, I donNo, I don’’t.t.

Yes, we do.Yes, we do.

No, they havenNo, they haven’’t.t.

No, we canNo, we can’’t.t.

Yes, he can.Yes, he can.

No, they donNo, they don’’t.t.

Yes, she can.Yes, she can.

Yes, she has.Yes, she has.

No, she doesnNo, she doesn’’t.t.

Item 1Item 1

Tick the answer which is grammatically Tick the answer which is grammatically correct:correct:

Is your brother good at swimming?Is your brother good at swimming?Yes, he can.Yes, he can.Yes, you are.Yes, you are.Yes, he does.Yes, he does.No, he isn’t.No, he isn’t.

You will have 10 minutes to do this task. Read the instructions You will have 10 minutes to do this task. Read the instructions carefully and then write your text on the separate sheet. Your carefully and then write your text on the separate sheet. Your short letter or e-mail should be 40 to 60 words long.short letter or e-mail should be 40 to 60 words long.

Your American aunt has sent you a birthday Your American aunt has sent you a birthday present. Write a short letter or an e-mail to present. Write a short letter or an e-mail to say thank you. Tell your aunt you really liked say thank you. Tell your aunt you really liked your present and why it is useful for you. You your present and why it is useful for you. You can also ask her if you could visit her in your can also ask her if you could visit her in your summer vacation.summer vacation.You could start your letter like this:You could start your letter like this:

Test Method in Writing and SpeakingResist the temptation: keep method distinct from construct

Dear Aunt Lizzy:Dear Aunt Lizzy:.................................................. ..................................................

If you rate the resulting text for If you rate the resulting text for GrammarGrammar, what is construct, what , what is construct, what method?method?

Test Method in Writing and SpeakingResist the temptation: keep method distinct from construct

Du hast für diese Aufgabe 10 Minuten Zeit.Lies die Anleitung gut durch und schreib Deinen Text auf das beiliegende Blatt. Dein kurzer Brief oder Deine Email soll 40 bis 60 Wörter lang sein.Deine Tante in Amerika hat Dir ein Geburtstagsgeschenk geschickt. Schreib einen kurzen Brief oder eine Email, um dich zu bedanken. Sag Deiner Tante, dass Dir das Geschenk sehr gut gefällt und warum Du es gut gebrauchen kannst. Du kannst sie auch fragen, ob Du sie in den Sommerferien vielleicht besuchen kannst.Du könntest Deinen Brief so beginnen:

Dear Aunt Lizzy:..................................................

If you rate the resulting text for Grammar, what is construct, what method?

Test Method ctd.Test Method ctd.

If you rate the resulting text for Vocabulary, what is construct, what method?If you rate the resulting text for Cohesion and Coherence, what is construct, what method?

If you rate the resulting text for Vocabulary, what is construct, what method?If you rate the resulting text for Cohesion and Coherence, what is construct, what method?

Test Method in Writing and SpeakingResist the temptation: keep method distinct from construct

Du warst vor ein paar Tagen bei der Geburtstagsparty Deines Du warst vor ein paar Tagen bei der Geburtstagsparty Deines Freundes/Deiner Freundin. Schreib ihm/ihr ein Email, um ihm/ihr zu Freundes/Deiner Freundin. Schreib ihm/ihr ein Email, um ihm/ihr zu sagen, dass Dir die Party gefallen hat.sagen, dass Dir die Party gefallen hat. Sag ihm/ihr, warum Dir die Party gefallen hat.Sag ihm/ihr, warum Dir die Party gefallen hat. Sag ihm/ihr, was Dir am besten gefallen hat.Sag ihm/ihr, was Dir am besten gefallen hat. Frag ihn/sie, wann ihr einander wiedersehen könnt.Frag ihn/sie, wann ihr einander wiedersehen könnt. Mach einen Vorschlag für das kommende WochenendeMach einen Vorschlag für das kommende Wochenende..

Also?Also?

Um zu beschreiben, was die Prüfung Um zu beschreiben, was die Prüfung messen soll, müssen wir zwischen messen soll, müssen wir zwischen Konstrukt und Methode klar Konstrukt und Methode klar unterscheiden.unterscheiden.

Wir wollen das Konstrukt messen und Wir wollen das Konstrukt messen und nicht die Fähigkeit, mit der Methode zu nicht die Fähigkeit, mit der Methode zu Rande zu kommen.Rande zu kommen.

Fragen 2 - 5: Fragen 2 - 5: Misst die Prüfung in allen Schulen dasselbe?Misst die Prüfung in allen Schulen dasselbe?

Gibt es Parallelformen?Gibt es Parallelformen?Wird die Prüfung jedes Jahr dasselbe messen?Wird die Prüfung jedes Jahr dasselbe messen?

Sind die Resultate von Jahr zu Jahr vergleichbar?Sind die Resultate von Jahr zu Jahr vergleichbar?

•Wenn wir Klarheit über den Unterschied zwischen Konstrukt und Wenn wir Klarheit über den Unterschied zwischen Konstrukt und Methode haben, sind wir in der Lage, diese Fragen zu Methode haben, sind wir in der Lage, diese Fragen zu diskutieren.diskutieren.

•Verwendung derselben Prüfung in allen Schulen?Verwendung derselben Prüfung in allen Schulen?

•Verwendung derselben Prüfung in allen Jahren? (eine Verwendung derselben Prüfung in allen Jahren? (eine theoretische Möglichkeit)theoretische Möglichkeit)

•Entwicklung von Parallel-Prüfungen, die dieselben Dinge messen Entwicklung von Parallel-Prüfungen, die dieselben Dinge messen und die gleich schwierig sind.und die gleich schwierig sind.

Gütekriterien für jeden TestGütekriterien für jeden Test ReliabilitätReliabilität (Zuverlässigkeit): Beurteilungen müssen zuverlässig (Zuverlässigkeit): Beurteilungen müssen zuverlässig

sein.sein.– Interrater-Reliabilität: Übereinstimmung zwischen verschiedenen Interrater-Reliabilität: Übereinstimmung zwischen verschiedenen

Ratern.Ratern.– Intrarater-Reliabilität: Übereinstimmung desselben Raters mit sich Intrarater-Reliabilität: Übereinstimmung desselben Raters mit sich

selbst zu verschiedenen Zeiten.selbst zu verschiedenen Zeiten.

Validität:Validität: Beurteilungen müssen das widerspiegeln, was beurteilt Beurteilungen müssen das widerspiegeln, was beurteilt werden soll. Wenn “Erfüllung der Aufgabe” beurteilt werden soll, werden soll. Wenn “Erfüllung der Aufgabe” beurteilt werden soll, dürfen nicht Grammatik und/oder Textaufbau mitbeurteilt werden.dürfen nicht Grammatik und/oder Textaufbau mitbeurteilt werden.

> ASSESSORENTRAINING!!!> ASSESSORENTRAINING!!!

Frage 6: Misst die Prüfung tatsächlich was sie Frage 6: Misst die Prüfung tatsächlich was sie messen soll?messen soll?

• Konstrukt + Methode ergeben eine Prüfung, die vermutlich das misst, was wir messen wollen. Wir sind allerdings verpflichtet, nachzuweisen, dass wirklich das gemessen wird, was gemessen werden soll. Wir müssen Nachweise für die Reliabilität und die Validität erbringen.

• Reliabilität: Messen wir überhaupt irgendetwas oder weisen wir bloß Schülerperformanzen Zahlen nach Zufallsprinzip zu?

Voraussetzungen zur Sicherstellung von Reliabilität:

- Beurteilungsskalen- ausgebildete Assessoren, die die Beurteilungsskalen gleichermaßen anwenden- wer die Prüfung durchführt, darf keinen Einfluss auf das Ergebnis haben- wer die Prüfung beurteilt, darf keinen Einfluss auf das Ergebnis haben

• Validität: Messen wir das, was wir messen wollen?

Zielen die Dimensionen der Beurteilungsskala auf jene Aspekte des Kompetenzmodells ab, ie von Interesse sind?

Begleitforschung ist gefragt:

- Inhaltliche Validierung- Konstruktvalidierung

Grundlage für BeurteilungsskalenGrundlage für BeurteilungsskalenDimension 1Dimension 1…………………………………………………………

Dimension 2Dimension 2………………………………………………………………

Dimension 3Dimension 3…………………………………………………………

Dimension 4Dimension 4……………………………………………………………………

sehr gut (1)sehr gut (1)

gut (2)gut (2)

befriedigend (3)befriedigend (3)

genügend (4)genügend (4)

Dimensionen vs NiveausDimensionen vs Niveaus

DimensionenDimensionen sind die Maßstäbe, mit denen sind die Maßstäbe, mit denenwir die Fähigkeiten in einem Bereich messen, wir die Fähigkeiten in einem Bereich messen,

z.B. Erfüllung der Aufgabe, Textaufbau, z.B. Erfüllung der Aufgabe, Textaufbau, Wortschatz, Grammatik/RechtschreibungWortschatz, Grammatik/Rechtschreibung

NiveausNiveaus sind die Marken auf dem Maßband. sind die Marken auf dem Maßband.Diese können mit Deskriptoren beschriebenDiese können mit Deskriptoren beschriebenwerden.werden.

Analytische Skala: Entwurf 01Analytische Skala: Entwurf 01

Beurteilungsbogen Beurteilungsbogen Deutsch.docDeutsch.docBeurteilungsbogen Deutsch_01.docBeurteilungsbogen Deutsch_01.doc

BezugsnormBezugsnorm

Normreferenzierung: Ergebnis wird im Normreferenzierung: Ergebnis wird im Hinblick auf den Mittelwert der Stichprobe Hinblick auf den Mittelwert der Stichprobe interpretiert.interpretiert.

Kriteriumsreferenzierung: Ergebnis wird im Kriteriumsreferenzierung: Ergebnis wird im Hinblick auf ein bestimmtes Niveau Hinblick auf ein bestimmtes Niveau (Prüfungsziel – inhaltlich definiert) (Prüfungsziel – inhaltlich definiert) interpretiert.interpretiert.

RP neu ist kriteriumsreferenziertRP neu ist kriteriumsreferenziert

Berichtsfunktion: was kann der/die Berichtsfunktion: was kann der/die KandidatIn?KandidatIn?

Selektionsfunktion: ist der/die KandidatIn für Selektionsfunktion: ist der/die KandidatIn für bestimmte Berufe oder für das bestimmte Berufe oder für das Universitätsstudium geeignet?Universitätsstudium geeignet?

Thank you.Danke.Merci.