kompetent prüfen am pc workshop 2010

55
© Karsten D. Wolf 2010 Workshop E-Assessment Kompetent Prüfen am PC Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen ZMML 7.06.2010

Upload: karsten-d-wolf

Post on 06-May-2015

1.694 views

Category:

Education


1 download

DESCRIPTION

Folien eines Vortrags anlässlich des Workshops Kompetent prüfen am PC des Testcenter Bremen.

TRANSCRIPT

Page 1: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf 2010

Workshop E-AssessmentKompetent Prüfen am PCKarsten D. WolfFachbereich 12Didaktische Gestaltung multimedialer Lernumgebungen

ZMML 7.06.2010

Page 2: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf 2008

Themenspektrum?

• Grundsätzliche Überlegungen zum Testen

• Formative und alternative Prüfungsverfahren

• Was macht einen Test gut? (Testtheorie)

• Test Wiseness und Tipps zur Qualität der Fragen

• Taxonomiestufen

• Gestaltung von MC Fragen

Page 3: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Traditionelles Modell der Leistungsbewertung

Unterricht Leistungsprüfungund Bewertung

Leistungsprüfungund Bewertung

Leistungs-dokumentation

lehrer-zentrierter

darstellenderUnterricht

Klausurmdl. ExamenHausarbeit

Note Ziffernzeugnis

tQuelle: F. Winter (2004), S. 68

Page 4: Kompetent Prüfen am PC Workshop 2010

Einsatz von ePortolios im Unterricht als Beurteilungs- und Gestaltungsmittel

Erziehungs- und Bildungswissenschaften

Fachbereich 12

© Prof. Dr. Karsten D. Wolf 2010

Drei Bezugsnormen

Quelle: Falko Rheinberg

Page 5: Kompetent Prüfen am PC Workshop 2010

Einsatz von ePortolios im Unterricht als Beurteilungs- und Gestaltungsmittel

Erziehungs- und Bildungswissenschaften

Fachbereich 12

© Prof. Dr. Karsten D. Wolf 2010

Schlussfolgerung

Klingt einfach, ist es aber nicht:

Kombination der drei Bezugsnormen!

Soziale + individuelle BZN positiv auf LeistungsmotiSachliche + individuelle in der Erforschung…Ziel lehrzielorientierte Prüfverfahren

Page 6: Kompetent Prüfen am PC Workshop 2010

Quelle: Falko Rheinberg

Bezugsnormen zur Leistungsbewertung

Page 7: Kompetent Prüfen am PC Workshop 2010

Quelle: Falko Rheinberg

Bezugsnormen zur Leistungsbewertung

Page 8: Kompetent Prüfen am PC Workshop 2010

Quelle: Falko Rheinberg

III

II

I

Bezugsnormen zur Leistungsbewertung

Page 9: Kompetent Prüfen am PC Workshop 2010

Entkopplung Veranstaltung & Prüfung

Quelle: Falko Rheinberg

III

II

I

Page 10: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Alternative Assessment for Learning

t

Unterricht: Leistungsdokumentation: Leistungsprüfung und Leistungsbewertung:

erweiterte Lehr-und Lernformen

direkte Dokumentation

(Portfolio)dialogisch

inhaltlich diagnostisch

LEISTUNGSPRÄSENTATION

Quelle: F. Winter (2004), S. 70

Page 11: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf 2010

„Neue“ Methoden des alternative assessments

• Portfolio

• Lernkontrakte

• Beobachtungen im Prozess

• Selbstbewertung, wechselseitige Bewertung & beauftragte Bewertung

• Lerntagebücher

• Leistungspräsentation

• Rückmeldebögen (Rubrics)

• Zertifikate

• Verzicht auf (Ziffer-)Noten

Page 12: Kompetent Prüfen am PC Workshop 2010

1 2 3

4 5 6

7 8 9

Page 13: Kompetent Prüfen am PC Workshop 2010
Page 14: Kompetent Prüfen am PC Workshop 2010

Formative Assessment

Page 15: Kompetent Prüfen am PC Workshop 2010

Formative Assessment

Page 16: Kompetent Prüfen am PC Workshop 2010

Formative Assessment

Page 17: Kompetent Prüfen am PC Workshop 2010

Formative Assessment

Page 18: Kompetent Prüfen am PC Workshop 2010

Formative Assessment

Page 19: Kompetent Prüfen am PC Workshop 2010

cc by Karsten D. Wolf 2010

A1

Erzeugen & Evaluieren

B2

Analysieren

C3

Anwenden

D4

Verstehen (& Erinnern)

E5

Mängel in V (& E)

Kriterium 1Kompetenz 1

(30%)

Operationa-lisierung auf höchstem

Niveau

Operationa-lisierung auf

hohem Niveau

Operationa-lisierung auf mittlerem

Niveau

Operationa-lisierung auf niedrigem

Niveau

Operationa-lisierung auf

mangelhaften Niveau

Kriterium 2Kompetenz 2

(50%)

Operationa-lisierung auf höchstem

Niveau

Operationa-lisierung auf

hohem Niveau

Operationa-lisierung auf mittlerem

Niveau

Operationa-lisierung auf niedrigem

Niveau

Operationa-lisierung auf

mangelhaften Niveau

Kriterium 3Kompetenz 3

(20%)

Operationa-lisierung auf höchstem

Niveau

Operationa-lisierung auf

hohem Niveau

Operationa-lisierung auf mittlerem

Niveau

Operationa-lisierung auf niedrigem

Niveau

Operationa-lisierung auf

mangelhaften NiveauK.O.

Rückmeldebogen (rubric)

Page 20: Kompetent Prüfen am PC Workshop 2010
Page 21: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf 2008

Was ist neu bei E-Klausuren

• Zeitlicher Vorlauf und organisatorisch-technischer Aufwand

• Technische Unterstützung bei Auswertung

• ggf. neue Itemformate (z.B. Multimedia)

• ggf. ungewohnte Itemformate (z.B. vom Freitext zum Multiple Choice)

• Veränderungsprozess

• ggf. Qualitätsprobleme

• erneutes Nachdenken über Qualität von Klausuren & Testverfahren

Page 22: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf 2010

Bitte diskutieren sie die Wechselwirkungzwischen der Gestaltung von (a) summativensowie (b) formativen Leistungstests mit den

Lernanstrengungen der Lernenden.

Page 23: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf 2010

Quelle: Johannes Hartig & Nina Jude 2007, S.30

Page 24: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf 2010

Page 25: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Clues bei MC-Fragen

• Die allgemeingültigste Antwort ist zumeist die richtigeThe lugs

1.are solid and immobile and located within the chest2.are the only organs that produce insulin3.function primarily in respiration4.possess the sphincter of Oddi

• Die längste Antwort kann häufig die richtige seinOne of the main reasons for Custer‘s defeat at the Little Big Horn was the fact that

1.he split his troops into three groups, making each group too small to effectively fight

2.the weather was too hot3.he had sick horses4.he wanted to be president

Quelle: The Learning & Academic Skills Center, Univ. of MN

Page 26: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Clues bei MC-Fragen

• Die richtige Antwort bei Zahlenwerten ist meistens der mittlere WertThe mature human being has how many teeth?

1. 152. 323. 544. 7

• Wenn zwei Alternativen die gleiche Bedeutung haben, sind beide falschThe treaty of Brest Litovsk was ratified by Moscow because

1.Tzar Alexander I wanted to prevent Napoleon‘s invasion of Russia.2.Russia was unable to keep up with the armament manufacture of

Austria3.Russia could not keep pace with the military production of Austria4.Nicolai Lenin wanted to get the Soviet Union out of WWI

Quelle: The Learning & Academic Skills Center, Univ. of MN

Page 27: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Clues bei MC-Fragen

• Wenn zwei Alternativen das Gegenteil besagen, wähle eine davonThe planarian has

1.an anterior brain2.three legs3.red eyes4.a posterior brain

• Auf grammatikalische Fehler zwischen Fragenteil und Antwort achtenImportant in feeling pain are

1.bone2.ear3.muscle4.nerves

Quelle: The Learning & Academic Skills Center, Univ. of MN

Page 28: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Clues bei MC-Fragen

• Auf Wortwiederholungen zwischen Frage und Antwort achtenThe Strong Vocational Interest Blank is used to measure

1.aptitudes2.interest3.achievement4.adjustment

• Länge der „Fill-in-the-blanks“ berücksichtigenA popular song during World War I was ________ __________

1.Over the Hill2.Over there3.Why the Kaiser4.Adolph

Quelle: The Learning & Academic Skills Center, Univ. of MN

Page 29: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Clues bei True-False-Fragen

• Bestimmte Wörter machen eine Antwort mit hoher Wahrscheinlichkeit falsch oder richtigFalsch

• Immer, Niemals, Nur, Notwendigerweise, Muss, Alle, Keine, Unmöglich, Ausnahmslos

Könnte richtig oder falsch sein• Oft, Selten, Vielleicht, Manchmal, Gewöhnlich, kann, normalerweise

BeispieleIt is always sunny during winter at LaCrosseJuly is always a summer monthThe compensation of a skilled workperson often exceeds that of a laborerOperas are invariably sung in ItalianInsurances sometimes serves as protection against income interruption

Quelle: The Learning & Academic Skills Center, Univ. of MN

Page 30: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Cheat Sheet

• Categorial Exclusive -> false

• Phrase-Repeat -> true

• Absurd/Implausible Answer -> false

• Precision/Specificity -> true

• Length -> longer = true

• Grammar -> mistakes = false

• Give-Away -> right answer found in other question‘s stem

• Order of answer -> no answer pattern

• Odd man out -> the different answer to other very similar ones is true

• Spelling -> mistakes more often occur in distractors

Page 31: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test

The answer of this one refers to an

(a) overture(b) mountain(c) building(d) misnomer

http://www.kvhigh.com/learning/testtips.html

Page 32: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test: Grammatikalischer Hinweis

The answer of this one refers to an

(a) an overture(b) a mountain(c) a building(d) a misnomer

http://www.kvhigh.com/learning/testtips.html

Page 33: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test

In which pifflerock did zorkrans inkle?

(a) gi hien(b) gis inkle(c) gish frankel(d) gishen fronk

http://www.kvhigh.com/learning/testtips.html

Page 34: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test: Wiederholung aus Wortstamm

In which pifflerock did zorkrans inkle?

(a) gi hien(b) gis inkle(c) gish frankel(d) gishen fronk

http://www.kvhigh.com/learning/testtips.html

Page 35: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test

If there where a question here, which could be the correct answer?

(a) besiegt(b) siegreich(c) niedergeschlagen(d) unterworfen

http://www.kvhigh.com/learning/testtips.html

Page 36: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test: odd one out

Wenn hier eine Frage stände,was wäre die richtige Antwort?

(a) besiegt(b) siegreich(c) niedergeschlagen(d) unterworfen

http://www.kvhigh.com/learning/testtips.html

Page 37: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test

Hixek norfolken piffle?

(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent

http://www.kvhigh.com/learning/testtips.html

Page 38: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test: Längste Alternative

Hixek norfolken piffle?

(a) Hiku nippon ibitus(b) Efil Yadlan Ruoj(c) Yokon Gnithol(d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent

http://www.kvhigh.com/learning/testtips.html

Page 39: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test

Dome ukerland dimmel?

(a) Nepal(b) Canada(c) Britain(d) United States

http://www.kvhigh.com/learning/testtips.html

Page 40: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test: Odd out

Dome ukerland dimmel?

(a) Nepal(b) Canada(c) Britain(d) United States

http://www.kvhigh.com/learning/testtips.html

Page 41: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test

Zarfarkle, en Ko day?

(a) Henkledorf(b) Ricktoffen(c) Ifetain(d) Krator

http://www.kvhigh.com/learning/testtips.html

Page 42: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test: Alternative 3

Zarfarkle, en Ko day?

(a) Henkledorf(b) Ricktoffen(3) Ifetain(d) Krator

http://www.kvhigh.com/learning/testtips.html

Page 43: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test

Die richtige Antwort ist?

(a) Parrallele(b) Absisse(c) Koordinate(d) Tangennte

http://www.kvhigh.com/learning/testtips.html

Page 44: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Test Wiseness Test: Rechtschreibung

Die richtige Antwort ist?

(a) Parrallele(b) Absisse(c) Koordinate(d) Tangennte

http://www.kvhigh.com/learning/testtips.html

Page 45: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Fragetypen am Testcenter der Universität Bremen

Page 46: Kompetent Prüfen am PC Workshop 2010

cc by Karsten D. Wolf 2010

Ausgangsfrage: E-Assessments können auf allen Taxonomiestufen eingesetzt werden

Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy

Erinnern

Verstehen

Anwenden

Analysieren

Evaluieren

Erzeugen

• Formative Bewertungsverfahren

• Alternative Verfahren werden praktikabel

• Unterstützung auch bei offenen Formate

• Dialog über Prüfungsqualität

Page 47: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

MCQs für Bloom?

• L1: ErinnernWelche der folgenden Personen ist der Autor von „Das Kapital“Mannheim / Marx / Weber / Engels / Michels

Welche der folgenden Definitionen zu … ist richtig?

Welche der folgenden Sequenzen ist richtig?

• L2: VerstehenWelche der folgenden Antworten beschreibt die VORBEREITUNGS-Phase eines kreativen Prozesses zur Lösung eines bestimmten Problems?… / … / … / All available information about the problem is collected

Erinnern + Verstehen

http://web.uct.ac.za/projects/cbe/mcqman/mcqappc.html

Page 48: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

MCQs für Bloom

• L3: Anwenden

Welches der folgenden Werte stimmt am ehesten mit dem Volumen einer Kugel mit einem Radius von 5 Metern überein?

2000 kubikmeter / 1000 / 500 / 250

aber auch Entscheidungssituationen in kleinen Fällen oder leichte Transfer-Aufgaben

Page 49: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

MCQs für Bloom

• L4: Analyse

Page 50: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

MCQs für Bloom

• L6: Evaluation

Page 51: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Innovationsbereiche bei MC-Formaten

• Übersaturierung der Antwortmöglichkeiten

• 300 Medikamente

• 250 Philosophen

• Confidence Based Marking

• zusätzlich angeben, wie sicher man sich ist

• höhere Positiv- wie Negativ-Punkte

• Effekt: tiefergehende Lernstrategien

• Emulation: jeweils 3 Punkte für richtig / falsch / leer kein Punkt

• Modified Essay Question

• Fallbeschreibung mit sequentiell weiterführenden Fragen

• systematische Vertiefung

Page 52: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf

Innovationsbereiche beim E-Assessment

• Simulation

• Realitätsnähe

• Feedbackkomponenten

• Explorationsmöglichkeiten

• Automatisierte Bewertung von Essays

• Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -profilen.

• Autorenwerkzeuge für fachspezifische Tests/Sims

• Einbindung in E-Portfolios

• Kompetenzmessung in Gruppen

Page 53: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf 2010

Die pädagogische Chance

“die Leistungsbewertung für die pädagogische Aufgabe (…) zurückgewinnen und in den Prozess des Lernens, des Korrigierens, und des Beratens einzubinden.” (Andreas Flitner 1999, S. 244)

Page 54: Kompetent Prüfen am PC Workshop 2010

© Karsten D. Wolf 2010