eassessment im testcenter der universität bremender ... · eassessment im testcenter der...
TRANSCRIPT
eAssessment im Testcenter eAssessment im Testcenter der Universität Bremender Universität Bremender Universität Bremender Universität Bremen
Objektivj
Valide
Sicher
9. Tagung des Bologna-Zentrums der HRK - Ulm - 8. Oktober 2009
DefinitioneAssessment:eAssessment:Erstellung, Durchführung von Auswertung von Bewertungen unter Einsatz von Computern1
Form Diagnostisch Formativ Summativ
Bsp Ziel Selektion Lernlenkung BewertungBsp. Ziel Selektion Lernlenkung Bewertung
Bsp. Typ Einstufungstest Übung eKlausur
e-Klausur:eAssessment, bei dem unter Aufsicht, alleine und nur mit den zugelassenen Hilfsmitteln vorgegebene Aufgaben bearbeitet werden
1) R d l (2009)1) Ruedel (2009)
Christinas BeispielEinstufungstests im TestcenterEinstufungstests im Testcenter
Informationen auf eassessment.uni-bremen.de
Kompetenzorientierte Fragetypen
Ergebnis direkt bei Abgabe, sofortige Zeugnisausstellung
Self-Assessments und Probeklausuren
Zahlreiche Hilfestellungen in der Prüfungssoftware
Prüfungsablauf vergleichbar zu schriftlichen Prüfungen
Verwendung komplexer AnlagenVerwendung komplexer Anlagen
Kommentierung der Fragen / Hinweise an die Lehrenden
Nachbewertung offener Fragen
Schwachstellenanalyse
Ziel: Qualitätsverbesserung von Prüfungen
Objek‐jtivität Zeitersparnis durch
automatische Korrektur
P ti iPrüfungs-
qualität
Prozessoptimierung
q
Relia‐bilität
Vali‐dität
Ökonomie
Ziel: Qualitätsverbesserung von Prüfungen
Objek‐jtivität Sofortige
Ergebnisrückmeldung bei geschlossenen Fragen
Prüfungs-qualität
Schnellere Nachbewertung offener q
Relia‐bilität
Vali‐dität
Fragen
Schwachstellenanalyse
Ökonomie
Ziel: Qualitätsverbesserung von Prüfungen
Objek‐Objektivität
Hohe Auswertungs- und Durchführungsobjektivität
Prüfungs-qualitätq
Relia‐bilität
Vali‐dität
Ökonomie
Ziel: Qualitätsverbesserung von Prüfungen
Objek‐jtivität Einfacher meßbar
(Konsistenzanalyse)
St ti ti h A tPrüfungs-
qualität
Statistische Auswertung(Schwierigkeitsgrad)
Vergleich unabhängigerq
Relia‐bilität
Vali‐dität
Vergleich unabhängiger Durchläufe
Ökonomie
bilität
Ziel: Qualitätsverbesserung von Prüfungen
Objek‐PrüfungLernziele
jtivität
Prüfungs-qualität
Integration fachspezifischer Softwareq
Relia‐bilität
Vali‐dität
Internetrecherche
Integration von Multimedia
Ökonomie
dität
Hoher Initialaufwand
…
Hoher Initialaufwand
Streitpunkt: Validität von eKlausuren
eKlausuren = 100% MCMC = Reproduktion von Faktenwissen100% Faktenwissen geringe Validität ?g g
eKlausuren = FreitextKurztexte und Zahlen
= BeurteilungSyntheseKurztexte und Zahlen
ZuordnungenVideoessaysHö tä d i
SyntheseAnalyseAnwendungV tä d i
!Hörverständnis….MC
VerständnisFaktenwissen
ABER…
eAssessment als Dienstleistung des ZMML
Unterstützung der Lehrenden in allen Phasen computergestützter Assessments
Pl
Im Vorfeld Währendessen Im Anschluß
Planung
E t ll D hfüh
Nachbewertung
A tErstellung Durchführung Auswertung
Vorbereitung Archivierung
Akzeptanz durch Service
MotivationArbeitserleichterung
Motiva‐tion
g
Neue prüfungsdidaktische Möglichkeiten
Können
Akzeptanz
Beratung / Schulung / Support
ErmöglichungAkzeptanz
Können Ermög‐
Bereitstellung der Infrastruktur
Katalogerstellung und Qualitätssicherung g
lichungQua tätss c e u g
Testcenter
Raumplan Testcenter
13
Ausstattung
14
Vorteile des Testcenters gegenüber PC-Pool-Lösung
Hohe Kapazität
Stabile Prozesse – Hohe DurchführungssicherheitStabile Prozesse Hohe Durchführungssicherheit
Drastisch reduzierter Personalaufwand
Verbesserter Datenschutz und Datensicherheit
Neue Aufgaben und PrüfungsformateNeue Aufgaben- und Prüfungsformate
Qualitätsmanagement: Prozessqualität
K ll d BeratungKontrolle der Prüfungsprozesse
Ri ik t
Beratung
Schulung Anmeldung
A f i htRisikomanagement
Datenschutz und Datensicherheit
Katalogerstellung / QMAufsichten
Datensicherheit
Dokumentation Zugangstest
Vorbereitung
Nachbewertung
Prüfung
Ergebnisexport + Analyse
Einsicht
TMT – Dateiaustausch, Termine und Controlling
17
Fragetypen
Freitextfragen Offen
F
Freitextfragen
Eingabe Zahlen / Texte
Offen
Ges
Freie Einge,
PD
F)
Positionieren
Zuordnen / Sortierenschlossen Agabe
n (S
crip
te
obje
kte
Zuordnen / Sortieren(Texte, Graphiken)
Antwortpaare
n (autom
Antw
ort-WAnl
agen
timed
iao
Antwortpaare(z.B. Ja/Nein)
Multiple Choice
m. B
ewer
Wahl-Verfm
plex
e A
Mul
t
Multiple Choice
Single Choice
rtung)
fahrenKom
18
Screenshot1
Screenshot2Screenshot2
Sonderfrage (Auswahl + Eingabefeld)
Single-Choice - Auswahlliste
Multiple Choice - Matrix
Qualitätsmanagement der Fragenkataloge
F t llFragenerstellung
KontrolleStatistische o Inhaltsvalidität
Prüfkriterien
AutorenAuswertung o Konstruktvaliditäto Fragestellungo Bewertung
KontrolleZMML
Kommentare Studierende
KatalogRevision
o Bewertungo Schwierigkeitsgrado Trennschärfe
KatalogtestEinstellungs
o Thematische Zuordnungo Layouto ZeitbedarfKatalogtestEinstellungs-
test
eAssessment in Zahlen
25.000 Prüfungsleistungen gesamt (Testcenter 14.000 )
aktuell ca. 4000 Prüfungsleistungen pro Semester
35Veranstaltungen mit eKlausur
g g p
20
25
30
Biologie / ChemieSozialwissenschaftenSprachwissenschaftenRechtswissenschaftKunst- u. Kulturwiss.
estc
ente
r
cent
er
5
10
15
ErziehungswissenschaftMathematik / InformatikHuman u. Gesundh.wiss.ProduktionstechnikBiologie / Chemie Te
Test
c
0Wirtschaftswissenschaft
25
Wo stehen Wir?
Pilotprojekt Diversifi-zierung
Etablierung Institutiona-lisierungProjekt
Einstieg Aufbau Professiona-li i
OptimierungFormen
eKlausurSoftwareprüfungePortfolio
lisierung
1. Generation
2. Generation
Generation„R“eAssessment
GenerationPapier Computer Multimedia VR, Simulation, …
Einmalig, TC Einmalig, TC Wiederholt, Ortsunabhängig
Generation(Bennett 1998)
Zukünftige Strategische Ausrichtung
Förderung formativer eAssessments(u.a. ePortfolios)
Objektivierung und Qualitätsmanagement des Prüfungswesens
Ausbau Prüfungsdidaktische Beratung
Kommende Innovationsimpulse
Nationales Open Science Zentrum für kompetenzorientiertes eAssessment
Verzahnung eLearning – eAssessment am Beispiel eGeneral-Studies