09 ibh e assessment

E-Assessment

Cornelia RuedelE-Learning Center, Universität Zürich

http://www.elc.uzh.ch

Agenda

Ausgangslage

Was ist E-Assessment?• Begrifflichkeiten und Zusammenhänge

Problemfelder• Infrastruktur

• Recht

Beispiele an der Universität Zürich

IBH: eLearning Community Treffen 03.09.2009 / 3

Probleme mitkonventionellen Prüfungen

http://www.youtube.com/watch?v=_CqgnZhb--Q


Alltag an der Universität

Aktuelle Prüfungssituationan der Universität Zürich• vermehrtes Prüfungs-

aufkommen durchdie Bologna Reform• Prüfungsdurchführung

und -auswertung ist einegrosse Personalbelastung• Problematik: Massenfächer

(Z.B. UZH: Assessmentstufe Wirtschaftswissenschaften)

Universitärer Dreikampf: Prüfung, Hausarbeit, Referat


Probleme mitkonventionellen Prüfungen

Schriftlich:

fragliche Validität und Reliabilität,

zeitaufwendige Korrektur

Problem: Lesbarkeit der Handschriften

Mündlich:fragliche Validität,Reliabilitätund Fairness,jede/r Prüfling hat andere Bedingungen,zeitaufwendige Durchführung


Was ist E-Assessment?



Ruedel et al (2007a)



DefinitionUnter E-Assessment versteht man die Benutzung von ICT bei den Arbeitschrittenzur Erstellung, Präsentation, Durchführung und der Auswertung vonLeistungsnachweisen.

oderDer Begriff E-Assessment beschreibt im Allgemeinen das Prüfen mit„e“-lektronischen Medien. Hierbei wird bei den Arbeitschritten Erstellung,Durchführung, Auswertung und Rückmeldung auf allen Ebenen (Dozenten,Prüflinge) der Computer verwendet.

kurz gesagt: ...E-Assessment = Erstellung/Durchführung/Auswertungvon Assessment mit Hilfe von Computer/Netzwerk

!"#$%&'$()"&'*+,"

-.")/,''

E-Assessment als Prozess

0,"%1")/,''2,*+%&'*+,"-

.")/,''

345'',''6,%(-$7'-.")/,''


E-Assessment:Organisatorischer Prozess

!"#$%&'$()"&'*+,"

-.")/,''


0,"%1")/,''2,*+%&'*+,"-

.")/,''

345'',''6,%(-$7'-.")/,''


E-Assessment:Technische Durchführung (Teil I)

Stand-alone

Closed network/Intranet

Internet

Software which has the capabilityto run on a stand-alone computerover a network/intranet orthrough the Internet and tocombine the use of all threetechnologies if appropriate.

For example: a test which isposted to students on a CD-ROM. Students take the testand upon completion thesoftware accesses the Internetto upload files to a database.

For example: an assessmentwhich is delivered question byquestion from a closed networkserver. When all results havebeen stored, they are distributedto tutors using the Internet.

For example: a testcompletely downloadedfrom a server onto acomputer, which is offlineduring the test-taking andreconnects to the networkto upload final results.

Bull, J. & McKenna, C. (2004): Overview over CAA Technologies

Bull & McKenna (2004)


E-Assessment:Technische Durchführung (Teil 2)

CAA

OMR

Port-folios

CBA

Networked

Online Assessment stand-alone

Warburton, B. & Conole, G. (2005)

Warburton, B. & Conole, G. (2005): Different Types of CAA


E-Assessment:Technische Durchführung (Teil 3)

Technologiebasiertes Assessment

E-AssessmentOnline Assessment

Internet basiertes Assessment

Web basiertesAssessment

ComputerbasiertesAssessment

Bloh, E. (2006): Differenzierung von E- / Online-Assessment

Bloh (2006)

!"#$%&'$()"&'*+,"

-.")/,''


0,"%1")/,''2,*+%&'*+,"-

.")/,''

345'',''6,%(-$7'-.")/,''


Selektion

diagnostisch formativ summativ

Lehrveranstaltung (en)

Modul

Lernlenkung Bewertung

Eingangs-test

Prüfung

E-Assessment im Lernprozess

In Anlehnung an Crisp (2007)

!"#$%&'$()"&'*+,"

-.")/,''


0,"%1")/,''2,*+%&'*+,"-

.")/,''

345'',''6,%(-$7'-.")/,''

E-Assessment als Leistungsnachweis=Produkt

E-ASSESSMENTS

E-Port-folios

ElectronicSubmission

Peer-Assess-

ment

LEISTUNGSNACHWEISE

MündlichePrüfungen

Seminar-arbeiten

Poster-Präsentationen

Studien-tagebücher

Port-folios

Protokolle

Gruppen-prüfungen

Weblog

Wikis

Referate

Peer-Assess-

ment

Wissenschafts-praktische

Tätigkeiten

Simu-lationen

Digital Storytelling

- gibt Ähnlichkeiten

- gleich

Prüfungsformen

Adaptives Testing

OMR

SchriftlichePrüfungen

E-Prüfungen

offene odergeschlossene

FragenE-Klausur

OnlineDiskussions-

forum

MündlicheMitarbeit

OnlineVoting System


Teil 2:

Problemfelder

Prüfungsformen

Was wird für E-Assessmentbenötigt?

Prüfungs-ordnungen

RäumeComputer

Netzwerk

Software Hardware

Dozierende

Lehr-veranstaltung

Studierende

Prüfungs-fragen

Verwaltung

Universität

E-Assessment

Sicherheits-aspekte


Rechtliche Grundlagen

"In der jetzigen Experimentier! und

Einführungsphase

herrscht keineswegs Rechtssicherheit. An den

bundesdeutschen Hochschulen verfährt man mehr

nach dem Motto, offensichtliche Punkte

nach den besten Kenntnissen zu klären

und etwaige Klagen abzuwarten."

Karsten Wolf (2007)


Rechtliche Fragen imPrüfungsprozess

AllgemeinNachvollziehbarkeitUnveränderbarkeitDatensicherheit und DatenschutzArchivierung

• Fragenzugang

• Anmeldeverfahren• Authentifizierung• Verzögerung• Systemstörungen• Täuschungsversuche

• Bewertungsfehler

Prüfungserstellung

Prüfungsdurchführung

Prüfungsauswertung


Rekurse

Inhaltliche Anfechtungsgründe• Lehrstoff

• Verwendung von MC Fragen

• Starre Bestehungsgrenze

Formale Anfechtungsgründe• Gleichbehandlung

• Durchführungsprozess

• Nachvollziehbarkeit

• Unveränderbarkeit


Rekurse

Andere mögliche Anfechtungsgründe• Gleichbehandlung der Studierenden in den Prüfungen

• Raum, Umgebung, Zeit

• Gleichwertigkeit der einzelnen Prüfungen

• Prüfungssystem• Vertraute Bedienung

• Start, Ablauf, Ende

• Einwandfreie technische Funktionen

• Einwandfreie organisatorische Funktionen


Problematik:Unveränderbarkeit der Prüfung

Mögliche Lösungen• Sicherung des Endprodukts

• Speicherung als pdf

• Digitale Signatur

• Sicherung des Prozess• Logfile mit Aktionen und Eingaben


Problematik:Nachvollziehbarkeit der Prüfung

• Prüfungserstellung• Kein „Zugang“ für Unbefugte

• Prüfungsdurchführung• Protokollierung der Aktionen und Eingabe (Text und/oder

Bilddateien) • Prüfungsauswertung

• Nachvollziehbarkeit der Punkteermittlung,

• Möglichkeit zur Vergabe von Sonderpunkten

• Nachkorrektur

• Prüfungseinsicht


Problematik:Täuschungsmöglichkeiten

• Abschreiben• Benutzung eines Fragepools - Individuelle Prüfung• Aufsicht

• Benutzung keiner weiteren elektronischen Hilfsmittel• Fernkontrolle• Aufsicht

• Absichtlicher Absturz ohne Folgen• Klare Abläufe und Richtlinien• Nachvollziehbarkeit der Prüfung

in den Logfiles


E-Assessment @ UZH


Projekt «E-Assessment»

Beschluss der Universitätsleitung vom 4. Oktober 2007(Auszug Protokoll der Sitzung der Universitätsleitung)

• Die Universitätsleitung stimmt der Variante C (Einführungeines universitätsweiten E-Assessment Prozesses)grundsätzlich zu, bringt aber folgenden Kautelen an:

• Die Variante B (Supportzentrum, MedienbruchPapier/Computer) soll als mögliche Langfristlösung offenbleiben)

• Das E-Assessment darf keinesfalls als Rechtfertigung fürvermehrte Multiple-Choice-Prüfungen dienen.


E-Assessment-Projekt:3 Phasen

Heute: • OLAT ist als Learning Management System an der UZH etabliert• Durchführung von einzelnen Pilotprojekten (mit OLAT)• Keine ausreichende Infrastruktur (Raum, Hardware, Software, Schnittstellen)

Entscheidungsphase (2-3 Jahre):• Durchführung von Pilotprojekten• Ausarbeitung der Spezifikationen für Werkzeuge und Schnittstellen• Ausarbeitung eines Konzepts für ein E-Assessment-Zentrum • Ausarbeitung Betriebs- und Dienstleistungskonzept• Kostenschätzung für Umsetzung- und Betriebsphase

Umsetzungsphase (2-4 Jahre):• Aus- und Aufbau einer geeigneten IT- und Rauminfrastruktur• Implementieren und Testen der Erweiterungen bei strategischen Werkzeuge (OLAT, Modulbuchung usw.)• Bekanntmachung und Umsetzung der Dienstleistungskonzepte

Betriebsphase: «Überführen in den Betrieb»

Entscheid der Universitätsleitung über weitere Finanzierung

Finanzierung

2008 - 2011


VerschiedeneDurchführungsvarianten

Möglich-

keitenHardware Finanzen Monitor

Räumlich-

keitenNetzwerk

1Computer-

räumebestehend Monitor

Computer-

räumeLAN

2Desktop

ComputerKauf Monitor

Neue

RäumeLAN

3 Thin Client Kauf Monitor Hörsaal LAN

4Laptops /

Tablet PCMiete integriert Hörsaal WLAN

5 Laptops Student integriert Hörsaal LAN

6 Laptops Kauf integriert Hörsaal LAN

Pilotprojekte @ UZHZeitpunk t Lehrveranstaltung Ansprechpartner Anzahl Studierende

SS 2005 Allgemeine Pathologie Prof. Pospischil 70

SS 2006 Mikrobiologie Dr. Hanselmann 80

Allgemeine Pathologie Prof. Pospischil 70

SS 2007 Mikrobiologie Dr. Hanselmann 80


FS 2008 Mikrobiologie Dr. Hanselmann 80


FS 2009 Weiterbildung Arbeitsrecht

Dr. Fritsch 24

eCF Valuation Peter Lautenschlager 140

ISB Fixed Income Markets

Prof. Hens 60


8-%)*+-9,&(,",-.":;<%#,%-=&,-6&(-=,%->)61<(,"-=<"*+#,;:+"(

9<"=,%?-$@,"-%&*+(-/,%("$7-<%(,"'(:(/(-9<"=,%


UZH Pilot-Projekte

• E-Assessment in der Veterinärmedizin seit SS 2005• OLAT als Prüfungssoftware• Multiple-Choice Fragen• Benutzung eines Apple Mobile Classroom in einem Hörsaal

• E-Assessment am Institut für schweizerisches Bankwesen• OLAT als Prüfungssoftware• MC-Fragen und MS Excel• Automatische Auswertung der Excel-Dateien mittels Makro-

Programmierung um auch noch Teilpunkte vergeben zukönnen

• 130 Laptops wurden gekauft für die Durchführung

A,&'1&,7B

C577#,6,&%,-.$(+)7)#&,D


Beispiel: «Allgemeine Pathologie»


«Allgemeine Pathologie»:Studierenden-Befragung

A,&'1&,7B

C>)"1)"$(,-E&%$%*,D


eCF Valuation:Räumlichkeiten

FG"'$$7-6&(-HIJ-K&(/17L(/,%


eCF Valuation:Backup Raum

FG"'$$7-6&(-MN-K&(/17L(/,%


eCF Valuation:Sichtschutz


eCF Valuation:Aufbau


eCF Valuation:Bereit für die Durchführung


eCF Valuation:Einlasskontrolle


UZHLegitimationsausweis


eCF Valuation:Einlass


eCF Valuation:PersonalisiertePrüfungsunterlagen


eCF Valuation:Durchführung


eCF Valuation:Abgabe


eCF Valuation:Zwei Gruppen


«Corporate Finance»:Studierenden-Befragung

E"$#,%O

>)"%,7&$-P:=,7

*)"%,7&$Q"<,=,7R$**,''Q</+Q*+

A7)#B-+((1BSS;)"'*+<%#Q1"<,;<%#Q%,(S

09 ibh e assessment

Education