1

Digital Assessment Matched Evaluatie Digitaal toetsen bij de FNWI 2015-2016

Dit document is een evaluatie van het DAM project bedoeld voor onderwijsmanagement en onderwijsondersteuning, docenten en geïnteresseerden. Op basis van de bevindingen worden conclusies getrokken en aanbevelingen gegeven over hoe FNWI het digitaal toetsen kan aanpakken en wat is nodig is om dit zodanig te organiseren dat studenten docenten en stafleden van ESC tevreden kunnen organiseren.

Dit document is geschreven in samenwerking door

Nataša Brouwer Joep van Drunen Guusje Smit André Heck Erik Kooistra Tycho Atsma

Met dank aan de docenten die mee hebben gedaan aan dit project

Juni 2016

2

Inhoudsopgave

1. Inleiding ................................................................................................................................................. 3

2. Uitvoering van digitale toetsen in 2015-2016 bij de FNWI ................................................................... 5

Samenvatting ........................................................................................................................................ 7

3. Organisatiestructuur van digitaal toetsen bij de UvA ........................................................................... 7

Samenvatting ........................................................................................................................................ 9

4. Opzet organisatie digitale toetsen bij de FNWI .................................................................................. 10

4.1. Taken bij het ondersteunen van digitale toetsen ............................................................................. 10

4.2 DAM project team en taakverdeling ................................................................................................. 11

4.3 Checklist digitale toets ...................................................................................................................... 14

4.4 Veiligheid van digitale toetsen en inzet van proctoring (op afstand observeren) ........................... 15

Samenvatting ...................................................................................................................................... 17

5. Ondersteuning van docenten .............................................................................................................. 18

6. Tevredenheid van docenten en studenten ......................................................................................... 21

6.1 Tevredenheid studenten ................................................................................................................... 21

6.2 Tevredenheid docenten .................................................................................................................... 23

Samenvatting ...................................................................................................................................... 27

7. Kosten en baten analyse ..................................................................................................................... 29

7.1 Investeren in overstap van papier naar digitaal ............................................................................... 29

7.2 Tijdinvestering nodig voor een toets ................................................................................................ 31

Samenvatting ...................................................................................................................................... 34

8. Aandachtspunten ................................................................................................................................ 34

9. Conclusies ............................................................................................................................................ 35

10. Aanbevelingen ..................................................................................................................................... 36

11. Literatuur ............................................................................................................................................. 37

Appendices .................................................................................................................................................. 39

3

1. Inleiding Bij een vak waar verder alles op papier en face to face plaats vindt is een papieren tentamen de juiste keuze. Bij grote groepen studenten bieden tentamens met meerkeuzevragen via schrapkaarten of documentscanning een uitkomst voor veel nakijk werk. Maar tegenwoordig is er bijna geen vak meer waar alles alleen op papier en face-to-face gaat: studenten werken met eigen laptops en leveren hun opdrachten steeds vaker online in. Bij vakken waar computerapplicaties gedurende het vak worden gebruikt om stof mee te leren is een digitaal tentamen een natuurlijke keuze. Deze applicaties zijn dan ook bij het toetsen nodig en met een papieren tentamen kan dan eigenlijk niet. Steeds vaker komt het voor dat tijdens een cursus digitaal formatief wordt getoetst. Ook dan ligt meer voor de hand om tentamen digitaal af te nemen. Dit is namelijk de essentie van constructive alignment. Volgens Sharon Klinkenberg (UvA) (Vlasblom, 2016) kan de integratie van toetsen en leren gekarakteriseerd worden met vier stappen: (1) digitalisering van de instructie, (2) integratie van oefening en toetsing, (3) diagnose van de resultaten en (4) effectief remediëren (beter worden en herstellen).

Toetsen en tentamens bepalen in grote mate wat en hoe studenten leren en hoeveel tijd zij hier in stoppen. Kwaliteit van toetsen en van elke toetsvraag op zichzelf die wordt gesteld speelt hier een grote rol (Draaijer, 2016, Halaydina, 2015). Formatief toetsen, dwz. toetsen voor het leren, is bedoeld om studenten te activeren. Feedback wordt niet alleen gegeven om studenten te helpen door de stof te komen maar ook om hun motivatie en zelfregulatie voor het leren te vergroten (Nicol, 2006). Digitale formatieve toetsing en learning analytics bieden mogelijkheden om in grote groepen studenten individueel en op maat feedback op het leerproces te kunnen geven. Onderzoekers en voorlopers in de onderwijspraktijk pleiten er voor om het toetsen veel meer te integreren met het leerproces (Mazur 2016, Dochy, 2001) en om minder summatief te toetsen en toetsen meer authentiek te maken.

Er zijn veel redenen om summatieve toetsen digitaal af te nemen omdat dit voordelen kan hebben voor docenten én voor studenten. Bij gesloten vragen en gedeeltelijk ook bij open vragen worden toetsen automatisch nagekeken met het gevolg dat het resultaat en de feedback of het gegeven antwoord direct voor studenten beschikbaar kan zijn. Bij open vragen kan het proces van nakijken proces versneld worden. De docent hoeft geen handschrift meer lezen en het nakijkwerk kan goed verdeeld worden onder meerdere beoordelaars. Een complicatie is dat de overstap van een papieren tentamen naar een digitale niet eenvoudig is en niet of vanzelf gaat. In het rapport van SURF (Vlasblom, 2016) bespreken professionals uit verschillende disciplines vanuit diverse invalshoeken innovaties in digitaal toetsen. Een docent kan dit niet zelfstandig in zijn eentje doen. Pas op langere termijn en met meer massa brengt digitale toetsing tijdbesparing mee zowel bij het maken als het bij organiseren en afnemen van toetsen.

Een toetsproces wordt gewoonlijk gepresenteerd met de toetscyclus (Schema 1). Dit is niet anders bij digitale of schriftelijke tentamens. Bij digitale toetsen veranderen wel de stappen. Sommige activiteiten vervallen en andere komen ervoor in de plaats of erbij. Bij meer grootschalige digitale toetsing wordt het ook noodzakelijk om enkele stappen in de cyclus centraal te beheren. Bijvoorbeeld itembanken hebben een overzichtelijke structuur nodig en metadata om op te kunnen zoeken en om te kunnen samenwerken in een systeem zonder dat er chaos ontstaat. Computers in de digitale toetszalen hebben speciaal beheer nodig die centraal geregeld wordt. Toetsanalyses kunnen dieper gaan omdat meer data hierin betrokken kunnen worden.

4

Schema 1: Toetscyclus

Stand van zaken wat betreft digitaal toetsen bij de FNWI d.d. september 2015 Bij de FNWI worden al langere tijd kleinschalig digitale toetsen afgenomen op het Science Park in de zalen met computers. Met de komst van de UvA digitale toetszalen in 2015 hebben meer docenten gekozen voor een digitale toets en deze in een UvA digitale toetszaal laten inroosteren. In september 2015 stonden bij de FNWI 17 digitale toetsen in het rooster voor het studiejaar 2015-2016. Gedurende het jaar zijn er meer toetsen op deze lijst bijgekomen en enkele er ook afgegaan om op papier afgenomen te worden. In september 2015 was er nog geen capaciteit voor het organiseren en ondersteunen van digitale toetsen bij de FNWI aanwezig (net als bij de meeste UvA faculteiten) terwijl de UvA dat veronderstelde. Er was in september 2015 nog geen beleid bij de FNWI in geval een docent een digitale toets wilde aanvragen. De UvA ging er vanuit dat een docent een digitale toets bij de ICTO zou aanvragen. Dit bleek bij de FNWI al direct onhandig omdat het inroosteren van toetsen standaard via Roostering verloopt.

Het DAM project Om de organisatie en ondersteuning van digitaal toetsen bij de FNWI op te zetten is in oktober 2015 het project DAM gestart (http://starfish.innovatievooronderwijs.nl/project/634/, DAM= Digitaal Assessment Matched). Het doel van dit project is een passende opschaalbare ondersteuning op te zetten voor digitaal toetsen, workflows te ontwikkelen, hiervoor de staande organisatie bij te betrekken en waar nodig deze aan te vullen. Dit project zorgde daarbij ook voor de ondersteuning en de uitvoering van de in 2015-2016 ingeroosterde digitale toetsen bij de FNWI en gebruikt deze toetsen als pilotcases om de digitale toetscyclus te optimaliseren. Tegelijkertijd zijn de digitale toetsen ook echte toetsen / tentamens bij reguliere vakken en met echte studenten. Alles op alles is gezet om deze digitale toetsen foutloos en professioneel te laten verlopen. Voor de digitale toetszalen gelden specifieke en strakke UvA regels. Deze moesten we in de case studies respecteren en in dit rapport plaatsen we hier kanttekeningen bij.

Dit document is een evaluatie van het DAM project bedoeld voor onderwijsmanagement en onderwijsondersteuning, docenten en geinteresserden. Op basis van de bevindingen worden conclusies

5

getrokken en aanbevelingen gegeven over hoe FNWI het digitaal toetsen kan aanpakken en wat is nodig is om dit zodanig te organiseren dat studenten docenten en stafleden van ESC tevreden kunnen zijn.

2. Uitvoering van digitale toetsen in 2015-2016 bij de FNWI In totaal zijn in 2015-2016 vanaf oktober 2015 t/m augustus 2016 37 digitale toetsen afgenomen bij de FNWI (Appendix 1). Dit komt neer op gemiddeld drie digitale toetsen per maand met een totaal van 2287 studenten betrokken studenten. De digitale toetsen zijn afgenomen in drie verschillende omgevingen: Remindo (algemene toetsapplicatie) en SOWISO (digitale leer, werk en toetsomgeving met name voor wiskunde) en Blackboard. Bij 17 digitale toetsen is nog een applicatie naast het toetsgereedschap gebruikt (studio R, MatLab, SPSS of Google Earth).

Technisch gezien is alles bij de afgenomen toetsen en tentamens goed gegaan met uitzondering van een toets waarbij Remindo uit de lucht was en de afname volgens het noodscenario ging via schrapkaarten en antwoordblad voor open vragen.

De meeste (29) van digitale toetsen zijn afgenomen in de UvA digitale toetszalen, 7 toetsen zijn afgenomen op het Science Park (soms in meerdere zalen parallel of achter elkaar), met de inzet van online proctoring (surveillance van computerschermen, op eigen laptop of op de zaalcomputer). (zie Appendix 1 Lijst digitale toetsen).

De totale tijd van het gebruik van de zalen voor alle digitale toetsen tezamen is 100 uur: 69 uur in de UvA digitale toetszalen en 31 uur op het Science Park (Appendix 1).

Toetsen in Remindo Remindo is bij de FNWI vanaf oktober 2015 in gebruik genomen. Bij de FNWI is er een itembank met toetsvragen opgebouwd. Op 15 juni 2016 bevatte de FNWI itembank in Remindo 1.693 toetsvragen (Schema 2). Hiermee is FNWI in Remindo qua aantal vragen op de derde plaats bij de UvA; FMG heeft 2.625 toetsvragen ingevoerd en FGw 2.277 toetsvragen. Ca. 650 toetsvragen voor Analysemethoden en technieken zijn geautomatiseerd ingevoerd door een itembank te verhuizen uit een open source itembank. Dat is een voorbeeld hoe bij gebruik van digitale toetsen de vragen uitgewisseld kunnen worden tussen verschillende itembanken mits de vragen aan de standaarden voldoen.

Deze vragen zijn gestructureerd per opleiding en per jaar onder vakken. De meeste vragen zijn ingevoerd voor eerstejaarsvakken:

• College of Science Levenswetenschappen 430 toetsvragen: o Psychobiologie 428 vragen – Jaar 1: Methoden van Onderzoek en Statistiek 1

• College of Science Informatiewetenschappen 779 toetsvragen: o Bachelor Informatiekunde 712 toetsvragen

• Jaar 1: 710 vragen (Netwerkanalyse, Analysemethoden en technieken, Collectieve intelligentie) • Jaar 3: 2 (samengestelde) toetsvragen bij Data Science

o Bachelor Informatica Jaar 1: 26 vragen, Bestuuringssystemen • College of Science Exacte wetenschappen 186 toetsvragen

o Bachelor Scheikunde: Jaar 1 Cellulaire biochemie 186 toetsvragen (allemaal bedoeld voor formatieve toetsing)

6

• Master Life Sciences 10 vragen • IIS 514 vragen

o Bachelor Future Planet Studies 75 toetsvragen Jaar 1 - Virtual Globe 71 toetsvragen Jaar 2 – Programming in MatLab 4 vragen

o Bachelor Bèta-Gamma 439 vragen Jaar 1 - Onderzoeksmethoden en Analyse van Wetenschappelijk Onderzoek 440 toetsvragen

Schema 2: Item banken in Remindo

Toetsen in SOWISO In SOWISO zijn in 2015-2016 acht digitale toetsen uitgevoerd. Het aantal vragen in SOWISO is gigantisch groot, o.a omdat vele vragen in een gerandomiseerde vorm zijn, dwz. dat deze de parameters in een range hebben. Dit is goed toe te passen bij wiskundige vragen. Dat betekent dat dit soort vragen, soms schier oneindig veel alternatieven hebben. Een student krijgt elke keer een andere vraag over hetzelfde begrip. Bij het vak Van molecuul tot cel is SOWISO gebruikt als itembank voor meerkeuzevragen met 4 alternatieven (die normaliter met schrapkaarten afgenomen worden). Dit is gerealiseerd in Tentamenlade (http://starfish.innovatievooronderwijs.nl/information/90/), dat al gebruikt werd om papieren tentamens uit een itembank van 2587 vragen te genereren. Het hertentamen bij het vak Van molecuul tot cel is digitaal afgenomen. Toetsen in Blackboard

7

Hoeveel vragen zich nu in Blackboard bevinden is aan DAM project niet bekend. Tijdens het DAM project zijn er in elk geval geen vragen door het projectteam ingevoerd in Blackboard ingevoerd. Blackboard is minder veilig en minder betrouwbar dan andere twee systemen. Het wordt verwacht dat steeds meer docenten zullen overstappen naar Remindo of SOWISO.

Samenvatting In 2015-2016 zijn 37 digitale toetsen afgenomen (in totaal 2287 studenten bij betrokken vakken). De totale tijd dat FNWI digitaal heeft getoetst tijdens het project is 100 uur, hiervoor heeft de FNWI de toetszalen 69 uur gebruikt (de tijd voor de tests in de zaal is hier niet meegerekend) en 31 uur de zalen op Science Park. 2287 studenten zijn hierbij betrokken.

Voor digitaal toetsen zijn tot nu toe 3 toetsapplicaties gebruikt: Remindo, SOWISO en Blackboard, vaak in combinatie met een softwareapplicatie (R Studio, SPSS, MatLab of Google Earth). In het project is begonnen met de opbouw van itembanken. Een paar duizend vragen zijn nu online beschikbaar voor docenten. De meeste toetsen zijn afgenomen in Remindo, daarna volgt SOWISO en daarna Blackboard.

Het grootste aantal vakken waar digitaal wordt getoetst is in de bachelor en in het eerste jaar. De drie opleidingen waar het meest digitaal wordt getoets zijn Informatiekunde, Psychobiologie en Future Planet Studies. Twee toetsen zijn afgenomen in jaar 2 en twee in jaar 3. Één toets is afgenomen in de master fase.

3. Organisatiestructuur van digitaal toetsen bij de UvA Voor de UvA en HvA samen zijn in september 2015 drie digitale toetszalen beschikbaar gekomen: twee zalen op locatie AMC (IWO zalen), elk met 300 computers, en één op het REC met 150 computers. UvA breed start een Programma Digitaal toetsen met diverse projecten. De digitale zalen zijn in beheer van Bureau Onderwijs Logistiek (BOL). De UvA heeft voor digitaal toetsen een organisatiestructuur op twee niveaus gekozen: UvA centraal en lokaal bij de faculteiten. De taken zijn als volgt verdeeld:

• Centraal bij ICT Services (ICTS) en bij BOL: o inrichting en onderhoud van technische infrastructuur: toetszalen met computers en

bijbehorende software. o aanschaf van software. Als toetssoftware zijn momenteel Remindo en SOWISO aangeschaft. In

een aanbesteding zal de keuze van toetssoftware definitief gemaakt. o functioneel beheer van toetssoftware is UvA/HvA centraal geplaatst (locatie bij ICTS) en contact

voor de faculteiten voor het aanmelden van digitale toetsen. Organiseren en ondersteunen van tests op een authentieke opstelling.

o beheer van zalen (BOL) – werkplek ondersteuning (WPO) – Organiseren en ondersteunen van de tests van de toetsen in de digitale toetszalen.

o ondersteuning van facultaire ICTO door twee digitale toetsdeskundigen voor UvA en HvA samen. o interfacultair gebruikersoverleg (maandelijks overleg) o interfacultaire Focus groep Digitaal toetsen die advies heeft over digitaal toetsen

8

o Digitaal toetsen staat op de agenda in de UvA governance structuuur (Expertise Groep Onderwijs (EGO) en er is een stuurgroep voor UvA Programma Digitaal toetsen)

• Lokaal bij de faculteiten o Communicatie-contact met het UvA centraal niveau (facultaire contact persoon) o Toetssoftware beheer: toets item banken meta data aanmaken: opleidingen, vakken, toetsen gebruikers toevoegen aan het systeem (alleen bij Remindo)

o Organisatietaken bij elke digitale toets inroosteren van toets in een toetszaal aanmelden van de toets bij ICTS met de wensen en eisen voor de afname in de zaal regelen van toegang/rechten voor docenten/assistenten/demostudenten voor het

ontwikkelen van toets en voor het nakijken inplannen van toets in de toetsapplicatie om deze af te nemen op een specifiek moment (of

periode) inschrijven/koppelen van studenten aan de toets exporteren van de resultaten archivering van de toets en de toetsresultaten

o Ondersteuning van docenten bij een digitale toets gedurende de toetscyclus (schema 1) bij volgende stappen ondersteuning bij het overstappen van papier naar digitaal toetsen uploaden van toetsvragen in de toetsapplicatie en/of of instructie hierover samenstellen van de toets en instellingen van de toets kiezen testen van toetsen op technische kwaliteit op diverse locaties ondersteuning bij de afname in de toetszaal regelen van proctoring bij speciale toetsen (optioneel) instructie over nakijken van toetsen ondesteuning bij toetsanalyse en extra export data

Het organiseren van digitaal toetsproces in een complexe operatie. Er zijn veel stappen die doorlopen moeten worden. De efficiëntie is hier nog niet optimaal. De toetsapplicatie Remindo biedt veel opties maar is ingewikkeld in gebruik. Er zijn enkele trainingen van halve dagen georganiseerd door de UvA voor facultaire ondersteuners om met Remindo te leren werken. Maandelijks UvA gebruikersgroep overleg zorgde voor het aanpakken van praktische zaken rondom (voornamelijk) Remindo. Alle facultaire contactpersonen voor digitaal toetsen waren lid van deze Gebruikersgroep. Deze Gebruikersgroep ging voornamelijk over Remindo. Specifiek voor gebruikers van SOWISO is er een landelijke jaarlijkse gebruikersgroepsoverleg. Deze is georganiseerd op 3 december 2015 met de bedoeling om deze elk jaar weer te organiseren (http://starfish.innovatievooronderwijs.nl/event/638/). FNWI werkt al sinds 2013 samen met SOWISO en heeft vanaf 2016 een bilaterale samenwerkingsovereenkomst met SOWISO over het samenwerken aan ontwikkeling van nieuwe functionaliteiten voor digitaal toetsen en/of onderwijsmateriaal.

9

Op hoger management niveau houdt Expertise groep onderwijs (EGO) zich met dit vraagstuk bezig. Er is een UvA brede project Digitaal toetsen (zie Appendix 2) die op grote lijnen aan de implementatie van digitaal toetsen aan de UvA werkt met een stuurgroep waar een aantal onderwijsdirecteuren in zitten.

ICTO-FNWI is actief betrokken bij UvA centraal overleg op alle niveaus. Bij de vergaderingen van de Focus groep Digitaal toetsen en bij de Gebruikersgroep overleg is ICTO-FNWI (iemand van DAM project) altijd aanwezig en de lid van de EGO groep is Andy Pimentel.

Samenvatting Het overstappen van een traditionele toets met pen en papier naar digitaal toets is een complexe operatie omdat een toetsproces altijd uit veel stappen bestaat.

Bij de UvA vindt de organisatie plaats op twee niveaus, centraal en lokaal bij de faculteiten. Een samenwerking van BOL, ICTS en de lokale organisatie is nodig bij elke digitale toets. UvA centraal bied ondersteuning aan lokale ICTO contactpersonen over gebruik van Remindo. Er is een gebruikersgroep ingericht om problemen (bugs of gebrek aan functionaliteit) te verzamelen en ervoor te zorgen dat dat naar de toetsapplicatieproviders teruggekoppeld wordt. UvA Focus groep Digitaal toetsen is een uitwisselingsplatform die adviseert over de ontwikkeling van digitaal toetsen bij de UvA op grote lijn. Op hoger managementniveau houdt Expertise groep onderwijs (EGO) zich met dit vraagstuk bezig. Er is een UvA brede Programma Digitaal Toetsen met een stuurgroep van een aantal onderwijsdirecteuren. ICTO-FNWI / FNWI is actief betrokken bij UvA centraal overleg op alle niveaus.

Een goede samenwerking tussen de ondersteuners van digitaal toetsen bij de faculteiten en ondersteuners op centraal niveau is belangrijk voor de kwaliteit en voor de veiligheid van digitaal toetsen bij de UvA. Het is nodig dat de FNWI (ICTO-FNWI) actief betrokken blijft in de UvA centraal overleg en input geeft voor de verbeteringen van digitale toetsing zowel op didactisch als op technisch gebied.

10

4. Opzet organisatie digitale toetsen bij de FNWI De organisatiestructuur en werkwijze voorgesteld door de UvA in september 2015 waren heel arbeidsintensief en (op dat moment) moeilijk schaalbaar. Een doel van het DAM project was de lokale workflow aan te passen aan de behoefte van de FNWI en waar het kan te automatiseren zo dat de organisatie schaalbaar zou zijn. Hiervoor is de volgende aanpak gekozen:

1. Verkennen en leren In een kernteam een serie van digitale toetsen organiseren en daarbij: • leren werken met de UvA digitale toetsapplicaties; • verkennen van bestaande workflows (papier bij FNWI en digitaal elders bij de UvA en buiten); • op basis van ervaring van een digitale toets de workflow bij de volgende digitale toets direct

aanpassen • tools ontwikkelen (vooral in de Datanose) om de stappen (gedeeltelijk) te automatiseren; • specifieke handleidingen maken voor docenten en ondersteuners; • bugs en lijst functionaliteitwensen opstellen aan centraal beheer

2. Integreren in de organisatie van toetsen (algemeen) De organisatie van de digitale toetsen zo snel mogelijk maar geleidelijk integreren in de staande organisatie die nu papieren toeten ondersteunt.

3. Professionaliseren van de organisatie De bestaande toetsorganisatie professionaliseren wat betreft de taken specifiek voor digitaal toetsen door deze organisatie on-the-job er bij te betrekken met als doel het optimaliseren van de workflows van digitaal toetsen.

4.1. Taken bij het ondersteunen van digitale toetsen De taken bij het ondersteunen van digitale toetsen zijn in het DAM project te clusteren in vier profielen:

A. Overkoepelende Coördinatie Digitaal Toetsen bij de FNWI Taken:

a. contactpersoon van de faculteit FNWI voor de UvA b. contactpersoon bij de FNWI voor de opleidingen / docenten en ESC c. coördinatie van ondersteuning en professionalisering van docenten bij digitaal toetsen

(toetscyclus), d. coördinatie van de ontwikkeling en optimalisering van workflows digitaal toetsen (om

opschaling mogelijk te maken), e. ontwikkeling van de tools voor de automatisering van processen bij digitale toetsen; f. coördinatie van het samenwerkende team

B. Kwaliteitszorg digitale toetsen en didactische ondersteuning bij overstap naar digitale toets

Intakegesprekken voeren met docenten, en hen adviseren en trainen: a. Didactische ondersteuning bij:

i. keuze van de toetstool ii. ontwerp van de toetsvragen (toetsitems)

iii. samenstelling van toets b. Toetsanalyse na afloop

11

c. evaluatie en plannen voor verbetering van een toets d. helpen docenten werken met digitale toets applicaties, ontwikkelen van handleidingen

voor docenten

C. Beheer toetsapplicaties Deze rol is onmisbaar bij digitaal toetsen en moet bij de faculteit altijd bereikbaar zijn. Daarom zijn minstens twee mensen met deze rol nodig om elkaar te kunnen vervangen. Deze rol heeft ook veel rechten in de toetsapplicatie en kan bij alle gebruikers en toetsen. Per faculteit is daarom een zeer beperkt aantal accounts met deze rol aanwezig. Een beheerder van toetapplicaties beheert: a) gebruikersrechten in het systeem en deze in voor:

• het ontwikkelen, afnemen, nakijken van toetsen door docenten en assistenten • studenten om toetsen te kunnen maken • technische ondersteuning om docenten te kunnen ondersteunen;

b) Itembanken; c) opleidingen, vakken en toetsen in de toetsapplicatie; d) toetsen en gebruikers bij de toetsafname in de zaal. Studenten loggen met hun UvAnetID in. Bij Remindo moeten ze nog handmatig gekoppeld worden aan vakken en toetsen. Het aanmaken van docentaccounts en het toekennen van gewenste rollen (rechten) is in Remindo (nu nog) een handmatige actie. Docenten kunnen vervolgens wel met hun UvAnetID inloggen. Remindo is samengesteld uit twee applicaties. Dat betekent dat een docent in principe twee accounts heeft maar ook dat het mogelijk is om te kiezen dat personen alleen toetsen kunnen nakijken of alleen toetsen kunnen ontwikkelen. Het is veel handmatig werk voor de beheerders van de toetsapplicaties bij de faculteiten om voor een docent alle connecties goed in orde te maken. Docenten merken hier weinig van, ze moeten alleen bij het maken van een toets een andere URL openen dan als ze gaan nakijken. Een taak die ook alleen een beheerder kan uitvoeren is ruwe data / resultaten van een afgenomen toets downloaden. Iemand met een beheerder rol (rechten) kan ook alle taken onder technische ondersteuning direct uitvoeren zonder dat specifieke rechten bij een vak geregeld moeten worden.

D. Technische ondersteuning Technische ondersteuning wordt waar nodig gegeven voor het: invoeren (uploaden) van toetsvragen, technisch samenstellen van toetsen, inplannen van toetsen en beheren van toetsen tijdens de afname. Een technische ondersteuner heeft in principe gelijke rechten als een docent. Hij/zij kan docenten die zelf aan de slag willen met het ontwikkelen van toetsen de weg wijzen of taken in plaats van een docent uitvoeren. Dat betekent dat meer ervaren docenten op den duur (een aantal) taken zelf zouden kunnen uitvoeren. Daarnaast helpt de technische ondersteuner bij het testen van toetsen.

4.2 DAM project team en taakverdeling In oktober 2015 bij het start van het DAM project was het kernteam samengesteld uit Natasa Brouwer (ESC) (o.a. coördinatie), Guusje Smit (ESC) en André Heck (KdVI). André Heck is in het kernteam gevraagd

12

omdat hij veel kennis heeft over wiskundig digitaal toetsen en veel ervaring met SOWISO heeft. Guusje Smit is in het kernteam gevraagd door haar rol in het project Surveillance op afstand bij digitale tentamens.

Op basis van de UvA (model)workflows en eigen ervaringen met de ondersteuning van de eerste twee digitale toetsen werd de benodigde tijd voor de ondersteuning van digitale toetsing ingeschat zodat het team vergroot kon worden. Twee studentassistenten zijn direct aangesteld (elk 1 dag per week) Erik Kooistra en Tycho Atsma. Joep van Drunen (ESC) is eind november bij het kernteam gekomen vanwege zijn rol in FNWI Tentamenbureau. Het team heeft veel tijd geïnvesteerd in het leren werken met de toetsapplicatie Remindo.

Per faculteit is er een heel klein aantal beheerder accounts in Remindo. Een beheerder heeft de toegang tot al het UvA en HvA toetsmateriaal en alle gebruikers. Een student-assistent mag zo nooit een beheerder zijn. Een digitale toetsapplicatie is geen eenvoudige tool om mee te werken. Bijvoorbeeld om voor een docent te regelen dat hij of zij aan een toets voor zijn vak kan beginnen (een account aanmaken en de docent de nodige rechten geven om te kunnen werken) zijn al minstens 20 stappen nodig in twee verschillende omgevingen van Remindo. Een punt is ook de specifieke taal die alle digitale toetsapplicaties hebben (“Remindo taal” of “SOWISO taal”- net een beetje verschillend van elkaar) waaraan een gebruiker eerst moet wennen. Een toets wordt in Remindo bijvoorbeeld een “toetsmatrijs” genoemd en in SOWISO een “pakket”. Een nieuwe vraag voeg je in Remindo aan een toets door een “Nieuwe regel” toe te voegen. Pas bij beter begrijpen hoe deze applicaties onderwijskundig in elkaar zitten kan je begrijpen dat dit misschien een logische woordkeuze was.

De medewerkers van het DAM project moesten snel een zeer steile leercurve doorlopen om in een zeer korte tijd de nodige kennis en vaardigheid over de toetsapplicaties (Remindo en SOWISO) in de vingers te krijgen. Veel mee werken, experimenteren met verschillende (vele) settings beschikbaar en vooral ook begrijpen waarom is belangrijk om goed “boven de stof” te kunnen komen. Het was soms erg zwaar om dit met andere taken te kunnen combineren. De eis was ook heel hoog: reguliere vakken met echte tentamens en studenten die valide cijfers voor hun toetsen moesten krijgen. Geen klassieke pilot situatie dus.

De technische ondersteuning (rol D) werd in principe gedaan door de studentassistenten Erik Kooistra en Tycho Atsma. Ze verdelden de werkzaamheden onderling per vak. Erik ondersteunde alle SOWISO toetsen en hielp soms ook bij de beheertaken in SOWISO. Tycho werkte alleen met Remindo en zorgde dat de toetsvragen met goede precisie in de toetsbanken kwamen.

Beheer toetsapplicaties (rol C) werd gedaan door Joep van Drunen en Natasa Brouwer. Gaandeweg lagen deze taken steeds meer bij Joep van Drunen. Er werd voor gezorgd dat altijd een van de twee beheerders beschikbaar was om te helpen en aanwezig te zijn bij een digitale toets in de digitale toetszaal.

Kwaliteitszorg digitale toetsen en didactische ondersteuning bij overstap naar digitale toets (rol B) werd gedaan door Natasa Brouwer. Bij deze taak werd samengewerkt met toetsdeskundigen bij de FNWI en met digitale toetsdeskundigen bij de UvA centraal en ook met opleidingscoördinatoren en opleidings-directeuren.

Overkoepelende coördinatietaken en contact met UvA (rol A) werden gedaan door Natasa Brouwer. Joep van Drunen leverde zijn bijdrage ook bij de meerdere onderdelen in deze categorie. Bij de UvA

13

bijenkomsten over digitaal toetsen (met name bij Gebruikersgroep bijeenkomsten) wisselen Joep en Natasa elkaar naadloos af. Bij meer belangrijke afspraken waren ze liefst beide aanwezig. Bij de samenwerking met de ESC medewerkers is betrokkenheid van Joep heel belangrijk want hij werkte vanuit Tentamenbureau in een workflow met papieren toetsen (Roostering, opleidingscoördinatoren). Dit versoepelde de integratie van digitale toetsen in het reguliere toetsingsproces. Het bedenken van mogelijke automatisering van processen rondom digitaal toetsen vond plaats als brainstorm in het team en vaak in samenwerking met de medewerkers van Datanose.

Vanaf oktober zijn volgende tools/hulpmiddelen ontwikkeld om overzicht en efficiëntie te vergroten: - applicatie Tentamenbureau (Schema 3) bevat informatie over de toetsen met een link naar het vak en

tools voor samenwerking in het team van beheerders van de toetsapplicatie om: • specifiek alleen digitale toetsen bij de FNWI te kunnen volgen; • alle toetsen die als digitale toets zijn ingeroosterd automatisch op de lijst in Tentamenbureau te laten

verschijnen; • informatie over het vak te kunnen vinden (nodig voor het aanmelden van de toets bij de ICTS); • presentielijsten te kunnen vinden (groepen aanmaken en koppelingen met de toetsen) • bij te houden in welke stap een tentamen zich op elk moment bevindt en welke ondersteuning nog

nodig is.

Deze app wordt nog ontwikkeling en de wensen voor nieuwe functionaliteiten worden op een lijstje bij Datanose gezet.

Schema 3: Tentamenbureau voor digitaal toetsen in Datanose

14

- Er is een formulier gemaakt waar de docenten de informatie over hun digitale tentamen doorgeven zodat de toets bij het ICTS aangemeld kan worden en ondersteuning op maat te leveren. De data wordt met dit formulier op één plek verzameld (het hele DAM team kan bij) en worden de nodige acties erbij gezet met de deadlines. We hopen dit in Datanose te kunnen krijgen maar voorlopig moeten we met dit formulier nog even vooruit.

- Er is een e-mail adres digitaletoets-fnwi@uva.nl aangemaakt die door meerdere leden van het team wordt gelezen en waar docenten vragen/verzoeken kunnen sturen.

De inspanningen rondom digitaal toetsen zouden niet lukken als er geen ondersteuning was van de UvA door de twee UvA én HvA brede digitale toetsdeskundigen (Garian Ohlsen en Rosanne Chocolaad). We konden hen op elk moment een vraag stellen en het antwoord kwam snel. Het zou ook niet lukken zonder ICTS contactpersonen –centrale beheerders van toetsapplicaties (Meinoud Rijnen en Wessel Kieft) die de technische tests op de authentieke opstellingen hebben gedaan en ook niet zonder de WPO-ers (computer werkplekondersteuners) die toetszalen inrichtten en bij elke afname in de zaal aanwezig waren voor de computers. Net zo belangrijk was dat we kennis en ervaring met de ICTO collega’s van andere faculteiten die ook digitale toetsen ondersteunden konden uitwisselen. Collega’s met meer ervaring met digitale toetsen zoals Sharon Klinkenberg (Psychologie) die al een jaar eerder met Remindo is begonnen en André Heck van ons team die al jaren met digitale wiskunde en SOWISO werkt. Bij alle faculteiten was er een tekort aan menskracht (aan het begin) en zijn er mensen (bijna) overspannen geraakt. Dit allemaal terwijl het maar nog om een marginaal aantal toeten ging die digitaal bij een faculteit werden afgenomen en bij workflows met een grote marge in de planning. Dat moet nog veel efficiënter als we digitaal toetsen willen opschalen. De strakke regels van de UvA veroorzaakten aan de andere kant afkeer en onrust onder docenten: er is (bijna) geen docent die 20 weken voor het tentamen van zijn vak spontaan aan denkt om een digitaal tentamen te gaan aanvragen of die het tentamen al 8 weken voor de afname helemaal klaar heeft. Tijdens het DAM project hebben we de efficiency al verbeterd en we weten ook dat het zonder ongezonde stress kan. Wel blijft dat aan de efficiency kant van de UvA workflow nog veel gewonnen kan worden.

4.3 Checklist digitale toets Er zijn een aantal stappen bij een digitale toets nodig en een overzichtelijke organisatie van alle acties is noodzakelijk om het goed te laten verlopen. Zodra een toets is ingeroosterd als digitale toets komt deze automatisch op de lijst in Tentamenbureau in de Datanose. Bij sommige opvolgende stappen is samenwerking van de docent nodig, bij sommige samenwerking met ICTS, BOL en bij aanpassingen ook met FNWI Roostering. BOL hanteert strenge regels: de reservering van de digitale toetszaal moet minimaal 8 weken vóór de afname moment van een digitale toets zijn anders wordt de zaal door BOL niet vrij gegeven ook als deze op de gewenste moment vrij is en de toets al technisch getest is in de zaal.

Er is een checklist digitale toets (protocol) voor de docenten gemaakt, en een protocol toetsafname (Appendix 3). In het protocol afname zijn er acht mile stone stappen. Deze willen we ook in de Datanose afvinken (dit werkt nu nog niet helemaal naar wens en is nog in ontwikkeling). Zo kan de toetsproces goed gemonitord worden en blijft bij een opschaling naar een grotere aantal toetsen overzichtelijk. De mile stone stappen zijn onafhankelijk van de toetsapplicatie en gelden voor alle toetsen in de digitale toetszalen. Bij proctoring zijn er minder stappen (stappen 4 en 5 vervallen en in stap 2 wordt de toets aangemeld bij ProctoExam / proctor-app). De 8 mile stones zijn:

15

1. Contact met de docent is opgenomen (informatie verzameld - intake gesprek) (aan het begin van het studiejaar of zodra de toets ingeroosterd is en op Tenatmenbureau lijst verschijnt)

2. Toets aangemeld bij ICTS; > 8-6 weken voor de afname Of is aangemeld bij ProctorExam / proctor-app

3. Toetsapplicatie ingericht voor de toets (item bank boomstructuur, vak gegevens, accounts voor docenten (ontwikkelaars en nakijkers) en demostudenten aangemaakt) > 8-6 weken voor de afname

4. Test van de toets bij het ICTS op de authentieke software zaalsetting is gedaan (ICTS stuur de uitnodiging voor) 6-4 weken voor de afname (als de toets nog niet klaar is kan een technisch gezien representatieve toets gebruikt worden, bijvoorbeeld een toets van een jaar daarvoor)

5. Test van de definitieve toets in de digitale toetszaal is gedaan (BOL – Werkplekondersteuning in de digitale toetszaal stuurt de uitnodiging voor) (2-1 week voor de afname)

6. Inplannen van de definitieve digitale toets is geregeld (nakijkers van open vragen koppelen en noodscenario voor de toets regelen) (1 week voor de afname)

7. Inschrijven van studenten in de toets is gedaan (en in de proctor-app als van toepassing) 8. Toets afgenomen Protocol digitale toetsafname is te vinden in Appendix 3.

4.4 Veiligheid van digitale toetsen en inzet van proctoring (op afstand observeren) Bij alle toetsen is veiligheid heel belangrijk. In SURF Werkbook Veilig Toetsen geeft handvaten aan de instellingen hoe ze het toetsproces (papier of digitaal) veilig kunnen inrichten (Werk et al, 2016). De digitale toetsen worden afgenomen in cloud applicaties. Bij toetsen op het internet hebben studenten als er geen afscherming is de toegang tot alles wat op het internet te vinden is inclusief de communicatie via sociale media, email of chat met een collega/expert. Dit is (bijna) bij geen tentamen de bedoeling. Tijdens een toets is het voor de surveillanten in een zaal onmogelijk om dit soort fraude te signaleren. Sterker nog, ook bij iets opgemerkt te hebben is een chat box of een browser zo afgesloten lang voordat de surveillant erbij is. In de digitale toetszalen is bovendien een afkijkfolie op de schermen geplaatst die surveilleren van het scherm door de zaalsurveillant belemmert. Observeren van de schermen is in de digitale toetszaal in principe ook helemaal niet nodig want fraude via de computer is onmogelijk gemaakt. Door een specifieke image per toets kan de student in de UvA digitale toetszalen alleen het materiaal raadplegen en software gebruiken die door de docent expliciet op de white list zijn gezet. Verder is alles dichtgetimmerd, gebruik van e-mail is uitgesloten en het moet gewerkt worden in een vast gekozen webbrowser (op dit moment Internet Explorer).

Denken aan een traditioneel papieren (gesloten boek) tentamen waar niks mag en kan is hiermee het logistieke voordeel van een digitale toets in een digitale toetszaal in grote groepen studenten gewonnen. Maar al snel zien we dat studenten die nu digitale toetsen maken (bij de FNWI) vaak naast de toetsapplicatie nog andere software gebruiken (bijvoorbeeld MatLab, statistiek software of Google Earth) en dat de docenten hen vrijheid willen geven om resources open te mogen gebruiken. In een digitale toetszaal moet alles wat mag op een white list en onder de settings die in de zaal mogen (bijvoorbeeld Internet Explorer) anders kan het ook niet. Uitgebreide tests vooraf van elke toets zijn door deze restricties nodig.

Met de inzet van proctoring zijn restricties op de computers waarop er wordt getoetst niet nodig. In plaats hiervan worden er afspraken met studenten gemaakt wat wel en wat niet mag. Het scherm van elke

16

student wordt dan op afstand gemonitord en wat ze op de computer tijdens de toets doen (scherm) wordt vastgelegd op video. Bij een vermoeden van fraude geldt dit als bewijsmateriaal. Dit maakt het mogelijk open resources toetsen af te nemen en software te gebruiken die studenten aan gewend zijn en ze tijdens het vak ook zonder van tevoren een toets-image via de ICTO contactpersoon bij de ICTS te moeten laten aanvragen en alles nog uitgebreid te testen of het echt werkt. Daarnaast kan een digitale toets op elke locatie plaats vinden, en ook met eigen laptops (BYOD). Het gebruik van BYOD heeft voordeel als gedurende de cursus met eigen laptops wordt gewerkt met diverse software. Inzet van proctoring maakt hiermee mogelijk om authentieker en beter constructive aligned te kunnen toetsen.

Bij het inzet van proctoring worden ook summatieve digitale toetsen mogelijk buiten de campus. De studenten kunnen toetsen thuis maken. Ze worden geobserveerd door een live proctor en dmv. twee webcams en de schermopname wordt alles vastgelegd op de video. De veiligheid van proctoring op afstand thuis is niet helemaal 100% (maar welke toets is dit wel?) maar deze methode biedt een goede alternatief in bijzondere situaties (pre-master programma’s, instaptoetsen, decentrale selectie, studenten die op een stage in buitenland zijn of studenten met beperkingen of ziekte). In de toekomst zijn dit misschien geen bijzondere situaties meer maar een verwachte standaard bij het assessment bij een moderne universiteit.

Bij het gebruik van proctoring is het nodig om privacy en juridische aspecten van het beschermen van persoonsgegevens en databescherming goed te regelen. Uit onze ervaring blijkt dat bij een tentamen tussen 10-20% studenten geen proctor willen of kunnen gebruiken op hun eigen laptop. Voor deze studenten kan een tentamen op locatie georganiseerd worden op instellingscomputers en in een zaal met toezicht. Proctoring is een nieuw gebied en ook landelijk heeft dit veel aandacht (Sietses, 2016). Bij de FNWI hebben we een specifiek project voor gestart om in samenwerking met juristen dit voor de proctoring bij de FNWI goed te regelen. Hiermee leveren we ook een steentje bij aan de landelijke ontwikkelingen. Experimenten met alle genoemde scenario’s zijn in het DAM project gedaan en de juridische en privacy aspecten worden telkens meegenomen. FNWI SURF project Surveillance op afstand zorgt verder voor een uitgebreide palet van scenario’s met proctoring. De basis is gelegd in het project Online schakelen waar de Pre-master Information Studies is ontwikkeld (http://starfish.innovatievooronderwijs.nl/project/21/). Zie meer informatie op Starfish (http://starfish.innovatievooronderwijs.nl/project/590/). Bij hertentamens, wanneer het aantal studenten kleiner is dan bij het eerste tentamen, is een digitale toetszaal soms veel te groot. Meer digitale tentamens tegelijk (dat kan nu nog niet) of proctoring zou hier een uitkomst kunnen zijn (dat hebben wij gedaan). Bijkomend probleem is dat het bij een hertentamen zeer moeilijk is om goed te voorspellen hoeveel studenten werkelijk zullen komen want er is geen aanmelding van studenten verplicht. Dat zou wel erg handig zijn ivm de kosten van de afname van hertentamens.

17

Samenvatting De aanpak van het DAM project heeft drie stappen:

1. Verkennen en leren Verkennen van de organisatie en de workflows bij de FNWI en daarbuiten voor digitaal toetsen, leren werken met de UvA digitale toetsapplicaties en de settings definiëren die voor FNWI vakken en docenten relevant zijn om deze waar het kan te automatiseren.

2. Integreren in de organisatie van toetsen (in algemeen) de organisatie van de digitale toetsen zo snel mogelijk erbijbetrekken en geleidelijk te integreren met de staande organisatie die nu papieren toeten ondersteunt.

3. Professionaliseren van de organisatie (just-in-time) en on de job en mee laten denken bij de ontwikkelingen.

Er zijn vier rollen nodig en deze zijn uitgevoerd tijden het DAM project door het project team: (1) overkoepelende coördinatie, (2) kwaliteitszorg digitale toetsen en didactische ondersteuning bij overstap naar digitale toets en (her)ontwerp toets vragen, (3) beheer van toetsapplicaties en (4) technische ondersteuning

Digitaal toetsen is complex. Om alle stappen goed en overzichtelijk te laten verlopen zijn checklist en protocollen ontwikkeld voor de docent en voor de ondersteuning/organisatie. In de Datanose worden tools gemaakt om op elk moment goed overzicht te hebben.

Digitaal toetsen op het internet is fraude gevoelig. Fysiek surveilleren van een digitale toets is lastig. Om een toets veilig af te nemen zijn speciale maatregen nodig zo als in een digitale toetszaal. Een andere optie is proctoring waar in plaats van restricties de afspraken worden gemaakt over wat niet mag. Proctoring is een nieuw concept. Er loopt een SURF project Surveillance op afstand bij de FNWI en een project dat speciaal naar juridische en privacy aspecten ervan kijkt. Hiermee levert FNWI ook een bijdrage aan landelijke ontwikkelingen.

18

5. Ondersteuning van docenten Docenten hebben in de (huidige) digitale toetsapplicaties niet voldoende rechten om het hele proces zelfstandig uit te kunnen voeren. Bepaalde handelingen in de toetsapplicaties mag alleen een beheerder uitvoeren. De digitale toetszaalen moeten voorbereid worden door computerwerkplek ondersteunend personeel (WPO). Daarnaast zijn de toetsapplicaties ook zodanig ingewikkeld in gebruik dat het niet zinvol is dat iedere docent alles zou leren als het gebruik van de tool niet zeer frequent is.

Elke overstap van papier naar digitaal toetsen is een unieke stap. Voor dit overstap is er een verandering van de traditionele docent nodig en ook van het traditionele vak. Om dit te kunnen doen heeft de docent tijd nodig, een veilige omgeving om een en ander te kunnen uitproberen én de ondersteuning. De docent (opleiding) heeft ook een intrinsieke motivatie nodig. Uit de evaluatie van dit project met de “pioniers” in digitaal toetsen blijkt (zie volgende hoofdstuk) dat de motivatie per docent verschillend kan zijn én dat dit nooit maar één motivatie is. We zien ook dat de pilot docenten vanuit didactisch perspectief hebben nagedacht over de meerwaarde van digitaal toetsen voor het vak. Behalve uit de enquête blijkt dit ook uit de in diepte interviews met pioniers in digitaal toetsen. De conclusie kan getrokken worden dat voor het behalen van succes elke nieuwe docent / opleiding die overweegt om digitaal te gaan toetsen, eerst de volgende twee vragen voor zichzelf moet beantwoorden: (1) “Waarom wil ik digitaal toetsen?” en (2) “Wat is didactisch gezien de meerwaarde die ik hiermee in mijn vak wil bereiken?” Ze hebben daarbij goede voorbeelden uit hun discipline nodig waar digitaal toetsen een meerwaarde heeft opgeleverd.

Het doel van DAM project is ondersteuning op maat van docenten bij digitaal toetsen. Dat betekent dat de docent altijd de regie over zijn/haar toetsen zelf behoudt en alleen de nodige ondersteuning hiervoor krijgt. Het is niet noodzakelijk dat een docent die met digitaal toetsen aan de slag wil gaan als eerste met de tool moet leren werken of naar een knoppen cursus moet gaan. Bij de FNWI aanpak leren docenten geleidelijk met Remindo of SOWISO zelfstandig werken. Een toets wordt in samenwerking met de docent ontworpen, de ondersteuners laten hen zien hoe het werkt op het moment dat ze het nodig hebben. De saaie, maar precisie eisende en tijdrovende werk bij het invoeren van een grotere aantal (bestaande) toetsvragen in de toetsapplicatie wordt uit de handen genomen – dat kunnen onze student-assistenten prima doen. Voor docenten worden korte, op acties gerichte handleidingen gemaakt met schermopnames “just-in-time” zodat ze deze dan zelf kunnen uitvoeren, zo als bijvoorbeeld fouten in toetsvragen corrigeren waardoor het gemail over correcties niet meer nodig is. Dat maakt het werken aan een toets ook behapbaar. Op Starfish zijn een aantal pagina’s voor de ondersteuning bij digitaal toetsen en uitwisseling van ervaringen ontworpen met als cetrale pagina “Plaza Digital Assessment”: http://starfish.innovatievooronderwijs.nl/information/586/. Een onderdeel van Plaza is docenten te helpen bij het maken van en keuze over wel of niet digitaal te toetsen. Er is ook informatie over de toetsapplicaties te vinden met diverse handleidingen voor docenten (en ondersteuning gevende medewerkers): http://starfish.innovatievooronderwijs.nl/information/596/. Deze pagina is gelinkt met het materiaal (video handleidingen) over het werken met Remindo die voor en door de UvA zijn gemaakt.

19

Voor het beschrijven van de stappen in het toetsproces en voor het maken van workflows wordt toetscyclus gebruikt (7-staps toetscyclus, bekend ook voor papieren toetsen, Schema 1). Voor het overstappen van op papier naar digitaal te toetsen is het toetscyclus geen goed motiverend instrument omdat enkele stappen de eerste keer nog niet een duidelijke meerwaarde hebben. Een (UvA) regel dat de toetsvragen voor het begin van de cursus al klaar moeten zijn om vervolgens alle (voornamelijk) technische stappen in de toetscyclus nog uit te voeren werkt ook niet echt motiverend.

In het DAM project hebben we daarom bij het ondersteunen van docenten die voor het eerst een digitale toets gaan afnemen al snel na de start van het project van het toetscyclus-model overgestapt naar een 4-trap model, waar mogelijk wordt gemaakt om het leren en om te wennen en zo een goede overstap te maken van op papier naar digitaal toetsen (Schema 4).

Schema 4: 4-trap model voor de ondersteuning van de docenten bij overstap naar digitale toets

Stap 1: Motivatie definiëren Dit is een inventarisatie over wat precies de motivatie is om de toets digitaal te doen en welke meerwaarde mee wordt behaald. Het doel is ook om erachter te komen in hoeverre het design van de bestaande toets bij het vak als digitaal al kan. In het DAM project vroegen we de docent om een bestaande toets (bijvoorbeeld van vorig jaar) op te sturen.

Stap 2: Verkenning, experiment De vragen van de bestaande toets worden door de ondersteuning in de meest geschikte toetsapplicatie gezet en er wordt een “proef-toets” gemaakt. Experimenteel worden verschillende vraagtypen ingezet die een voordeel zouden kunnen hebben voor de docent. De docent bekijkt de proef-toets in de rol van

20

student. Op basis van deze ervaring wordt de toets verder ontworpen door de docent (type vragen, scenario afname). De afspraken worden gemaakt over:

a) welke ondersteuning is wenselijk bij de invoer van de toetsvragen in d etoetsapplicatie? (alle gradaties zijn hier mogelijk, van alles zelf invoeren tot volledig invoeren door de ondersteuningsgroep);

b) de tijdsplan wordt afgesproken waar rekening mee wordt gehouden met de nodige tests in de toetszaal.

Stap 3: Afname tentamen a) Voorbereiding van de toetsafname

De toets wordt aangemeld bij de ICTS zodat ze de gewenste image op de zaalcomputers kunnen voorbereiden. Intussen kan zonder stres verder gewerkt worden aan de ontwikkeling van de toetsvragen voor de definitieve toets.

b) Toetsafname in de digitale toetszaal De digitale toetszalen zijn modern ingericht en door de vloerbedekking is het rustig stil. Een digitale toets verloopt overzichtelijk. De docent kan de hele tijd monitoren hoe ver zijn studenten in de toets zijn gekomen. Hij/zij kan zien wanneer studenten de toets hebben ingeleverd en of ze alle vragen in de toets hebben geantwoord. Alle gesloten vragen zijn ook direct al automatisch nagekeken.

c) Nakijken, cijfers finaliseren Het nakijken kan verdeeld worden tussen meerdere docenten en resultaten krijgen een gezamenlijke verwerking met een toetsanalyse die bij evaluatie kan helpen.

Stap 4: Evaluatie Reflectie op het afgenomen tentamen. Met behulp van de toetsanalyse een vervolgplan maken voor het toetsen bij dat vak.

Dit model is gericht in verkenning over hoe de inhoud, didaktiek en digitale toetstool met elkaar samenwerken en hoe deze elkaar kunnen versterken. In elke stap wordt op maat ondersteuning gegeven. Het concept van de item banken met een beheer is in deze fase nog niet nodig. Dit kan later opgepakt worden. Met deze aanpak focust de docent in de kwaliteit van de gestelde vragen en in geschiktheid van een vraag om kennis op gewenst niveau digitaal te toetsen. In het vervolg kan dit met behulp van de eerste toetsanalyse nog verbeterd worden.

21

Samenvatting

In het DAM project wordt ondersteuning op maat gegeven zo dat de verantwoordelijke docent de regie over zijn/haar digitale toetsen de hele tijd kan behouden zonder dat hij/zij eerst met de toetsapplicatie zou moeten leren werken of zelfs naar een knoppencursus zou moeten gaan. Voor docenten worden “just-in-time” korte handleidingen met print screens gemaakt over specifieke handelingen. Dat werkt meestal sneller dan de ondersteuning voor te vragen (wat trouwens ook kan). Gaandeweg krijgt een docent meer inzicht in het werken met een toetsapplicatie en kan hij/zij de taken die hij/zij liever zelf wil doen volledig overnemen.

Bij het overstappen van op papier naar digitaal toetsen moeten de traditionele docent en zijn haar vak vaak beide veranderen. Om didactische meerwaarde te kunnen oogsten beantwoordt de docent voor zichzelf twee vragen: (1) “Waarom wil ik digitaal toetsen? en (2) “Wat is didactisch gezien de meerwaarde die ik hiermee in mijn vak wil bereiken?” Om deze stap te maken is tijd, ondersteuning en veilige omgeving nodig, en dit wordt gezien als een investering in de kwaliteit van het onderwijs. Bij de FNWI is bij het overstappen van papier naar digitaal een 4-trap model gebruikt waar de docent eerst zijn/haar eigen toets ervaart als student. Voor ondersteuning van de docenten is materiaal ontwikkeld, handleidingen, protocollen en checklisten die ook op een groetere schaal moeten kunnen werken. Er is Plaza Digital Assessment op Starfish gemaakt, http://starfish.innovatievooronderwijs.nl/information/586/ als een knooppunt waar alles bij elkaar komt over Digitaal toetsen.

6. Tevredenheid van docenten en studenten 6.1 Tevredenheid studenten Tevredenheid van studenten is gemeten met een evaluatie-enquête in EvASys. Bij tentamens die vanaf 18 april zijn afgenomen is er aan het eind een lijst vragen over de ervaringen met digitaal toetsen aangeboden. 180 studenten hebben de evaluatie ingevuld (Schema 5).

22

Schema 5: Respons per vak (totaal 180 studenten). De volledige uitwerking evaluatie is te vinden in Appendix 41

Hoewel het totale aantal studenten dat heeft gereageerd (180) op zich niet zo klein is, was het respons in percentage per toets klein, vooral bij de tweede toets bij een vak of bij hertentamens.

Van studenten die een enquête hebben ingevuld heeft 58.3 % gewerkt met Remindo (bij 7 toetsen) en 41.7 % met SOWISO (bij een toets). De verschillen in antwoorden tussen de twee toetsapplicaties zijn klein. We behandelen de resultaten hier overkoepelend. De resultaten per toets zijn te vinden in appendix 4.

Op de vraag: “Hoe heb je het gehele digitale toetsproces ervaren (nieuwe regels in toetszalen, computers zelf, inloggen enz.)”, hebben 56 % studenten in de enquête prettig tot zeer prettig ingevuld (av.=3.5, md=4, dev.=0.9, n=179 studenten). 12 % vond het onprettig en 2 % vond het zeer onprettig.

19 % van studenten heeft een technisch probleem tijdens het toetsen ervaren. 18 % (van 180) heeft nog niet eerder een digitale toets afgenomen. Geen van de technische problemen waren zo groot dat er iets mis zou gaan met de toets – geen toets is verloren gegaan. Deze problemen hebben hoogstens een kleine vertraging veroorzaakt, in meeste gevallen nog voor de start van de toets. Soms was er iets mis met een vraag – een plaatje niet helemaal goed zichtbaar. De meeste problemen werden al opgelost in de zaal.

Op de vraag: “Zou er bij meer vakken digitaal getoetst moeten worden?” is resultaat gemiddeld 3.0 (n=179, av.=3, md=3, dev.=1.3) (Schema 6). Studenten zijn hierover zeer verdeeld.

Schema 6: Zou er bij meer vakken digitaal getoetst moeten worden?

Studenten hebben in de evaluatie veel waardevol commentaar gegeven. Er waren veel technische tips. De meeste commentaar konden we goed herkennen – deze punten stonden ook op de zelfevaluatielijst. Er waren ook min of meer verrassende antwoorden die het denken van het kernteam verdiepten. Al het commentaar is in appendix 4 terug te vinden. De kritiek over internet Explorer komt vaak voor (niet altijd zo schreeuwend als hieronder onder de citaten). Internet Explorer is een keuze van de UvA. Team FNWI is met deze keuze ook niet erg blij.

1 Advanced statistics voor Analytical Chemistry 19 mei viel buiten de ondersteuning en is de evaluatie niet afgenomen. Bij Onderzoeksmethoden en Analyse van Wetenschappelijk Onderzoek op 24 mei was er een storing in Remindo en is een noodscenario gevolgd. De toets was op papier afgenomen, met schrapkaarten en met een antwoordblad. De vragen waren op het scherm in een nood-pdf document. De link naar de enquête stond per abuis in die pdf document. 4 van ca 120 studenten in de zaal hebben de enquête ingevuld. Ze waren alle vier ontevreden.

23

Hier een paar voorbeelden van feedback van studenten:

“Erg fijn om te kunnen typen inplaats van schrijven, dit zorgt ervoor dat het voor de nakijker altijd goed leesbaar is en er geen discussies kunnen ontstaan over wat er in ingevuld.”

“Het hangt er ook van af voor welk vak de toets is. Ikzelf vind het voor dit vak (collectieve intelligentie) prettiger om een digitale toets te hebben omdat het hele vak ook op de computer gedaan moet worden. Maar bij een meerkeuzetoets heb ik toch liever een papieren versie omdat ik dan makkelijker aantekingen kan maken.”

“Ik ben het niet eens met het geautomatiseerd nakijken van vragen. Op deze manier kunnen er geen punten worden geven voor het denkproces, want het kan niet beschreven worden bij het beantwoorden van de vraag omdat het antwoord dan per definitie fout is. Nakijken door een computer geeft alleen om het uiteindelijke antwoord, terwijl naar mijn mening de berekeningen en het denkproces naar het antwoord toe veel meer zeggen over de vaardigheden van de student.”

“Ik vind het plezierig om aantekeningen te maken op mijn tentamen blad en de belangrijke onderdelen in een vraag te kunnen onderstrepen. Dit kan niet op een computer waardoor ik soms over dingen heen lees.”

“ZORG VOOR ECHTE BROWSERS, INTERNET EXPLORER IS GEEN BROWSER!!!!!!!!!!”

Enkele groepen en individuele studenten hebben een digitale toets onder de toezicht van proctors gedaan. Bij deze evaluatie hebben we studenten niet specifiek naar de ervaring met proctoring gevraagd. Dat wordt in een aparte evaluatie gedaan in het kader van het project Surveillance op Afstand. De tevredenheid met proctoring wordt gemeten al sinds het starten van het Pre-master programma Information Studies. Bij de Pre-master bleek een overgrote meerderheid van studenten (ca 90%) hiermee tevreden te zijn. Maar niet iedereen wil mee doen en dat mag volgens Nederlandse wetgeving. Tussen 5 en 20 % studenten weigert proctoring op BYOD om redenen van privacy, bezwaren tegen extra software op eigen device, of vanwege andere bezwaren. Dat varieert per groep en per vak. Voor deze studenten wordt een work around aangeboden.

6.2 Tevredenheid docenten De evaluatie van docenten is gedaan onder de vakcoördinatoren die dit jaar digitaal hebben getoetst. 13 docenten is benaderd en ze hebben allemaal de evaluatie ingevuld. Hiervoor is er een online evaluatieformulier gebruikt (de uitwerking evaluatie is te vinden in Appendix 5). De evaluatie is afgenomen begin juni als alle docenten minstens een toets hebben afgenomen.

Motivatie om digitaal te gaan toetsen

Om erachter te komen wat de motivatie was voor het digitaal toeten hebben we docenten gevraagd om een, twee, drie of nul gewichtspunten te geven bij een lijst van mogelijke motivaties (tabel 1).

Tabel 1: Motivatie voor digitaal toetsen

Motivatie Totaal aantal punten

% van docenten die hieraan een gewicht geeft

Tijdbesparing bij nakijken 30 92 Het feit dat bij je toets studenten nog een ander computerprogramma nodig hebben

25 85

24

Papierbesparing 17 69 De mogelijkheid dat studenten zo sneller resultaten kunnen krijgen

17 69

Tijdbesparing bij de logistiek in de zaal 16 62 Tijdbesparing bij het voorbereiden van toetsafname 14 54 Tijdbesparing bij het ontwikkelen van toets 13 54

Alle deze motivaties hebben minstens van 7 docenten een gewicht gekregen. De tijdbesparing bij het nakijken is de grootste motivatie om digitaal te gaan toetsen: 7 docenten heeft hieraan 3 gewichtspunten gegeven. Alleen voor één docent was dit geen (voldoende) motivatie. Dat studenten nog een ander computerprogramma nodig hadden was voor 10 van 13 docenten een motivatie waarbij 5 docenten 3 gewichtspunten er voor heeft gegeven.

Ervaring met de digitale toetsapplicatie

3 docenten hebben Blackboard gebruikt, 3 SOWISO en 7 Remindo. Drie docenten hebben liever hun vragen zelf direct ingevoerd. De export van de resultaten met de toetsanalyse was geregeld door de ondersteuning. Voor de docenten die de antwoorden op de open vragen wilden exporteren om deze verder in een Excel file te analyseren is de functionaliteit van Remindo niet sterk genoeg geweest. Bij de opmerkingen in de enquête noemde een docent het volgende: “Remindo uitkomsten zijn niet even helder, statistiek ervan ook niet, voor docenten moet het helder zijn waarom sommige beslissingen in Remindo worden genomen. Suggesties door toetsdeskundige/Remindo deskundige over meer variatie in vragen zou verbetering zijn.” Het commentaar en wensen van docenten worden centraal verzameld bij het ICTS en doorgegeven naar de makers van Remindo (Paragin).

Op schema 7 is te zien wat voor waardering geven de docenten over de gebruiksvriendelijkheid van de toetsapplicaties. De docent die met de stelling “Ik vind het werken in de digitale toetstool prettig.” helemaal mee eens was en de docent die helemaal oneens was met de stelling hebben beide Blackboard gebruikt. Twee docenten die oneens waren met de stelling hebben Remindo gebruikt en een Blackboard. Alle drie docenten die SOWISO hebben gebruikt waren hierover neutraal.

Schema 7: Vraag 3: Beoordeel de volgende stelling: “Ik vind het werken in de digitale toetstool prettig”

Op de vraag of ze volgend jaar weer digitaal willen toetsen hebben 10 docenten ja gezegd. Over het digitaal toetsen ook bij andere vakken zijn ze meer terughoudend (Schema 9)

25

Schema 8: Vraag 8: “Wil je volgend jaar bij hetzelfde vak weer digitaal toetsen?”

Schema 9: Vraag 9 uit de enquête. 7.7 % = 1 docent

Schema 10: Vraag 10 uit de enquête. 7.7 % = 1 docent

26

Vijf docenten willen hun collega docenten aanmoedigen voor digitaal toetsen. De meest belangrijke reden voor het aanmoedigen van collega docenten is genoemd als:

• Dataverzameling, objectiviteit, tijdsbesparing, geen gepriegel meer hoeven te lezen. • Toenemend aantal studenten, nieuwe leermethodes, aanpassen op digitaal toetsen. • Ik werk voor een opleiding genaamd: 'Future Planet Studies' en digitaal toetsen scheelt heel veel

papier (en sjouwwerk). Het zou fijn zijn als er ook een computertentamenzaal op het Science Park komt.

• Ik vind digitaal toetsen minder foutengevoelig en het dwingt de docent extra goed naar de vragen te kijken

• tijdbesparing bij nakijken

De redenen waarom twee docenten een collega docenten niet willen aanmoedigen zijn genoemd:

• Omdat ik de meerwaarde nog steeds niet zie t.o.v. een invulformulier dat wordt gescaned. Digitaal toetsen kost veel meer tijd vanwege alle checks die uitgevoerd moeten worden en de abominable slechte toetstools in blackboard — ik weet niet of dat in Remindo ook zo is, maar ik hoor niet veel beters van andere docenten.

• hangt geheel af van het vak

De redenen om een collega misschien aan te moedigen om te gaan digitaal toetsen zijn: • Ik vond het prettig werken met prima ondersteuning • Niet iedere docent staat op voorhand open voor het idee/de investering - en bij slechts een deel

van de vakken is andere software nodig bij een toets • Tijdsinvestering neemt niet af met vaker toetsen • Iedere docent is verantwoordelijk voor zijn eigen vakken. • De UvA ondersteund het digitaal toetsen niet voldoende (de medewerkers wel) • Opstart(?)problemen rond digitaal toetsen leiden tot extra werk en verwarring/ontevredenheid

bij studenten (dat is dus negatief), maar ik heb ook toetsen gedaan die vrijwel probleemloos verliepen, en dat was ideaal. Een belangrijke overweging is toch ook gebruiksgemak (mbt bv item- en toetsontwikkeling).

Van vier docenten die met proctoring hebben gewerkt waren 3 mee tevreden en een was hierover neutraal.

11 ondervraagde docenten waren tevreden tot zeer tevreden met de ondersteuning, een was neutraal. Een docent (toetsapplicatie Blackboard) was ontevreden met de ondersteuning (schema 11). Haar commentaar was: “ondanks herhaaldelijk testen voorafgaand het tentamen waren er veel onverwachte problemen tijdens het tentamen; ondersteuning van IC (installeren van R packages, voorbereiding voor testen) was onvoldoende.”

27

Schema 11: Vraag 12 uit de docenten enquête

Bij de opmerkingen van de docenten wordt genoemd dat het een nadeel is dat er zo veel betrokken partijen zijn en dat hierdoor de voorbereiding meer tijd in beslag neemt dan gewenst en veel e-mails worden verstuurd. Ze vinden dat het efficiënter moet kunnen. Een checklist voor docenten is wenselijk. Een docent heeft voorgesteld dat de docent bij de digitale toets niet meer aanwezig hoeft te zijn.

Met vier docenten die aan deze enquête mee hebben gedaan is er een in diepte interview afgenomen over hun visie op digitaal toetsen (door Guusje Smit):

• André Heck: Het automatiseren van feedback scheelt veel werk (https://ictpioniersfnwi.wordpress.com/portfolio/andre-heck/)

• Emiel van Loon: We moeten straks iets kunnen met de techniek die nu in ontwikkeling is (https://ictpioniersfnwi.wordpress.com/portfolio/emiel-van-loon/)

• Maarten Marx: Geïnvesteerde tijd in digitaal toetsen, verdient zich gemakkelijk terug (https://ictpioniersfnwi.wordpress.com/portfolio/maarten-marx/)

• Raphael Poss: Gebruik internet tijdens tentamen opent een nieuwe wereld (https://ictpioniersfnwi.wordpress.com/portfolio/raphael-poss/)

Samenvatting Vanaf april 2016 is er een evaluatie enquête afgenomen bij elk tentamen. 179 studenten hebben meegedaan aan deze enquête. Een meerderheid van 56 % studenten is overkoepelend tevreden tot zeer tevreden met het proces van digitaal toetsen en 14 % studenten is mee ontevreden. 9 % studenten vond de navigatie in de toetsapplicaties niet duidelijk en 19% van studenten heeft een technisch probleem bij een digitale toets ervaren. 18% studenten had voor die toets geen ervaring met digitaal toetsen. Op de vraag: “Zou er bij meer vakken digitaal getoetst moeten worden?” is de mening zeer verdeeld: 11 % studenten is het hiermee helemaal mee eens, 15% is het hiermee mee helemaal oneens en 26% staat hier neutraal tegenover. Studenten hebben veel commentaar gegeven dat varieert van technisch ongemak (ongemak met een online rekenmachine) tot de zorg dat bij hun digitale toets het denkproces niet beoordeeld kon worden.

28

Alle 13 docenten (vakcoördinatoren) die digitaal hebben getoetst in 2015-2016 hebben een evaluatie ingevuld. Hun motivatie om digitaal te toetsen was meerzijdig en er was altijd meer dan een motivatie. 92% vond was de tijdbesparing bij het nakijken de grootste motivatie, terwijl de tijdbesparing bij het ontwikkelen van de toets voor 54% een motivatie was. De tevredenheid over de toetsapplicatie die ze hebben gebruikt is verdeeld tussen zeer tevreden tot zeer ontevreden waarbij de meeste docenten hierover neutraal zijn. Drie kwart van deze docenten wil volgend jaar weer zeker digitaal toetsen en zes van de 13 docenten ook bij andere vakken. Ze zijn terughoudend over het aanmoedigen van een collega docent. Vijf docenten wil dat zeker doen zes misschien en twee zeker niet. De meest belangrijke reden om collega docenten aan te moedigen om digitaal te gaan toetsen is de tijdbesparing bij het nakijken. Een overgrote meerderheid waardeerde de ondersteuning tijdens het project. De docenten hebben opgemerkt dat er nu te veel partijen bij het proces digitaal toetsen betrokken zijn wat veel e-mail verkeer veroorzaakt en dat het efficiënter moet kunnen.

29

7. Kosten en baten analyse In een white paper uitgegeven door SURF is een kosten baten analyse van digitaal toetsen gedaan (van Geloven, 2013 en 2014). De kosten voor een instelling over digitaal toetsen vallen in drie verschillende categorieën:

1. Initiële investeringen of opstart kosten – inrichting / verbouwing van de zaal, aanschaf hardware, aanschaf meubilair

2. Exploitatiekosten - de afschrijving van de investering, huur, onderhoud en beheer van de zaal, etc.

3. Structurele/jaarlijkse kosten voor softwarelicenties en ondersteuning.

Voor een instelling met 20.000 studenten, een toetszaal met 500 werkplekken en een toetsapplicatie is er een berekening gemaakt (van Geloven, 2014) dat dit 725.000 euro per jaar kost. Er staan baten tegenover. Hier wordt gekeken vanuit de perspectief van verschillende belanghebbende. In de genoemde publicatie (van Gelover, 2014) wordt de methode van kwaliteitsbriljant hiervoor gebruikt. Daarnaast zijn er ook financiële baten te noemen. De UvA heeft een sleutel gemaakt hoe de zalen worden doorberekend naar de gebruikers. De rekensom is ingewikkeld. Per student kost een digitale toets (technisch gezien) 7,60 euro. Dat is alleen voor de software en de computers, de inspanning van de docent en ondersteuning wordt hier niet meegeteld. Aan de andere kant wordt bij een goed ingericht digitaal toetsen proces de tijd van docenten gewonnen in vergelijking met de papieren toetsen (nakijken) en de tijd van de ondersteuning voor de organisatie van een toets ook.

7.1 Investeren in overstap van papier naar digitaal Om de kosten en financiële baten volledig te kunnen berekenen is er een vergelijking nodig van de inspanning van de docent en de ondersteuning bij een papieren toets en bij zijn digitale toets en te bekijken wanneer en voor wie winst te behalen is (voor docent, student of voor de organisatie). Het is nodig om te weten dat voor elke nieuwe toets die digitaal wordt afgenomen de volgende kosten zijn:

1. overstap van papier naar digitaal: (her)ontwerp van de toetsvragen en de toets met de herziening/check van constructive alignment van de cursus. Inrichten van de omgeving voor het vak en de accounts in de toetsapplicatie (eenmalig)

2. uploaden van vragen in de toetsapplicatie. (bij elke toets, behalve bij hele grote toetsitembanken) 3. toetsafname – klaar zetten van de toets, afname op locatie, nakijken, toetsanalyse (bij elke toets). 4. onderhoud van de vragenbank (vragen verbeteren po basis van de toetsanalyse) fine tunen van

constructive alignment

Het overstap van papier naar digitaal moet zorgvuldig gedaan worden en kan dan gezien worden ook als een lange termijn investering in de kwaliteit en efficiëntie waarbij de volgende twee vragen worden geantwoord: (1) “Waarom wil ik digitaal toetsen?” en (2) “Wat is didactisch gezien de meerwaarde voor het vak?” Je kunt het zien als twee vragen die een architect zich stelt bij een modern gebouw: (1) “Heeft dit gebouw een lift nodig?” en (2) “Wanneer/waarvoor zullen de bewoners de lift gebruiken als ze hun leven willen verbeteren?”

30

Het investeren in de digitale toetsontwerp zorgt ook voor het verbeteren van de technologie. De toetsapplicaties kunnen op dit moment nog niet alles wat we van hen willen maar als de wensen didactisch verantwoord zijn geformuleerd door de docenten en de noodzaak duidelijk is, is de kans groter dat de toetsapplicaties onder deze “druk” in de juiste richting gaan ontwikkelen.

Het is goed om elke overstap als een apart innovatieproject te zien. Deze kosten zijn een lange termijn investering. Ze moeten beter niet bij de kosten per afgenomen toets meegerekend worden.

De toetsafnames kunnen gestandaardiseerd worden volgens een aantal protocollen (per faculteit) op maat van docent/discipline/situatie om veilig en efficiënt te verlopen.

In de tabel hieronder is het aangegeven waar digitaal toetsen een meerwaarde mee kan brengen in vergelijking met een toets met pen een papier. Bij elke van deze punten is er een overweging nodig over baten en over kosten. De volgende tabel laat zien dat een aantal stappen bij papieren toetsen nu soms al digitaal verloopt. Betekent dit dat we meer digitaal toetsen dan we eigenlijk bewust van zijn? Ja, eigenlijk wel! Maar het kan nog veel meer en nog veel beter zodat didactiek, inhoud en technologie optimaal samenwerken en elkaar versterken.

Tabel 2: Vergelijking van processen bij papieren en digitale toets en mogelijke baten bij een digitale toets

Papieren toets Digitale toets 1 Ontwikkeling toets en toetsvragen Ontwikkeling toets en toets vragen - bewaren van vragen op papier, in een

la of een ordner - de toetsvragen worden digitaal verzameld en

georganiseerd. Organiseren en zoeken op verschillende manieren mogelijk. Goed overzicht van gebruikte tentamenvragen en vragen waar mee wordt geoefend in de les.

- Vragen op papier doorgeven naar een collega (die vak overneemt) of aan mededocent tijdens het vak of student assistent

- Alle docenten van het vak hebben (gecontroleerd) op elk moment toegang tot alle toetsvragen bij een vak. Overdracht van een toets (door ziekte) of het hele vak is soepel. Wisselende student assistenten kunnen sneller ingewerkt worden en overzichtelijk en efficiënt hun rol uitvoeren (ook tijdens de cursus).2

Lange termijn kwaliteitszorg en overdraagbaarheid naar nieuwe docent

2 Samenstellen van de toets Samenstellen van de toets handmatig vragen verzamelen Toetsvragen uit de item bank kiezen op papier uitwisselen met een peer en

feedback verwerken Digitaal toegang geven om feedback te geven. Direct aanpassingen en correcties van fouten mogelijk.

- Instellingen van de toets op maat kiezen waardoor een wenselijke berekening automatisch wordt gedaan bij het nakijken

2 De applicatie Tentamenlade (http://starfish.innovatievooronderwijs.nl/information/90/) die is ontwikkeld in een van ICTO projecten in SOWISO geeft de docenten de mogelijkheid om op verschillende manieren hun toets (opdrachten) materiaal digitaal kunnen organiseren en naar wens op papier of digitaal te gebruiken bij toetsen.

31

3 Afnemen van de toets Afnemen van de toets Logistiek van uitdelen en verzamelen in

de zaal Minder of bijna geen logistiek in de zaal: - geen uitdelen, geen verzamelen, geen aftekenen,

geen presentiecontrole, - wel identiteitscontrole en check dat de student bij

vertrek de toets heeft ingeleverd (eventueel registeren in een ander systeem – zo als CARD3)

- afname op verschillende locaties tegelijk - afname op afstand

- open resources (authentieker toetsen – gebruikt van vakinhoudelijke software)

open boek (mee nemen door student) - open resources (online beschikbaar) 4 Nakijken van toetsen Nakijken van toetsen - papier rompslomp

- handschrift lezen - (gedeeltelijk) automatisch of goed te lezen - taken verdelen tussen nakijkers en tussen vragen

- uitrekenen van punten - uitrekenen van het resultaat,

eindcijfer, cesuur - analyse is handmatig

- automatisch optellen van punten - automatische toetsanalyse om zwakke punten in de

toets direct op te sporen en eventuele correcties overwegen

5 Drager Drager Papier

- opberg in kasten - veplaatsting naar andere lokacties - kast moet veilig zijn - archivering

Cloud - opberg in item banken en online toets - overal beschikbaar - cloud moet veilig zijn - online archivering

6 Ondersteuning Ondersteuning - afhankelijk van de grote van de groep

- ontwikkelen en analyse door toetsdeskundigen (wenselijk)

- afname (alleen bij grote groepen) - analyse (alleen bij grote groepen)

- bij alle groepen (bij enkele stappen voor iedereen noodzakelijk ivm rechten in het systeem)

- ontwikkelen en analyse door (digitale)toetsdeskundigen (wenselijk)

- opzet (noodzakelijk: inrichting itembank, vak, rechten verdelen)

- ontwikkeling (noodzakelijk en op maat, just-in-time) - en voorbereiding afname - analyse als advies (wenselijk)

In tabel 2 is aangegeven welke baten er kunnen zijn. Om sommige baten ook echt te benutten is er een aanpassing van de werkwijze bij toetsen nodig van alle docenten die bij een vak betrokken zijn anders kan het niet werken. Een verandering is vaak nodig en daar is tijd voor nodig en een mogelijkheid om een en ander uit te proberen.

7.2 Tijdinvestering nodig voor een toets Zo als eerder vermeld kost overstap van papier naar de eerste digitale toets tijd en dat is een lange termijn investering. Deze tijd moet daarom niet (direct) meegeteld worden in de tijd nodig voor een standaard digitale toets. De didactische ondersteuning hoeft bij de berekening van kosten niet meegeteld worden,

3 CARD: http://starfish.innovatievooronderwijs.nl/glossary/342/

32

dit is ook bij een papieren toets nodig bij een vernieuwing. Een gemiddelde tijdinvestering voor de technische ondersteuning van een digitale toets in het project was:

Tabel 3: Tijdinvestering voor technische ondersteuning van een digitale toets

Actie (per digitale toets) Tijd Rol van ondersteuner Verzamelen gegevens over de toets van de docent en uit Datanose en het aanmelden van de toets bij ICTS

1 uur contact persoon voor ICTS (rechten: beheerder toetsapplicaties)

Invoer van nieuwe vragen in de toetsapplicatie (alleen upload meestal MC vragen, de vragen worden geleverd door de docent)

2-4 uur technische ondersteuner (samenwerken of docent doet het zelf)

Ondersteuning bij gebruik van de toetsapplicatie 0-3 beheerder toetsapplicaties Toets itembanken beheer; beheer gebruikers (docenten rechten toekennen en aanmaken demo-studenten

1 uur beheerder toetsapplicaties

Samenstellen van de toets en klaar zetten voor het testen door de docent en peers

1 uur technische ondersteuner

Technische tests: op computer, op locatie Leuwenburg en in de digitale toetszaal

3 uur (+ 2.5 uur voor de reistijd)

technische ondersteuner of beheerder toetsapplicaties, aanwezigheid van docent

Inplannen afname en toegang regelen voor studenten, checken voorblad en noodscenario (work around)

1.5 uur beheerder toetsapplicaties

Toetsafname in de digitale toetszaal inclusief de laatste test (voor een toets van 180 minuten)

4 uur (+ 40 min. voor de reistijd)

beheerder toetsapplicaties aanwezigheid van docent

Export data en analyses 1-2 uur beheerder toetsapplicaties

Totaal 12,5 – 19,5 plus reistijd 3,3 uur

Reductie tijd Bij meer efficiënt testen van toetsen en op basis van meer opgebouwde ervaring minder technische testen

4-6 uur en geen reistijd

beheerder toetsapplicaties

De tijd gegeven in tabel 3 is verdeeld over ca 8 weken en komt in een peak aan het eind bij de toetsafname in de zaal.

Aan het begin van het DAM project kostte technische ondersteuning nog veel meer tijd (minstens halve dag per week gemiddeld per toets voor technische zaken). In het begin was het namelijk nodig om voor alle studenten nog accounts aan te maken en veel nog handmatig invoeren in het systeem. Om voor een serie van toetsen goed te weten in welke stap van de toetscyclus deze zich op elk moment bevinden om ze te kunnen ondersteunen zijn goede overzichten onmisbaar. Deze handmatig maken kost veel tijd met steeds het risico dat informatie intussen veranderd is. We hebben veel tijd gewonnen door de overzichten via Datanose te automatiseren (verbinden met de roosterinformatie), met de tegel Tentamenbureau en

33

de monitoring tools erin. Hierdoor is een opschaling van de activiteiten al direct mogelijk. Er zijn plannen om nog meer stappen te (semi)automatiseren door toetsapplicaties en Datanose te koppelen en het overzicht van werkzaamheden zo nog verder te verbeteren.

Er is aan de efficiency kant nog steeds veel te winnen. Vooral het vele testen waar samenwerking met de UvA centraal nodig is kost nu nog veel tijd, ook i.v.m. veel reistijd naar de toetslocaties. Het gaat hier om de tijd van de docent én de tijd van de ondersteuning want zeker aan het begin moeten beide aanwezig zijn. Dat is in het eerste jaar heel hard nodig geweest en we konden hiermee grote technische problemen helemaal voorkomen. Mettertijd moet dat efficiënter en met minder testen vooraf kunnen. De docent hoeft zo niet bij alle tests zijn. Dat dit zo gaat zagen we al bij de hertentamens. Ook is het denkbaar dat de docent en/of ondersteuning alleen bij de opstart van de toets aanwezig zijn. Het UvA beleid is dat de ICTO ondersteuning tijdens de toets in de zaal aanwezig moet zijn omdat de computer werkplek ondersteuners niks over de toetsapplicaties weten en omdat de docent niet voldoende rechten in de toetsaplicatie heeft. Bij deze aanpassing van de workflow is nog 4-6 uur per toets verdeeld over ca 8 weken nodig inclusief de nodige onderhoud (meta data) van de toetsapplicatie. Dit maakt de opschaling van digitaal toetsen nu al mogelijk. Nog meer automatisering, met name bij de toetsen voor grote groepen studenten en met grotere itembanken en nog meer koppelingen met Datanose kan deze tijd nog meer inkorten. Een optie is ook dat de docent helemaal niet (of niet de hele tijd of alleen op afstand) bij een digitale toets aanwezig hoeft te zijn. We merken dat sinds studenten met hun UvAnetID kunnen inloggen bijna geen ondersteuning in de zaal meer nodig is en dat ook geen andere acties zijn die werkplek ondersteuning niet zou kunnen doen of die niet op afstand zouden kunnen. De toetsapplicatie beheerder zou zo op afstand kunnen ondersteunen. Bovendien doen we dit nu al bij de toetsen met proctoring en de ervaringen zijn goed.

34

Samenvatting In verschillende stappen van het toetsproces, van het ontwerpen van de toets t/m nakijken en analyse kan een digitale toets een voordeel hebben tegenover een papieren toets. Ook is d.m.v. digitaal te toetsen een hogere kwaliteit van toetsen te winnen. Aan de andere kan zijn er bij digitaal toetsen ook vaste kosten, bijvoorbeeld voor de software licenties, software beheer en voor de onderhoud van digitale toetszalen en de computers. Volgens een berekening die bij verschillende universiteiten in Nederland wordt toegepast is dit ca 7.60 euro per afgenomen digitale toets. Dit zegt niet hoeveel de digitale toets kost in vergelijking met de toets die bij hetzelfde vak op papier zou afgenomen worden. Om kosten en baten in kaart te brengen is het nodig om niet alleen naar financiële kosten te kijken maar ook naar de tijdinvestering van de docenten en de ondersteuning. Bij grote groepen kan de besparing van de tijd van docenten bij een betere kwaliteit substantieel groot zijn.

Het overstap van papier naar digitaal kost extra tijd en dit moet gezien worden als een lange termijn investering in de kwaliteit van onderwijs. Het moet zo niet direct meegeteld worden in de kosten van een toets. Pas in opvolgende jaren wordt de winst behaald. Ook het eerste jaar toetsen bij een instelling is een investering in vele tests. Mettertijd is zoveel testen niet meer nodig. Aan het begin in november 2015 koste een toets technisch nog tussen 15-20 uur, nu kan dat al in 4-6 uur. Met meer automatisering (koppeling met Datanose) is aan efficiëntie nog meer te winnen.

8. Aandachtspunten In het afgelopen jaar is op het gebied van digitaal toetsen bij de FNWI veel gedaan en er is nog veel inspanning nodig. Een student heeft in de evaluatie opgemerkt: “Digitaal toetsen staat in praktijk nog in de kinderschoenen.” Dat klopt maar de kinderschoenen zijn tegenwoordig ook meer echte schoenen dan vroeger. Er blijven ook nog een aantal aandachtspunten over hoe het gebruik van digitaal toetsen te vergroten. Bijvoorbeeld vanuit een UvA Programma Digitaal Toetsen wordt de informatie hierover naar het hoogste management bij de faculteiten gestuurd. Dit werkt niet altijd goed omdat het nog steeds niet duidelijk is wie bij de faculteiten de eigenaar is van digitaal toetsen en wie met die informatie dan verder moet. In plaats van te helpen de lokale gevoel van eigenaarschap te versterken, lopen de UvA acties op hoger niveau vaak parallel in plaats van samen met de acties van de lokale ondersteuning.

De rol van de opleidingsdirecteur bij digitaal toetsen is nog niet voldoende duidelijk. De vakcoördinator beslist nu of er een toets digitaal wordt afgenomen op basis van persoonlijke motivatie en roostert de toets in. In verband met de kosten van een digitale toets en het overstap en ook de inspanning van de docent die hiervoor nodig is, is de betrokkenheid van een opleidingsdirecteur hier relevant en gewenst. Hierbij moeten we niet vergeten dat de kostenberekening van digitaal toetsen en van het gebruik van digitale toetszalen ingewikkeld is en dat de organisatie met vele betrokken personnen de toetscyclus verlengt en nu veel e-mail verkeer veroorzaakt.

Een lastige punt is een grote complexiteit van de toetsapplicaties. De docent mag niet alles zelf doen en een beginnende docent kan dit ook niet. De ondersteuners moeten regelmatig met een toetsapplicatie

35

werken om expertise in te behouden en deze verder te ontwikkelen in verband met de upgrades. Er is een minimum aantal ondersteunend personeel nodig om voor elkaar op elk moment te kunnen invallen. Bij te weinig toetsen kan dat (per toets gerekend) duur zijn.

Een aandachtspunt blijft de ondersteuning van de afname van een tentamen in de zaal. Het UvA beleid in 2015 was dat ICTO-ondersteuning een uur voor de start en gedurende elke toets aanwezig moet zijn in de zaal. Technisch gezien heeft een docent voldoende rechten in het systeem om bij voldoende ervaring zelf een tentamen te starten, monitoren en afronden. De vraag is alleen of dit wenselijk is en wanneer is het mogelijk.

Na een toets kunnen veel waardevolle data uit het systeem geëxporteerd worden voor de toetsanalyse. De data die zo uit systeem komen zijn niet altijd in een gewenst format en een docent kan in het systeem ook niet zelf bij. Een directe koppelingen met de Datanose en automatisatie kunnen hier veel verbetering op dit punt brengen.

9. Conclusies In het afgelopen academisch jaar zijn bij de FNWI 37 digitale toetsen afgenomen in drie verschillende toetsapplicaties (Remindo, SOWISO en Blackboard) met in totaal 2287 betrokken studenten. De meeste toetsen zijn afgenomen bij de vakken in bachelor en bij grote groepen studenten. Alle toetsen zijn technisch gezien succesvol afgerond. De meerderheid van studenten is tevreden. Over het idee om het digitaal toetsen bij meer vakken te introduceren is de mening van de studenten sterkt verdeeld. Bijna alle betrokken docenten waren met het digitaal toetsen heel tevreden. Dit heeft de docenten voornamelijk veel nakijktijd bespaard en hen in staat gesteld snelle feedback naar studenten te geven.

Voor het veilig en kwaliteitsvol digitaal toetsen is een goede infrastructuur en de ondersteuning nood-zakelijk. Voor de uitvoering van elke digitale toets in de digitale toetszaal is de samenwerking met de UvA centrale diensten noodzakelijk. Dit zorgt dat de toetsen in de digitale zaal technisch beschikbaar zijn voor studenten en dat deze veilig worden afgenomen. Voor het veilig toetsen buiten de digitale toetszalen is proctoring (surveilleren van digitale toetsen op afstand) gebruikt, met name bij specifieke gevallen wanneer studenten moeilijk naar de locatie konden komen of als de digitale zaal niet beschikbaar was.

De ondersteuning van digitaal toetsen bij de FNWI tijdens het DAM project kan beschreven worden met vier verschillende rollen:

• Overkoepelende Coördinatie Digitaal Toetsen bij de FNWI • Kwaliteitszorg digitale toetsen en didactische ondersteuning bij de overstap van papieren toets

naar een digitale toets • Beheer toetsapplicaties • Technische ondersteuning

De betrokkenheid van een beheerder van toetsapplicaties is noodzakelijk bij elke toets die wordt afgenomen.

Voor de overstap van op papier naar digitaal toetsen is aan docenten ondersteuning gegeven. In dit project is er een 4-trapsmodel gebruikt. Een van de stappen in dit model was een “proef-toets”, experimenteren met een bestaande toets van het vak. Dit hielp de docenten om eerst de antwoorden op

36

twee vragen helemaal duidelijk te hebben voordat ze de definitieve stap hebben gezet naar de ontwikkeling van het eerste digitale tentamen: (1) “Waarom wil ik digitaal toetsen? en (2) “Wat is didactisch gezien de meerwaarde die ik hiermee in mijn vak wil bereiken?” Al bij het hertentamen was meestal de besparing van de tijd merkbaar.

Voor docenten is in dit project ondersteunend materiaal gemaakt, checklists en protocollen. Op Starfish is er een centrale knooppunt Plaza Digitaal Assessment gemaakt. Dit is een online plein waar ervaringen uitgewisseld kunnen worden en waar al ondersteunend materiaal bij elkaar komt. Op Plaza zijn ook 10 vragen voor de docenten te vinden die hen kunnen helpen de motivatie en meerwaarde van digitaal toetsen voor zichzelf goed te definiëren. http://starfish.innovatievooronderwijs.nl/information/586/ Met het afnemen van de toetsen in 2015-2016 is veel geleerd om het toetsproces in het volgend academisch jaar nog efficiënter te kunnen maken.

10. Aanbevelingen 1. Voortzetten van de huidige situatie. De toetsen die in de afgelopen jaar zijn afgenomen nog optimali-

seren en nog efficiënter af te nemen (o.a. door middel van automatisering van processen, in samen-werking met Datanose). De aanpakken die volgens de evaluatie goede vruchten hebben opgeleverd voortzetten.

2. Opschaling voortzetten in drie richtingen: Richting 1: bachelorvakken, eerstejaarsvakken, en vakken met grote groepen studenten ook in hogere jaren van bachelor laten overstappen naar de digitale toets. o Toetsen met meerkeuzevragen die nu op schrapkaarten worden afgenomen in combinatie met

open vragen allemaal omzetten in een digitale toetsomgeving (Remindo of SOWISO). Mogelijkheden voor andere typen gesloten vragen onderzoeken.

o Bij grote groepen studenten (nu geen meerkeuzevragen) per geval onderzoeken over de mogelijke keuze van gesloten vragentypen in combinatie met open vragen te gebruiken om dezelfde leerdoelen te toetsen. Keuze maken over de tool - bij wiskundig georiënteerde vakken en docenten die LaTex graag gebruiken voor formules naar SOWISO kijken.

Richting 2: Bij vakken die gebruik maken van software (statistische software, modelleer software zo als MatLab, etc.) de toetsen in een digitale tool aanbieden in combinatie met de software om hiermee de logistieke winst te behalen (per geval kijken of dat Remindo of SOWISO en/of een toets met proctoring de beste keuze is) Richting 3: In hogere studiejaren en masters bij vakken waarbij met een digitale toets meer flexibiliteit voor student en docent te winnen is en in de kwaliteit (logistiek is bij kleinere groepen minder een issue). Hierbij denken aan het stimuleren van mogelijke verbeteringen van de functionaliteit van de toetsapplicaties die nu nog niet aanwezig is.

3. Voortzetten van het team voor de ondersteuning van digitaal toetsen met vier verschillende rollen: • Overkoepelende coördinatie digitaal toetsen • Kwaliteitszorg digitale toetsing en didactische ondersteuning bij het overstap naar digitale

toetsing • Beheer toetsapplicaties • Technische ondersteuning

37

Zorgen dat altijd minstens twee personen bij de faculteit een beheerdersrol in de toetsapplicaties hebben en voor elkaar zo nodig op elk moment kunnen invallen (om het toetsproces niet in gevaar te brengen door een menselijke factor). Op tijd het team opschalen, met name wat betreft technische zaken zodra het blijkt dat het nodig zal zijn (hierbij denken aan een hele steile leercurve bij het werken met de toetsapplicaties).

4. Werkzaamheden om digitaal toetsen uit te voeren bij het Tentamenbureau positioneren om digitaal toetsen hiermee te integreren met het algemene toetsproces en zo alle stappen in de toetscyclus mee nemen.

5. Investeren in kwaliteitsvolle overstap van papier naar digitaal waar per geval wordt gekeken naar de baten en de kostenbesparing. Bij elke nieuwe toets is eerst een verkenning door de docent(en team) nodig en een experiment (proef-toets) dat het beste in het vorm van een (kort) vernieuwingsproject verloopt (met financiering).

6. Per opleiding digitaal toetsen in het toetsbeleid opnemen (in het (toets)jaarplan van opleiding opnemen).

7. Op facultair niveau een visie maken over de schaal van gewenste uitbreiding van toetsings-mogelijkheden i.v.m. kosten (o.a. kosten van proctoring) en de tijd die nodig is voor het overstappen van papier naar digitaal.

8. Examencommissies er bij betrekken om over specifieke punten van digitaal toetsen na te denken en zich uit te spreken over:

• Proctoring (bijzondere gevallen, hertentamens, afwijkende tentamens) • Veiligheid van toetsen in algemeen en de bijzonderheden over digitaal toetsen

9. Digitale formatieve toetsing stimuleren bijvoorbeeld met het doel om flipped classroom onderwijs ontwerp te ondersteunen en kennisachterstanden individueel door studenten flexibel weg te werken. Dit is ook de beste weg naar digitaal summatief toetsen toe.

10. Een authentieke computer/software opstelling zo als in de digitale toetszaal is op het Science Park regelen. Dat zal veel tijd van docenten en ondersteuning besparen om de toetsen te testen.

11. Literatuur 1. Dochy, F., & Segers, M. (2001). Using information and communication technology (ICT) in

tomorrow’s universities and using assessment as a tool for learning by means of ICT. UInformation and Communication Technology in Tomorrowʼs Universities (pp. 67-83). Portland Press.

2. Draaijer, S. (2016) Supporting Teachers in Higer Education in Designing Test Items, Disertation Vrije Universiteit Amsterdam.

3. Van Geloven, M (2013), Toetsing en toetsgestuurd leren: Kosten en baten van digitaal toetsen, Quickscan, SURF. (https://www.surf.nl/binaries/content/assets/surf/nl/kennisbank/2013/Quickscan+Kosten+en+baten+van+digitaal+toetsen.pdf, laatst bezocht 17 juni 2016)

4. van Geloven, M. (2014) Whitepaper De businesscase van digitaal toetsen, SURF. (https://www.surf.nl/binaries/content/assets/surf/nl/kennisbank/2014/whitepaper-de-businesscase-van-digitaal-toetsen.pdf, laatst bezocht 17 juni 2016)

5. Lane, S., Raymond, M.R., Haladyna, T.M. Eds. (2015) Handbook of Test Development, Routledge.

38

6. Nicol, D. J., Macfarlane-Dick, D. (2006) Formative assessment and self-regulated learning: a model and seven principles of good feedback practice, Studies in Higher Education, 31: 2, 199 — 218. Link: DOI: 10.1080/03075070600572090 URL: http://dx.doi.org/10.1080/03075070600572090 (laatst bezocht 8 mei 2016)

7. Mazur, E. (2015) Assessment, the Silent Killer of Learning – video link https://www.youtube.com/watch?v=6sY7UJCYbNg

8. Sietses, L. (2016) Whitepaper Online proctoring, SURFnet. URL: https://www.surf.nl/binaries/content/assets/surf/nl/kennisbank/2016/whitepaper-online-proctoring_webversie.pdf (laatst bezocht 4 juli 2016).

9. Vlasblom, J. Red. (2016) Thema-uitgave: Innovaties in digitaal toetsen. Toetsen als integraal onderdeel van het leerproces. SURFnet, april 2016. (Link: https://www.surf.nl/binaries/content/assets/surf/nl/kennisbank/2016/thema-uitgave-innovaties-in-digitaal-toetsen_webversie.pdf, laatst bezocht 8 mei 2016)

10. de Werk. J., van Geloven, M. Romijn M., (2016) Werkboek veilig toetsen, Hulpmiddel om het toetsproces veilig in te richten, SURFnet. (https://www.surf.nl/binaries/content/assets/surf/nl/kennisbank/2016/werkboek-veilig-toetsen-webversie.pdf, laatst bezocht 24 juni 201)

39

Appendices