adviesrapport project beveiliging e-assessment faculteit

Adviesrapport

project beveiliging e-assessment

faculteit Diergeneeskunde

Renske Belt

faculteit Diergeneeskunde

Onderwijs- en Studentenzaken

Utrecht, 12 juni 2013

Adviesrapport beveiliging e-assessment, faculteit Diergeneeskunde, juni 2013

2

Inhoudsopgave

Samenvatting

1. Inleiding

1.1 Achtergrond

1.2 Probleemstelling

1.3 Doelstelling

1.4 Opbouw

2. Project beveiliging e-assessment

2.1 Betrouwbaar afnemen van toetsen

2.2 Ongeoorloofde acties

2.3 Veiligheidsrisico’s

2.4 Technische knelpunten

2.5 Overige bevindingen

3. Tot slot

3.1 Conclusie

3.2 Voorstel

Nawoord

Bijlagen

Begrippenlijst


3

Samenvatting

Het voornemen is om toetsen in de bacheloropleiding diergeneeskunde digitaal in plaats van

schriftelijk af te nemen. Een belangrijk aspect hierbij is het op een betrouwbare wijze afnemen van

summatieve toetsen.

Op het gebied van technische veiligheid is er getest met een nieuw ontwikkeld image op een usb-

stick om de toetsomgeving op de laptop af te schermen. Er is beperkt getest met monitoren en log

gegevens om ongeoorloofde acties te detecteren. Studenten van de faculteit Bètawetenschappen

hebben meegewerkt aan het in kaart brengen van de technische veiligheidsrisico’s.

Uitgangspunt is een toetsafname met behulp van een webbased toetsprogramma op de laptop van

de student via het draadloos netwerk.

Het voortzetten van het project op basis van de huidige randvoorwaarden heeft als consequentie

dat:

• het image op de usb-stick en het detectiesysteem verder moeten worden ontwikkeld;

• er aandacht nodig is voor de rol en opleiding van surveillanten;

• het functioneel ontwerp verder moet worden uitgewerkt;

• permanent onderhoud en service plaats moet vinden ten aanzien van het image op de usb-stick

en het detectiesysteem.

Uit de tests komt naar voren dat er extra veiligheidsrisico’s zijn bij digitaal toetsen op

bovengenoemde wijze. Er zijn minimaal vijf veiligheidsrisico’s en in dit stadium van het project

worden ongeoorloofde acties van studenten soms wel en soms niet opgemerkt door surveillanten

en/of monitoren/log gegevens.

Daarnaast zijn nog enkele technische knelpunten: het opstarten met de usb-stick is laptop afhankelijk

en duurt lang en de draadloze internetverbinding lijkt onbetrouwbaar.

Het is mogelijk om een aantal veiligheidsrisico’s en ongeoorloofde acties in te perken en frauderen te

bemoeilijken of te voorkomen door als ‘beveiliger’ steeds een stap voor de ‘fraudeur’ te blijven en de

rol van de surveillant te vergroten. Dit vereist continue expertise en tijd in het aanpassen van het

image op de usb-stick en het detectiesysteem.

Het is echter onmogelijk het draadloos netwerkverkeer af te sluiten en daarmee onmogelijk om ieder

risico van fraude uit te sluiten.

Het afnemen van summatieve digitale toetsen op de laptop van de student met usb-stick via een

draadloos netwerk verbinding en het detectiesysteem zal niet kunnen resulteren in een volledig

beveiligde toetsomgeving.

Voor de technische knelpunten is een aantal oplossingen gedefinieerd. Echter, de grote diversiteit

aan laptops maakt standaardisatie onmogelijk en veroorzaakt een gevoel van onzekerheid over de

gedefinieerde oplossingen.

Voorstel is een nadere inventarisatie uit te voeren ten aanzien van hardware, software en een

bedraad netwerk om vast te stellen welke andere mogelijkheden er zijn om toetsen volledig veilig af

te kunnen nemen. Daarnaast zal nader bekeken moeten worden in welke mate we aan andere

veiligheidsaspecten en maatregelen kunnen voldoen. Het is gewenst het project te vervolgen in

nauwe samenwerking met de projectgroep digitaal toetsen van de Universiteit Utrecht.


4

1. Inleiding

1.1 Achtergrond De faculteit Diergeneeskunde heeft het voornemen zowel formatieve als summatieve* toetsen in de

bacheloropleiding diergeneeskunde digitaal af te nemen in plaats van schriftelijk. Er zijn daarom drie

projecten opgestart.

Project laptop

Het project heeft er toe geleid dat eerstejaarsstudenten bij aanvang van het academisch collegejaar

verplicht zijn om in het bezit te zijn van een laptop. De laptop moet voldoen aan door de faculteit

gestelde minimum eisen. Er is ook een uitgebreid draadloos netwerk aangelegd. Dit project is

afgerond.

Project e-assessment

Het project richt zich op het digitale toetsprogramma en de organisatie/logistiek van het digitaal

afnemen van toetsen. Dit project loopt nog.

Project beveiliging e-assessment

Het project heeft als doel de veiligheidsaspecten die een rol spelen bij het afnemen van digitale

toetsen in te vullen zodat het mogelijk is summatieve digitale toetsen op een betrouwbare wijze af te

nemen. Dit project is een pilot voor de Universiteit Utrecht.

Dit verslag vloeit voort uit het laatstgenoemde project.

In december 2012 is besloten om met behulp van een usb-stick met daarop een te ontwikkelen

image* invulling te geven aan het technische veiligheidsaspect. De student stopt bij aanvang van de

digitale toets de usb-stick in de laptop, zet de laptop aan en vervolgens zal via de usb-stick de laptop

worden opgestart. Het image op de usb-stick zorgt ervoor dat de toetsomgeving is afgeschermd; de

student heeft bijvoorbeeld geen toegang tot het internet.

Daarnaast is gekozen voor een systeem van detectie van fraude; op een monitor tijdens de toets-

afname en door analyse van log gegevens na de toetsafname worden ongeoorloofde handelingen

gedetecteerd. Aan deze handelingen worden sancties verbonden.

1.2 Probleemstelling Uitgangspunt is dat digitale toetsen op de laptop van de student worden afgenomen en dat er via het

draadloos netwerk een verbinding wordt gemaakt met de server waarop de toets wordt

aangeboden. De studenten mogen geen gebruik maken van andere data dan voor de toets is

toegestaan, hetgeen betekent dat de toetsomgeving desgewenst afgeschermd moet worden van

internet en data op de laptop van de student. Om digitale toetsen summatief af te nemen zal een

beveiligde en betrouwbare toetsafname moeten worden gecreëerd zodat fraude kan worden

voorkomen.

Kan een usb-stick met image en een systeem van detectie een oplossing bieden? Of gaan we op zoek

naar alternatieven.

1.3 Doelstelling Om een antwoord te kunnen geven op de vraag in de probleemstelling zal vastgesteld moeten

worden:

• of en in welke mate fraude kan worden tegengegaan;

• of het toepassen van een usb-stick met image en een systeem van detectie een technisch

adequate oplossing is.


5

Om bovengenoemde vast te stellen is in februari een kleinschalige en in maart een grootschalige

formatieve digitale toets afgenomen op de laptop van de student via het draadloos netwerk en met

de usb-stick met image. De toetsen zijn tests. De projectleden zullen observeren en er wordt een

evaluatie onder de studenten uitgezet na afronding van de toets in maart. Studenten van de faculteit

Bètawetenschappen worden aangetrokken om ongeoorloofde acties uit te voeren tijdens de toets in

maart en om onze technische beveiligingsoplossingen op de proef te stellen.

In bijlage 1. een overzicht van de gemaakte kosten bij de tests.

1.4 Opbouw Dit verslag geeft inzicht in genoemde problematiek en doet een voorstel over het vervolg van het

project beveiliging e-assessment. Daarnaast dient dit verslag als informatie voor de projectgroep

digitaal toetsen van de Universiteit Utrecht in het kader van universiteitsbreed digitaliseren van

toetsen en andere geïnteresseerden.

In paragraaf 1 staat een korte toelichting op ‘betrouwbaar afnemen van een digitale toets’. In

paragraaf 2 en 3 komen ongeoorloofde acties en veiligheidsrisico’s aan bod. In paragraaf 4 en 5

worden de technische knelpunten en overige bevindingen genoemd. Daarna volgt een samenvatting,

conclusie en ten slotte een voorstel.

Bij sommige woorden in het verslag staat een asterix*. Dit betekent dat het woord is opgenomen in

de begrippenlijst .

De bijlagen bij dit verslag dienen als aanvullende informatie.

Meer aanvullende documentatie zoals verslagen van project overleggen, rapportages van de tests en

van de studenten van de faculteit Bètawetenschappen, concepten van het functioneel en technisch

ontwerp staan op een gezamenlijke uniteamsite van de projectleden.


6

2. Project beveiliging e-assessment

2.1 Betrouwbaar afnemen digitale toets Het voornemen is om formatieve en summatieve toetsen in de bacheloropleiding diergeneeskunde

digitaal in plaats van schriftelijk af te nemen. Deze verandering heeft op meerdere gebieden

consequenties voor het afnemen van toetsen. Het project beveiliging e-assessment is gefocust op het

beveiligd en betrouwbaar afnemen van summatieve digitale toetsen en fraude* door studenten

tegen te gaan.

Het tegengaan van fraude en minimaliseren van risico’s is mogelijk door het inbouwen van

veiligheidsaspecten op verschillende gebieden. In het projectplan van Rob van den Heuvel,

projectleider digitaal toetsen van Universiteit Utrecht, is een model opgenomen waarin een aantal

gebieden genoemd staan waarmee rekening gehouden kan worden. In het project beveiliging e-

assessment is tot nu toe aandacht voor het technische veiligheidsaspect; het afschermen van de

toetsomgeving op de laptop van de student met behulp van een usb-stick met image en het beperkt

monitoren van handelingen van studenten op de laptop.

Het onderwerp fraude komt regelmatig aan de orde tijdens overleggen met de projectleden.

Daarover is samengevat het volgende gezegd:

• frauderen is niet voor 100% tegen te gaan;

• als frauderen aantrekkelijk en/of de motivatie om te frauderen aanwezig is, bijvoorbeeld omdat

het gemakkelijk is door fraude een toets te halen, dan ontstaat er automatisch vraag naar

frauderen;

• het veiligheidsaspect bij digitaal toetsen lijkt onder een vergrootglas te liggen, bij het schriftelijk

afnemen van toetsen zijn er immers ook mogelijkheden om te frauderen die nauwelijks onder de

aandacht worden gebracht;

• frauderen bij digitale toetsen lijkt (in een aantal specifieke situaties) beter te camoufleren dan bij

schriftelijke toetsen, omdat het ongrijpbaar is.

Daarnaast zijn er ook andere maatregelen om fraude tegen te gaan, zoals:

• student aanspreken op professioneel gedrag (ethiek, integriteit, moraal);

• sancties aanscherpen en/of (extra) communiceren;

• een gevarieerd toetsprogramma aanbieden zodat het niet mogelijk is voor een student om een

aanzienlijk deel van of de bacheloropleiding in zijn geheel frauduleus te doorlopen;

• zorgen voor een beperkt aantal vaste, reeds opgestarte computers in de toetsomgeving ;

• studenten willekeurig bij een toets indelen op een vaste computer of laptop;

• door middel van statistische analyse achteraf aan de hand van monitorgegevens, bij ontdekken

of vermoeden van frauduleuze handelingen, de betreffende student bij volgende toetsen indelen

op aanwezige vaste computers;

• het regelmatig wijzigen van de image op de usb-stick.

In het vervolg van het project beveiliging e-assessment is het belangrijk om met de

veiligheidsaspecten en genoemde maatregelen rekening te houden en op te nemen in een plan van

uitvoering.

2.2 Ongeoorloofde acties Welke veiligheidsrisico’s zijn er bij het via het draadloos netwerk afnemen van digitale toetsen op de

laptop van de student en met gebruikmaking van de usb-stick met image?


7

Een aantal studenten van de faculteit Bètawetenschappen hebben hiertoe een tweeledige opdracht

gekregen om een antwoord te krijgen op deze vraag.

In deze paragraaf een toelichting op de eerste opdracht. In de paragraaf hierna een toelichting op de

tweede opdracht.

Eerste opdracht: maak kennis met de wijze waarop de faculteit Diergeneeskunde toetsen digitaal

afneemt en verricht vervolgens tijdens de formatieve toets (op 7 maart) ongeoorloofde acties.

De faculteit Diergeneeskunde creëert een normale toetssetting en detecteert ongeoorloofde acties.

Zie bijlage 2. voor een overzicht van ongeoorloofde acties door studenten van de faculteit

Bètawetenschappen .

Hieronder volgen de conclusies op basis van de observaties bij de formatieve toets op 7 maart 2013:

• De surveillanten merken een aantal, maar niet alle ongeoorloofde acties op.

Enkele voorbeelden van niet opgemerkte ongeoorloofde acties:

o smokkelen van een usb-stick uit de toetsruimte;

o spiekbrief onder de laptop;

o veelvuldig opstarten van de laptop, omdat de student contact maakt met een andere

student buiten de toetsruimte.

Enkele voorbeelden van wel opgemerkte ongeoorloofde acties:

o geen usb-stick in de laptop van de student aanwezig;

o geen vermelding van naam/studentnummer op het scherm van de laptop;

o student is in een ander scherm bezig.

• In het logbestand van het detectiesysteem is een aantal maar niet alle ongeoorloofde acties

terug te vinden. Er zijn eveneens afwijkingen geconstateerd bij gegevens van studenten die niet

ingezet zijn om ongeoorloofde acties uit te voeren.

Een voorbeeld van een niet gedetecteerde ongeoorloofde actie:

o een student buiten de toetsruimte heeft de toets gemaakt van een student in de

toetsruimte met behulp van een naar buiten gesmokkelde stick.

Enkele voorbeelden van gedetecteerde ongeoorloofde acties:

o er staat een spatie voor het eerste serienummer, hetgeen duidt op virtualisatie;

o student stuurt fake informatie; dit is een hack.

NB: deze conclusies zijn op basis van een beperkt aantal monitor gegevens. Voorafgaand aan de

toets is besloten om veiligheidsredenen voorlopig geen keylogs* te registreren. De detectie van

fraude via monitoren moet verder ontwikkeld worden om een echte uitspraak te kunnen doen over

de effectiviteit.

In bijlage 3. staat een overzicht met daarin per student van de faculteit Bètawetenschappen of en

hoe de ongeoorloofde actie is opgemerkt.

Uit het bovenstaande komt een aantal aandachtspunten naar voren die in het plan van uitvoering bij

het vervolgen van het project beveiliging e-assessment moeten worden opgenomen:

• verder uitwerken van het functioneel ontwerp;

• aandacht voor de instructie en opleiden van surveillanten;

• het verder ontwikkelen van detectie via monitoren tijdens en na toetsafname.

2.3 Veiligheidsrisico’s Naast de opdracht in de vorige paragraaf hebben de studenten van de faculteit Bètawetenschappen

een tweede opdracht gekregen. De opdracht was onderzoek of er fundamentele knelpunten zijn ten

aanzien van het veilig afnemen van digitale toetsen bij de gekozen opzet; via het draadloos netwerk


8

afnemen van digitale toetsen op de laptop van de student met gebruikmaking van de usb-stick met

image.

Uit het onderzoek dat de studenten van de faculteit Bètawetenschappen hebben gedaan blijkt dat er

minstens vijf methoden van fraude zijn waarbij de gekozen opzet te omzeilen is en detectie niet of

nauwelijks mogelijk is:

1. het maken van een directe verbinding via het draadloos netwerk met iemand buiten de

toetsruimte (“de lus”);

2. wijzigingen aanbrengen in het BIOS*;

3. wijzigingen aanbrengen in de kernel*;

4. virtualisatie*;

5. aanbrengen van hardware veranderingen* in de laptop waardoor de usb-stick een andere

connectie maakt, of door een router* in te bouwen.

Bijlage 4. bevat een korte toelichting per methode van fraude.

Dit betekent dat er extra veiligheidsrisico’s zijn bij het digitaal afnemen van een toets, op de laptop

van de student met de usb-stick en via het draadloos netwerk, in vergelijking met het schriftelijk

afnemen. Alhoewel het gevoel onder projectleden leeft dat een student van de bacheloropleiding

diergeneeskunde op deze manier niet snel fraude zal (kunnen) plegen, kan het risico niet uitgesloten

worden.

Bovendien houdt het ook in dat we moeten investeren in expertise en tijd om het image van de usb-

stick en het detectiesysteem regelmatig verder te ontwikkelen om fraude tegen te gaan. Overigens is

dit laatste ook nodig om in te spelen op de voortdurende ontwikkelingen in hardware waarmee de

diversiteit aan laptops toeneemt.

2.4 Technische knelpunten Er zijn twee formatieve digitale toetsen afgenomen op de laptop van de student, via het draadloos

netwerk en met gebruikmaking van de usb-stick met image. De toetsen waren tests; bevindingen en

observaties van betrokkenen en een evaluatie onder alle deelnemers hebben veel informatie

opgeleverd.

Op het gebied van de techniek zijn er drie categorieën te benoemen die tot problemen hebben

geleid gedurende de tests:

1. opstarten van de usb-stick via de BIOS* duurt lang en is laptop afhankelijk;

2. de draadloze internetverbinding in relatie tot de laptop van de student is onbetrouwbaar;

3. het usb-stick image is onvolledig.

Bijlage 5. bevat per categorie een samenvatting van de onderliggende knelpunten.

Per categorie is/zijn er oplossing(-en) gedefinieerd die in het plan van uitvoering opgenomen kunnen

worden:

1. installeren van een boot loader* op de laptop van de student (nagaan welke operating systems

er zijn, opstellen boot menu per operating system, plaatsen juiste boot menu op laptop student,

aanpassen instructie student);

2. een aparte netwerkkaart toepassen of combineren van netwerkkaart en usb stick als

gezamenlijke tool (bepalen welk type netwerkkaart de student moet aanschaffen, wifi-netwerk

en usb-stick image zo goed mogelijk afstemmen op dit type, onderzoeken wat de kosten zijn van

wifi-kaart en usb-stick en gecombineerde kaart) en/of het access point ‘UU-conference’*

gebruiken als een dedicated netwerk* met verbinding naar het toetsprogramma (nagaan wat de

mogelijkheden zijn om UU conference te gebruiken) en/of extra usb-wifi-sticks*;

3. verder uitwerken van het technisch ontwerp en ontwikkelen van de usb-stick met image.


9

Let wel: de ontwikkelingen op het gebied van hardware en de toenemende diversiteit aan laptops

hebben tot gevolg dat er blijvend geïnvesteerd moet worden in expertise en tijd om een boot loader

te installeren op laptops. Wat mogelijk ook een rol speelt bij deze oplossing is de beleving van de

student en het feit dat de faculteit ‘aan’ de laptop van de student zit. Mocht de student zelf de keuze

worden gegeven wel of niet de boot loader te installeren, blijft het risico bestaan dat het opstarten

met de usb-stick voor problemen zorgt tijdens de toetsafname.

De grote diversiteit aan laptops maakt standaardisatie onmogelijk en veroorzaakt een gevoel van

onzekerheid over de gedefinieerde oplossingen.

2.5 Overige bevindingen Zoals gezegd hebben de tests veel informatie opgeleverd, ook op onderdelen die niet direct te

maken hebben met de betrouwbaarheid van het afnemen van een toets en thuishoren in het project

e-assessment. Het kunnen ook bevindingen zijn die bijvoorbeeld wel te maken hebben met

veiligheidsaspecten maar niet direct van invloed zijn op het te geven advies.

De bevindingen zijn onder te verdelen in verschillende categorieën, zoals:

• de instructie aan studenten en het opleiden van surveillanten;

• het voorbereiden en de nazorg van de toetsafname;

• het proces van toetsafname;

• de locaties;

• het toetsprogramma;

• de communicatie.

Bijlage 6. bevat een overzicht van de overige bevindingen.

Uit de evaluatie onder de deelnemers aan de test bij de formatieve digitale toets van 7 maart 2013,

zie bijlage 7., blijkt bovendien dat er een groep studenten is die de voorkeur geeft aan het schriftelijk

maken van een toets.

Bij het vervolgen van de projecten is het van belang deze bevindingen mee te nemen.


10

3. Tot slot

3.1 Conclusie Kan met een usb-stick met image en een systeem van detectie een beveiligde en betrouwbare

toetsafname worden gecreëerd? Of gaan we op zoek naar alternatieven?

Uitgangspunt is een toetsafname op de laptop van de student via het draadloos netwerk.

• Ongeoorloofde acties van studenten zullen soms wel en soms niet worden opgemerkt.

• Er blijven veiligheidsrisico’s bestaan.

• Er ontstaat een wedloop tussen beveiliger en fraudeur waardoor permanente ontwikkeling van

het image en het detectiesysteem nodig is.

• Het opstarten met de usb-stick duurt lang en is laptop afhankelijk, het is onzeker of dit oplosbaar

is.

• De draadloze internet verbinding in relatie tot de laptop van de student is onbetrouwbaar, het is

onzeker of dit oplosbaar is.

• Usb-stick image en detectiesysteem van fraude is onvolledig en behoeft aanvullende expertise en

tijd voor het verder ontwikkelen.

Het afnemen van summatieve digitale toetsen op de laptop van de student met usb-stick via een

draadloos netwerk verbinding en het detectiesysteem zal niet kunnen resulteren in een volledig

beveiligde toetsomgeving.

Voor de technische knelpunten is een aantal oplossingen gedefinieerd. Echter, de grote diversiteit

aan laptops maakt standaardisatie onmogelijk en veroorzaakt een gevoel van onzekerheid over de

gedefinieerde oplossingen.

3.2 Voorstel Het voorstel is om een nadere inventarisatie uit te voeren om vast te stellen welke andere

mogelijkheden er zijn om toetsen volledig veilig af te kunnen nemen, ten aanzien van:

• Hardware:

o mogelijkheden onderzoeken om te voorkomen dat de student veranderingen aan kan

brengen in de hardware;

o aan welke specificaties moet een ander device dan de laptop van de student voldoen als

daar alleen webbased toetsen mee worden afgenomen en welke kosten zijn hieraan

verbonden.

• Software:

o mogelijkheden onderzoeken om er voor te zorgen dat de student de digitale toets in een

afgeschermde omgeving kan maken (bijvoorbeeld met behulp van lockdown browser*),

een inschatting maken van de kosten en indien nodig ontwikkeltijd.

• Draadloos netwerk:

o kunnen we een bedraad netwerk faciliteren, over welke voorzieningen beschikken we al

en wat zijn de aanvullende kosten.

De faculteit Diergeneeskunde heeft daarbij expertise van de centrale ICT dienst nodig.

Naast het technisch veiligheidsaspect zijn er andere veiligheidsaspecten en maatregelen die we

kunnen treffen om digitale toetsen betrouwbaar af te nemen, zie daarvoor paragraaf 2.1. Er zal

nader bekeken moeten worden in welke mate we aan andere veiligheidsaspecten en maatregelen

kunnen voldoen.


11

De Universiteit Utrecht is inmiddels ook gestart met een universiteitsbreed project digitaal toetsen

en heeft expertise aangetrokken op het gebied van betrouwbaar afnemen van digitale toetsen. De

bedoeling is in nauwe samenwerking met Universiteit Utrecht het project voort te zetten.

De faculteit Diergeneeskunde zal nagaan in hoeverre het mogelijk is een alternatieve oplossing uit te

voeren als pilot in samenspraak met het universiteitsbrede project van de Universiteit Utrecht.


12

Nawoord

De afgelopen maanden hebben medewerkers van de faculteit Diergeneeskunde en de Universiteit

Utrecht zich ingezet om de resultaten te bereiken genoemd in dit verslag. Graag wil ik deze mensen

hier noemen en bedanken voor al hun inspanningen.

De projectleden van het project beveiliging e-assessment: Stephan van Duren, Jan Haarhuis, Antonie

van Harteveld, Lennart Herlaar, Hans Koeslag, Chris van de Lest, Willeke Veltman en Anneke

Wijnalda.

Enkele medewerkers van de faculteit Diergeneeskunde betrokken bij de tests: Marc de Roos, Kelly

Stolk en Ronald Zwart.

Ook dank aan de studenten van de faculteit Bètawetenschappen: Tom Bannink, Selene Broers,

Damaz de Jong, Jasper Klein, Arno Pol, Tom Tervoort en Abe Wits.

Van dit project heb ik veel geleerd. Onder andere op het gebied van het betrouwbaar afnemen van

een digitale toets en wat daar allemaal bij komt kijken. Maar het meest heb ik opgestoken van mijn

rol als coördinator van dit project. Ik wil graag hier twee punten vermelden.

Na een periode van hectische voorbereidingen op een test en de spanning van de test zelf kwam een

periode van bezinning en terugkijken en verwerken van alle opgedane ervaringen. Tijdens de tests

ging natuurlijk veel goed maar niet alles liep op rolletjes. En uit de observaties kwamen nogal wat

problemen naar voren. Soms zorgde dit voor een gevoel van teleurstelling. Ik denk achteraf dat dit

inherent is aan een project dat met een nieuwe ontwikkeling bezig is. En gelukkig zijn er daarna altijd

weer momenten waarop de puzzelstukjes op de juiste plek vallen.

Wat ik daarnaast tijdens het project geleerd heb is dat je als coördinator meerdere stappen vooruit

moet denken. En dat het goed is om al aan het begin van een project na te denken over het einde.

Zetten we nu de juiste stappen om straks een juiste conclusie te trekken?

Volgens mij hebben we dat gedaan.

Renske Belt

Coördinator project beveiliging e-assessment


13

Bijlagen

Bijlage 1:

Een overzicht van gemaakte kosten

Bijlage 2:

Een overzicht van ongeoorloofde acties door studenten van de faculteit

Bètawetenschappen

Bijlage 3:

Een overzicht met daarin per student van de faculteit Bètawetenschappen of en

hoe de ongeoorloofde actie is opgemerkt

Bijlage 4:

Een korte toelichting per methode van fraude

Bijlage 5:

Per categorie een samenvatting van de onderliggende knelpunten

Bijlage 6:

Een overzicht van de overige bevindingen

Bijlage 7:

Een evaluatie onder de deelnemers aan de formatieve digitale toets van

7 maart 2013


14

Bijlage 1:

Een overzicht van gemaakte kosten

USB-sticks

• 10 x usb stick Staples, eerste versie image op stick (week 21 januari 2013):

totaal € 69,00 ex BTW.

• 20 x usb stick Staples, tbv 1e test op 5 februari 2013 (week 28 januari 2013):


• 225 x usb stick Flashbay uniek genummerd, t.b.v. test op 7 maart:


• 12 x wifi usb stick (987133 Logilink WLAN USB 2.0 nano adapter 150) t.b.v. test 7 maart:

12 x € 6,60 ex BTW.

totaal inclusief BTW € 95,83.

Test 5 februari 2013

• medewerking studenten van de faculteit Bètawetenschappen en en de faculteit Diergeneeskunde

10 x € 10 boekenbonnen voor test op 5 februari 2013:

totaal € 100,00.

• Surveillant

1 x surveillant: 2 uur.

Test 7 maart 2013

Planning 13-15 surveillanten. Instructie voorafgaand: 13 tot 15 x 2 uur: 26 tot 30 uur.

Urendeclaratie studenten van faculteit Bètawetenschappen

Inclusief inloopsessies op 25, 26 en 27 februari en extra individuele afspraken.

115 uur, tarief per uur: € 18.44, totaal: € 2120,60.


15

Bijlage 2:

Een overzicht van ongeoorloofde acties door studenten van de faculteit

Bètawetenschappen

Ongeoorloofde acties door studenten de faculteit Bètawetenschappen

Smokkelen van usb-stick uit de toetsruimte, opstarten met deze usb-stick en maken van de toets

buiten de toetsruimte van een student in de toetsruimte.

Maken van een toets van een student in een andere toetsruimte door virtualisatie; het is mogelijk

de toets 'over te hevelen' naar een andere locatie/webbrowser* (student start in toetsomgeving

en stuurt gegevens door en de ontvanger vult de toets in).

Maken van een toets van een andere student en vervolgens je eigen toets maken.

Verkrijgen van toegang tot internet en eigen bestanden tijdens de toets via eigen script dat alles

nabootst.

Afbeelden van een 'nep' scherm op de laptop; simuleren toets door middel van powerpoint.

Chatten (bijvoorbeeld: uitwisselen ip-adressen) met een student in een andere toetsruimte of

buiten de toetsruimte.

Inloggen in TestVision als verkeerde student en de toets maken.

Spieken via een vooraf op de laptop voorbereide spiekbrief tijdens de toets.

Spieken met een 'ouderwetse' spiekbrief onder de laptop.

Spieken door te kijken op het scherm van je buurman.


16

Bijlage 3:

Een overzicht met daarin per student van de faculteit Bètawetenschappen of en

hoe de ongeoorloofde actie is opgemerkt

Naam USB

nr

Ruimte Bevindingen over

surveilleren

Bevindingen uit log

Klein, Jasper 108 C102 Surveillant heeft opgemerkt

dat student met een ander

scherm bezig was.

USB-serial niet OK, solisid

Hack poging student stuurt fake

info (Ipaddressen iSerial)

Jong, Damaz

de

124 CLZ

138

Student was er niet, is niet

door surveillant genoteerd op

de deelnemerslijst.

Tervoort, Tom 15 4 Surveillant heeft opgemerkt

dat op het scherm van de

student niet de naam/student

nr staat.

Student heeft twee keer wifi

verbinding gemaakt.

Wits, Abe 35 8 Surveillant heeft opgemerkt

dat er geen usb stick in de

laptop zat.

Extra file op stick.

Bannink, Tom 36 22 Surveillant heeft niets

opgemerkt.

Virtualisatie, er staat een spatie

voor het eerste serienummer.

Broers, Selene 18 8 Surveillant heeft niets

opgemerkt.

3 keylogs (sticknummer staat

niet in database).


17

Bijlage 4:

Een korte toelichting per methode van fraude

Kernprobleem Korte omschrijving Oplossing

1

Maken van een directe verbinding

via het draadloos netwerk met

iemand buiten de toetsruimte

(“de lus”).

Indien goed voorbereid kan een

student in de toetsruimte

informatie naar iemand buiten de

toetsruimte sturen. Degene

buiten de toetsruimte kan

vervolgens de toets maken en

terugzenden.

Vaste computers en die

van tevoren opstarten in

toetsomgeving. Fraude

bemoeilijken door:

moeilijk maken van het

terugsturen van beelden,

rol van de surveillant

vergroten.

2 Aanbrengen wijziging in BIOS.

De communicatie tussen

besturingssyteem en hardware

verloopt bij het opstarten anders

dan beoogd. Hierdoor kan de

beveiliging via de USB stick

worden omzeild.

Detectiemogelijkheden

blijven ontwikkelen,

continu updates van

software op usb-stick

maken (kan niet

geautomatiseerd!).

3 Aanbrengen wijziging in kernel.

Door kernelwijzigingen aan te

brengen kan via het

besturingssysteem bijvoorbeeld

ongemerkt verbinding worden

gemaakt met harde schijf of het

web


blijven ontwikkelen,

continu updates van

software op usb-stick

maken (kan niet

geautomatiseerd!).

4 Virtualisatie.

Een ander besturingssysteem kan

de besturing overnemen.


blijven ontwikkelen.

5a

Aanbrengen hardware

veranderingen in laptop waardoor

usb-stick een andere connectie

maakt.

Door het solderen van een andere

connectie met de USB poort kan

de USB beveiliging worden

omgeleid



5b Inbouwen router.

Vrij in- en uitgaand

netwerkverkeer is hiermee

mogelijk waardoor toetsvragen

makkelijker kunnen worden

beantwoord.




18

Bijlage 5:

Per categorie een samenvatting van de onderliggende knelpunten

1. Opstarten met usb-stick via de BIOS duurt lang en is laptop afhankelijk.

• BIOS afhankelijke instellingen:

o opstarten met usb op Mac werkt niet;

o handeling nodig bij booten is verschillend per laptop;

o instellingen moeten worden aangepast voordat het werkt;

o lastig uitleggen one-time-boot-key, precies op juiste moment (veelvuldig) drukken;

o laptop boot niet direct op usb-stick;

o laptop doet anders dan bij instructie (andere boot-key);

o extra op ‘enter’ drukken verschillende bootmenu’s;

o menu’s bij opstarten onduidelijk, bijv: menu geeft geen usb-stick optie, Staples kiezen en

meldingen over certificate en opstart/herstelmelding, met ‘systeem herstel’ herstellen;

o het opstartmenu bij toets is anders dan bij instructie (oorzaak: gebruik andere usb-sticks;

‘sleutel’ terwijl studenten ‘Staples’ verwachten in het boot menu).

• Usb-stick in verkeerde poort/verschilt per laptop.

• Intensieve ict ondersteuning nodig /veel incidenten/hulp nodig bij opstarten en inloggen

TestVision.

2. Wifi/draadloze internetverbinding is onbetrouwbaar.

• Verbinding komt niet tot stand of duurt lang of is instabiel (verbinding gaat verloren):

o meerdere pogingen nodig om verbinding te maken;

o verbinding naar Testvision.nl gaat sloom;

o tijd tussen opstart wifi en opstart TestVision duurt lang;

o verificatie duurt lang;

o meeste laptops maakten verbinding met 2.4 GHz ipv 5 GHz.

• Worden de juiste drivers geladen?

• Worden instellingen gewijzigd door usb-stick: na afloop problemen om op wifi (Eduroam) te

komen.

3. Usb image is nog onvolledig.

• Geen of onjuiste drivers (stuurprogramma’s voor hardware):

o vraag rijst: kan laptop stuk gaan bij gebruik usb-stick;

o laptop loopt warm of werkt niet met hardware wifi schakelaars (Clevo);

o muis werkt niet;

o verwisselen toetsenbordfuncties (cijfers in plaats van letters, numlock springt aan).

• Algemeen probleem / onbekende oorzaak:

o usb-stick stuk/werkt niet meer na herhaald opstarten;

o hoort bij beveiliging: bepaalde zaken zijn te gebruiken (ctrl-alt-del, drive beschrijfbaar,

terminal openen);

o er verschijnt foutmelding.

• Opstartscript is conceptversie:

o beginscherm (vóór) TestVision is verwarrend, daar staat dat er geen toets klaar staat

terwijl dat wel het geval is als je doorklikt op ‘hier om… (TestVision)’ (dit is het scherm

dat door het script wordt getoond als het solisid niet klopt), kwam voor als solisid onjuist

was ingevuld (case sensitive);

o type/taalfouten en klein lettertype naam student en studentnr.


19

Bijlage 6:

Een overzicht van de overige bevindingen

Instructie Respons

Surveillanten beter instrueren/voorbereiden/opleiden, ook op veiligheidsaspecten 17

Duidelijk vermelden [email protected] 4

Duidelijke startcommando’s; start opstarten, start toets 3

Wifi smartphone uit en in tas, CD-rom moet leeg zijn 3

In computerleerzaal andere instructie nodig dan in andere zalen 2

Afspraken maken over geluid laptop aan/uit 2

Plaatjes in instructie opnemen met correct ingevulde instellingen/schermen 2

Kladpapier, flesjes, appelschillen op tafel wel/niet 2

Laptop pas aan na instructie 1

Bij problemen hand omhoog afspreken

1

Voorbereiding/nazorg toets

Organiseren reserve usb-sticks (wifi), reserve laptops en accu’s, briefjes op deuren 4

Gereedmaken ruimte kost meer tijd dan bij huidige toets, bijv. computers uitzetten in

CLZ, microscopen opruimen

4

Uitvoeren controle op functioneren reserve laptop, laptop deed het niet 1

Nazorg kost tijd, bijvoorbeeld microscopen weer terugzetten 1

Proces

Onduidelijkheid over afsluiten 8

Afspraken maken over uitdelen/ophalen/bewaren usb-sticks met/zonder surveillant 7

Afspraken over ID pas controle/ ID scherm controle 7

Uitdelen, ophalen en in de gaten houden usb-sticks kost tijd/aandacht, minder aandacht

voor andere zaken

4

Wat als student geen opgeladen accu heeft, laptop het niet doet 3

Wanneer is de docent, waar en hoe vragen beantwoorden bij zoveel locaties 3

Intensieve surveillance nodig 3

Afspraken maken over plek/wijze waarop omgaan met, student als laptop niet doet en

hij/zij naar CLZ gaat

2

Afspraken maken over toetreden/verlaten toetsruimte 2

Afspraken maken over wat als student te laat komt 1

Vermijden dat studenten elkaar gaan helpen bij bijvoorbeeld opstart 1

Hoe communicatie tussen locaties 1

Wat als er iets fout gaat, bijvoorbeeld verbinding Eduroam 1

Locatie

Onhandige indeling van de ruimte, zaalindeling belangrijk 4

Collegezaal is lastig voor surveillant om op scherm te kijken 3

Contact tussen locaties/met docent organiseren 2

1


20

Collegezaal is lastig te verlaten, over de stoelen klimmen 1

TestVision

Juist instellen begin- en eindtijd toets/resterende toets tijd te kort 4

Opmerkingen van allerlei aard; inloggen op scherm, wachtwoorden, vinden van

startknop, opslag antwoorden, te klein scherm, TestVision schermen. Ook vaak positief

25

Communicatie aan studenten

Studenten van te voren opgeladen accu 2

Studenten van te voren instrueren dat bestanden op laptop ververst moeten zijn, kost

tijd

NB: cursief gedrukte bevindingen zijn gerelateerd aan veiligheidsaspecten.


21

Bijlage 7:

Een evaluatie onder de deelnemers aan de formatieve digitale toets van

7 maart 2013

Samenvatting studentenquête laptop project

Respons

Vraag 13: Graag vernemen we je ervaring met de digitale toets 44%

Zat op pc van faculteit en het opstarten daar ging goed (ik heb nl. een mac) 10

Problemen met verbinden wifi/server was overvol waardoor ik moest wachten 7

Toetsenbord deed vreemd, numlock stond aan (en kon daardoor niet mijn wachtwoord

invoeren)

4

Inloggen duurde lang, maar het is gelukt 4

Liever toets op papier want ik kan het moeilijk lezen van het scherm (lettertype te klein) 2

Liever toets op papier want dat vind ik fijner 2

Opstarten met usb-stick lukte niet/ging moeilijk 2

Te weinig mensen die konden helpen met pc problemen 1

Andere opties te zien in het boot lock scherm dan geoefend 1

Firefox crashte meerdere keren tijdens de toets 1

Op formulier melden dat je bij het opstarten op ESC moet drukken 1

Liever toets op papier want ik kan me moeilijk concentreren door het scherm 1

Eerste usb-stick werkte niet en door de tweede stick kan ik mijn computer niet meer

opstarten

1

Niet alle stof van de toets was reeds behandeld, kon er niet serieus aan werken 1

Als ik via de usb-stick probeer op te starten gaat het licht van mijn beeldscherm uit

waardoor ik niets meer zie

1

Ik heb geen enkel probleem gehad met het opstarten en maken van de toets 1

Duidelijke uitleg en begeleiding, het systeem werkte goed voor mij 1

Laptop gaf in het boot menu 2 mogelijkheden aan voor de usb-stick 1

Nadat ik de test had aangeklikt kreeg ik een wit scherm 1

Vraag 14a: Geef je mening over: de instructie bij de test 78%

Redelijk tot goed 39

Matig tot slecht 6

Surveillanten hadden weinig tot geen technische kennis 5

Surveillant was onvriendelijk 5

Rommelig 3

Onduidelijk hoe ik moet inloggen (wat moet ik met soliscom) 2

Aan instructie toevoegen welke keuze je moet klikken in het boot menu 2

Onduidelijk wanneer ik mijn laptop mocht opstarten 2

Te weinig hulp aanwezig 1

De aanwezige (technische) hulp was goed 1

Uitstekend 1

Duidelijk door aanwezige instructie op papier 1

Vraag 14b: Geef je mening over: het proces in het algemeen 78%

Redelijk tot goed 27


22

Matig tot slecht, chaotisch/rommelig 13

Ik maak liever een toets op papier, digitale methode vind ik niet fijn 11

Matig tot slecht, veel studenten hadden (opstart) problemen 10

Surveillant was onvriendelijk 4

Surveillant was te streng/ te serieus 3

Surveillanten hadden weinig tot geen technische kennis 2

Usb-stick werd voortijdig door surveillant uit laptop gehaald, daardoor crashte mijn

laptop

2

Niet alle stof van de toets was reeds behandeld, kon er niet serieus aan werken 1

Goed dat er eerst mee geoefend wordt 1

Vervelend dat er geen stopcontacten waren 1

Duidelijk door aanwezige instructie op papier 1


23

Begrippenlijst

Access point ‘UU-conference’

Een access point is een toegang tot internetverbinding. UUconference is de naam van een netwerk

dat bedoeld is voor UU conferentiegasten en die de gasten beperkte internetfaciliteit geeft. Dit

netwerk gaat spoedig verdwijnen.

BIOS Het Basis Input Output System. Het is een bibliotheek met een set basisinstructies voor de

communicatie tussen het besturingssysteem en de hardware. Tijdens het opstarten van een pc,

wanneer het besturingssysteem nog niet geladen is, is dit ook de enige software die beschikbaar is.

Wanneer een computer wordt gestart, wordt eerst de Power-On Self Test (POST) in het BIOS

doorlopen. Als alles in orde lijkt, roept het BIOS vervolgens de bootloader aan (meestal door de

eerste sector van een aanwezige harde schijf te lezen). Dit opstarten wordt 'booten’ genoemd: de

bootstrap-routines in het BIOS zijn de eerste stap waarmee de computer zichzelf start.

Dedicated netwerk Het netwerk waarmee je werkt.

Image Een image is een computerbestand waarin een exacte kopie van een opslagmedium, zoals een

harde schijf, een cd of een dvd, is opgeslagen. Het bevat alle informatie die nodig is om de

structuur en gegevens van het medium opnieuw te construeren, zoals de bestanden, de

bestandsstructuur en meta-informatie. Een image verschilt hierin met een gewone back-up waarbij

alleen de bestanden worden overgenomen.

Hardware veranderingen Veranderingen in de ICT devices door het toevoegen, verwijderen of veranderen van tastbare ICT

componenten.

Formatieve toets

Bij een formatieve toets ga je na hoe de student er voor staat en wat er nog aan gedaan

moet worden. Dit zijn toetsen die voor de (zelf)evaluatie zijn. Testen van de actuele

kennis of tot dan toe geleerde vaardigheden.

Dit kan ook een ingangstoets zijn: formatieve toets vooraf aan een vak of deel van het

onderwijs om benodigde basiskennis te evalueren.

Gericht op de ontwikkeling van het leren / zelfstudie.

Formatief: feedbackdoel.

Fraude

In de bachelor onderwijs- en examenregeling 2012-2013 staat in artikel 5.14 Fraude en plagiaat:

Onder fraude en plagiaat wordt verstaan het handelen of nalaten van een student waardoor een juist

oordeel over zijn kennis, inzicht en vaardigheden geheel of gedeeltelijk onmogelijk wordt.

Kernel De hoofdcomponent van het besturingssysteem. Het verbindt de applicatie met de fysieke

dataverwerking (CPU, geheugen etc.).

Keylogs Een vastlegging van de toetsaanslagen.

Lockdown browser


24

Software die moet voorkomen dat je het internet buiten de toetsomgeving bezoekt.

Router Verbindt computernetwerken.

Summatieve toets

Een summatieve toets heeft de functie een oordeel over de kennis en vaardigheden van

een student uit te spreken. Dit zijn toetsen die meetellen als (eind)beoordeling.

Summatief beoordelen heeft meestal als doel het kwalificeren of certificeren van de student. Tijdens een leertraject kan een summatieve toets zijn gepland om bijvoorbeeld

tot een hoger jaar van een opleiding te worden toegelaten.

Summatief: beoordelingsdoel.

Usb-wifi-sticks Hardware (usb-stick) waarmee je gelijk over het draadloos netwerk beschikt.

Virtualisatie Er zijn verschillende softwareoplossingen beschikbaar waarbinnen een tweede besturingssysteem

opgestart kan worden. Het besturingssysteem dat binnen zo'n programma draait kan niet zomaar

gebruikmaken van bijvoorbeeld de harde schijf of het toetsenbord want dat is al in gebruik door

het hoofdbesturingssysteem. Maar het programma spiegelt als het ware een denkbeeldige

(virtuele) computer voor, met een virtuele harde schijf en een virtueel toetsenbord etc. Omdat zo'n

programma zich voor doet als een virtuele computer, heet de methode 'virtualisatie'. Het is

mogelijk om meerdere virtuele computers te maken en zo meerdere gastbesturingssystemen

tegelijkertijd te laten werken.

NB: bij enkele begrippen is voor de vertaling gebruik gemaakt van Wikipedia.

adviesrapport project beveiliging e-assessment faculteit

Documents