Tredjeparts programvare med elektronisk eksamen

Torbjørn Skardhamar

Hvorfor tredjeparts software?

• Bruk av software naturlig del av noen emner

• Eksempler fra sosiologi: • Kvantitative metoder (SOSGEO1120) – bruk av STATA

• Maskinlæring for sosiologer (SOS2900) – bruk av R

• Gjøre på eksamen det man gjør i undervisningen – og motsatt• Kan prioritere praktisk analyse av data i undervisningen

• Studentene prioriterer å lære bruk av aktuell software

• Vær obs på læringsmål og pensum

Hva skal testes på eksamen?

• Er håndtering av teknisk mikk-makk en del av eksamen? • Hvis ja: bør være definert del av læringsmål, pensum og undervisning• Hvis nei: krever mer detaljerte instruksjoner

• F.eks.: • Lese inn data fra ulike format?• Filbaner og mappestruktur? • Få output ut i pent format? (tabeller, figurer etc)• Ryddig kode? • Finne riktige funksjoner og opsjoner?

• Jeg har prioritert substansiell forståelse Relativt mye/detaljert forklaring i oppgavetekstene Sårbart for feil / dårlige forklaringer

Instruksjoner

• Overraskende mange av våre studentene har ikkegode datakunnskaper

• Enkel instruksjon i selve oppgaveteksten

• Mer detaljert generell instruksjon i egen pdf-fil

En typisk oppgavesett (hvis laget av meg)

• Egen bolk med tredjeparts software (STATA / R) • Andre flervalgsoppgaver• Korte tekstoppgaver • Andre oppgaver med håndregning (Scantron-ark)

• Omfang av STATA / R vektlagt omtrentlig som i undervisningen• Annen utregning kan gjøres i STATA / R (som kalkulator)

• Ved flervalgsoppgaver gis poengene: 1 for riktig, 0 for ubesvart og -0.25 for feil • Lønner seg å ikke svare hvis man ikke har peiling

Kombinere med oppgavetyper i Inspera

• Programmering som egen oppgavetype

• Min hovedstrategi: • Oppgaver med automatisk

retting

• Script er bare dokumentasjon

En typisk oppgave (hvis laget av meg)

1. Åpner et datasett i tredjeparts software (R eller STATA)

2. Gjør noen analyser (etc)

3. Besvare flere oppgaver• Flervalgsoppgaver (en / flere svaralternativer) • Fyll inn tall • Korte tekstlige svar• Kombinerer flere ulike i oppgavetypen "sammensatt"

Alternativt: langsvarsoppgave

4. Lim inn fullstendig kode i oppgavetype "programmering" • Hvis rett svar: rettes ikke • Hvis galt svar: sjekkes om delvis korrekt – evt. ½ poeng etc

Eksempel 1: voldsrater

Bruk av script

• Lim inn i oppgavetype "programmering"

• Kan evt. gjøres uten poenggivning –tilsvarer å "vise utregning"

• Kan evt. kreves for full uttelling på andre oppgaver

Noen utfordinger

• Datasett kan (foreløpig?) ikke legges på disk i Inspera• Må lastes ned fra oppgavesettet til disk og så leses inn i software• Inspera endrer filnavnet… • Hard lærdom: STATA åpner bare datasettet hvis navnet slutter på .dta

(Dog ikke et problem i R)

• Funksjonalitet for differensiert poenggivning på deloppgaver ikke mulig (foreløpig?)

• Er alle pakker og funksjoner gjort tilgjengelige i Inspera? Send over liste i god tid. • OBS! Pakker som avhenger av pakker…

• Faglærer bør ta en runde eksamensdagen• i hvert fall første gang man lager slik eksamen…

Hovedbudskap / konklusjon

• Å kunne integrere tredjeparts software i eksamen muliggjør • Morsommere eksamen

• Gjøre eksamen mer lik undervisningen

• Muligheter for å prioritere undervisningen annerledes

• Gjennomføring• Sett av god tid til å fikse mikk-makk

• Sjekk hvordan det faktisk fungerer

• Vær forberedt på at ikke alt går på skinner første gang