MENINGSSKABENDE UNDERVISNINGSEVALUERING

Rapporten er udarbejdet af: Tanja MillerTrine Lolk HaslamGitte OrlowitzHelle Schjoldager

ForskningsbibliotekarerLouise Naomi VetnerKristine Hinrichsen

Layout Kommunikationsmedarbejder Yvonne Miller, UCN

Januar 2009

Forord

Som et led i handleplansarbejde i forbindelse med udviklingsplaner i UCN er der nedsat en projektgruppe i regi af Nationalt Videncenter for Evaluering i Praksis, CEPRA.

Formålet med projektgruppens arbejde er at skabe et grundlag for politik for undervisningsevaluering og komme med udkast til politik for undervisningsevaluering.

Resultater af arbejdet foreligger i denne rapport.

Projektgruppens medlemmer:Videncenterleder Tanja Miller, CEPRA (projektansvarlig)Lektor Susanne Dau, SygeplejerskeuddannelsenLektor Jakob Frandsen, Læreruddannelsen, EV og CEPRAUdviklingskonsulent Trine Lolk Haslam, CEPRALektor Helle Højbo Schjoldager, Læreruddannelsen, EV og CEPRALektor Anne Mette Støvring, ErgoterapeutuddannelsenStudiekoordinator Gitte Orlowitz, Pædagoguddannelsen (tovholder)

God læselyst

Med venlig hilsen

Tanja MillerVidencenterleder ph.d.

Forord

Resume 1

1. Indledning og problemformulering 2

1.1 Metodiske overvejelser 3

1.2 Analysestrategi 6

2. Empirisk viden om den gode undervisning 7

2.1 Hvad er god undervisning? 7

2.2 Fælles kriterier for god undervisning 7

2.3 Særlige kriterier for de enkelte uddannelser 7

3. Forskningsviden om den gode undervisning 11

4. Forskningsviden om systemer til undervisningsevaluering 13

4.1 Bidrag til politikken 15

Indhold

5. Kvalitetsikring og akkreditering 16

6. Evalueringskapacitet 18

7. Politik for undervisningen i UCN 21

7.1 Formålet med undervisningsevaluering i UCN 21

7.2 Procedure for undervisningsevaluering i UCN 22

7.3 Organisering af undervisningsevaluering i UCN 23

7.4 Evalueringskapacitet i UCN 24

7.5 Sammenhæng mellem undervisningsevaluering og kvalitetssikring 24

Litteraturliste 25

Resume

Rapporten er resultatet af teoretisk og empirisk undersøgelse af undervisningsevaluering i forbindelse

med fusionsproces i professionshøjskolen University College Nordjylland. Temaerne i undersøgelsen

drejer sig om uddannelsesspecifikke evalueringskulturer der i fremtiden skal matche udfordringerne

til nye formelle krav til kvalitetssikring og akkreditering. Uddannelsesspecifikke kvalitetskriterier for

den gode undervisning er sammenholdt med forskningsviden og med dette afsæt formuleres politik-

ken for undervisningsevaluering. En væsentlig pointe i rapporten er at professionalisering af under-

visningsevaluering indebærer systematisk arbejde med opbygning af evalueringskapacitet gennem

involvering af undervisere og studerende. Rapportens konklusion foreligger som forslag til politik for

undervisningsevaluering i UCN.

1

Nærværende rapport er et resultat af arbejdet med udviklingsplanens krav til undervisningsevaluering. Der-for skal denne rapport læses som et argument for projektgruppens forslag til politik for undervisningsevalu-ering i UCN, som er fremsendt til direktionen til drøftelse og eventuel vedtagelse.

Politikken for undervisningsevaluering styrer dernæst udarbejdelse af en strategi for implementering af principperne i situerede praksisser. Målet er at skabe en frugtbar evalueringskultur med fokus på menings-fulde undervisningsevalueringsprocedurer og samarbejdsprocesser, der kan anvendes til kvalitetsudvikling internt og kvalitetssikring eksternt.

Undervisningsevaluering og resultaterne heraf er af interesse for den enkelte uddannelse, men også interes-sant for UCN som institution i lyset af såvel interne som eksterne interesser. Projektgruppen har som mål for arbejdet at formulere en politik, der kan danne afsæt for en strategi, der opleves som meningsfuld og lærerig af deltagerne. Derfor er begrebet evalueringskapacitet (Krogstrup 2007) valgt som nøglebegreb, da eksistensen af evalueringskapacitet de ønskede forbindelser mellem undervisningsevaluering, akkrediter-ing og kvalitetssikring.

Denne dobbelthed i fokus afspejler sig i problemformuleringen:

Hvordan kan politikken for undervisningsevaluering i UCN udformes således at den im-ødekommer eksterne krav i akkrediteringsbekendtgørelse og anerkender forskellighed i ud-dannelsesspecifikke kulturer på baggrund af empiriske data og faglig viden om den gode undervisning og evaluering?

1. Indledning og problemformulering

2

1.1 Metodiske overvejelserUndervisningsevaluering er ikke et entydigt begreb (Danmarks Evalueringsinstitut 2008), hvorfor der rejser sig en række principielle metodiske spørgsmål til, hvordan en politik på området kan basere sig på konkrete evalueringsfaglige analyser.

Undersøgelsen gør brug af forskellige datamængder, der spiller sammen og understøtter og udfordrer hi-nanden.

1. Dokumentanalyse.2. Kvantitativ kortlægning af status med hensyn til aktuel institutionaliseret evalueringspraksis. 3. Kvalitativ undersøgelse på grunduddannelser og EV.4. Litteraturstudier på baggrund af review af ”den gode undervisning”.5. Litteraturstudier på baggrund af review af ”den gode undervisningsevaluering”.

Metodisk er der tale om triangulering, hvor hver datamængde og hver delanalyse tænkes sammen med and- re på tilsvarende niveau med henblik på at styrke validitet af analyseresultaterne. Projektgruppen arbejder med kvalificerede og situerede kvalitetsmål, hvorfor det grundlæggende evalue-ringsfaglige fokus i politikken er målopfyldelseevaluering (Krogstrup 2007) i en tilrettet udgave. Kvalitetskri-terier udgør kriterier for den kvalitet, der tilstræbes i ydelsen, og graden af målopfyldelse vurderes ved opgørelse af afstande mellem den ønskede og den vurderede tilstand. Kvalitetskriterier fungerer som snorhøjde, der danner et fikspunkt. Det evalueringsfaglige udgangspunkt er således målopfyldelse som evalueringsmodel. En evalueringsmodel er et princip eller et hovedspørgsmål, der styrer en evaluering. Sam-tidig vejleder modellen i, hvordan man kan træffe valg om fokus, metode til dataindsamling, evaluators rolle, respondenter og endelig validitet.

Figur 1: Cirkulær undervisningsevaluering

3

Resultater Opgørelse af forskelle

mellem mål og ind-sats.

Reflektioner over forskelle i forhold til

kontekst

IndsatsVurdering af indsats

af deltagerne.Fokus på proces og

produkt

MålStudieordningerUddannelsesmål

Lokale mål

Undersøgelsen betjener sig grundlæggende af metodiske greb fra grounded theory research (Chiovitti 2003). Valget beror på problemformuleringens sigte på at anerkende forskellighed i de uddannelsesspecifikke kul-turer, da generelle forskningsresultater om den gode undervisning ikke kan stå alene, men netop udfordres ved hjælp af specifikke situerede undersøgelser. Metoden er induktiv, og analyser af udsagn fra et udvalg af respondenter i kulturen kan derfor relateres til fund, der beror på review og litteraturstudier. Endelig udgør re-view og litteraturstudier af metaevalueringer af undervisningsevalueringssystemer den tredje datamængde i trianguleringstrekanten. Denne del suppleres af empirisk undersøgelse af status qua angående undervis-ningsevaluering på de forskellige uddannelser. Undersøgelsen udformes således, at centrale bestemmelser i UCN´s formelle grundlag kan imødekommes og således, at resultaterne af undersøgelsen kan relateres til de samme centrale bestemmelser.

Det afgørende i grounded theory er, at teoretiske studier ikke har forrang for empiriske, og fund herfra i analysen derfor kan udfordre, styrke eller negligere teoretiske fund. Det ultimative er, at fund i empiriske undersøgelser fører til nytænkning af teori og under alle omstændigheder reducerer afstande mellem teori og praksis.

Figur 2: Triangulering

Litteratur Undervisnings

evaluering

Undervisningsevaluering, UCN

LitteraturDen gode undervisning

Uddannelser Deltagere

Den gode undervisning

4

Akkrediteringsbestemmelser indeholder krav til systematik i kvalitetsarbejdet og indeholder speci-fikke krav til UCN. Projektgruppen har gennemført en analyse af akkrediteringsbekendtgørelsen med hen-blik på udformning af den empiriske og litteraturbaserede undersøgelse og har efterfølgende relateret fun-dene herfra til bekendt-gørelsen med henblik på udformning af politik for undervisningsevaluering i UCN.

Projektgruppen har – med inspiration fra grounded theory - indhentet oplysninger fra samtlige uddannelser i UCN samt EV med henblik på kortlægning af eksisterende praksis for undervisningsevaluering i perioden 2007-2008. Som metode til kortlægning er udarbejdet et spørgeskema, som er sendt til samtlige studie-chefer og chefen for EV. Statusopgørelsen, der er anvendt som udgangspunkt for udvikling af fælles politik og strategi på området, har samtidig bidraget til et overordnet kendskab til organisationens aktuelle evalu-eringskapacitet.

Forskelle og ligheder i de uddannelsesspecifikke kulturers forståelse af ”god undervisning” er indfanget ved hjælp af konsensuskonferencer. Konsensuskonferencen er valgt som processkabelon, da den er egnet til at tilvejebringe et alsidigt beslutningsgrundlag for stillingtagen til kontroversielle emner og begreber. (Pedersen, Jacobsen og Kousholt 2000). Intentionen var at afholde konsensuskonference på hver enkelt ud-dannelse med deltagelse af fire undervisere og fire studerende tilknyttet den pågældende uddannelse. På fysioterapeut-, radiografuddannelsen samt NAKU viste det sig imidlertid ikke muligt at samle tilslutning til gennemførelse. Udvælgelseskriteriet for deltagelse i konsensuskonference har været ”først-til-mølle-princippet”. Alle konsensuskonferencer er gennemført ud fra følgende design:

1. Indledning.2. Plenumdrøftelse: Hvad er god undervisning?3. Aktøropdelt gruppeopgave (henholdsvis undervisere og studerende): Opstil 8 uprioriterede kriterier for god undervisning.4. Plenum: Præsentation af de opstillede, men uprioriterede kriterier.5. Aktøropdelt gruppeopgave (henholdsvis undervisere og studerende): Opstil 8 prioriterede kriterier for god undervisning.6. Plenum: Præsentation af de prioriterede kriterier. Fælles drøftelse frem mod konsensus: Kriterier for god undervisning.

Litteraturstudierne er gennemført ifølge videnskabelige kriterier for sådanne, når der er tale om review. Forskningsbibliotekarer ved UCN har gennem systematiske internationale søgninger fundet relevante re-view og resumeer med afsæt i problemformuleringens temaer. Den meget store datamængde er reduceret

5

ved anvendelse af relevanskriterier i forhold til problemformuleringen. Forskningsbibliotekarerne har efter-følgende skaffet de udpegede publikationer.

Litteraturstudier om den gode undervisning og metaevalueringer er således sammensat at overblik tilvejebragt gennem læsning af resumeer og analyser af udvalgte tekster. Formålet med reviewet i forhold til besvarelse af problemformulering er gennem videnskabelig viden om den gode undervisning og fund fra evalueringer af undervisningsevalueringssystemer forholdt til analyser i forhold til empiriske fund at kunne udpege væsentlige områder for politikken for undervisningsevaluering for UCN.

1.2 AnalysestrategiAnalysestrategien er formuleret med afsæt i to hovedspørgsmål, som afspejler to måder, hvorpå spørgsmålene i problemformuleringen besvares.

Det drejer sig empiriske data fra konsensuskonferencerne med vægt på deltagernes konsensus om den gode undervisning, hvor analysen efterfølgende er foretaget efter principper i meningskondensering (Kvale 1997). Som grundlag for konsensuskonferencerne og efterfølgende analyser heraf er der anvendt følgende defini-tion af undervisning: Undervisning, der skaber læring hos den lærende i forhold til uddannelsens formål og indholdsbeskrivelse.

De teoretiske studier er analyseret ved søgning efter udsagn, som præsenterer paradigmeskiftet inden for læring og undervisning samt moderne organisationsteori. I denne del af undersøgelsen er vægten lagt både den gode undervisning og den gode undervisningsevaluering.

Den samlede analyse er lavet ved på hermeneutisk vis at sammenholde og diskutere fund fra de forskellige dele af undersøgelsen for at forholde dette til kravene i professionshøjskoleloven og akkrediteringsbekend-tgørelsen. Politikken er udformet således, at også implementeringen er medtænkt, da evalueringskapacitet her anvendes som forbindelse mellem processer og produkter.

6

2.1 Hvad er god undervisning? I det følgende fremstilles resultaterne fra undersøgelserne af den gode undervisning i UCN. Først fremdrag-es de fundne fælles kriterier for god undervisning i UCN. Derefter fremstilles den undersøgte uddannelse ud fra en optik om at udlede det særegne, der kendetegner den pågældende uddannelses særlige kriterier for god undervisning.

2.2 Fælles kriterier for god undervisningPå baggrund af undersøgelsen kan opstilles følgende fælles kriterier for god undervisning i UCN i prioriteret rækkefølge:

1. Gensidigt engagement. 2. Sammenhæng mellem teori og praksis. 3. Et godt læringsmiljø. 4. Dialogorientering og medinddragelse af studerende. 5. Undersøgende og refleksive læreprocesser. 6. Tydelig rammesætning og progression i undervisningen.7. Variation i valg af undervisnings-, arbejds- og organisationsformer. 8. Personlighed og humor som karakteristika for underviseren.

2.3 Særlige kriterier for de enkelte uddannelserJordemoderuddannelsenPå jordemoderuddannelsen nåede deltagerne frem til tre fælles prioriterede kriterier for god undervisning, hvilket var det laveste antal i undersøgelsen. De tre valgte prioriterede kriterier var:

1. Relevans og med synligt fagspecifikt mål2. Engagement fra begge sider3. Tilrettelæggelse – læsestof og undervisning

Set i forhold til de fælles kriterier ses det, at jordemoderuddannelsen har en særlig vægtning af kriterium nummer 6 om tydelig tilrettelæggelse af undervisningen, da både nummer 1 og 2 omhandler dette. Engage-ment vægtes ligeledes højt på jordemoderuddannelsen, hvilket også var tilfældet i de fælles kriterier. Vi

2. Empirisk viden om den gode undervisning

7

mener, set med baggrund i undersøgelsen, at uddannelsen har et særligt fokus på det fagfaglige i undervis-ningen, hvilket derfor skal tænkes ind i forbindelse med undervisningsevaluering af uddannelsen.

ErgoterapeutuddannelsenPå ergoterapeutuddannelsen nåede deltagerne frem til fem fælles prioriterede kriterier for god undervis-ning:

Underviseren som faglig kompetent rollemodel (indsigt i fag og profession samt formidlingsmæssig 1. kompetence).Tydelighed/klarhed omkring undervisningens retning.2. Praksisnær undervisning (undervisning med eksempler fra praksis, hvor kriteriet for det 3. ”gode” eksempel er, at eksemplet bidrager til den studerendes forståelse af undervisningens ind- hold).En undervisning, hvor der ”trækkes tråde” (i betydningen: hvor underviseren ”trækker tråde 4. mellem fagene og tråde mellem teori og praksis vha. eksempler”).Gode fysiske rammer.5.

Det særlige ved ergoterapeutuddannelsen er vægtningen af sammenhængen mellem teori og praksis, som kan siges at være kriterier indeholdt i punkt 1, 2 og 4. Uddannelsens fokus på praksis understreges af kri-teriet om underviseren som rollemodel, der fremsættes som det vigtigste kriterium for god undervisning. Sidstnævnte kriterium optræder kun på ergoterapeutuddannelsen. Vi mener derfor, at praksis-synlighed i undervisningen må ses som et væsentligt kriterium i ergoterapeutuddannelsen og at dette må gives et særligt fokus i forbindelse med undervisningsevaluering. Uddannelsen har ligeledes et kriterium om gode fysiske rammer, som ikke optræder hos de andre adspurgte uddannelser.

SygeplejerskeuddannelsenPå sygeplejerskeuddannelsen nåede deltagerne frem til 3 fælles prioriterede kriterier og 4 fælles upriori-terede kriterier for god undervisning:

1. Personligt og fagligt engagement – koblet med faglighed, engagement/ ansvarlighed.2. Respekt og anerkendelse – herunder tryghed, nærhed, distance, ydmyghed, atmosfære, tone og individualitet.3. Dialog og medinddragelse.4. Eksemplarisk meningsskabende læring.

8

5. Personlighed – herunder humor.6. Fleksibilitet/spontanitet.7. Problemorienteret undervisning.

Kriterierne for god undervisning på sygeplejerskeuddannelsen er karakteriseret ved en stor bredde af for-hold, der afgør om undervisningen er god. Det særlige ved uddannelsen ses med den høje prioritering af kriteriet om bestemte værdier i relationelle forhold i punkt 2. Uddannelsen værdilægger således bestemte relationelle værdier, som derfor må medtænkes i arbejdet med undervisningsevaluering.

LæreruddannelsenLæreruddannelsen var den uddannelse, der nåede frem til flest fælles prioriterede kriterier for god under-visning:

1. Gensidigt engagement.2. Skabe et godt læringsrum.3. Planlægning og struktur – mål og mening.4. Sammenhæng mellem teori og praksis.5. Interaktion.6. Mulighed for undersøgelse og fordybelse i relevant stof.7. Lærerpersonlighed – humor.8. Vekselvirkning/ kreativ metodik.

Der er stor bredde i de angivne kriterier hvilket betyder, at der er mange forhold, som afgør om undervisning-en kan vurderes som god. Det særlige ved uddannelsen er prioriteringen af interaktion i undervisning og tydelig rammesætning, som tillægges stor betydning i forståelsen af flere af de angivne kriterier. Dette må derfor tænkes ind i arbejdet med undervisningsevaluering på uddannelsen.

PædagoguddannelsenPå pædagoguddannelsen nåede deltagerne frem til 6 fælles prioriterede kriterier for god undervisning:

1. Skabe muligheder for kompetenceudviklende undervisning - fagligt og personligt.2. Deltagelse/engagement – samtale/dialog.3. Kobling mellem teori og praksis.4. Konstruktive forstyrrelser.

9

5. Variation i undervisningsformer.6. Tværfagligt samarbejde.

Der angives flere forhold som kriterier for god undervisning på pædagoguddannelsen. Kriterierne har en sær-lig vægtning, der handler om de studerendes muligheder for udvikling og herunder følgelig interaktion. Ud-viklingsmuligheder for de studerende og interaktion i undervisning bør derfor have en særlig opmærksomhed i arbejdet med undervisningsevaluering på uddannelsen. Uddannelsen angiver tværfagligt samarbejde som et kriterium for god undervisning, hvilket skal bemærkes, da det er den eneste uddannelse af de adspurgte, som angiver dette kriterium.

Efter- og videreuddannelsenKriterierne for god undervisning i efter – og videreuddannelsen blev formuleret således:

1. Motivation – motivationelle forhold, herunder optagethed af stoffet og skabe mening i forhold til liv/arbejdsliv/praksis.2. Nærvær i interaktionen mellem de studerende, lærerne og stoffet og møde de studerende hvor de er.3. Skabe rum for gensidig læring og undren – facilitere læreprocesser, være en del af undervisningen og sparre med hinanden.4. Reflekterende – udfordre forforståelser i forhold til at skabe refleksion hos studerende – dele usik- kerhed.5. Forventningsafklaring.6. Holde af at lære nyt.

Kriterierne for god undervisning i efter - og videreuddannelsen indeholder en vifte af forhold, som kende-tegner den gode undervisning. Det særlige ved efter – og videreuddannelsen er kriterier om relevans og profes-sionsorientering, som prioriteres som væsentlige kriterier for god undervisning. Dette bør derfor medtænkes i afdelingens arbejde med undervisningsevaluering.

10

3. Forskningsviden om den gode undervisning

Forskningsviden om den gode undervisning ser på faktorer såsom elevens baggrund, lærerkompetencer i forhold til elevers læring – herunder relationskompetence, ledelseskompetence og didaktisk kompetence, undervisningens betydning og skolekulturens betydning (Helmke et al 2008). Forskningen inddeler sig desuden i forskning om god undervisning på folkeskoleområdet, på de mellemlange videregående uddan-nelser og på de lange videregående uddannelser.

God undervisning på folkeskoleområdet er det område, der findes mest litteratur om. Hilbert Meyer ud-peger 10 kendetegn, der har betydning for elevens udbytte af undervisningen (Meyer 2005; 2006); klar strukturering af undervisningen, en betydelig ægte mængde læretid, læringsfremmende arbejdsklima, ind-holdsmæssig klarhed, meningsdannende kommunikation, metodemangfoldighed, individuelle hensyn, in-telligent træning, transparente præstationsforventninger og stimulerende læringsmiljø. Der afgørende for god undervisning er her ikke de enkelte kendetegn for sig, men hvordan disse kommer i spil med hinanden i praksis. Flere af disse 10 faktorer er også nævnt under de fælles kriterier for god undervisning, der var resul-tatet af den empiriske undersøgelse på UCN. Ses der tillige på de uddannelsesspecifikke kriterier, bliver alle Meyers kriterier nævnt mere eller mindre direkte - nogle dog oftere end andre. Selvom UCN’s uddannelser hører under MVU-området, bekræfter forskningen på dette område den empiriske viden, der er indsamlet via konsensuskonferencerne. God undervisning på de lange videregående uddannelser fokuserer i højere grad end litteraturen på fol-keskoleområdet på den studerendes egen del i læringen. Biggs 4 vigtigste hovedingredienser for undervis-ningens kvalitet er: En velstruktureret vidensbase, en hensigtsmæssig motiverende kontekst, den lærendes egenaktivitet – herunder samarbejde med andre og indsigt i egen læreproces (Helmke et al 2008). Især de to første kriterier findes i de empiriske resultater for de forskellige uddannelser, da UCN’s studerende og under-visere tilstræber/efterspørger kobling til praksis samt gensidig motivation og engagement. Den lærendes egenaktivitet og indsigt i egen læreproces siges der ikke meget om direkte i empirien, men flere taler om dialog, medinddragelse og engagement, der konnoterer deltagelse fra begge sider.

God undervisning på de mellemlange videregående uddannelser er der ikke meget tilgængelig litteratur om. Et kandidatspeciale om ”Meningsfuld undervisning i den teoretiske del af sygeplejerskeuddannelsen” (Knudsen 2008) peger dog på, at det, der har betydning, er: 1) Lærerens rolle i klasseværelset (herunder engagement/lærerpersonlighed, levende/motiverende undervisning, lærerens autoritet, disciplin, tryg stemning) og 2) Undervisningsform, indhold og udbytte(herunder meningsskabende undervisning, de stu-derende er forberedte, samtale/dialog, ligeværdighed, sammenhæng mellem teori og praksis – best prac-

11

tice fortællinger, tydeligt hvad der skal ske hvornår, afvekslende undervisningsformer). Samtlige af disse punkter er repræsenteret i både de generelle og uddannelsesspecifikke kriterier for god undervisning og harmonerer således godt med den undersøgelse der er foretaget på UCN. Især passer den med de kriterier, der blev fundet på sygeplejerskeuddannelsen. Dog er det tydeligt, at der er uddannelsesspecifikke forskelle til trods for lighederne.

Undersøgelsen af god undervisning viser, at der eksisterer fælles kriterier for god undervisning i uddan-nelserne i UCN. De opstillede kriterier for god undervisning i UCN er ikke identiske med kriterierne fra den empiriske forskning fra andre uddannelsesområder, men kan siges at indeholde flere fælles kriterier. Un-dersøgelsen viste ligeledes, at kriterierne for god undervisning er knyttet til den uddannelsesmæssige kon-tekst. Det betyder, at der indenfor uddannelserne i UCN er stor variation mellem uddannelserne om, hvad der kendetegner god undervisning og hvilke didaktiske elementer, som prioriteres.

Konsekvensen i forhold til formulering af politik er • atundervisningsevalueringbådeknyttestilgenerellekriterierforgodundervisningogtiluddan- nelsesspecifikke kriterier for god undervisning• atetableredialogmellemunderviserogstuderendeomundervisningsevaluering• atanvendeevalueringtilatudviklekvalitetenafundervisningen• atigangsætteudviklingsarbejdeindenforundervisningsevaluering

12

Litteraturstudier på området har resulteret i en kategorisering i tre hovedkategorier. Kategorierne er frem-kommet ved anvendelse af relevanskriterier i forhold til problemformuleringen.

1. Metaevalueringer, der diskuter design og indhold.2. Metaevalueringer, der diskuterer kultur og mening.3. Metaevalueringer, der diskuterer forholdet mellem gode undervisere og god undervisning.

Fælles for metaevalueringerne i forskningen er, at genstandsfeltet defineres som videregående uddannel-ser. I international forskning defineres uddannelsesområder mere flydende, end vi kender til det i Danmark. På den baggrund kan det retfærdiggøres at anvende fund fra internationale metaevalueringer i relation til uddannelser ved professionshøjskolerne.

Metaevalueringer, der diskuterer design og indhold, beskæftiger sig hovedsageligt med validitet, relevans og implementeringsvanskeligheder. Formålet med undervisningsevaluering er at styrke kvaliteten af under-visningen. Derfor bliver det centralt at diskutere, hvilke aktiviteter i uddannelsen der rubriceres under be-grebet undervisning. Udredningen bekræfter, at der hersker stor usikkerhed om afgrænsning af begrebet undervisning. Paradigmeskifte i læringsteori med konsekvenser for didaktik i bredeste forstand er en af grundene hertil. Dertil kommer, at identitetsudvikling i det postmoderne samfund med vægt på basal til-lid, kompetencer i at vælge og omstillingsparathed på den ene side og generering af lærende og stærkt udviklingsorienterede uddannelsesinstitutioner på den anden side danner et spændingsfelt. Moderne ud-dannelsesinstitutioner er underlagt økonomiske styringsredskaber, der måles på effektivitet og low cost. Undervisningsbegrebet omfatter under disse vilkår i høj grad andre aktiviteter end traditionelle møder mel-lem undervisere og studerende i nøje afgrænsede lokaler og tidsrum.

I Australien (Mclnnis, Griffin, James, Coates 2001) er der på landsplan som en konsekvens heraf indført nye retningslinjer for undervisningsevaluering og udarbejdet nye spørgeskemaer. Udviklingsarbejdet hviler på kvantitative og kvalitative undersøgelser af den oprindelige udgave af Cource Experience Questionnaire (CEQ) i anvendelse. Irske og spanske universiteter er inspireret af dette arbejde som organisatorisk udspiller sig i regi af Assessment & Evaluation in Higher Education . Definitionen af den gode undervisning i denne kontekst lyder: Quality teaching is that which facilitates quality learning among students (March & Roche, 1994, Biggs, 1999). Den oprindelige udgave af CEQ indeholder følgende hovedtemaer: god undervisning, klare mål, passende arbejdsbyrde, udvikling af almene kompetencer, generel tilfredshed, passende opgaver. På baggrund af de nye vilkår og udfordringer i uddannelsessystemet tilføjes i 2004 fem nye temaer, som anta-

4. Forskningsviden om systemer til undervisningsevaluering

13

ges at dække hele læringsscenen. Disse er uddannelsesstedets evne til 1) at understøtte de studerende læring 2) at udnytte læringsressourcer 3) at skabe læringsfællesskaber/læringsmiljø 4) at understøtte met-alæring eller lære at lære 5) at understøtte motivation til yderligere læring.

Der kan i forlængelse heraf også henvises til spanske universiteters erfaringer med undervisningsevaluering. Her arbejder man med ” Model of the Educational Situation”. Den grundlæggende metode i denne model er, at undervisere og studerende i et nøje timet system udtaler sig om de samme temaer. Den generede viden fremkommer som forskelle i vurderingerne fra de to respondentgrupper. Undervisningsevalueringer følger logikken i en læreproces og udføres derfor flere gange hen over et semester (Betoret, Tomás, 2003). De spanske erfaringer bekræfter udvidelsen af temaer i en undervisningsevaluering, endskønt det spanske uddannelsessystem har valgt egne løsninger.

Metaevalueringer, der diskuterer kultur og mening, har naturligvis et andet fokus. Den mest generelle me-todiske kritik drejer sig om, at undervisningsevaluering er for fokuseret på underviseren frem for på un-dervisningen (Leth, Søndergård 2007, Saroyn, Amundsen 2001). En masterafhandling (Holt, Orlowitz 2008) omhandlende undervisningsevaluering i en pædagoguddannelse viser at undervisernes og de studerende forhold til evaluering er flertydigt og ikke i særlig grad opfattes som meningsfuld. Afhandlingen anviser or-ganisatorisk arbejde med opbygning af evalueringskapacitet som et bud på skabelse af meningsfuld under-visningsevaluering. Som modvægt til Mcdonalisering genintroduceres begrebet professionelt skøn (Miller 2008). I en dansk kontekst er det videnskabeligt undersøgt, hvordan undervisere oplever undervisningseval-ueringer og vurderer udbyttet heraf, som bidrag til kvalitetsudvikling i MVU området (Moldt 2008). Her viser det sig, at en forudsætning, for at resultaterne af undervisningsevaluering kan bidrage positivt, er, at der arbejdes med uddannelsens kultur og ejerskab i forhold til evalueringsresultaterne. Desuden at kundemeta-foren i forbindelse med omtale af studerende vurderes som en blokering af seriøs evaluering med læring som formål. Ansvarsfordelingen mellem underviser og lærende bliver fordrejet og utydelig. Undersøgelsen viser også, at ledelsen er central for håndtering af evalueringsprocedurer og konstruktiv anvendelse af evalu-eringsviden. Dette peger på løsninger, der tager højde for forskellighed, og på løsninger, hvor processuelle vinkler på undervisningsevaluering er en del af politikken.

Metaevalueringer, der diskuterer forholdet mellem gode undervisere og god undervisning, repræsenteres gennem forskning, der ligger i periferien af evalueringsforskningen, men til gengæld i hjertet af pædagogisk forskning (Jackson 2006). Derfor skal der i denne rapport blot peges på, at der i det videre arbejde med at finde konkrete evalueringsdesign i UCN er megen inspiration at hente i materialet.

14

4.1 Bidrag til politikkenLitteraturstudierne afspejler sig i politikken ved:• Enforståelseafundervisningsbegrebet,deromfatterandreaktiviteterenddetraditionelle.• Respektforforskellighediuddannelseskulturer,nårundervisningsevalueringenudformes.• Opmærksomhedpåejerskabtilevalueringsresultaterforalleaktørgrupper.• Vægtlægningafprocessuelleforholdsbetydning–herunderledelse.• Udformningafundervisningsevalueringensspørgsmålisitueredepraksisfællesskaber– afstemt med UCN´s forpligtelser i forbindelse med akkrediteringsbekendtgørelsen.• Opmærksomhedpåkadence,hyppighedogomfang

15

Kvalitetssikring er en del af evalueringslandskabet i professionshøjskolen. I loven om professionshøjskolen står der:

§ 7. Professionshøjskolen skal have et system til kvalitetssikring og resultatvurdering af uddannelse, ud-viklingsarbejde og videncenterfunktion og er forpligtet til at informere herom.https://www.retsinformation.dk/Forms/R0710.aspx?id=121828#Kap8)

Kvalitetssikring og resultatvurdering af uddannelse kan linkes til undervisningsevaluering med afsæt i tema-tiseringerne i akkrediteringsbestemmelserne, men kvalitetssikring og resultatvurderinger omfatter den samlede virksomhed og vil derfor kun få indirekte betydning for politikken og strategien. Dette bekræfter for os, at UCN over tid skal arbejde frem mod at skabe sin egen kvalitetsmodel, der på forskellige niveauer kan styre og samordne evalueringsresultater.

Resultaterne af analyse af akkrediteringsbekendtgørelsen viser, at denne bekendtgørelse stiller vidtræk-kende krav til vurdering af outcome af uddannelserne. Det vil sige, at UCN for også i fremtiden at kunne regne med retten til at udbyde nuværende og kommende uddannelser med fordel kunne arbejde med op-bygning af egen kvalitetsmodel. En kvalitetsmodel kan reducere kompleksitet i datamængder og pege på fælles procedurer og rutiner, der systematisk indsamler og skaber viden om uddannelsernes kvalitet. Ak-krediteringsbekendtgørelsen er opdelt i tre kategorier:

1. Relevans.2. Vidensgrundlag.3. Indhold og organisering.

Relevans angår uddannelsens relevans. Dette vurderes på baggrund af antal dimittender, der finder beskæft-tigelse eller videreuddanner sig på baggrund af eksamensbeviset (output). Vurderingen sker ved sammen-ligning af dimittender fra tilsvarende eller beslægtede uddannelser, hvorfor resultaterne herfra peger på en kvalitetsdimension i eget udbud. Outcome vurderes tillige ved inddragelse af aftagerne af dimittenderne.

For politikken for undervisningsevaluering betyder det, at systematikken tilstræbes med hensyn til temaer som er centrale for professionen og timing tilpasses udarbejdelse af procedurer for relevanskriteriet.

5. Kvalitetssikring og akkreditering

16

Vidensgrundlaget angår kvaliteten af udbuddet forstået som vurdering af kvaliteten af udbuddets videns-grundlag. Centralt står her forskningsbaseret og ny viden, hvilket bl.a. kan sikres gennem praksisstilknyt-ning. Udviklingsviden som resultater af udviklingsprojekter i samarbejde med praksis indgår ligeledes med stor vægt. For kvalificering af professionsudøvelsen, som er målet med uddannelsen, stilles der krav til, at ny forskningsbaseret viden indgår i uddannelsen.

For politikken for undervisningsevaluering betyder det, at temaerne i undervisningsevalueringen følger re-sultaterne fra review af metaevalueringerne. En vigtig pointe er her, at der i forskellige sammenhænge i ud-dannelsesforløbet anvendes forskellige vidensgrundlag.

Indhold og organisering angår klarhed over hvilke mål, der er formuleret for uddannelsen, og hvorvidt disse optræder i regi af den danske kvalifikationsramme for videregående uddannelser. Det peger også på om mål og udbuddets elementer passer sammen. Desuden lægges der vægt på at de fysiske rammer og materielle ressourcer passer til målene for læringsudbyttet.

For politikken for undervisningsevaluering betyder det, at temaerne i undervisningsevalueringen følger re-sultaterne fra litteraturstudier af metaevalueringerne, der netop udpeger forhold uden for den egentlige

17

undervisning som væsentlige for læringsudbyttet. Evalueringskapacitet drejer sig om en institutions samlede kapacitet til planlægning og gennemførelse af evalueringer samt organisationens kapacitet med hensyn til anvendelse af evalueringsviden. Baggrundsfi-guren er således en forestilling om den lærende organisation. Projektgruppen har som tidligere nævnt gen-nemført en kortlægning af status med hensyn til omfanget og arten af systematiske undervisningsevalu-eringstiltag.

Spørgeskemaundersøgelsen viser, at samtlige uddannelser i UCN arbejder med evaluering af undervisning. Undersøgelsen viser ligeledes, at flere uddannelser arbejder med andre beslægtede former for evaluering, eksempelvis underviserevaluering. De anvendte typer af evalueringsformer varierer fra logbog over fokus-gruppeinterview til spørgeskema. Undersøgelsen viser endvidere, at den metode, der hovedsagelig angives som anvendt til evaluering, er programmet SurveyXact - her dog med undtagelse af læreruddannelsen og Natur- og Kulturformidleruddannelsen.

Undersøgelsen viser samtidig, at der er forskelle at spore mellem uddannelserne og især mellem de to søjler i UCN. Forskellene viser sig på følgende områder: 1) planlægning af evaluering og evalueringsfokus, 2) an-svarsplacering, 3) systematik, 4) inddragelse af studerende, 5) sammenhæng mellem undervisning og eval-uering, 6) metoder og 7) evaluering som metode til kvalitetsudvikling af uddannelse.

Som konsekvens af de registrerede forskelle vil politikken for undervisningsevaluering indeholde ensartede krav til arbejdet med evaluering med respekt for den enkelte uddannelses forståelse af meningsskabende undervisningsevaluering

Projektgruppen konstaterer, at en udbygning af evalueringskapaciteten i regi af professionshøjskolen med nye krav til kvalitetssikring og akkreditering både er ønskelig og nyttig.

Som nævnt i indledningen beror projektgruppens arbejde på den antagelse, at undervisningsevaluering de-signes med afsæt i målopfyldelseevaluering.

6. Evalueringskapacitet

18

Skal resultater af undervisningsevalueringer derimod indgå i strategien for kvalitetssikring, må der tænkes videre i retning af performanceevaluering, hvor også outcome vurderes. Figur 3: Lisbeth Binderup Evalueringsnyt august 2008

Relateres dette til definitionen af opbygningen af evalueringskapacitet - opbygning af evalueringskapac-itet er det intenderede arbejde for kontinuerligt at skabe og opretholde organisatoriske processer, som gør kvalificerede evalueringer og deres anvendelse til rutine (Krogstrup 2007 s.197) – betyder det for politikken for undervisningsevaluering, at det implicerer ideer til, med hvilket formål en sådan opbygning skal finde sted. Opbygning af evalueringskapacitet forudsætter tilstedeværelsen af fx en bevidsthed om, at evalueringer er nyttige rutiner og et gode for institutionen. Vores empiriske studier tyder på, at UCN ikke p.t. har en kultur, der er kendetegnet ved respekt og engage-ment i rutiner for undervisningsevaluering, hvilket fx viser sig ved projektgruppens vanskeligheder med at finde respondenter. Andre tegn på dette er forholdsvis lave svarprocenter og manglende strukturer, der fastholder og anvender evalueringsviden. Konklusionen er, at der skal skabes en evalueringskultur, hvorfor politikken opfordrer til at beslutte en strategi, der tager højde for dette forhold. Evalueringskapacitet er i sin kerne sociale processer, hvorfor opbygningen heraf er at arbejde systematisk med sociale processer (Krog-strup 2007). Denne pointe afspejler sig i projektgruppens forslag til politik i form af forslag til organisatorisk placering af ansvar for arbejde med undervisningsevaluering.

Linket til kravene om kvalitetssikring og akkrediteringsbekendtgørelsen kan skabes gennem samordning af resultater fra undervisningsevaluering med evalueringsviden skabt i regi af akkrediteringsbekendtgørelsen, da det antages at en kvalitetsmodel for UCN i fremtiden vil kunne samordne og koordinere indsatsen for kvalitetsudvikling.

Udfordringer består i at genbruge, samordne eller koordinere resultater fra undervisningsevalueringer, således at output kan relateres til outcome og aftager- og brugertilfredshed. Af centrale temaer kan nævnes: antal-let af dimittender, der finder beskæftigelse inden for professionen eller med videreuddannelse, kvaliteten af praksistilknytning, kvaliteten af uddannelsens base og anvendelse af udviklingsviden og forskningsviden,

19

Mål Input Indsats Output Outcome

forholdet mellem mål for uddannelsen og læringsudbyttet, organisering af uddannelse i forhold til mål og læringsudbytte, undervisernes faglige og pædagogiske kompetencer, kvaliteten af praktik i forhold til ud-dannelsens mål og uddannelsens faciliteter til at understøtte de studerende læring.

Akkrediteringsbekendtgørelsen rammer nogle af de områder i uddannelserne, som projektgruppen via lit-teraturstudier og empirisk kortlægning af status ser som vigtige led i strategien for udformning af undervis-ningsevaluering. Projektgruppen peger på vigtigheden af, at der konkret tages hånd om de mange aktiviteter, som studerende i regi af uddannelsen foretager sig med henblik på tilegnelse af professionskompetencer – ikke blot for at udvikle kvaliteten af uddannelserne, men også for at opfylde kravene til akkreditering.

Det må dog fremhæves, at det internt på den enkelte uddannelsesretning og for den samlede virksomhed er vigtigt at fokusere på opbygning af evalueringskapacitet, da resultatvurderinger ifølge forskningen risikerer at fremstå som løsrevne og fremmede for aktørerne i uddannelserne (Kemper, Leung, 2008).

20

Undervisningsevaluering i UCN skal:

• tilgodeseeksternekravogforventningerformuleretiakkrediteringsbekendtgørelsen,

• udformesmedrespektforforskellighediuddannelsesspecifikkekulturer,

• udformesmedafsætiforskningsbaseretvidenomdengodeundervisning,

• indeholderetningslinjerfor,hvordanUCN´ssamledeevalueringskapacitetkanfremmesogvedlige holdes.

Det er et krav, at alle professionshøjskoler etablerer og implementerer et system for kvalitetssikring og kvalitetsudvikling. Evalueringer skal indgå i kvalitetsarbejdet i UCN med det formål at indfange og doku-mentere god undervisning. Alle læringsarenaer skal evalueres, således at både den organiserede undervis-ning og det selvstændige studiearbejde evalueres.

Undersøgelsen af god undervisning i UCN viser de enkelte uddannelsers kvalitetskriterier for god undervis-ning. Undersøgelsens resultater viser, at der er såvel fællesstræk som forskelle i forhold til professionsud-dannelserne samt EV. En politik for evaluering af undervisningen skal derfor indeholde både en fælles del for alle uddannelser i UCN og dele, der er specifikke i forhold til de enkelte uddannelser.

Undersøgelsen af forskning om god undervisning og systemer til undervisningsevaluering viser, at der både nationalt og internationalt er mangel på forskningsviden inden for MVU området. Der skal derfor etableres udviklingsarbejde inden for de nævnte områder i UCN.

7.1 Formålet med undervisningsevaluering i UCNFormålet er at udvikle kvaliteten af undervisningen og de studerendes læring med sigte på professionsudøv-else. Evalueringen af undervisning skal bruges til at sikre og udvikle kvaliteten af undervisning og til at evaluere og udvikle hele uddannelsen. Det skal tilstræbes, at arbejdet med undervisningsevaluering bliver brugbart og meningsfyldt for medarbejdere og studerende.

7. Politik for undervisningsevaluering i UCN

21

7.2 Procedure for undervisningsevaluering i UCNI uddannelsesbekendtgørelse om akkreditering stilles der krav om systematisk og kontinuerligt kvalitet-sarbejde af udbuddets aktiviteter og resultater. Kvalitetsudvikling inden for aktiviteten undervisning skal foregå via undervisningsevaluering.

Undervisningsevaluering skal leve op til kravene i akkrediteringsbekendtgørelsen ved: at der systematisk gennemføres undervisningsevaluering for at kvalitetssikre og udvikle uddannelsen – •hvor der med systematisk menes, at de valgte metoder i undervisningsevalueringen tilstræber kriteriet om validitet,

at eksterne og interne interessenter inddrages i undervisningsevalueringen, og at uddannelsen •regelmæssigt og systematisk sikrer sig studerendes vurdering af uddannelsen – hvor der med regelmæs-sigt menes, at uddannelsen med bestemt definerede tidsintervaller foretager undervisningsevaluering,

at uddannelsen anvender evalueringsviden fra undervisningsevalueringen til at udvikle aktiviteter og •resultater.

Undersøgelsen af god undervisning i UCN viser, at kvalitetskriterierne afhænger af den uddannelsesmæs-sige kontekst og kultur. I arbejdet med undervisningsevaluering opsættes derfor kvalitetskriterier på de enkelte uddannelser, som

definerer den gode undervisning,•

giver retning i udarbejdelsen af undersøgelsesspørgsmål, design og metode for undervisningsevalue-•ring,

fungerer som kriterier for analyse af undervisningsevaluering,•

giver muligheder for kvalitetssikring og -udvikling af både undervisning og uddannelse.•

Undervisningsevaluering organiseres med inddragelse af studerende og relevante råd og udvalg.

Forskningsviden om god undervisning indenfor MVU området er mangelfuld. Resultaterne af undersøgelsen af den gode undervisning i UCN viser de kvalitetskriterier, som tillægges betydning inden for professionsud-dannelser i UCN.

22

I arbejdet med undervisningsevaluering etableres derfor: • etforumforvidendelingmellemuddannelserneiUCN,• etforumforopsamlingafvidenogvidenformidling.

7.3 Organisering af undervisningsevaluering i UCN Forudsætningen for at undervisningsevaluering kan fungere som kvalitetssikring og – udvikling af undervis-ning i UCN er, at evaluering tillægges betydning i kulturen, og at de fornødne ressourcer gives til opgaverne med undervisningsevaluering. Tilvejebringelsen af begge forudsætninger er ledelsesopgaver i arbejdet med at få etableret undervisning-sevaluering i UCN.

Udarbejdelse af kvalitetskriterier, evalueringsspørgsmål, design og metode finder sted i et samarbejde mel-lem undervisere, studerende, studiechefen og efter- og videreuddannelseschefen. Studiechefen og efter- og videreuddannelseschefen har ansvar for planlægning, gennemførelse og udvikling af undervisningsevaluer-ing.

Ved starten af hvert studieår planlægger studiechefen i samarbejde med undervisere hvilke fokusområder og semestre, der skal evalueres. Der udarbejdes en turnusplan for uddannelsens undervisningsevaluering. De enkelte undervisere planlægger og koordinerer evalueringerne, således at der undgås for mange og kryd-sende evalueringer. Undervisningsevalueringen planlægges og gennemføres som en integreret del af under-visningen.

Resultaterne af undervisningsevalueringer, som er rettet mod hele uddannelsen, fremlægges af studiechef-en i uddannelsesrådet, der drøfter muligheder og konsekvenser for uddannelsen. Studiechefen har efter-følgende ansvaret for opfølgning af undervisningsevaluering og implementering af konkrete initiativer som følge heraf.Resultaterne af undervisningsevalueringer, som er rettet mod afgrænsede dele af undervisningen, præsen-teres og drøftes i relevante fora på foranledning af studiechefen.

I forbindelse med etableringen af politik for undervisningsevaluering i UCN etableres et tværgående kom-petenceteam, som har til opgave at dele viden om undervisningsevaluering med henblik på udvikling af området. Kompetenceteamet består af undervisere, som har særlige kompetencer inden for undervisnings-evaluering. Videnscenter CEPRA har teamlederrollen i kompetenceteamet og har til opgave at koordinere og udvikle arbejdet med undervisningsevaluering i UCN.

23

Der etableres en kvalitetsenhed i UCN, som bl.a. har til opgave at indsamle og formidle resultater af under-visningsevaluering til relevante interne og eksterne interessenter – herunder også direktionen.

7.4 Evalueringskapacitet i UCNSom led i implementering af politikken for undervisningsevaluering skal der arbejdes med evaluer-ingskapacitet. Evalueringskapacitet rummer organisationens samlede kompetencer med hensyn til evalu-ering som aktivitet samt anvendelse af evalueringsviden. Desuden rummer begrebet processuel viden om evaluering. Politikken indeholder initiativer, der skal:• kortlæggeorganisationenssamledeevalueringskapacitet,

• opkvalificeremedarbejderesoglederesevalueringsfaglighed,

• tagehøjdeformedarbejdergruppersforskelligelokalaftalerogengagementievalueringsamtan- vendelse af evalueringsviden,

• udvikleejerskabtilevalueringialleevalueringsprocessernesfaser,

• systematiskmonitorereudviklingenaforganisationensevalueringskapacitet.

7.5 Sammenhæng mellem undervisningsevaluering og kvalitetssikring i UCNSom led i politikken for undervisningsevaluering skal der tages hensyn til UCN´s kvalitetssikringssystem. Der skal:

oprettes fora, hvor udviklingskoordinatorer ved anvendelse af evalueringsviden udpeger indsatsom •råder for udvikling,

udvikles en kvalitetsmodel, som indeholder procedurer og resultater. Kvalitetetsmodellen skal •adressere relevante besluttende myndigheder i organisationen, samtidig med at der leves op til krav fra akkreditering,

evalueres og udvikles på evalueringsstandarder og anvendelse af resultaterne.•

24

LitteraturlisteBEK 684 bilag 3

Betoret Fernando, Tomás Adela (2003): Evaluation of University Teaching/Learning Process for the Improvement og Quality in Higher Education. Assessment & Evaluation in Higher Education, Vol 28, No 2, 2003.

Biggs, J. (1999): Teaching for Quality Learning at University: What the Students Does. Open University Press and Society for Research into Higher Education., London.

Byrne Marann, Flood Barbara: Assessing the Teaching Quality of Accounting Programmes: an evaluation of Cource Experience Questionnaire. Assessment & Evaluation in Higher Education, Vol 28, No 2, 2003.

Chiovitti R. F. og N. Piran (2003): Rigour and grounded theory research. I: Journal of Advanced Nursing, 44(4), 427-435. Blackwell Publishing Ltd.

Dahler-Larsen, Peter (2007): Evalueringskultur – et begreb bliver til. Syddansk Universitetsforlag

Danmarks Evalueringsinstitut (2008): Undervisningsevaluering. Fem spørgsmål. Fem råd. Fem metoder. EVA

Helmke, Andreas et al (2008): Hvad ved vi om god undervisning. Dafolo.

Jackson, Michael (2006): ”Serving time”: the relation of good and bad teaching”. Quality Assurance in Education. Vol. 14 no 4 pp 385- 397. Australia.

Holt H., Orlowitz G.(2009): Strategisk ledelse af evalueringskultur. CEPRAstriben nr.4. Januar 2009

Kemper, Leung, (2008): Establishing the validity and reliability of course evaluation Questionnaires. Assessment & Evaluation in Higher Education. Vol 33, No 4, August 2008. pp 341 – 353.

Krogstrup, Hanne Kathrine (2007): Evalueringsmodeller. Academica.

Kvale, Steinar (1997): Interview. En introduktion til det kvalitative forskningsinterview. Hans Reitzels Forlag.

25

Leth Hanne, Søndergård Louise (2007): Undervisningsevaluering som redskab til kvalitetsudvikling af un-dervisningen. Dansk Universitetspædagogisk Netværk.

Lisbeth Binderup (2008): Hvad med ledelse? Evalueringsnyt august 2008

March & Roche (1994): The Use of Students Evaluation of University Teaching to Improve Teaching Effec-tiveness. Australian Government Publishing Service. Canberra.

Mclnnis, Griffin, James, Coates (2001): Development of the Course Experience Questionnaire (CEQ). Faculty of Education. The University of Melbourne. Department of Education. Australia.

Miller, Tanja ( 2008): Professionsuddannelser med hang til kvalitet og skøn. I ”Udvikling på tværs” UCL.

Moldt, Christian (2008): Fra meningsløs til meningsfuld evaluering – om kvalitetsmåling i undervisnings-sektoren. Evalueringsnyt nr. 20. august 2008.

Pedersen, Flemming Kragh, Anne Krøjer Jacobsen og Henrik Breiner Kousholt (2000): Sunde projekter: Håndbog i projektarbejde og kvalitetssikring på sundhedsfremmeområdet”. Nordjyllands Amt.

Saroyn, Amundsen (2001): Evaluating University Teaching: time to take stock. Assessment & Evaluation in Higher Education.Vol. 26, No 4.

https://www.retsinformation.dk/Forms/R0710.aspx?id=121828#Kap8)

CEPRA, Sohngårdsholmsvej 51 A, 9000 Aalborg opbevarer artikler og litteraturoversigter der er anvendt til review af forskningsviden i to samlinger. Materialet stilles til rådighed for interesserede.

1. Materiale angående metaevalueringer2. Materiale angående den gode undervisning

26