Effekt og evaluering i FUSA-støttede

kompetenceudviklings-projekter

Overenskomstparterne har aftalt, at der er to mål for kompetenceudvikling på statens arbejdspladser. Det ene mål er ”at understøtte fleksibilitet, effektivitet og kvalitet i opgavevaretagelsen”. Det andet mål er, at kompetenceudvikling er et ”væsentligt element i sikringen af den enkelte medarbejders employability”. (Fra Forlig mellem Finansministeren og CFU, bilag E). Det fremgår af Kompetenceaftalen, at kompetenceudvikling skal være systematisk og strategisk. Det betyder blandt andet, at kompetenceudviklende aktiviteter skal have sammenhæng med arbejdspladens mål og opgaver, og arbejdspladsen skal tage aktiv stilling til, hvad kompetenceudviklingen skal føre til. Parterne har fokus på lokal effekt Overenskomsten har stor opmærksomhed på, at midler afsat til kompetenceudvikling i overenskomstaftalerne fører til lokal effekt på arbejdspladserne. Det vil sige, at opgaver løses bedre, og at medarbejdere bevarer eller øger deres muligheder på arbejdspladsen/ arbejdsmarkedet. Indhold i denne folder Denne folder giver input til arbejdet med effekt og evaluering af kompetenceudviklingsprojekter. Emnerne er: - SU’s inddragelse i evalueringsarbejdet (s. 3) - Hvorfor evaluere (s. 4) - Sammenhæng mellem projektmål og evaluering (s. 4) - Fra projektets grundidé til effektevaluering (s. 5) - Indsamling af data i effektevalueringen (s. 6) - Intern eller ekstern evaluator (s. 7)

”Aftale om kompetenceudvikling” (Kompetenceaftalen) angiver bl.a., at SU skal ”fastlægge principper og retningslinjer for den samlede kompetenceudviklingsindsats” samt ”foretage en årlig evaluering af arbejdspladsens indsats for kompetenceudvikling.” (§ 8, stk. 1 og 2)

Principper for kompetenceudvikling i staten

2

3

SU’s inddragelse i evalueringsarbejdet Samarbejdsudvalget (SU) har vigtige opgaver i forhold til kompetenceudvikling på arbejdspladsen. Det beskriver Kompetenceaftalen. I projekter støttet økonomisk af Fonden til udvikling af statens arbejdspladser (FUSA) har parterne aftalt, at projekter igangsættes, gennemføres og evalueres i et samarbejde mellem ledelse og repræsentanter for medarbejderne, typisk i SU. Det indebærer, at SU involveres i overvejelser om kompetenceudviklingsbehov og om indhold i et konkret projektforslag. SU skal godkende den endelige projektansøgning, der sendes til FUSA. Det kan bl.a. være at drøfte • Hvordan et konkret projektforslag hænger sammen med arbejdspladsens

overordnede strategi for kompetenceudvikling. • Hvordan arbejdspladsen kan se, at ønskede mål nås. • En projektstatus undervejs i et projekt om fremdrift, eventuelle udfordringer og

eventuelle foreløbige resultater. • Værdi og resultater af projektet som en del af projektafslutning herunder, hvordan

arbejdspladsen kan bruge projektevalueringen i fremtidige kompetenceudviklingsindsatser.

I praksis kan det være et underudvalg til SU eller en projekt-/arbejdsgruppe, der arbejder med disse emner forud for en drøftelse i SU. Hvorfor evaluere Et kompetenceudviklingsprojekt sættes i gang, fordi man ønsker bestemte forandringer. En evaluering, stor eller lille, er nødvendig for at vurdere, om aktiviteterne i udviklingsforløbet har virket og ført til det, som arbejdspladsen har ønsket. Evaluering kan også give viden til fremtidige projekter, så arbejdspladsen lærer af sine erfaringer og resultater. Kompetenceudviklingsprojekter kræver nemlig ofte mange ressourcer (tid, penge og opmærksomhed).

Evaluering er en systematisk indsamling af informationer og data, der giver viden om gennemførelse, organisering og virkning af et konkret projekt, indsats, strategi eller samarbejde.

Sammenhæng mellem projektmål og evaluering Ved udformning af et projekt kan det være nyttigt at besvare disse spørgsmål:

• Hvad er hovedudfordringen, der er årsag til, at I ønsker at sætte kompetenceudviklingsprojektet i gang?

• Hvilke langsigtede virkninger – og for hvilken gruppe af mennesker – vil I gerne opnå?

• Hvilke forandringer/resultater for både medarbejdere og opgaveløsning vil I gerne opnå inden for projektperioden?

• Hvordan skal medarbejderne arbejde på nye måder, og er der brug for at udvikle nye rutiner for opgaveløsningen?

• Hvad skal medarbejderne kunne for, at de er klædt på til at arbejde på nye måder?

• Hvilke udviklingsaktiviteter skal foregå for at lære det nye?

Svarene på de seks spørgsmål vil variere alt efter, hvad jeres arbejdsplads er sat i verden for at løse. Forskellige opgavetyper betyder, at der er forskel på, hvem indsatsen vil gøre en forskel for, hvordan man kan definere værdi, og hvordan man kan vise, at indsatsen har gjort en forskel.

Med svarene på spørgsmålene kan I udforme et overblik over grundidéen i jeres projekt (også kaldet indsatsteori, programteori eller forandringsteori). Det er en kæde af antagelser om, hvordan de planlagte aktiviteter forventes at føre til nye kompetencer, til nye måder at løse opgaverne på, og dermed til at nå de ønskede resultater. Grundidéen/indsatsteorien gør det nemmere at forklare andre om jeres projekt. Den er også et nyttigt redskab at styre efter for at se, om der sker det i projektet, som I har forestillet jer, så I kan justere undervejs.

I Kompetencesekretariatet bruger vi et ”Dialogkort om effekt” til at tale om projektets design og komme rundt om de seks spørgsmål. Se bilag 1.

Sagsbehandling, videnproduktion, rådgivning og tilsyn samt offentlige serviceydelser er eksempler på forskellige opgaver, der løses på statens arbejdspladser. Se bilag 3, der er hentet fra kurset ”Effektmål” i Statens fælles læringsløsning ”Campus” (www.stat-campus.dk )

4

Evalueringsinstituttet (EVA) arbejder blandt andet med indsatsteori. Læs om hvordan man kan udarbejde en indsatsteori, blandt andet til brug for evaluering: En lærerig vej til resultater. Håndbog i evaluering ved hjælp af indsatsteori. (www.eva.dk).

Fra projektets grundidé til effektevaluering Grundidéen/indsatsteorien er også det, I skal bruge for at vurdere, om I når de mål, I har udpeget. Det vil sige en bedømmelse af, at det, som I har forestillet jer, også er foregået i virkeligheden. I kan bruge grundidéen til at sandsynliggøre, om I har opnået den ønskede effekt. For at komme fra grundidé til evaluering af projektet skal I udpege tegn og succeskriterier. Det skal ske for hvert trin i grundidéen/indsatsteorien. Først skal I udpege, hvilke tegn der kan fortælle jer, at I er på vej mod de ønskede mål/resultater. Tegn er neutrale og angiver, hvad I vil kigge efter for at vurdere, om det går, som I har antaget. Dernæst skal I definere succeskriterier. De er værdisættende og en målestok for, hvornår I vil anse et forløb eller resultat for at være tilfredsstillende. Succeskriterier kan handle om antal og omfang (kvantitativ form) , eller de kan handle om indholdsmæssige forandringer (kvalitativ form). I kan spørge, hvornår er vi tilfredse med aktiviteterne? Hvornår er vi tilfredse med, om deltagerne har lært det de skal og bruger de nye måder at arbejde på? Hvornår er vi tilfredse med de ønskede resultater?

5

Ved at bruge indsatsteorien til evaluering foretages en procesbaseret effektevaluering, også kaldet en virkningsevaluering. Det er den ene af to overordnede former for effektevaluering. Den anden kaldes den klassiske effektevaluering. Denne type evaluering påviser, at der er sammenhæng mellem indsats og opnået effekt. Man forsøger at isolere indsatsen fra andre påvirkninger ved at bruge en kontrolgruppe. Det bruges fx i sundhedsverdenen, når ny medicin skal afprøves.

Det er ofte udfordrende at måle resultater af det samlede kompetenceudviklingsprojekt, fordi det kan være svært at påvise, at lige netop dét bestemte projekt har ført til et overordnet resultat om bedre kvalitet, service osv. Derfor er det ofte mere hensigtsmæssigt at benytte den procesbaserede tilgang, hvor man skridt for skridt sandsynliggør, at bestemte tiltag fører til bestemte resultater.

Kompetencesekretariatet har udviklet en skabelon, når I skal formulere grundidéen/indsatsteorien, udpege tegn og opstille succeskriterier. Se bilag 2.

I forbindelse med effektevalueringen skal I vælge, hvordan I vil hente dokumentation for de tegn og succeskriterier, som I har udpeget for projektet. Der er forskellige former for dataindsamlingsmetoder fx:

• Registreringer (faktuelle oplysninger, fx antal sager, deltagere, opgaver) • Spørgeskema (kort temperaturmåling eller større skema) • Fokusgruppeinterview • Drøftelse på fællesmøde (fx personalemøde, SU/styregruppe, ledergruppe) • Observationer (fx ved konsulent/leder/kollega)

Når I skal beslutte, hvilken metode I finder relevant til de enkelte dele af projektet, kan I tænke over følgende:

• Det er vigtigt, at I ikke tager bestemte metoder for givet. Overvej de metoder, der vil

være bedst til at give jer viden om det pågældende skridt i grundidéen.

• Det bør være simpelt, og ressourceforbruget skal stå mål med værdien. Desuden må evalueringen ikke være et rutineagtigt mål i sig selv, hvor man evaluerer på det, man allerede ved.

• Er der allerede noget dokumentation til rådighed, som I kan bruge. Eksempelvis, anvender I allerede nogle faste målinger, der kan være relevante i den pågældende evalueringssammenhæng (fx APV, trivselsmålinger, ledervurderinger, brugerevalueringer, kvalitetsstandarder, sagsbehandlingstider mv).

Ofte vil det give mening med en blanding af både kvantitative og kvalitative metoder for at få viden om opnåelse af de enkelte skridt.

Indsamling af data i effektevalueringen

6

Fordele og ulemper ved de forskellige metoder kan ses i bilag 4, der er hentet fra Campus.

Intern eller ekstern evaluator Den praktiske planlægning af evalueringsopgaven indeholder også en beslutning om ekstern eller intern evaluator. Det kan være et spørgsmål om tid, økonomi samt erfaringer fra tidligere evalueringsopgaver. Det kan være en god idé at udpege en intern tovholder, selvom I beslutter jer for at have en ekstern evaluator. Dermed vil I få en person, der kan stå for de drøftelser, der skal finde sted i SU. For den interne tovholder kan opgaven bl.a. være at: • Facilitere drøftelsen i SU og høre om der er behov for

særlige tiltag for at fastholde de opnåede resultater, eller om SU-medlemmerne har anbefalinger ved overgang til drift i tilfælde, hvor kompetenceudviklingen var et pilotprojekt.

• Fastholde og sammenskrive pointerne fra SU og få det med i en sammenskrevet evaluering, der kan drøftes på det næstkommende SU-møde.

7

Kompetencesekretariatet De statslige overenskomstparters fælles sekretariat for Kompetenceudvikling. Vi tilbyder rådgivning, sparring og økonomisk støtte til kompetenceudvikling på statens arbejdspladser. Du kan finde værktøjer og inspiration på www.kompetenceudvikling.dk Vi er finansieret over den statslige overenskomst. Derfor er vores tilbud gratis for ansatte i staten.

KS/10-2016

Kristen Bernikows Gade 4, 4. sal 1105 København K T: 33 18 69 69 E: info@kompetenceudvikling.dk

KOMPETENCEUDVIKLING.DK

BilagEffekt og evaluering i FUSA-støttede

kompetenceudviklingsprojekter

Kristen Bernikows Gade 4, 4. sal1105 København K33 18 69 69info@kompetenceudvikling.dk

KOMPETENCEUDVIKLING.DK

Projektdesign – fokus på værdi og effekt

Eksempler på evaluering (der er forskellige veje at gå): KS/08-2016

Effekt på kerneopgaven (Outcome) ”Hvor vil I gerne hen?” • Konkrete eksempler på

bedre løsning af kerneopgaven.

• Konkrete eksempler på værdi for med-arbejderne af den faglige eller personlige opkvalificering/ kompetenceudvikling (employability)

Aktiviteter (Proces) ”Hvilke aktiviteter opfylder/ understøtter jeres formål?” • Uddannelse/kursus • Workshop/seminar • Sidemandsoplæring • Jobrotation

• Refleksion med

kolleger/coaching/ feedback

• Opgaver mellem uddannelsesmoduler

• Arbejdsgrupper om nye løsninger

• Videndeling • Netværksgrupper

Tegn på, at det virker (Output) ”Hvordan har jeres aktiviteter gjort en forskel?” Reaktioner • Er der tilfredshed med

aktiviteten?

Læring • Er der skabt ny viden,

indsigter og ideer til nye muligheder i arbejdet?

Skift i adfærd • Hvordan bliver det lærte

brugt i arbejdet?

Resultater • Hvordan er jeres

praksis nu?

Formål (Input) ”Hvad vil I gerne opnå med indsatsen?” Hvordan skal kompetenceudviklingen bidrage til løsningen af kerneopgaven?

Forankring: ”Hvordan vil I inddrage medarbejdere og ledelse?” (Involvering og forankring)

• Ledelsens bevågenhed • Personlige læringsmål • Samtaler med egen leder

• Læringslog (individuelle, organisatoriske) • Dialog på møder og i SU • Flere…

• Minimum er SU- godkendelse eller godkendelse af ledelse og relevante tillidsrepræsentanter

• Følgegruppe eller styregruppe

• Før-efter-måling (APV, brugertilfredshed, social kapital) • Simpel måling (deltagerfeedback, deltagertilfredshed) • Interviews (med kolleger, chefer, deltagere, brugere)

(Programteori)

Kerneopgaven ”Hvad er jeres kerneopgave?” Har I defineret jeres kerneopgave? Har I et fælles billede af kerneopgaven? Hvordan bidrager forskellige medarbejder-grupper til kerne-opgaven? Er der noget, der udfordrer jeres kerneopgave? Fx: • Ny vision/strategi • Politiske krav • Ny lovgivning • Budget-reduktioner • Ny teknologi • Nye samspil • Spredte fagligheder

Kompetenceudviklingsprojekt ”Titel”

Tegn og succeskriterier Hvor vil I se hen, når I skal finde ud af om I opnår de ønskede resultater?

Hvornår er I tilfredse?

6. Effekt/ Overordnede resultater på langt sigt til gavn for både arbejdsplads og medarbejdere

1. Hvilke aktiviteter skal gennemføres?

2. Hvilken ny fælles viden og holdninger skal deltagerne få?

3. Hvilke forandringer ses i hverdagen som følge af at deltagerne bruger det lærte?

4. Hvordan oplever interessenterne bedre opgaveløsning? Og hvordan er faglig spændvidde i enhed og på arbejdspladsen blevet udvidet?

5. Hvilke resultater (=mål) skaber det på kortere sigt? Og hvordan gavner det medarbejderne?

2016

0. Hvilke udfordringer er baggrunden for kompetenceudviklingsinitiativet?

Hvilken organisering for at understøtte ejerskab på hele arbejdspladsen? Tidshorisont

Dataindsamlings-metoder

Skema med eksempler på opgavetype og effektindikatorer

Sagsbehandlingstid

Korrekt sagsbehandling Sagsbehandling

Kvalitetsmåling

• Langsom sagsbehandling store økonomiske, sociale eller sundhedsmæssige konsekvenser ÷ værdi for sagsbehandlede • Hurtig sagsbehandling retssikkerhed eller opfyldelse af servicegarantier værdi for sagsbehandlede

• Ukorrekt sagsbehandling store økonomiske, sociale eller sundhedsmæssige konsekvenser ÷ værdi for sagsbehandlede • Korrekt sagsbehandling retssikkerhed eller opfyldelse af servicegarantier værdi for sagsbehandlede • Kan fx måles som andelen af klagesager, hvor der gives medhold til den jeres sagsbehandling

• Den oplevede service – fx i forhold til jeres kommunikation af proces og afgørelse værdi for sagsbehandlede

Opgavetype Effektindikator Begrundelser/beskrivelse

Oversigten er hentet fra Kurset ”effektmål” i CAMPUS (rum for læring i staten)

Vidensproduktion

Efterspørgsel

Kendskab

Adfærdsændring

• Markedslignende vilkår/konkurrence efterspørgslens størrelse er udtryk for , at jeres målgruppe tillægger jeres viden værdi og at den dermed gør en forskel for dem

• Vidensproduktion hvor formålet er oplysning at måling af målgruppen kendskab til jeres viden indikerer effekt

• Vidensproduktion hvor formålet er adfærdsændring kan I måle, om den adfærd, I ønsker ændret, reelt er ændret • Kan typisk måles ved observationsanalyser eller opgørelser

Rådgivning & tilsyn

Adfærdsændring/ overholdelse af lovgivning

Brugervurdering/ tilfredshed

• Formålet er ofte at sikre overholdelsen af gældende lovgivning mindsket andel af lovovertrædere, er en indikation af rådgivning og /eller tilsyn har en effekt

• Brugervurdering og brugertilfredshedsmålinger muligt at spørge jeres målgruppe , om jeres rådgivning skaber værdi og at den gør en forskel

• (Er jeres rådgivning et krav eller uønsket af målgruppen, bør du være påpasselig med at anvende brugervurderinger/-tilfredshed)

Side 1 af 2

Opgavetype Effektindikator Begrundelser/beskrivelse

Offentlig serviceydelser

Brugervurdering/- tilfredshed

Efterspørgsel

Kundeanbefaling

Udrykningstid

Kapaciteten

Tryghed

• Langsom udrykningstid store økonomiske, sociale eller sundhedsmæssige konsekvenser • Hurtig udrykningstid opfyldelse af servicegarantier • Udrykningstiden kan fx måles op imod prædefinerede standarder

• Markedslignende vilkår/konkurrence efterspørgslens størrelse er udtryk for , at jeres målgruppe tillægger jeres viden værdi og at den gør en forskel for dem

• At anbefale jeres service til andre – fx i et spørgeskema eller interview at de tillægger jeres service værdi og at den gør en forskel for dem

• Formålet med beredskabet er at minimere risici og mindske bekymringen for konsekvenserne, hvis en given risiko skulle blive til en reel hændelser oplevelser af tryghed er en indikation af effekt

• Brugervurdering og tilfredshedsmålinger muligt at spørge jeres målgruppe , om jeres service skaber værdi og at den gør en forskel

• (Er jeres service et krav eller uønsket af målgruppen, bør du være påpasselig med at anvende brugervurderinger/-tilfredshed)

• Forkert kapacitet store økonomiske, sociale eller sundhedsmæssige konsekvenser • Rigtigt beredskab opfyldelse af servicekrav • Kapaciteten kan fx måles op imod prædefinerede standarder eller ved at spørge til opdragsgivers tilfredshed med beredskabet

Side 2 af 2

Skema med eksempler på opgavetype og effektindikatorer Oversigten er hentet fra Kurset ”effektmål” i CAMPUS (rum for læring i staten)

Skema med dataindsamlingsmetoder

Dataindsamlingsmetode Fordele Ulemper Bredde/dybde

Dokumentanalyse

Registerdata

Spørgeskemaundersøgelse

Fokusgruppe

Interview (Individuel /gruppe)

Observation

• Giver hurtigt overblik over baggrund og kontekst for en indsats. Kan være meget økonomisk fordelagtig

• Fanger ikke altid den faktiske baggrund, funktion og kontekst for indsatsen. Vær opmærksom på om grundlaget er i orden

• Giver et bredt og dækkende billede af indsatsens område. Indsamling og analyse kan være omkostningseffektiv og hurtig

• Fanger ikke altid den faktiske baggrund, funktion og kontekst for indsatsen. Vær opmærksom på om grundlaget er i orden

• Giver et hurtigt dækkende indblik i respondenternes oplevelser af indsatsten. Lav respondentbyrde.

• Kan ikke give en dybere forståelse af hvordan og på hvilken måde indsatsen fungerer. Kan være omkostningsfuld. Svær at anvende ved små populationer

• Kan udforske forskellige perspektiver/

scenarier og fungere som idé generator til fremtidig udvikling af indsatsten. Kan gennem-øres forholdstvist omkostningseffektivt

• Gennemførelse og analyse kan være omkostningstung. Deltagerne er ikke nødvendigvis repræsentative. Høj respondentbyrde

• Giver en dyb forståelse af indsatsen og

fortællinger om, hvordan indsatsen fungerer

• Gennemførelsen og analyse kan være omkostningstung. Høj respondentbyrde

• Giver en dyb forståelse af, hvordan indsatsen fungerer i praksis.

• Omkostningstung og svært at strukturere i gennemførelse og analyse

Dybde

Dybde

Bredde/dybde

Bredde

Bredde

Bredde

Oversigten er hentet fra Kurset ”effektmål” i CAMPUS (rum for læring i staten)