priročnik za načrtovanje in izvajanje evalvacij in izvajanje evalvacij.pdf · 2019. 7. 30. ·...

Priročnik za načrtovanje in izvajanje evalvacij

Naslov:Priročnik za načrtovanje in izvajanje evalvacij

Izdal in založil:Inštitut RS za socialno varstvo

Avtorji:Barbara Kobal Tomc, Mateja Nagode, Nadja Kovač, Polona Dremelj, Simona Smolej Jež, Vid Žiberna

Avtorske pravice:Avtorji in izdajatelj

Lektura:Jana Lavtižar

Oblikovanje in grafična priprava:Nadja Kovač

Vrsta izdaje:Elektronska izdaja

Za Inštitut RS za socialno varstvo:Barbara Kobal Tomc

Kraj:Ljubljana

Spletna lokacija publikacije:https://www.irssv.si/Nacrtovanje in izvajanje evalvacij.pdf

Fotografije, uporabljene v publikaciji, so prosto dostopne na: https://www.pexels.com/.

Besedilo je avtorsko delo Inštituta RS za socialno varstvo.

Ljubljana, 2019

Kataložni zapis o publikaciji (CIP) pripravili v Narodni in univerzitetni knjižnici v Ljubljani:

COBISS.SI-ID=301093888ISBN 978-961-91472-6-9 (pdf)

1IRSSV - Načrtovanje in izvajanje evalvacij

Kazalo vsebine

Zakaj še en priročnik o evalvacijah? 3Kaj je evalvacija in zakaj sploh evalviramo? 4Kakšne vrste evalvacij poznamo? 8Proces evalvacije 12Uporaba evalvacijskega modela 15Kazalniki 18Metode evalvacije in zbiranje podatkov 20Analiza podatkov in sporočanje raziskovalnih rezultatov 27Enotni postopek evalviranja programov socialnega varstva 29Sklep 35Viri 37Opombe 40Zapiski 41

2 IRSSV - Načrtovanje in izvajanje evalvacij

Seznam slik

Slika 1: Medsebojno dopolnjevanje metod monitoringa in evalvacije 6Slika 2: Razmejitev monitoringa in evalvacije 6Slika 3: Časovni pregled tipov evalvacij 9Slika 4: Zunanja in notranja evalvacija projekta 10Slika 8: Razlike med metodami 26Slika 9: Področja ReNPSV 31Slika 5: Proces evalvacije 12Slika 6: Matrika logičnega modela 16Slika 7: Elementi za definiranje kazalnikov 18


Opredelitev pojma evalvacije je skorajda toliko, kolikor različnih evalvacijskih študij je bilo izvedenih. Zato je najti ustrezno opredelitev za svoje potrebe precej zahtevna naloga.

Evalvacija, ki nastane na podlagi sistematičnega zbiranja in interpretacije podatkov, postaja ključni del vsakega dobro načrtovanega programa ali projekta in vse pogosteje tudi obvezni sestavni del programov in projektov, ki jih izvajalci prijavljajo na različne domače in mednarodne razpise.

Priročnik je namenjen tako snovalcem kot izvajalcem programov in projektov, saj je evalvacija proces, ki ga je, če ga želimo sistematično voditi in kar najbolje izkoristiti, treba začeti že ob snovanju programa oziroma projekta. Nastal je kot modificirana in dopolnjena oblika priročnika Na kratko o evalvaciji, ki smo ga na Inštitutu Republike Slovenije za socialno varstvo (v nadaljevanju: IRSSV) pripravili v letu 20181.

V priročniku boste našli odgovore na naslednja vprašanja: Kaj je evalvacija? Zakaj sploh evalvirati? Kako evalvirati? Kakšne metode lahko uporabim pri evalvaciji? Koga vse je smiselno vključiti v evalvacijski proces? V zadnjem poglavju pa kot primer dobre prakse predstvljamo enotni postopek evalviranja javnih socialnovarstvenih programov, ki smo ga skupaj s Fakulteto za socialno delo Univerze v Ljubljani razvili na IRSSV.

Zakaj še en priročnik o evalvacijah?


Evalvacija (tudi ocenjevanje ali vrednotenje) je vedno bolj pomemben del (razvojnih) aktivnosti – poleg strokovnjakov za evalvacije ji vedno večjo pozornost namenjajo tako pripravljalci politik, odločevalci in ocenjevalci projektnih prijav kakor tudi izvajalci projektov. Evalviramo torej lahko projekte, programe, politike, organizacije, razpise, konference, tematike, porabo sredstev in podobno.

Definicij evalvacij je skorajda toliko, kolikor je objavljenih knjig o evalvaciji in kolikor vrednotenj je bilo opravljenih. Naj omenimo le nekatere:

h Project Cycle Management Guidelines2: evalvacija je sistematična in objektivna ocena projekta v izvajanju ali že zaključenega projekta, programa ali politike, njegovega načrtovanja, izvajanja in rezultatov;

h ACF Handbook3: evalvacija uporablja sistematično metodo zbiranja, analiziranja in uporabe informacij, da bi našla osnovni odgovor o programu

in da bi zagotovila, da so ti odgovori podprti z dokazi;

h C. L. Taylor4: evalvacija primerja, kar je bilo dokončano (dokazi), s tem, kar je bilo načrtovano (kriteriji), in nato na podlagi pripravljene primerjave pripravi oceno/sodbo o tem, kako dobro je bilo to narejeno;

h Boone5: evalvacijo sestavljajo presoje o programih na podlagi vzpostavljenih kriterijev;

h Dunn6 ugotavlja, da ima pojem evalvacije sicer več pomenov, da pa se vsi nanašajo na primerjavo rezultatov politik, programov in projektov z določeno vrednostno lestvico. »Osrednja značilnost evalvacije je, da proizvede trditve vrednostne narave. Glavno vprašanje pri evalvaciji ni vprašanje dejstev (Ali nekaj obstaja?) ali delovanja (Kaj bi bilo treba storiti?), ampak vprašanje vrednosti (Kakšno vrednost ima?)«;

h Thorpe7: evalvacija je zbirka analiz in interpretacij informacij o pričakovanjih programa izobraževanja ali usposabljanja kot del spoznavnega

Kaj je evalvacija in zakaj sploh evalviramo?


procesa presojanja njihove učinkovitosti, uspešnosti ali drugih rezultatov (izidov), ki jih lahko imajo.

Raziskovalcem na IRSSV je najbližja Pattonova8 opredelitev evalvacije, ki pravi, da je evalvacija sistematično zbiranje informacij o delovanju, značilnostih in izidih programov/projektov/politik, da bi jih presojali, izboljšali njihovo delovanje in/ali dobili podlago za oblikovanje odločitve o nadaljnjem načrtovanju dejavnosti9. Evalvacija je smiselna, če nam na podlagi dejanskih informacij o programu pove, koliko je projekt uspešen v tem, kar je bil njegov namen, kako učinkoviti so izvajalci pri svojem delu in kako projekt vpliva na reševanje problemov, ki naj bi jih reševal.

Kateri so ključni elementi vseh definicij evalvacij?

h Refleksija dogodkov, stvari, ki so se zgodile, pomaga sprejeti odločitve za prihodnost.

h Postavljati si moramo konkretna vprašanja in iskati odgovore nanje.

h Razviti moramo raziskovalen, načrtovan in strukturiran proces.

h Biti moramo sistematični. Zbirati moramo dokaze, primerjati, meriti, pri čemer si moramo določiti kriterije.

h Sprejeti moramo presojo o vrednosti. Izdelki, storitve in rezultati tako niso samo opisani, ampak jih je treba tudi interpretirati.

Evalvacija ima navadno dva temeljna namena:

h da ocenimo upravičenost projekta ali programa. V tem primeru je v ospredju predvsem ocena upravičenosti projekta, njegovega dela in njegovega nadaljevanja. Gre predvsem za presojanje osnovne vrednosti glede na vloženi denar in standarde kakovosti; evalvacija je predvsem del procesa vodenja projekta.

h Evalvacija projekta kot del razvojnega procesa – kot orodje, pripomoček, ki pomaga odstranjevati težave in probleme ter ugotavlja primere dobrih praks. Gre predvsem za razlagalni vidik in je namenjen procesu učenja.

Evalviramo torej zato, da laže spremljamo izvajanje projekta; ugotovimo, kaj deluje in kaj ne; laže gradimo na uspehu in razvijamo dobro prakso, se izognemo ponavljanju napak ter laže načrtujemo tekoče in prihodnje projekte.

Spremljanje ali monitoring in evalvacija prinašata informacije o tem, ali delamo prave stvari, ali delamo prav in ali lahko delamo bolje. To so ključna vprašanja za učinkovito, relevantno in dolgoročno uspešno vodenje razvojnih projektov in programov. Spremljanje in evalviranje morata biti vključena in načrtovana od začetka do konca projektnega cikla.

Pri tem moramo razlikovati med spremljanjem (angl. monitoring) in


evalviranjem. Monitoring pomeni spremljanje kazalnikov pri doseganju določenih ciljev, evalvacija pa zajema širši vidik, ki je namenjen vrednotenju napredka pri določenih ciljih, logiki poteka in posledicam opravljenih aktivnosti. Vzajemna uporaba obeh metod nam omogoča dobro izhodišče za boljše upravljanje politik, programov in projektov.

Slika 1: Medsebojno dopolnjevanje metod monitoringa in evalvacije

MO

NIT

ORI

NG

Razjasni namen programa.Poveže aktivnosti in vire z nameni.Pretvori namene v kazalnike napredka ter določi ciljne vrednosti in izhodišča.Stalno zbira podatke o kazalnikih ter primerja dejanske rezultate z načrtovanimi.Poroča o napredku odgovornim in jih opozarja na probleme.

EVAL

VACI

JA

Analizira, zakaj so pričakovani rezultati bili ali niso bili doseženi.Ocenjuje posebne naključne vplive aktivnosti na rezultat.Preučuje proces implementacije.Raziskuje nenačrtovane rezultate.Pripravi primere dobre/slabe prakse, poudari dosežke in potenciale programa/projekta ter predlaga predloge za izboljšave.

Vir: Prirejeno po Kranjc Kušlan 2010.

Ko spremljamo aktivnosti, ki so bile izvedene v projektu, in evalviramo njihov rezultat, vidimo doseženo stanje teh aktivnosti, vendar na tem mestu še ni jasno, ali so se spremembe zares zgodile oz. ali so bili cilji doseženi. Spremembe so tisto področje, ki ni več neposredno odvisno le od aktivnosti in doseženih ciljev, temveč so posledica aktivnosti in doseženega stanja v določenem času. To pomeni, da tega ne moremo več spremljati, temveč je

treba to evalvirati10.

Slika 2: Razmejitev monitoringa in evalvacije

IMPL

EMEN

TACI

JA

VLOŽEK KAJ POTREBUJEM?

MO

NIT

ORI

NG

IMPL

EMEN

TACI

JE

AKTIVNOSTIS ČIM JIH IZVAJAM?

DOSEŽENO STANJE / REZULTAT

KAJ ŽELIM NAREDITI?

REZU

LTAT

UČINEKKAKŠNO SPREMEMBO ŽELIM?

EVAL

VACI

JA

REZU

LTAT

OV

VPLIVKAKŠEN BO (DOLGOROČNI) VPLIV

SPREMEMBE?

Vir: Prirejeno po Kranjc Kušlan 2010.

Pri vrednotenju lahko uporabljamo različne kriterije. Organizacije pa najpogosteje uporabljajo tiste, ki jih je razvil OECD pod okriljem odbora za razvojno pomoč (OECD/DAC). Navadno vrednotimo naslednje elemente11:

h Ustreznost ali smotrnost (relevance) – ali so rezultati, namen in cilji projekta ustrezni glede na potrebe ciljne skupine? Ugotavljamo predvsem, ali so postavljeni cilji primerni za reševanje problemov, ki jih obravnava npr. intervencija, program, projekt.

h Učinkovitost (efficiency) – ali količina in kakovost rezultatov projekta ustrezata količini in kakovosti vloženih sredstev za doseganje teh rezultatov? Ocenjujemo torej, kako učinkovito (predvsem s stroškovnega vidika) so bili vložki preoblikovani v rezultat.

h Uspešnost (effectiveness) – v kolikšni meri projekt prispeva k doseganju splošnih in posebnih ciljev? Preverjamo, v kolikšni meri je


intervencija, program, projekt uspešen pri doseganju kratkoročnih oziroma neposrednih ciljev.

h Vplivnost (impact) – ali projekt vpliva na ciljne skupine v skladu z njihovimi potrebami? Ocenjujemo, kakšen je bil učinek intervencije, projekta, programa na širše okolje ter v kolikšni meri so neposredni cilji prispevali k doseganju širše zastavljenih ciljev.

h Trajnost (sustainability) – ali so spremembe in koristi takšne, da bodo trajale tudi po zaključku projekta? Ugotavljamo, kolikšna je verjetnost, da bodo dolgoročni učinki in s tem koristi intervencije, projekta, programa obstali, tudi ko bodo aktivnosti zaključene.

Evalvacija pomeni ovrednotenje, ki

nastane na podlagi sistematičnega

zbiranja podatkov in interpretacije podatkov.

Uporabljamo jo za odločanje o nadaljnjem

delu (aktivnostih)12.


Kakšne vrste evalvacij poznamo?

Obstaja več načinov evalvacije, ki jih izvajamo v različnih fazah projekta. Katero vrsto evalvacije bomo izvedli, pa je odvisno od naših potreb.

h Glede na namen izvedbe razlikujemo formativno in sumativno evalvacijo:

Naloga formativne ali procesne (tudi sprotne) evalvacije je poiskati načine za boljše izvajanje politike/projekta oziroma za ponovno reševanje problema. Formativno evalvacijo izvajamo v zgodnjih stadijih projekta (tj. v fazi načrtovanja) ter tudi med celotnim projektom, lahko npr. v obliki vmesnih poročil. Namenjena je menedžerjem in neposrednim izvajalcem, da jim pomaga izboljšati aktivnosti (povratna informacija).

Predvsem se osredotoča na postopke izpeljevanja, na njihovo uspešnost in ustreznost. Velja, da je podobno notranjemu vrednotenju ali samovrednotenju, da je navadno izvedeno hitro, na podlagi ocen in z namenom spremljanja aktualnih

izvajalskih procesov ter preverjanja, ali se s procesi zasledujejo prvotno zastavljeni cilji13.

Sumativna ali končna evalvacija naj bi podala končno sodbo o vrednosti, pomenu, uspešnosti, učinkovitosti ali upravičenosti14 projekta in uvedla morebitno reševanje problema. Izvajamo jo v kasnejših fazah projekta. Ker vključuje evalvacijo celote, po navadi vključuje retrospektivne podatke (za nazaj), ki morajo biti zbrani že v zgodnji fazi. Te evalvacije so po navadi nasprotne formativnim, ki spremljajo program ali tisti na vmesno pobudo, ki še traja.

h Glede na čas izvedbe razlikujemo predhodno in naknadno evalvacijo:

Evalvacija ex ante ali predhodna evalvacija se izvede pred izpeljavo projekta. Evalvacija ex ante zadeva analiziranje konteksta. Odgovornim osebam priskrbi predhodne ocene o tem, ali so bila dejstva, pomembna za razvoj, diagnosticirana korektno, ali so


predlagana strategija in cilji relevantni, ali so medsebojno skladni, ali so pričakovani učinki realni itd. Zagotavlja potrebno podlago za spremljanje in za prihodnje evalvacije, tako da zagotavlja izrecno določene eksplicitne cilje (kar pomeni, da so cilji opredeljeni kot specifični), in kjer je mogoče, tudi kvantificirane cilje (t. i. operativne cilje).

Evalvacija ex post ali naknadna evalvacija pa ponovno povzame in presodi projekt, ko je ta končan. Cilja na računovodenje rabe virov, doseganje pričakovanih učinkov (uspešnosti) in nepričakovanih učinkov (korist) ter učinkovitosti intervencije/ukrepanja. Stremi k razumevanju dejavnikov uspešnosti ali neuspešnosti, kot tudi tega, ali bodo rezultati in učinki tudi vzdržali. Prav tako poskuša oblikovati sklepe, ki se lahko posplošijo na druge projekte. Da bi imeli učinki dovolj časa za udejanjanje, je treba evalvacijo ex post opraviti dve do tri leta po končanem projektu. Za namen analiziranja učinkov naj evalvacija ex post vključi nadzor področja in ga izvaja daljše obdobje.

Slika 3: Časovni pregled tipov evalvacijEX ANTE ALI PREDHODNA

EVALVACIJA

ZGODNJE FAZE PROJEKTAVMESNA EVALVACIJA

ZAKLJUČNE FAZE PROJEKTA

EX POST ALI NAKNADNA

h Glede na izvajalca evalvacije razlikujemo zunanjo in notranjo evalvacijo (samoevalvacijo):

Samoevalvacija pomeni, da za izvedbo evalvacije uporabimo lastne vire, kar pomembno prispeva k razvoju lastnega kadra za evalvacijo in krepitev znanj, veščin, spretnosti in izkušenj s področja evalvacije v lastni organizaciji. Pomanjkljivosti takšnega pristopa pa so, če naš tim nima ustreznega znanja ali izkušenj za pripravo in izvajanje evalvacije. V tem primeru evalvacija ne bo pravilno oblikovana in izvajana in bo zato dražja, kot če bi najeli zunanjega ocenjevalca. Tudi ni nujno, da bo naročnik sprejel rezultate evalvacije, ki jo bo oblikoval in izvajal notranji tim projektnega partnerstva.

Zunanjo evalvacijo izvaja nekdo, ki ni član kolektiva organizacije. Prednost zunanje evalvacije je ta, da ima evalvator objektivni vidik na celoten projekt in aktivnosti v njem (tako ne more biti pristranski), zato laže podaja konstruktivne kritike opravljenega dela in prej uvidi inovativne rešitve za odpravo nastalih problemov v prihodnje. Pomanjkljivost zunanjega evalvatorja je sicer v tem, da ne more imeti popolnega razumevanja in uvida v način razmišljanja v projektu (ne pozna ozadja, začetkov, priprave vsebin, sprejemanja odločitev v projektu), vendar kljub temu zaradi distance do projekta laže razume probleme, ki nastanejo v projektu, in jih primerno ovrednoti.


Slika 4: Zunanja in notranja evalvacija projektaZUNANJA NOTRANJA

Višja stopnja objektivnostiOmogoča višji učni

potencial za sodelujoče zaposlene

Večja verodostojnost Notranji ocenjevalci imajo vsebinsko znanje

Ima večjo težo, če projekt potrebuje utemeljitev

Skupno razmišljanje zaposlenih krepi

povezanost skupinePrinese znanje evalviranja

(ocenjevanja) Cenejša

Zunanja evalvacija ima dvojen cilj:

1. evalvirati izvajanje aktivnosti in končnih rezultatov,2. evalvirati trdnost in skladnost logike projekta.

Potek zunanje evalvacije razumemo kot strukturiran proces, v katerem se ocenjujejo aktivnosti in rezultati projekta. To vsebuje analizo in interpretacijo podatkov o projektu, da bi identificirali dosežke in morebitne potencialne pomanjkljivosti – tako je mogoče na podlagi evalvatorjevih predlogov narediti spremembe in izboljšave.

Zunanja evalvacija daje objektiven pogled na projekt, posebej se osredotoča na to, ali je projekt izvedel svoje aktivnosti in dosegel rezultate, določene v delovnem načrtu. Ugotovitve zunanje evalvacije so pomembne predvsem za naročnika, saj bo na podlagi rezultatov evalvacije pri naslednjem projektu lahko upošteval ugotovitve in tako optimiziral oz. zmanjšal potencialne nepravilnosti, nejasnosti in napake.

Zunanja evalvacija uporablja več različnih

elementov, ki so navadno značilni za t. i. monitoring ali spremljanje:

h opredelitev temeljnih hipotez, od katerih je odvisno doseganje ciljev projekta (monitoring),

h opredelitev odnosov med viri, aktivnostmi, rezultati in izidi (logični model),

h priprava seznama virov podatkov, ki jih je treba uporabiti pri ocenjevanju,

h uporaba metod za preverjanje aktivnosti in rezultatov.

Lahko pa seveda uporabimo različne kombinacije:

Notranji evalvator in zunanji neodvisni strokovnjakIzbrani notranji ocenjevalec je vključen že v proces načrtovanja projekta, kar bo zagotovilo večjo usklajenost evalvacije s postavljenimi projektnimi cilji. Od notranjega ocenjevalca se bo pričakovalo veliko večjo časovno vpetost. V tem primeru bo zunanji ocenjevalec le svetovalec, torej ne bo popolnoma vključen v proces evalvacije. Takšna evalvacija tudi ne bo tako objektivna. Ta rešitev je dobrodošla, kadar menimo, da imamo dovolj sredstev in osebja za izvedbo evalvacije. Zunanjega svetovalca pa uporabimo za posamezne elemente evalvacije, npr. uporabo določenih tehnik, metod, orodij, za tehnično pravilnost načrta evalvacije oziroma poročila o evalvaciji.

Zunanji in notranji evalvatorTa pristop ima vse prej naštete prednosti


in omogoča, da oba procesa evalvacije (zunanje in notranje) potekata v istem časovnem obdobju. Proces evalvacije je tudi bolj rigorozen, saj je vpet v samo strukturo projekta. Največja pomanjkljivost tega pristopa je, da je najdražji od vseh, da se vloge lahko pomešajo in ni jasne razmejitve med zunanjim in notranjim ocenjevalcem, in če proces ni ustrezno voden, se njune aktivnosti lahko podvajajo.

Ne glede na to, za kakšen tip evalvacije se bo projektno partnerstvo odločilo, se je treba zavedati, da bodo izvajalci projekta (predvsem vodja projekta) vpeti tako v načrtovanje kakor tudi izvajanje aktivnosti.

Obstaja več načinov evalvacije,

ki jih izvajamo v različnih fazah

projekta. Katero vrsto evalvacije

bomo uporabili, je odvisno od naših

potreb.


Če je le mogoče, z evalvacijo in spremljanjem začnemo že med načrtovanjem projekta. Zelo pomembno namreč je, da si na začetku postavimo ustrezne cilje in določimo kazalnike, s katerimi želimo meriti doseganje teh ciljev.

Z vidika projektnega vodenja so ključne faze evalvacije naslednje15:

Prva faza je priprava načrta evalvacije: na začetku moramo sprejeti odločitev, zakaj evalvirati; nato določimo namen evalvacije;

izberemo izvajalca evalvacije; odločimo se, katero vrsto podatkov bomo uporabili, izberemo način njihovega zbiranja in oblikujemo (izberemo) teoretični okvir modela evalvacije.

V drugi fazi že izvajamo evalvacijo, pri čemer uporabljamo različna orodja in tehnike; vrednotimo izvajanje storitev, programov ter doseganje rezultatov in ciljev.

V tretji, zaključni fazi pripravimo poročilo o evalvaciji.

Proces evalvacije

Slika 5: Proces evalvacije

EVALVACIJSKI NAČRT

POROČILO O EVALVACIJI

IZVAJANJE EVALVACIJE

- Zakaj evalvirati?- Namen evalvacije- Kdo bo izvajal evalvacijo?- Vrsta in zbiranje podatkov- Določitev teoretičnega modela evalvacije

- Uporaba različnih orodij in tehnik- Evalvacija posameznih izdelkov, storitev in rezultatov- Evalvacija doseganja ciljev

- Priprava in izdelava evalvacijskega poročila


Navadno zaključku sledi še diseminacija rezultatov, ki jih predstavimo predvsem naročniku in drugim zainteresiranim javnostim.

Načrt evalvacije pripravimo že v fazi načrtovanja projektnega predloga. Čeprav v tej fazi razpisovalci projektov navadno ne zahtevajo podrobnega načrta evalvacije, temveč predvsem grobi osnutek in opis, kdo bo izvajal evalvacijo ter kaj bo njen predmet, je pomembno, tudi zaradi načrtovanja virov (finančnih in človeških), da ta okvir naredimo čim bolj natančno.

Postaviti si moramo vprašanja, ki so pomembna za nas in za naš projekt. Od zapisanih vprašanj bodo odvisni tako proračun projekta kakor tudi ključne projektne aktivnosti. Podrobneje si oglejmo, kako načrtujemo in izvedemo evalvacijo16:

1. korak: Definiranje merljivih ciljevČe nas zanima, kako učinkoviti smo pri doseganju ciljev projekta oz. v kolikšni meri jih dosegamo, moramo že v fazi priprave projekta poskrbeti za merljivost postavljenih ciljev.

Ključno je torej, da oblikujemo takšne cilje, katerih doseganje lahko izmerimo.

2. korak: Določitev vrste analize, ki jo želimo uporabiti v procesu evalvacijeUspešnost vsakega projekta mora temeljiti na evalvaciji postavljenih ciljev in rezultatih projekta.

3. korak: Izbira splošnega načina raziskovanja: pred izvedbo projekta in po njej ali primerjalna raziskavaOmejimo se na dva splošna načina raziskovanja: raziskovanje pred izvedbo projekta in raziskava po zaključku projekta ter primerjalno raziskovanje.

Že v fazi priprave na projekt se odločimo, katero bomo uporabili kasneje pri evalvaciji. Odločamo se na podlagi ciljev projekta:

h raziskavo pred izvedbo in ob zaključku projekta uporabimo takrat, ko želimo ovrednotiti ali oceniti napredek, prispevek projekta

h primerjalni model pa uporabimo takrat, ko želimo primerjati različne projekte med seboj, ali če imamo možnost primerjati različne skupine.

4. korak: Izbira ustreznih virov informacijKo vemo, kakšne informacije še potrebujemo, da bomo uspešno vrednotili projekt, določimo oz. izberemo vire informacij. Obstaja več vrst potencialnih virov informacij, ki so nam lahko v pomoč pri pripravi evalvacije. Vse je treba že pred začetkom upoštevati in po potrebi vključiti v model evalvacije.

Preden se odločimo, katere vire bomo pri evalvaciji uporabili, je treba določiti, kakšne vrste informacij sploh potrebujemo. Uporabljamo le tiste vire, ki so nam zares v pomoč, ki so praktični in ki nam bodo


pomagali osvetliti postavljene cilje.

5. korak: Odločitev za metodo merjenjaPoznamo različne načine merjenja in zajemanja podatkov. Glede na vrsto projekta in cilje evalvacije se odločimo, katera metoda je za naš projekt najprimernejša. Pri tem lahko uporabimo kvalitativne ali kvantitativne metode, odvisno od ciljev in primernosti za naš projekt. Katera metoda je najprimernejša? S tem vprašanjem se ukvarjamo vsi, ki načrtujemo raziskovalni projekt. O metodah bomo sicer podrobneje govorili v nadaljevanju, na tem mestu pa si oglejmo nekaj vprašanj, ki nam lahko pomagajo pri odločanju17:

h kaj želimo ugotoviti in kaj potrebujemo za to,

h s katero metodo lahko najbolje preverimo hipoteze in najdemo odgovore na postavljena vprašanja,

h katere metode so za nas sprejemljive in izvedljive,

h kakšni so naša znanja in veščine, h kako bodo izbrane metode

vplivale na raziskavo.

6. korak: Upravljanje raziskave pri pripravi evalvacijeV tej fazi pripravimo podroben načrt izvedbe vseh študij, ki smo jih predvideli.

Temeljni koraki v procesu evalvacije projekta:

h zapišemo instrumente zbiranja

podatkov, ki vključujejo vprašalnike, fokusne skupine, navodila za izvajanje intervjujev ali navodila za opazovanje,

h po potrebi pripravimo model vzorčenja podatkov. Že pred začetkom se odločimo, koliko oseb bomo zajeli v raziskavi, po kakšnih kriterijih jih bomo izbirali, in jih tudi izberemo,

h če se odločimo za metodo zbiranja podatkov z anketami, ustrezno usposobimo sodelavce, ki bodo opravili anketiranje,

h zbiranje podatkov (izvajanje raziskave, osebni intervjuji, fokusne skupine, opazovanje).

Sledijo analiza rezultatov, ki temelji na razporeditvi in organiziranju podatkov v obliko, ustrezno za obdelovanje in pripravo analize ter izvajanje raziskave, testiranje hipotez in priprava zaključkov (oz. poročila).

Načrt evalvacije pripravimo že v fazi načrtovanja

projektnega predloga.


Da bi bila evalvacija objektivna in jasna tako projektnim partnerjem kakor tudi razpisovalcem/naročnikom projektov, jo je najbolje vključiti kot obvezni element v najbolj razširjeno metodo za načrtovanje projektov, to je metoda načrtovanja projekta z uporabo logičnega modela. Metoda omogoča testiranje logičnosti načrta aktivnosti. Pomaga razjasniti, kako bodo načrtovane aktivnosti pripomogle k doseganju zastavljenih ciljev ter konkretno, jasno in pregledno kaže posledice načrtovanih aktivnosti v smislu potrebnih virov, predpostavk in tveganj; zato je pomembna podlaga za spremljanje in evalvacijo.

Logični model je poenostavljena slika projekta, pobud ali posredovanj, ki odgovarjajo na dano situacijo. Prikazuje logična razmerja med viri, aktivnostmi, rezultati in izidi. Predstavlja verjeten in razumen model, kako naj bi program deloval, in zato kaže svojo osnovno utemeljitev. Logični model lahko uporabljamo kot orodje za načrtovanje programov, ocenjevanje, spremljanje in

upravljanje programov.

Tako logični model lahko razumemo kot prvi korak v evalvaciji. Pomaga pri določanju, kdaj in kaj naj se evalvira, tako da se sredstva za vrednotenje uporabljajo uspešno in učinkovito. Z zunanjo evalvacijo testiramo in preverjamo realnost teorije projekta – kako se lahko prepričamo, da je projekt deloval. Logični model nam bo pomagal osredotočiti se na ustrezne procese in ukrepe, ki so opisani kot viri, aktivnosti, rezultati in izidi.

Logični model nam daje naslednje informacije:

h Katere vire potrebujemo? h Katere aktivnosti bomo izvajali za

dosego namena in učinkov projekta? h Kaj nameravamo s projektom

doseči? h Katere so možne težave, ki lahko

vplivajo na uspeh projekta? h Kako bomo merili in preverjali

napredek in končni uspeh projekta?

Uporaba evalvacijskega modela


Slika 6: Matrika logičnega modela

Vir: Povzeto po Taylor-Powell et al 2002.

P

RIO

RITE

TE

VIRI AKTIVNOSTI REZULTATI - VPLIV

AKTI

VNO

STI

SOD

ELO

VAN

JE

KRAT

KORO

ČNO

SRED

NJE

ROČN

O

DO

LGO

ROČN

O

KAJ VLAGAMO KAJ DELAMO KOGA DOSEŽEMO

KRATKO-ROČNI

REZUTATI

SREDNJE-ROČNI

REZULTATIKONČNI VPLIVI

učenje aktivnost pogoji

osebjeprostovoljcičasdenarraziskovalna bazamarterialoprematehnologijapartnerji

delavnicesestankirazvijanje produktovurjenjesvetovanjedostoppartnerjimediji

sodelujočinaročnikodločevalcistranke

zavedanjeznanjeodnosispretnostimnenjarizadevanjamotivacija

vedenjepraksaodločanjepolitikedružbena aktivnost

družbeniekonomskidržavljanskiokoljski

HIPOTEZE/DOMNEVE ZUNANJI VPLIVI/DEJAVNIKI

Predvsem smo osredotočeni na dejavnosti, ki jih v logičnem modelu predstavljamo kot rezultate, in njihov prispevek k doseganju želenih rezultatov, ki dokazujejo logično zasnovo celotnega projekta – ali so bili viri oz. vložki (finančni viri, človeški viri, procesi načrtovanja) realizirani na način, ki je v skladu z izpeljavo in ali so ti podatki pripeljali do ustreznih projektnih rezultatov. Dejavnosti, predstavljene v logičnem modelu kot aktivnosti, predstavljajo operacionalizacijo logičnega modela ter delovanje in dosežke projekta v praksi.

Logični model lahko postavimo v središče evalvacije izvajanja. Preprost logični model načelno vsebuje pet ključnih komponent:

1. VIRI/VLOŽKI (inputs): viri, prispevki, naložbe, ki so se vključile v projekt2. AKTIVNOSTI (outputs): dejavnosti, storitve, dogodki in izdelki, ki dosežejo ciljno skupino in zainteresirane strani3. REZULTATI (outcomes): rezultati ali spremembe posameznikov, skupin, skupnosti, organizacij, skupnosti ali sistemov4. HIPOTEZE/DOMNEVE: prepričanja, ki jih imamo o programu, sodelujočih ljudi ter kontekst in način, po katerem mislimo, da bo program deloval5. ZUNANJI DEJAVNIKI: okolje programa vsebuje vrsto zunanjih dejavnikov, ki vplivajo na njegovo delovanje.


Pri pripravi načrta celotnega procesa evalvacije uporabimo torej matriko logičnega okvira in kriterije evalvacije povežemo z njo. Logični model se

lahko uporablja kot orodje za načrtovanje programov, ocenjevanje, spremljanje

in upravljanje programov.


Učinke in vplive aktivnosti v projektu merimo s kazalniki (indikatorji) napredka. To so posebne spremenljivke, ki ob sistematičnem časovnem spremljanju kažejo napredek proti načrtovanemu učinku ali vplivu, pa tudi o doseženem stanju. Osrednja naloga pri spremljanju s kazalniki napredka je, da ugotovimo izhodiščno stanje. Ko je določeno izhodiščno stanje, lahko spremljamo napredek oz. spremembe glede na izhodiščno stanje. Zato je treba že pri načrtovanju projekta določiti izhodiščne kazalnike, da lahko spremljamo napredek in evalviramo rezultate.

Kazalnike (indikatorje) opredelimo v fazi

načrtovanja projektnih aktivnosti. Le z vnaprej oblikovanimi kazalniki bomo lahko določili, katere podatke bomo zbirali. Z njimi spremljamo, merimo doseganje ciljev in rezultatov projekta in s tem uspešnost projekta, z njimi opisujemo, merimo količinske in kakovostne spremembe.

Določimo kazalnike, s katerimi bomo merili napredek projekta.

Pri definiranju kazalnikov upoštevajmo naslednje elemente, t. i. QQTL (quality, quantity, time, location):

Pri preverjanju, ali smo pravilno določili kazalnike, se za vsakega vprašamo, katere

Kazalniki

Slika 7: Elementi za definiranje kazalnikov

KAKOVOST ČASOBSEG, KOLIČINA

- način spremembe, pričakovana kakovost

- obseg sprememb

- do kdaj se naj zgodi sprememba

LOKACIJA

- področje oz. območje sprememb

Q Q T L


informacije potrebujemo in kako ter kje so dosegljive.

h Kazalniki virov (tudi kazalniki vložkov) so sredstva ali viri (finančni, človeški, tehnični), ki so potrebni za izvedbo projekta. Povezani so torej z razporeditvijo sredstev (alokacijo proračuna).

h Kazalniki izidov so povezani z aktivnostmi in nazorno prikazujejo napredek pri izvajanju projektnih aktivnosti. Merijo se v fizičnih enotah (število) ob zaključku aktivnosti (npr. število izdanih publikacij, število izvedenih delavnic, število izvedenih programov usposabljanja ipd.)

h Kazalniki rezultatov izražajo takojšnje (kratkoročne) učinke na direktne uporabnike aktivnosti. Merijo se v stopnjah ali spremembah in se izražajo v deležih:

- stopnja pokritosti: delež populacije, ki je vključena v določeno aktivnost (npr. število brezposelnih, vključenih v usposabljanje/število vseh brezposelnih v regiji),

- delež zaposlenih: udeleženci usposabljanj, ki so se zaposlili/skupno število udeležencev usposabljanj.

h Kazalniki vpliva izražajo vplive na doseganje globalnih ali splošnih ciljev in se nanašajo na srednjeročne in dolgoročne posledice/učinke izvedenih aktivnosti. Uporabljamo jih za naknadno oceno uspešnosti ali neuspešnosti programa/projekta. Ti

kazalniki merijo spremembe in se zato izražajo v stopnjah (%) (npr. znižanje stopnje brezposelnih mladih, povečanje aktivnosti žensk na trgu dela).

Viri projekta so vezani na njegove izide in posledično na doseganje rezultatov in vplivov:

h Doseganje rezultatov (operativnih ciljev) je izraženo z izidi (outputs): npr. število dolgotrajno brezposelnih, vključenih v usposabljanje.

h Doseganje namena (posebnega cilja) je izraženo z rezultati (results): npr. izboljšanje zaposljivosti dolgotrajno brezposelnih z usposabljanjem.

h Doseganje globalnih ciljev je izraženo z vplivi (impacts): npr. znižanje stopnje brezposelnosti med dolgotrajno brezposelnimi.

Pri snovanju oz. v fazi načrtovanja

projektnih aktivnosti določimo kazalnike,

s katerimi bomo merili napredek

projekta.


Potem ko smo oblikovali evalvacijska vprašanja, se odločimo, s katerimi raziskovalnimi metodami in tehnikami bomo zbirali informacije in podatke, da bomo dobili odgovore na postavljena vprašanja. Pri tem se lahko v grobem opiramo na kvalitativne ali kvantitativne metodološke pristope ali se odločimo za združevanje kvalitativnih in kvantitativnih metod (mešane metode raziskovanja).

Zadnji pristop postaja vse pogosteje uporabljen raziskovalni načrt v družboslovju. V nadaljevanju tako najprej predstavimo kvalitativni pristop in metode, nato kvantitativne in na koncu še princip mešanih metod raziskovanja. Pred tem pa želimo poudariti, da je pri izbiri metod in tehnik pomembno, da metodologijo, ki jo bomo uporabili v evalvaciji, izberemo v skladu z vsebino vsakega raziskovalnega primera posebej, to pomeni, da metodologijo prilagodimo konkretni vsebini.

KVALITATIVNI PRISTOP

Kvalitativna raziskava je raziskava posamičnega primera ali manjšega števila primerov z vseh možnih vidikov in zajema podatke, pri katerih so vrednosti spremenljivk navedene z besedami, atributivno (npr. oseba je ženskega spola). Takšne raziskave so bolj poglobljene, vključujejo manjše število udeležencev in niso »merljive« v osnovnem pomenu besede. Gre torej za metodologijo, ki je usmerjena v interpretativno epistemologijo, ki temelji na podajanju mnenj in razumevanju obravnavanih vsebin. Tako jo uporabimo v primerih, ko si za cilj raziskovanja določimo interpretiranje pomena, dajanje glasu raziskovancu in dopolnjevanje teorije18.

Med kvalitativne metode v grobem uvrščamo različne metode spraševanja (npr. intervju, fokusna skupina, viharjenje možganov), opazovanje ter analizo dokumentacijskega gradiva. V nadaljevanju predstavljamo intervju in fokusno skupino, ki sta najpogosteje

Metode evalvacije in zbiranje podatkov


uporabljeni tehniki zbiranja podatkov v kvalitativni metodologiji.

Pri strukturiranem intervjuju spraševalec pred intervjujem pripravi natančno izdelan vprašalnik. Če opravi več strukturiranih intervjujev z različnimi spraševanci, jih mora izvesti z enakimi vprašanji in na enak način, tj. po vnaprej znanem seznamu vprašanj in določenem vrstnem redu vprašanj. Pri polstrukturiranem intervjuju lahko spraševalec glede na odgovore intervjuvanca vnaprej postavljenemu naboru vprašanj dodaja še podvprašanja, ki jih sicer ni pripravil vnaprej.

Najmanj strukturirana oblika intervjuja pa nasprotno ne predvideva nobenega načrtovanega in vnaprej pripravljenega seznama vprašanj. Individualni intervju v primerjavi s skupinskimi metodami dela (npr. s skupinskim pogovorom ali fokusno skupino) ne razvija skupinske dinamike, ne ustvarja tekmovalnega ozračja, omogoča več časa za osredotočanje na malenkosti in posebnosti in je primernejša tehnika za občutljive teme, ki nam omogoča pridobivanje velikega števila informacij v kratkem času. Intervjuvani ima pri intervjuju možnost, da ne samo poda svoje mnenje, pač pa ga lahko tudi pojasni in utemelji.

Čeprav intervju pogosto velja za »najboljšo« metodo zbiranja informacij, pa včasih morda podcenjujemo njegovo kompleksnost. Za ustrezno izvajanje intervjujev je potrebno veliko časa in

včasih ga uporabljajo, četudi bi bile druge metode primernejše.

Fokusne skupine so oblika skupinskega razgovora. Njihov namen je, da ljudje spregovorijo o svojih občutkih, zaznavah, stališčih in sistemu vrednot s ciljem, da dobimo visokokakovostne podatke v širšem družbenem kontekstu, v katerem lahko ljudje razmišljajo o lastnih pogledih v kontekstu pogledov drugih ljudi. O metodi fokusne skupine govorimo takrat, ko:

h izvajamo intervju z majhno skupino ljudi (navadno 6 do 12 oseb),

h gre za spraševanje o specifični (določeni) temi,

h skupina sodeluje v intervjuju 1,5 do 2 uri.

Udeleženci diskusije so navadno razmeroma homogena skupina ljudi, ki jih sprašujemo o refleksiji na vprašanja, ki jih postavi moderator. Udeleženci poslušajo odgovore drugih in lahko dodajo dodatne komentarje k svojim odgovorom, potem ko slišijo še druge. Nikakor ni nujno, da v pogovoru skupina doseže soglasje, niti ni nujno, da se udeleženci ne strinjajo.

Pri metodi fokusnih skupin interakcije med udeleženci spodbujajo porajanje novih idej, reakcije in odzivi v skupini pa omogočajo opazovanje skupinskega procesa. Skupinska razprava mnogokrat spodbuja večjo spontanost in odkritost, kot bi ju lahko pričakovali v individualnih intervjujih.


Pri metodi fokusnih skupin gre torej za učinkovito tehniko zbiranja kvalitativnih podatkov (v eni uri lahko zberemo podatke od osmih ljudi namesto od ene osebe in s tem povečamo velikost vzorca). Metoda zagotavlja vsaj nekaj kontrole kakovosti pri zbiranju podatkov (odgovori udeležencev se medsebojno preverjajo in napačni ali ekstremni pogledi se uravnovešajo ter izločajo), skupinska dinamika pa prispeva k osredotočanju na najpomembnejše teme in precej lahko je oceniti, kakšen je obseg podobnih mnenj udeležencev.

Vendar pa ima ta metoda tudi kar nekaj pomanjkljivosti. Naštejmo le nekatere:

h Ker se čas za odgovore na dano vprašanje poveča s številom ljudi, ki naj bi nanj odgovarjali, smo omejeni pri številu vprašanj, na katera želimo odgovore (če imamo 8 ljudi, je v eni uri težko odgovoriti na več kot 10 vprašanj).

h Spodbujanje in vodenje fokusne skupine zahteva znanje o procesu skupinske dinamike (pomembno je, kako usmerjati intervju, da glavne besede ne prevzame ena ali dve osebi, drugi pa potem teže pridejo do besede).

h Težko je obenem zapisovati odgovore in usmerjati fokusno skupino, zato večino skupin vodita dve osebi (ena piše, druga usmerja – vodi; dobri zapiski so pomembni predvsem takrat, kadar posneto prepisujemo kasneje).

h Mogoče je, da med fokusno skupino pride do nepričakovanih

neprijetnosti, še posebej v primerih, ko udeleženci poznajo drug drugega; lahko se pojavijo konflikti, boj za premoč; kadar se udeleženci poznajo med seboj, tudi ni mogoče zagotoviti zaupnosti.

Fokusno skupino torej vodi vsaj en moderator, ki je odgovoren za vodenje razgovora, skrbi za skupinsko dinamiko in je pozoren na to, da vsi udeleženci sodelujejo v razpravi. V veliko pomoč pri samem izvajanju fokusne skupine je moderatorju opomnik, ki vsebuje najpomembnejša vprašanja, ki jih bodo postavili udeležencem.

KVANTITATIVNI PRISTOP

Kvantitativna raziskava je raziskava velikega števila enot na manj dimenzijah in temelji na podatkih, pri katerih so vrednosti spremenljivk navedene s številkami, numerično (npr. starost osebe je 40 let). Ta pristop uporabimo v primerih, ko je cilj raziskovanja odkrivanje splošnih vzorcev, testiranje ali preverjanje teorije, predvidevanje oz. napovedovanje. Kvantitativna metodologija je torej povezana s pozitivističnim pristopom, ki temelji na zbiranju in analizi številčnih podatkov, s katerimi pojasnjujemo vsebine, ki jih obravnavamo.

Kvantitativne raziskave vključujejo zbiranje in »prevajanje« informacij v statistične podatke. Najbolj razširjeni metodi sta metoda zbiranja in analiziranja


sekundarnih podatkov ter anketni vprašalnik.

Sekundarni podatki so tisti, ki že obstajajo in so bili zbrani v druge namene. Če sekundarni podatki ne zadoščajo, mora evalvator pridobiti tudi primarne podatke s pomočjo primarnih raziskovalnih metod. Zbiranje sekundarnih podatkov je prva naloga raziskovalca/evalvatorja in je povezana z nižjimi stroški ter hitro razpoložljivostjo podatkov. Analiza sekundarnih podatkov za potrebe evalvacij temelji na statističnih osnovah (analiza razpoložljivih statističnih podatkov) in zakonodajnih (analiza obstoječe zakonodaje in zakonodaje v pripravi).

Anketiranje je način zbiranja podatkov na širokem spektru oseb na podlagi standardiziranega anketnega vprašalnika in lahko poteka osebno, po telefonu, prek spletnih strani ali po pošti. Temeljni namen anketiranja je pridobiti informacije od določenega kroga ljudi oz. populacije.

Z anketnimi vprašalniki zbiramo podatke, ki jih v obstoječih virih ni mogoče najti. Za to metodo pridobivanja podatkov se odločamo takrat, ko smo prepričani, da o zadevi, ki jo skušamo raziskati, v javnosti obstaja neko splošno mnenje in ga je mogoče zajeti s to metodo. Vprašalniki so najprimernejša izbira takrat, ko je večina vprašanj standardiziranih, torej zaprtega tipa. Če želimo za poizvedovanje oblikovati povečini odprta vprašanja, se

raje odločimo za intervju. Poznamo več vrst anketnih vprašalnikov19. Delimo jih na vprašalnike, ki jih vprašani izpolnjujejo sami, in vprašalnike, ki jih izpolnjujejo spraševalci. Te zadnje izvajamo po telefonu ali v obliki intervjujev z vprašanci.

Pri pripravi vprašalnika skušamo ne glede na vrsto in število ljudi, ki bodo vključeni v vzorec, slediti naslednjim korakom:

1. Odločimo se, katere podatke potrebujemo, in pripravimo seznam.2. Oblikujemo vprašanja (izberemo vrsto vprašanj, napišemo vprašanja in pri tem pazimo, da so jasno postavljena, oblikujemo smiselne odgovore).3. Oblikujemo vprašalnik. 4. Napišemo uvod in navodila za izpolnjevanje vprašalnika (določimo zaporedje vprašanj, oblikujemo vprašalnik in kode za nadaljnjo obdelavo).5. Kritično pregledamo osnutek vprašalnika in ga po potrebi popravimo.6. Poskusno izvedemo anketo (pri neki osebi poskusno izvedemo izpolnjevanje vprašalnika in pri tem merimo čas izpolnjevanja, ugotovimo napake in jih odpravimo nepravilnosti).7. Opravimo testiranje (na manjšem številu ljudi z vzorca – ponavadi v testiranje vključimo od 1 do 10 %) in ponovimo korake iz prejšnje točke.8. Izvedemo anketiranje.

Postaviti dobro vprašanje ni enostavno. Zato uporabimo že obstoječa vprašanja,


ki jih poiščemo v literaturi, na spletu in v podatkovnih arhivih. To velja zlasti za demografska vprašanja (npr. Arhiv Družboslovnih Podatkov, ADP, SURS, www.1ka.si).

Pri oblikovanju vprašanj uporabljamo enostavne besede in enostavne stavčne strukture. Vprašanje mora biti anketirancu čim bolj razumljivo, jasno in nedvoumno.Izogibamo se besedam in stavkom z dvoumnimi pomeni, negacijam, vprašanjem, ki napeljujejo k enemu od možnih odgovorov.

Tudi možnosti odgovorov oblikujemo tako, da morajo anketirancu omogočiti, da se zlahka izrazi. Pri tem je pomembno testiranje, saj z njim preverimo, ali smo res vključili vse možnosti odgovorov.

Pomembna je tudi oblika vprašalnika. Začnemo z zanimivimi in udarnimi vprašanji. Poskrbimo, da je v vprašalniku določen tok (flow) od splošnega do posebnega. Občutljiva vprašanja navadno umestimo proti koncu, čisto na koncu pa so demografska. Vprašalnik naj ne bo predolg in naj obsega le tisto, kar zares potrebujemo.

Ne smemo pozabiti na uvodni nagovor k vprašalniku, ki mora biti kratek in hkrati vsebovati naslednje podatke: namen raziskave, opredelitev vsebine vprašalnika (okviren opis, na kaj se vprašanja v anketi nanašajo, kakšna je tematika raziskave), navedba, zakaj so odgovori anketirancev pomembni: motivacija za sodelovanje,

kako bodo rezultati uporabljeni in kakšen vpliv bodo imeli, zasebnost podatkov, trajanje ankete (okvirni realni čas odgovarjanja ali koliko vprašanj je v anketi), podatki o odgovorni osebi (na koga se lahko anketiranec obrne v primeru vprašanj)20.

Pri vsakem merjenju pa lahko nastanejo napake. Napake pri merjenju z vprašalniki pomenijo razliko med podatki, ki smo jih pri tej metodi zbrali, in dejanskim stanjem oz. vrednostjo. Vsaka napaka zmanjšuje veljavnost in zanesljivost pridobljenih podatkov ter s tem kredibilnost raziskave v celoti, zato si je treba za pripravo in analizo vprašalnikov vzeti dovolj časa in se opravljanja anketiranja ter analiziranja lotiti natančno in odgovorno. Pri tem ima še posebej pomembno mesto vzorčenje, ki ga izvedemo, kadar ne moremo anketirati celotne populacije, ki jo obravnavamo. V takem primeru moramo skrbno določiti način vzorčenja, ki je lahko verjetnostni (enostavno naključno vzorčenje, dvofazno, sistematično, stratificirano, večstopenjsko vzorčenje) ali neverjetnostni (priložnostno vzorčenje, kvotno vzorčenje ipd.).

Osebno anketiranje ima med vsemi metodami anketiranja največjo odzivnost. Omogoča daljše in kompleksnejše anketiranje, uporabo pripomočkov, mogoča pa je tudi računalniška podpora. Najmanj je manjkajočih in nepopolnih odgovorov ter možnosti za napačno razumevanje vprašanj in odgovorov. Vendar pa je osebno anketiranje najdražja metoda, za katero potrebujemo veliko


usposobljenih anketarjev. V primerjavi s telefonskim ali spletnim anketiranjem je razmeroma počasna, zaradi navzočnosti anketarja pa je lahko tudi pristranska.

MEŠANE METODE RAZISKOVANJA

Kot smo že omenili, raziskovalci oz. evalvatorji vse pogosteje uporabljajo mešane raziskovalne metode, zato jih v nadaljevanju na kratko predstavimo po zgledu Creswella in sodelavcev21. Gre za šest osnovnih tipov načrtov združenih metod, ki jih razlikujemo glede na namen in potek mešanja metod:

h zaporedni pojasnjevalni načrt je najenostavnejši. Študija se navadno začne z zbiranjem in analizo kvantitativnih podatkov, temu pa sledita še zbiranje in analiza kvalitativnih podatkov. Metodi sta združeni šele v fazi interpretacije, kjer kvalitativne rezultate uporabimo za dodatno razlago in interpretacijo kvantitativnih rezultatov;

h zaporedni eksploratorni načrt je podoben prvemu, le da se študija začne s kvalitativno fazo zbiranja in analize podatkov. Načrt je primeren za testiranje teorij in izsledkov kvalitativne faze ter za posploševanje kvalitativnih rezultatov na različne vzorce proučevane populacije;

h zaporedni transformativni načrt obsega dve različni fazi zbiranja in analize podatkov, ki si sledita, začenši

s kvalitativnim ali kvantitativnim delom. Tako kot pri prvih dveh načrtih se združevanje rezultatov tudi pri tem začne šele v fazi interpretacije. V nasprotju s prejšnjima pa je v tem načrtu bistven jasen teoretski vidik, ki narekuje potek študije. Teoretski vidik v obliki teoretičnega okvira ali specifične ideologije je pomembnejši pri usmerjanju raziskave kot metode. Namen takšnega načrta je torej uporaba metod, ki kar najbolje služijo teoretskemu vidiku raziskovalca;

h sočasni triangulacijski načrt je najbolj prepoznaven med šestimi osnovnimi načrti22. Izberemo ga takrat, ko želimo z uporabo rezultatov ene metode podpreti in potrditi rezultate druge metode ter tako povečati skupno veljavnost rezultatov. Zbiranje in analiza podatkov posamezne raziskave potekata sočasno in neodvisno, združevanje se začne šele v fazi interpretacije;

h sočasni umeščeni načrt prav tako predvideva sočasno zbiranje in analizo podatkov obeh metod, vendar v nasprotju s triangulacijskim načrtom sestoji iz obširne (prevladujoče) bodisi kvantitativne bodisi kvalitativne faze z umeščenim manjšim kvalitativnim ali kvantitativnim delom. Z umeščeno metodo poskušamo odgovoriti na raziskovalna vprašanja ali dele posameznega vprašanja, ki jih s prevladujočo metodo teže naslovimo. Podatki obeh metod so združeni že med analizo. Namen takšnega načrta je dodati širino ali globino rezultatom


prevladujoče metode; h sočasni transformativni načrt

je načelno enak zaporednemu transformativnemu načrtu, le da zbiranje in analiza podatkov obeh metod potekata sočasno23.

Potem ko smo določili metode, s katerimi bomo pridobili podatke, se začne faza zbiranja podatkov in organiziranje dobljenih podatkov. Lahko se zdi sicer zelo rutinska in samoumevna, vendar je to zelo zahtevna in pomembna faza v celotnem procesu raziskovalnega dela, in to ne glede na raziskovalni načrt (kvalitativni, kvantitativni, mešani), zato ji je treba nameniti posebno pozornost. Ključno vlogo pri tem ima evalvacijski menedžment oz. dogovor o odgovornosti (kdo, kaj, kako) ter načinih zbiranja podatkov in upravljanja z njimi – kako zbrati podatke na terenu, s kom vzpostaviti stik, kako podatke shraniti za nadaljnjo analizo ipd. Odgovornost in načini naj bodo jasni in transparetni.

Slika 8: Razlike med metodami

Tip metode KVANTITATIVNE METODE KVALITATIVNE METODE MEŠANE METODE ALI TRIANGULACIJA

Vprašanje Kdo, kaj, kje, kdaj? Zakaj, kako?

Izbira elementov glede na potrebe raziskave

Tip podatkov Števila, numerične vrednosti Besedilo, pripovedna oblika

Fokus Možnost posploševanja na širšo populacijo

Iščemo razlago in razumevanje

Tip analize Statistična analiza Vsebinska analiza

Število primerov Veliko primerov, vključenih v raziskavo

Malo primerov, vključenih v raziskavo

Tip pristopa Pozitivistični pristop Interpretativni pristopNajpogostejša metoda

zbiranja podatkovSekundarni podatki,

anketiranje Intervju, fokusna skupina

Evalvacijsko metodolgijo prilagodimo

vsebini vsakega konkretnega

raziskovalnega primera posebej24.


Potem ko smo zbrali vse potrebne podatke, sledi njihova analiza, ki je odvisna od tipa zbranih podatkov – ali so kvantitativni ali kvalitativni.

KVANTITATIVNI PODATKI

Številčne podatke obdelamo s statističnimi metodami. Kadar vrednotimo obsežnejše ali zahtevnejše projekte, zaradi velike količine podatkov za analiziranje uporabljamo računalniško podprte programe za obdelovanje kvantitativnih podatkov. Statistična obdelava oblikuje podatke tako, da dobimo predstavo o večji populaciji, ki jo predstavlja v raziskavo vključeni vzorec. Statistična obdelava vključuje preizkuse domnev (npr. anketna vprašanja z dvema možnima odgovoroma), določanje lastnosti zbranih kvantitativnih podatkov, časovne vrste (npr. napovedovanje prihodnjih trendov), opisovanje povezanosti (korelacija), oblikovanje odnosov med spremenljivkami (regresija) in drugo.

KVALTITATIVNI PODATKI

Za podatke, ki izhajajo predvsem iz besed, uporabljamo popolnoma drugačne metode analiziranja. Pri takšnem analiziranju v fazi raziskovanja zberemo nepregledno veliko kvalitativnih podatkov v obliki prepisov intervjujev z udeleženci, zapisov opazovanj, terenskih poročil, ki jih je treba smiselno urediti in pripraviti na analizo. Pred samo analizo se nam pojavijo pomembna vprašanja:

h Kako naj vsebine skrčimo, da bodo ustrezne in obvladljive ter primerne za analizo?

h Kako naj podatke strukturiramo? h Kako naj jih prenesemo v različne

interpretacije (grafe, preglednice), ne da bi pri tem izgubili pomen?

Pri evalvaciji projektov lahko uporabljamo številne raziskovalne metode, ki se se sicer v splošnem uporabljajo v družboslovju. Zaradi zapletenosti nekaterih metod smo na tem mestu povzeli le nekatere najpogosteje uporabljane metode,

Analiza podatkov in sporočanje raziskovalnih rezultatov


s katerimi si lahko pomagamo pri analiziranju podatkov in vsebin za pripravo poročila o evalvaciji projekta.

Poročilo o evalvaciji je zadnja, a morda tudi najbolj kritična točka v procesu evalvacije. Deležnike projekta namreč seznani z vsemi zaključki in dosežki projekta.

Namen poročila o evalvaciji je dvojen. Po eni strani je sredstvo v procesu odločanja (npr. za financerje o nadaljnji podpori projekta), po drugi strani pa sredstvo za lažje razumevanje dosežkov projekta in področij za izboljšave (predvsem za projektno partnerstvo, pa tudi za financerje projekta).

Poročila morajo torej biti:

h koristna, informativna; usmerjena na pravo javnost in hkrati

h načrtovana tako, da so uporabna za morebitne različne javnosti.

Čeprav je vsako poročilo o evalvaciji enkratno, saj ocenjuje posamezni projekt, pa tudi naročniki velikokrat predpišejo metodologijo in v njej tudi predvideno strukturo Končnega poročila o evalvaciji, je smiselno, da poročilo vsebuje naslednje elemente:

h povzetek h namen, osredotočenost in vsebina

procesa evalvacije h rezultati evalvacije h zaključki, ugotovitve in

h priporočila.

Po potrebi na koncu poročila dodamo še priloge, v katerih natančneje pojasnimo nekatere elemente poročila (npr. dodamo merske instrumente, sezname, analize ipd.).

Evalvacijsko metodolgijo prilagodimo

vsebini vsakega konkretnega

raziskovalnega primera posebej25.


V končnem poglavju pa, kot smo že uvodoma napovedali, dodajamo primer dobre prakse. Opisali bomo enoten postopek evalviranja programov socialnega varstva, ki smo ga skupaj s sodelavci Fakultete za socialno delo Univerze v Ljubljani (v nadaljevanju FSD) razvili na IRSSV.

Potrebo po zagotavljanju kakovosti in evalvacijah so – kot pomemben dejavnik pri razvoju storitev in programov socialnega varstva – prepoznali vsi trije nacionalni programi za področje socialnega varstva v Sloveniji26.

Aktualna Resolucija o nacionalnem programu socialnega varstva za obdobje 2013–2020 (Uradni list RS, št. 39/2013) kot tretji cilj navaja »izboljševanje kakovosti storitev in programov ter drugih oblik pomoči s povečanjem učinkovitosti upravljanja in vodenja izvajalskih organizacij, povečanjem njihove avtonomije ter upravljanjem kakovosti in zagotavljanjem večjega vpliva uporabnikov in predstavnikov uporabnikov

na načrtovanje in izvajanje storitev«. Za doseganje tega cilja Resolucija med drugim predvideva:

h povečanje učinkovitosti vodenja in upravljanja izvajalskih organizacij, s povečanjem avtonomije izvajalcev in učinkovitejšim nadzorom doseganja ciljev s strani ustanoviteljev,

h spremljanje učinkovitosti in kakovosti dela in reorganizacijo izvajalskih mrež na področju socialnega varstva,

h zagotavljanje večje učinkovitosti in kakovosti dela izvajalskih organizacij, z uvajanjem certificiranih sistemov razvoja, upravljanja in spremljanja kakovosti in z uporabo merljivih kazalnikov učinkovitosti, ki jih izvajalci opredeljujejo v svojih strateških dokumentih,

h spodbujanje ocenjevanja koristnosti vključenosti v programe in storitve za uporabnike – usmerjenost v rezultate/koristi za uporabnike.

Vse našteto je podlaga za spremljanje

Enotni postopek evalviranja programov socialnega varstva


in evalviranje javnih socialnovarstvenih programov (v nadaljevanju JSVP).Model enotnega postopka evalviranja programov socialnega vasrtva smo začeli razvijati že v času veljavnosti prejšnjega nacionalnega programa socialnega varstva. V ta namen smo priredili Yatesov model evalvacije (Yates, 1999)27, po katerem evalviramo vire, postopke in izide. Model je podrobno opisan v publikaciji Evalvacija programov v socialnem varstvu: model in postopek izvedbe28.

V tem okviru smo razvili izobraževalni program, merske instrumente, računalniško pripravili za vnos podatkov in pripravili priročnik za uporabo aplikacije29. S tem smo pripravili podlago za samoevalvacije, ki jih od leta 2008 izvaja večina izvajalcev, večletno sofinanciranih JSVP.

V letu 2009 smo začeli izvajati zunanje evalvacije programov. V zunanje evalvacije se vključujejo tisti programi, ki jih za petletno obdobje sofinancira Ministrstvo za delo, družino, socialne zadeve in enake možnosti (v nadaljevanju MDDSZ) in imajo verifikacijo Socialne zbornice Slovenije (v nadaljevanju SZS). Namen zunanje evalvacije je poglobitev informacij, pridobljenih na podlagi končnih poročil financerju (MDDSZ).

Na podlagi kriterijev OECD, ki jih bolj splošno opisujemo že v poglavju Kaj je evalvacija, smo podrobneje opredelili kriterije zunanje evalvacije.

Kriteriji zunanje evalvacije in njihova definicija (s specifičnimi dimenzijami) so:

h ustreznost ciljev za reševanje problemov posameznih skupin. To preverjamo že ob verifikaciji programov in ob razpisu; evalvatorji preverimo, ali izvajalci sledijo postavljenim ciljem, katere cilje so spremenili in zakaj; preverimo tudi ustreznost formulacije ciljev. Dimenzije, ki jih ocenjujemo znotraj tega kriterija, so: primernost formulacije ciljev, sledljivost ciljev (verifikacija, razpis, poročilo), ustreznost ciljev glede na tip programa. Ugotovitve podajamo opisno;

h uspešnost programa ocenjujemo po doseganju skupnih ciljev, ki smo jih določili za posamezno skupino programov. Podatke za oceno po posameznih ciljih pridobivamo iz vprašalnikov za uporabnike in iz dokumentacij, ki jih izpolnjujejo izvajalci programov. Posamezne dimenzije tega kriterija ocenjujemo številčno;

h učinkovitost programa ocenjujemo na podlagi naslednjih dimenzij: primernost sredstev glede na število uporabnikov; primernost razmerja med deležem dela neposredno z uporabniki in vsega dela v programu. Podajamo številčne ocene;

h oceno tveganja za izvedbo programa podajamo glede na naslednje dimenzije: tveganja z vidika financiranja programa, tveganja z vidika zagotavljanja primernega kadra za izvajanje programa, tveganja z vidika ustreznosti programa za


vključene uporabnike, tveganja z vidika zagotavljanja ustreznih prostorov za izvedbo programa; upoštevamo še druge dejavnike tveganja. Za nekatere dimenzije podajamo opisne ocene, za večino pa številčne;

h oceno trajnosti programa podajamo glede na naslednje dimenzije: delež povratnikov in razlogi, delež uporabnikov iz drugih programov in razlogi, delež uporabnikov, ki obiskujejo poleg obravnavanega programa še vsaj en drug SVP, število let delovanja programa ter dostopnost programa. Ocene podajamo opisno.

Rezultati evalvacije in predlogi, ki izhajajo iz tega, so namenjeni preglednemu prikazu stanja glede doseganja ciljev v posameznih programih in morebitnih tveganj pri izvedbi programa (namen evalvacije). Izvajalcem programov in financerjem omogočajo, da odpravijo morebitne ugotovljene pomanjkljivosti in preoblikujejo način(e) dela, tako da bo mogoče v večji meri dosegati cilje, za katere smo ugotovili, da jih v primerjavi z drugimi programi znotraj skupine dosegajo v manjši meri, in zagotoviti ustrezne vire za izvedbo programov.

Pri vpeljavi novih verificiranih JSVP v sistem zunanjih evalvacij JSVP s prilagoditvijo ali novo izdelavo merskih instrumentov vedno tesno sodelujemo z izvajalci vseh programov. Delo poteka po posameznih skupinah programov. Z nekaterimi predstavniki/strokovnimi delavci JSVP se srečujemo tudi individualno, zunaj

skupinskih sestankov, na sedežih njihovih programov/organizacij ali v prostorih IRSSV in pa kombinirano: skupinsko z vsemi predstavniki programov in v kasnejših fazah individualno (na delovnih sestankih ter po elektronski pošti in telefonu).

Trenutno vključujemo naslednje skupine JSVP (razdelitev vsebuje okrajšave imen skupin in je prirejena po ReNPSV):

Slika 9: Področja ReNPSV

Področje Podpodročje

Nasilje

varne hiše, zatočišča in krizni centrimaterinski domovicentri in svetovalnice za pomoč v primerih nasiljapreventivni programprogrami telefonskega svetovanja

Odvisnosti

prepovedane drogeprepovedane droge – nizki pragalkoholizemmotnje hranjenjapreprečevanje čezmerne uporabe sodobnih tehnologij

Duševno zdravje

stanovanjske skupinednevni centriinformacijske pisarne in svetovalniceprogrami telefonskega svetovanja

Brezdomci

nastanitveni programi (s celostno obravnavo brezdomcev)dnevni programi za brezdomcepreprečevanje deložacij

Mladi

svetovalnice in dnevni centriprogram preprečevanja revščine in socialne izključenosti družinprogrami telefonskega svetovanja

Starejši programi za starejše

Invalidi

programi osebne asistencedrugi programi za spodbujanje socialne vključenosti in neodvisnega življenja invalidov


Področje Podpodročje Psihosocialni programi psihoterapevtska pomoč – družina

Romi (ni podpodročij)Drugo (ni podpodročij)

Vsi izvajalci naštetih skupin programov po procesu uvajanja v sistem evalviranja aktivno uporabljajo naslednje merske in analitične pripomočke30, ki služijo delno poročanju financerjem in delno kvantitativnemu in kvalitativnemu vidiku v procesu evalviranja:

h šifrant opravljenih postopkov, h aplikacijo (bazo) za beleženje

opravljenih storitev z imenom EVAPRO©, h vprašalnike, dokumentacije,

vnosnike in druge zbirnike podatkov.

V nadaljevanju podajamo definicije in proces nastanka naštetih merskih in analitičnih pripomočkov.

Izvajalce programov konec koledarskega leta, ko pridobimo od SZS seznam novo verificiranih programov, obvestimo o načrtih za vključitev v sistem zunanjega evalviranja v prihajajočem letu. Prenova praviloma poteka v dveh fazah.

V prvi fazi se na sestankih lotimo izdelave šifranta postopkov, ki ga bodo v JSVP uporabljali od sredine koledarskega leta (1. julij) naprej, poskusno pa tudi pred tem datumom. Prenove postopkov se lotimo tako, da izvajalce programov prosimo, naj nam dostavijo sezname storitev (postopkov), ki jih izvajajo pri

svojem delu v programu. Iz prejetih seznamov postopkov naredimo tabelarno sintezo, pri čemer postopke primerjamo s predhodno določenimi postopki in naredimo nove šifrante. Pri določenih skupinah JSVP naredimo skupne šifrante postopkov, saj gre za programe z zelo podobnim načinom dela. Pri preostalih skupinah programov pa izdelamo zgolj šifrante skupnih postopkov posamezne skupine programov ter postopkov, ki vključujejo anonimne uporabnike. Pri prenavljanju postopkov upoštevamo »dogovorjeni šifrant«, ki velja že od julija 201131.

Šifrant postopkov je sestavljen iz naslednjih sklopov šifer:

h pod šiframi 1–99 se beležijo postopki, ki so enotni po skupinah programov;

h šifre od 100–199 so rezervirane za specifične postopke, torej postopke enakega tipa kot postopki s šiframi 1–99, ki pa jih posamezni programi dodatno izvajajo z uporabniki in niso opredeljeni v prvi kategoriji,

h pod šiframi 200–299 beležimo Strokovno delo kot so npr. strokovno napredovanje izvajalcev, delo s prostovoljci, supervizija ipd.,

h organizacijsko delo beležimo pod šiframi 300–399,

h pod šiframi 400–499 beležimo druga dela, kot npr. vzdrževalna dela in čiščenje, prevoze ipd.

h delo, ki ga izvajamo posredno za uporabnika, beležimo pod šiframi


500–599. Gre npr. za vodenje evidenc, spremljanje izvedbe individualnih načrtov ipd.,

h za delo z anonimnimi uporabniki so rezervirane šifre med 600 in 699 (npr. telefonsko svetovanje ipd.).

Pri izvajanju postopkov s šiframi od 200–599 uporabniki torej niso prisotni in uporabnikov v bazi ne beležimo. Uporabniki so vedno prisotni pri postopkih s šiframi od 1–199 in jih beležimo v bazo (enega ali več). Pri postopkih 600–699 so prisotni različni tipi anonimnih uporabnikov in uporabniki pri postopkih z nerednimi, bivšimi in bodočimi uporabniki v programih, ki nudijo kot osnovno dejavnost nastanitev – bivanje.

V drugi fazi se lotimo prenove skupnih ciljev določenih skupin programov. Izvajalce programov kot pri prenovi šifrantov postopkov prosimo, da nam do določenega roka pošljejo sezname ciljev, ki naj bi jih dosegali v programih. Iz prejetih seznamov ciljev naredimo tabelarno sintezo. Dobimo se na sestankih, na katerih na novo izluščimo skupne cilje, ki naj bi jih posamezne skupine programov dosegale pri svojem delu. Na naslednjih sestankih določimo ustrezne merske instrumente, ki naj bi merili posamezne skupne cilje. Gre za določena vprašanja v vprašalnikih in dokumentacijah ter za zapise postopkov v bazi, v katero izvajalci programov vpisujejo opravljeno delo. Tudi to sintezo objavimo v tabelarni obliki – posamezen cilj in pripadajoči merski instrument(i).

Nekatere vprašalnike uporabniki izpolnjujejo ob vstopu v program (vprašalnik za uporabnike ob vstopu), druge ob izstopu ali ob evalvaciji (vprašalnik za uporabnike ob izstopu ali ob evalvaciji, za kratkotrajne uporabnike pa vprašalnik za oceno programa, vprašalnik za oceno programa za svojce oz. vprašalnik po svetovalnem razgovoru). Večina JSVP uporablja tudi dokumentacije o programu in dokumentacije za uporabnike. V nekaterih zelo specifičnih programih (predvsem preventivnih) smo v preteklih letih kolikor je mogoče ohranili strukturo že obstoječih vprašalnikov/vnosnikov opravljenih storitev z ocenami kakovosti izvedbe, da bi v čim večji meri ohranili možnost sledljivosti podatkov pri dolgoročnih raziskavah merjenja učinkov in uspešnosti programov. Pri tem nismo zanemarili metodoloških zakonitosti.

Pri prenavljanju sistema se kar se da prilagodimo pobudam izvajalcev programov, ki vse gradivo dobijo v predogled. Pri tem upoštevamo potrebe naročnika evalvacij in pazimo na metodološko korektnost elementov evalvacijskega sistema. Dodamo tudi navodila za izpolnjevanje vprašalnikov in k vsakemu vprašalniku zapišemo nekaj uvodnih stavkov, ki uporabnikom pojasnjujejo, kdo je naročnik evalvacije, čému je namenjena in kdo jo izvaja, predvsem pa bistveno opozorilo, da je zbiranje podatkov z vprašalniki namenjeno zlasti uporabnikom, torej izboljšavi storitev programov in prilagoditvi JSVP potrebam uporabnikov.


Poudariti pa je treba, da je sodelovanje med izvajalci JSVP in predstavniki evalvacijskega tima sicer zelo intenzivno, kljub temu pa so v prihodnje še vedno mogoče spremembe v sistemu. Evalvacija je živ sistem in ustrezno je, da se ves čas izboljšuje in prilagaja potrebam na terenu (potrebam uporabnikov), naročniku evalvacij, izvajalcem in navsezadnje tudi evalvatorjem (metodološke izboljšave).

Poleg uvedbe novih JSVP vsako leto še naprej razvijamo tudi aplikacijo (bazo) za beleženje opravljenih storitev z imenom EVAPRO©.

Baza EVAPRO© je spletna baza (aplikacija), namenjena beleženju opravljenih storitev JSVP. Je interaktivna aplikacija, namenjena mesečnemu, polletnemu in letnemu poročanju financerju JSVP (MDDSZ) ter evalviranju JSVP. Bazo EVAPRO© smo razvili na IRSSV.

Baza je stacionirana na spletu, kar pomeni, da namestitev ni potrebna, uporaba je brezplačna, je dobro zaščitena pred vdori in kar zadeva varstvo osebnih podatkov, omogoča neposreden in enostaven izpis poročil, kot jih zahteva MDDSZ in nekateri drugi financerji JSVP pri (pol)letnem in mesečnem poročanju. Aplikacija omogoča izpis večje količine različnih poročil, veliko različnih filtrov podatkov, avtomatično združevanje baz iz različnih enot programa v krovno bazo, enostaven izvoz podatkov, možnost medletnega primerjanja in sledenja podatkov in ustrezne možnosti nadzora vnosa podatkov z varovalkami

proti napačnim vnosom.

Baza EVAPRO© je dobro zaščitena z vidika varovanja osebnih podatkov (je kriptirana), poleg tega uporabniki naročniku lahko sporočajo zgolj agregirane anonimizirane podatke. Baza EVAPRO© se avtomatično shranjuje na strežniku (večkratni backup), zato varnostne kopije niso potrebne.

V aplikaciji glede na povratne informacije uporabnikov redno poenostavljamo in optimiziramo izpise, razširjamo možnosti vnašanja podatkov, povečujemo količino različnih poročil ter možnosti različnih filtrov podatkov. Spremembe izvajamo tako za posamične baze podatkov kot za krovne baze.

Bazo trenutno uporablja preko 300 aktivnih uporabnikov oziroma enot programov, pri čemer seveda na vseh enotah uporablja bazo več uporabnikov oz. izvajalcev JSVP. Redno tudi posodabljamo navodila za uporabo baze z novimi možnostmi.

Ključen del zunanje evalvacije

je primerjava različnih vidikov učinkovitosti in uspešnosti več medsebojno primerljivih

programov hkrati.


Evalviramo ali vrednotimo lahko različne aktivnosti: projekte, programe, politike, strategije ipd. Pristopi so sicer za vsako našteto aktivnost nekoliko drugačni, pa vendar smo v priročniku poskušali povzeti nekaj ključnih elementov.

Večinoma smo govorili o evalvaciji projektov. Ta mora na koncu odgovoriti na naslednja vprašanja32:

h Ali so bile aktivnosti izpeljane v načrtovanem obsegu?

h Ali so bili doseženi cilji kot posledice aktivnosti?

h Ali iz doseženega stanja lahko sklepamo na želeno spremembo oziroma učinek v prihodnosti?

h Kako bomo po koncu projekta izmerili spremembo oziroma učinek?

h Kakšne aktivnosti je treba načrtovati v naslednjih projektih, da bomo lahko dosegli želene učinke in dolgoročne vplive?

Če se postavimo v vlogo financerja različnih projektov, nas zanima predvsem,

kateri projekti so »boljši/slabši«, da bi lahko »boljšim« dodelili več finančnih sredstev. V tem primeru govorimo o sumativni evalvaciji, ki torej poda končno sodbo o vrednosti, pomenu, uspešnosti in učinkovitosti programa.

Če se postavimo v vlogo izvajalca projekta, pa nas najbrž najbolj zanima, kako poteka postopek izvedbe projekta, ali je v skladu z nameravanim, predpostavljenim; ali delamo »dobro«. Evalvacija mora omogočiti spremljanje postopkov v projektu, da dobimo povratne informacije, s pomočjo katerih bomo lahko v nadaljevanju usmerjali razvoj projekta. Temu načinu evalvacije pa pravimo formativna evalvacija. Tako lahko (pre)oblikujemo projekt oziroma poiščemo načine za njegovo boljšo izvedbo.

Največji izziv pa je evalvirati projekte, programe, politike, strategije ipd., če evalvacija ni bila zasnovana že ob načrtovanju projekta. Večkrat smo namreč priča temu, da so postavljeni cilji tako splošni, da se jih tako rekoč ne da izmeriti.

Sklep


Če jih že lahko izmerimo, pa težko ugotovimo, ali smo jih dosegli zaradi aktivnosti, ki smo jih izvajali npr. v okviru evalviranega projekta, ali so morda ključni drugi dejavniki.

Evalvacija bo uspešna le,

če jo načrtujemo dovolj zgodaj.


1. Aid Delivery Methods - Project Cyle Management Guidelines (2004). Bruselj: EuropAid Cooperation Office. 2. Belak, J. (2000): Podjetniško planiranje kot funkcija managementa. Gubno: MER Evrocenter.3. Caltrans Project Managment Handbook, 4. Izdaja (2002). Dostopno na: http://www.dot.ca.gov/hq/projmgmt/documents/pmhb_4thed_r1.pdf 4. Cepin M., Čandek S. in Gornik J. (2005): Kako pametno porabiti EU sredstva. Ljubljana: CNVOS, Zavod Center za informiranje, sodelovanje in razvoj nevladnih organizacij.5. Creswell, J. W. (2003): Research Design: Qualitative, Quantitative, and Mixed Methods Approaches. London: Sage. Str. 223-230.6. Dunn, W. N. (1994): Public policy analysis: An introduction. Prentice Hall, New Jersey.7. Eastebery–Smith M., Thorpe R., Lowe A., (2004): Raziskovanje v managementu. Koper: Fakulteta za management Koper.8. Evaluate Europe: Project Manager‘s Guide to Evaluation. Leonardo Da Vinci, European training in the UK (2005). 9. Frechtling, J. (2002): The 2002 User-Friendly Handbook for Project Evaluation (prepared for the National Science Foundation, Directorate for Education and Human Resources, Division of Research, Evaluation, and Communication).

Washington, D.C.: National Science Foundation. Dostopno na: http://www.nsf.gov/pubsys/ods/getpub.cfm?nsf0205710. Gavez, S., Hazl, V. in Lužar, D. (2006): Kako do uspešnih regionalnih projektov ter sredstev iz EU in nacionalnih virov. Gradivo za usposabljanje v okviru projekta Podravje – učeča se regija.11. Gavez, S., Hazl, V., Karničnik, M. (2006): Od ideje do uspešnega razvojnega projekta. Gradivo za usposabljanje. Maribor, 6.–9. november 2006. http://www.mddsz.gov.si/fileadmin/mddsz.gov.si/pageuploads/dokumenti__pdf/evalvacija_pop.pdf (12. 4. 2018).12. Hughes, J., in Niewenhuis L. (2005). A Project Manager’s Guide to Evaluation. Evaluate Europe Handbook Series Volume 1. Berlin: Evropska komisija.13. Kobal Tomc B., Nagode M., Kovač N., Dremelj P., Smolej Jež S., Vidrih N., Trebežnik J. (2018): Na kratko o evalvaciji: pripročnik za načrtovanje in izvajanje evalvacij. Inštitut RS za socialno varstvo.14. Kobal Tomc, B., Hazl, V., Wltavsky, Z., Korez, S., Fatur-Videtič, A. (2008): Zakaj in kako vrednotimo projekte: model za vrednotenje projektov zaposlovanja invalidov in težje zaposljivih oseb. Ljubljana: Inštitut Republike Slovenije za rehabilitacijo. 15. Kranjc Kušlan, A. (2010): Monitoring in evalvacija projektov, ki jih izvajajo nevladne organizacije – praktični napotki, v Priročnik za NVO: Spremljanje in vednotenje

Viri


projektov in programov razvojnega sodelovanja. Ekvilib Inštitut, 2010. Dostopno na: http://www.sloga-platform.org/wp-content/uploads/2012/08/Spremljanje-in-vrednotenje-projektov-in-programov-razvojnega-sodelovanja.pdf16. Kustec Lipicer, S. (2009). Vrednotenje javnih politik. Ljubljana : Fakulteta za družbene vede.17. Lobe, B. (2006). »Združevanje kvalitativnih in kvantitativnih metod – stara praksa v novi preobleki?«. Družboslovne raziskave 22 (53): 55–73. 18. Mesec, B. (1998): Uvod v kvalitativno raziskovanje v socialnem delu. Ljubljana: VŠSD. 19. Ministrstvo za delo, družino, socialne zadeve in enake možnosti – Javni razpis za sofinanciranje socialnovarstvenih programov za leto 2018: http://www.mddsz.gov.si/si/o_ministrstvu/javne_objave/javni_razpisi_in_javna_narocila/?tx_t3javnirazpis_pi1%5Bshow_single%5D=1067 (13. 4. 2018).20. Nacionalni program socialnega varstva do leta 2005. Uradni list RS, št. 31/00.21. Patton, M. Q. (1997): Utilisation-focused evaluation. Sage Publications, London.22. Prejeto gradivo izvajalcev JSVP: vprašalniki, nabori ciljev, zbirniki, dokumentacije, intervjuji, odgovori po e-pošti.23. Priporočila za pripravo in izvedbo spletnih anket. 1KA (2018). Ljubljana: Fakulteta za družbene vede. Dostopno na: https://www.1ka.si/d/sl/spletne-ankete/osnovna-priporoci la/priporoci la-za-

pripravo-izvedbo-spletnih-anket.24. Resolucija o nacionalnem programu socialnega varstva za obdobje 2006–2010. Uradni list RS, št. 39/06.25. Resolucija o nacionalnem programu socialnega varstva za obdobje 2013–2020. Uradni list RS, št. 39/2013.26. Rihter, L. (2004): Evalvacije na področju socialnega varstva in njihov pomen za prilagajanje sodobnih držav blaginje na izzive globalizacije. Univerza v Ljubljani, Fakulteta za družbene vede).27. Rihter, L., Rode N. (2004): Fokusne skupine (interno gradivo za predavanja, 25. 11. 2004). 28. Rode N., Rihter L., Kobal Tomc B. (2006): Evalvacija programov v socialnem varstvu: model in postopek izvedbe. Ljubljana: Fakulteta za socialno delo, Inštitut RS za socialno varstvo. Dostopno na: http://www.mddsz.gov.si/fileadmin/mddsz.gov.si/pageuploads/dokumenti__pdf/evalvacija_pop.pdf29. Rode N., Rihter L., Kobal Tomc B. (2006a): Evalvacija programov v socialnem varstvu: model in postopek izvedbe. Ljubljana: Fakulteta za socialno delo, Inštitut RS za socialno varstvo.30. Rode N., Rihter L., Kobal Tomc B. (2006b): »Uvajanje sistema evalvacije v socialnem varstvu: predlog postopka«. Socialno delo 45 (1/2): 1–7. 31. Taylor-Powell, E., Jones, L., & Henert, E. (2002) Enhancing Program Performance with Logic Models. University of Wisconsin Extension Services Online course.32. Thorpe, R. v Eastebery–Smith M., Thorpe R., Lowe A., (2004): Raziskovanje v managementu. Koper: Fakulteta za


management Koper.33. Tratnik, M. (2002): Osnove raziskovanja v managementu. Koper: Fakulteta za management Koper.34. Yates, B.T. (1996): »Analysing costs, procedures, processes, and outcomes in human services«. Appplied social research methods 48. Sage Publications, Thousand Oaks, London, New Delhi.35. Yates, Brian T. (1999): Measuring and Improving Costs, Cost-Effectiveness, and Cost-Benefit for Substance Abuse Treatment Programs: A Manual. National Institute on Drug Abuse, Maryland; US Department of health and Human Services: National Institues of Health. 36. Zakon o socialnem varstvu. Uradni list RS, št. 54/92, str. 3077. Dostopno prek: http://www.uradni-list.si/1/objava.jsp?urlid=199254&stevilka=2484 (12. 4. 2018).37. Žiberna, V. (2018): Podpora pri procesu evalvacije izvajanja javnih socialnih programov: Navodila za uporabo baze EVAPRO© – januar 2018. Ljubljana: Inštitut RS za socialno varstvo.


1. Naročnik priročnika iz leta 2018 je bila Slovenska Karitas.2. Aid Delivery Methods, Project Cyle Management Guidelines, EuropAid Cooperation Office, Bruselj.3. ACF Handbook v Hughes in Niewenhuis 2005.4. Taylor v ACF Handbook v Hughes in Niewenhuis 2005.5. Boone v ACF Handbook v Hughes in Niewenhuis 2005.6. Dunn v ACF Handbook v Hughes in Niewenhuis 2005.7. Thorpe v ACF Handbook v Hughes in Niewenhuis 2005. 8. Prirejeno po Rode et al. 2006a.9. Prirejeno po Patton 1996.10. Kranjc Kušlan 2010.11. Povzeto po Kranjc Kušlan 2010 in http://www.oecd.org/dac/evaluation/12. https://www.lu-ajdovscina.si/mma/evalvacija_za_zacetnike/2015090211182915/13. Kustec Lipicer 2009.14. Kobal Tomc et al. 2008.15. Kobal Tomc et al. 2008.16. Kobal Tomc et al. 2008.17. Tratnik 2002.18. Rihter 2004.19. Tratnik 2002.20. www.1ka.si21. Creswell 2003.22. Creswell in dr. 2003: 229.23. Več glej v Lobe 2006.24. Kustec Lipicer 2009.

25. Kustec Lipicer 2009.26. Nacionalni program socialnega varstva do leta 2005 (Uradni list RS, št. 31/00), Resolucija o nacionalnem programu socialnega varstva za obdobje 2006-2010 (Uradni list RS, št. 39/06) in Resolucija o nacionalnem programu socialnega varstva za obdobje 2013-2020 (Uradni list RS, št. 39/13)27. Yates 1999.28. Rode et al. 2006. 29. Bazo v zbirki za urejanje dokumentov Open Office smo leta nadomestili 2016 s spletno aplikacijo (bazo) za beleženje opravljenih storitev z imenom EVAPRO©.30. Merske instrumente redno posodabljamo in objavljamo na spletni strani IRSSV: http://www.irssv.si/index.php/evalvacije.31. Žiberna, 2018: 35–38.32. Kranjc Kušlan 2010.

Opombe


Zapiski

_______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________


_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

priročnik za načrtovanje in izvajanje evalvacij in izvajanje evalvacij.pdf · 2019. 7. 30. ·...

Documents