lacostruzione#e#avazione##dei#piani#di#...
TRANSCRIPT
La costruzione e a.vazione dei Piani di Valutazione: tensioni e opportunità tra “documento di piano” e “processi di
valutazione”
Contributo metodologico e sintesi dei feedback raccol4 sulla costruzione dei Piani di valutazione
4 Febbraio 2016, Centro Congressi Via Cavour 50, Roma
Liliana Leone
(Esperto progeHo Nuval Formez PA)
1
Quality assessment del PdV: Feedback della Commissione Europea e del NUVAP
• Management and planning: • Responsibility and coordina5on: • Design and methods: • Data availability and data systems: • Skills and exper5se: • Use and communica5on: • Reminder: Execu4ve Summary in English in evalua4on reports
2
1.Organizzazione, gesRone e affinamento del PdV • IdenRficazione chiara dell’unità/organismo responsabile della gesRone del
PdV. Accordi per assicurare l’indipendenza degli esperR esterni e dell’Unità di valutazione nei cfr dei responsabili del PO.
• Informazioni sul sistema di controllo della qualità delle V (deliv..) • Il Piano elenca le valutazioni condoHe nel periodo precedente e ne indica i
contenuR principali. Aree di miglioramento: • Indicare come le evidenze esistenR (es: precedenR valutazioni) sono state
considerate per determinare il PdV • N° risorse umane impegnate nel Nucleo di valutazione • Indicare come i risultaR delle valutazioni saranno connessi al “annual
implementaRon and progress reporRng” e ai report previsR alla fine del periodo di programmazione (v. report 2022 che sinteRzza le valutazioni)
3
2.Coordinamento e gesRone del PdV • Il Piano chiaramente descrive come sono divise le responsabilità tra
Autorità di GesRone, Steering Group (SG), Comitato di monitoraggio e il ruolo del the “Permanent CommiHee for the CoordinaRon and IntegraRon of the 2014-‐2020 programme (PCCI)”.
• DeHaglia come saranno coinvolR gli stakeholders nella formulazione del Piano e nella revisione e sintesi dei risultaR delle v.
Aree di miglioramento: • Indicare ruolo e composizione del Comitato di Monitoragio (PMC). • Indicare non solo il budget complessivo ma anche quello per singole
valutazioni indicate e per le altre a.vità (es: a.vità formaRve sulla valutazione).
• Scambi di info su aspe. trasversali delle valutazioni x mutuo apprendimento
• Chiarire eventuali incoerenze con voce PO-‐ Assistenza Tecnica • Menzionare se risorse finanziare per la formazione provengono dai PRA
4
3. Disegno della valutazione e metodi preferiR nella conduzione delle valutazioni
• Il Piano offre una lista delle domande valutaRve prioritarie, a queste seguono gli Ob. ValutaRvi, le scelte sugli approcci e i requisiR dei daR.
Aree di miglioramento: • 1)IdenRficare lo scopo e i contenuR di cc valutazione del PO, 2) linkare i
metodi, 3) determinare i daR richiesR e 4) idenRficare le fonR. • Porre aHenzione alla coerenza tra quesiR valutaRvi e criteri valutaRvi • I quesiR miraR a verificare i progressi del programma dovrebbero essere
espressi con modalità normaRva e non descri.va • I quesiR valutaRvi devono ricoprire “all the OP investment prioriRes and
specific objecRves”…. DeHagliare i quesiR e gli obie.vi delle valutazioni ; le schede relaRve alle valutazioni del primo anno dovrebbero essere complete
• Includere anche la valutazione dell’assistenza tecnica. • Prevedere a.vità valutaRve anche sull’efficienza del programma (Ex art. 56 CPR)
5
• Circa l’approccio controfaHuale indicare dove e come verrà uRlizzato (output indicators, unit of analysis, etc.).
• Prevedere un N° adeguato di V. anche in funzione del budget • Prevedere anche “valutazioni su esperienze di policy concluse ma di
interesse temaRco aHuale, anche se formalmente appartenenR a un ciclo di programmazione pregresso”
6
3. Disegno della valutazione e metodi preferiR nella conduzione delle valutazioni
• Quali sono gli approcci per la valutazione degli impa.? • Con il termine ‘approcci’ possiamo intendere un insieme integrato di
opzioni uRlizzate per realizzare alcune o tuHe le a.vità previste in una valutazione. Un singolo approccio può uRlizzare più metodi di indagine.
• Cosa si intende nei Piani di valutazione per approcci di valutazione di impaHo “di natura qualitaRva o quanRtaRva”?
• Maggiore precisione nei termini usaR nei Piani (es: Analisi quali-‐quanRtaRve, Approccio quanRtaRvo – qualitaRvo, Metodo di valutazione contro faHuale..)
• Gli approcci ada. a rispondere a quesiR sul “come e perché” l’insieme degli intervenR ha prodoHo determinaR esiR di per sé non sono di natura qualita5va!
7
Alcuni chiarimenR sui metodi
Approcci per la valutazione degli impa.
Due diverse domande. Entrambe dovrebbero interrogare la teoria del programma
esplicitando le teorie del
cambiamento e le assunzioni circa gli effe.
aHesi e il legame di
quesR con gli intervenR
Valutazione di ImpaCo Basata sulla Teoria (TBIE):
Perché un intervento produce determinaR
effe. (aHesi e inaHesi) e come funziona?
Perché? Per chi? SoHo quali condizioni?
Precondizioni: base daR con
informazioni analiRche su caraHerisRche dei
target/ beneficiari e dei contesR.
Valutazione di impaCo controfaCuale.
L’intervento pubblico nel suo complesso ha avuto
un effeHo? E se si, posiRvo o negaRvo e di quali dimensioni?
Funziona l’intervento e c’è un legame causale con gli effe. rilevaR? Come sarebbero andate le cose
senza l’intervento?
Precondizioni: Esistenza baseline e informazioni
su situazioni con beneficiari ‘supported –not supported’ in un certo momennto nel tempo.
Approccio uRlizzato prevalentemente per cerR intervenR (es: formazione, sussidi alle imprese, CCT e
welfare to work…) e con ampi campioni
8
La valutazione degli impa.: approcci per la valutazione degli impa. e metodi
Valutazione di ImpaCo Basata sulla Teoria (TBIE): Perché un intervento produce determinaR effe. (aHesi e inaHesi) e come
funziona? Perché? Per chi? SoHo quali
condizioni?
Approcci vari: Valutazione basata sulla teoria ( TBE, Theory
driven), Valutazione Realista, ContribuRon analysis, PropsecRve EvaluaRon Synthesis, Strategic
assessment, .. Metodi: generalmente metodi mis9 (case analysis,
quasi esperimen9..) La valutazione realista non impone l’uso di
parRcolari metodi (neutrale)
Valutazione di impaCo controfaCuale. L’intervento pubblico
nel suo complesso ha avuto un effeHo? E se si, posiRvo o negaRvo e
di quali dimensioni? Funziona l’intervento e c’è un legame causale
con gli effe. rilevaR? Come sarebbero andate le cose senza
l’intervento?
Approccio controfaCuale Metodi: differenza-‐nella-‐differenza, RCT, propensity score matching, metodo delle
variabili strumentali…
9
Esempi di Schemi allegaR ai Piani di valutazione
10
11
OggeCo della valutazione valutazione dell'aCuazione del Piano di rafforzamento amministra5vo
Principali quesiR guida di interesse NB: un maggior deJaglio delle domande di valutazione emergerà dal lavoro dello steering group di cui al punto 3)
Verificare se ed in quale misura l’aHuazione del PRA ha contribuito a migliorare la capacità amministraRva e gesRonale della Regione
Natura della ricerca
Valutazione primaria, realizzata nel corso dell’aHuazione del PRA
Approccio valutaRvo, metodi di indagine e daR
Approccio valutaRvo basato sulla teoria, finalizzato a rilevare quali meccanismi hanno effe.vamente indoHo effe. posiRvi o negaRvi sulla struHura amministraRva regionale
TraHo da Bozza PdV Regione Emilia Romagna, p.20
Uso delle revisioni nei Piani Titolo:'Revisione(della(letteratura(e(sintesi(delle(evidenze(di(efficacia'
Tipologia'di'Valutazione:'Revisione(della(letteratura'
Oggetto:''Evidenze(di(efficacia(di(programmi(mirati(a(favorire(l’efficacia(delle(Amministrazioni(grazie(a(interventi(di(ICT,((digitalizzazione,(rafforzamento(del(rilascio(di(open(data(
Principali'domande'di'Valutazione:'Quali(strategie(nelle(riforme(basate(sulla(digitalizzazione(della(pubblica(amministrazione((si(sono(rivelate(più(efficaci(nel(settore(della(Giustizia?(
Approccio/Metodo/Fonti:'Approccio:((Revisione(sistematica(–'Metodo:'Sintesi(realista(o(theoryEdriven(review(Fonti:'(interviste,(analisi(studi(valutativi(
Interna/esterna(((Valutatore(indipendente(
Tempistica((2016(E(2017(
!TraHo da Bozza PdV PON Governance 2014-‐2020
12
Schema PdV FSE PO AMBITO TEMATICO
AMBITI DI APPROFONDIMENTO PROBLEMATICA OBIETTIVO/
CAMBIAMENTI ATTESI DOMANDE DI VALUTAZIONE
Scuola primaria e secondaria FSE: Asse III -‐ Istruzione e formazione
StrumenR [intervenR di sostegno agli studenR, formazione di docenR e formatori, stage/laboratori/alternanza scuola lavoro, azioni di orientamento, percorsi formaRvi di istruzione e formazione professionale] etc… [Obie.vi specifici 10…..]
-‐ Tasso di abbandono scolasRco, I e II anno scuole secondarie superiori, più alto del valore medio nazionale (Istat 2013), in peggioramento costante nell'ulRmo seHennio; -‐ elevato tasso
di ripetenza; -‐ Ecc.
1.Ridurre il fallimento formaRvo precoce e il tasso di abbandono scolasRco perseguendo il target Europa 2020 2.Innalzare la qualità Etc.
In che misura le diverse azioni messe in campo hanno contribuito a ridurre il tasso degli abbandoni scolasRci precoci e ad aumentare la partecipazione all'istruzione superiore e i tassi di riuscita, in parRcolare di gruppi svantaggiaR?
TraHo in parte da: Bozza Piano di Valutazione Regione Sardegna 2014-‐2020 13
Titolo
Tipologia valutazion
e
oggetto Principali domande di valutazione Ex Post POR Emilia Romagna FESR 2007-2013
Approccio/ metodo/
fondi
Interna/ester
na
Effetti sul sistema delle imprese delle azioni della Rete dell’Alta Tecnologia (RAT) e degli interventi realizzati nell’ambito dei progetti di ricerca collaborativa
Strategica/
Operativa
Efficacia degli interventi del POR sul sistema delle imprese delle azioni della Rete dell’Alta Tecnologia e degli interventi realizzati nell’ambito dei progetti di ricerca collaborativa. Asse 1 Attiv. I.1.1 e Asse 1 Attiv I.1.2
1) Quanto la Rete dell’Alta Tecnologia (RAT) e i tecnopoli sono stati propositivi verso le imprese e quanto sono stati reattivi alle esigenze delle imprese? 2) La RAT e i tecnopoli svolgono un ruolo di attrazione e collegamento tra il sistema della ricerca e quello delle imprese? 3) Quali modelli organizzativi e gestionali sono più efficaci? 4) I progetti finanziati hanno generato ulteriori ambiti di sviluppo in progetti comunitari (es: Horizon 2020)? Etc…..
Metodi misti con approccio basato sulla teoria, analisi controfattuale e analisi dei modelli organizzativi dei tecnopoli. Saranno utilizzati i dati del sistema di monitoraggio, dati primari rilevati sul campo e dati statistici.
Esterna
Efficacia delle azioni a sostegno delle start up e della loro crescita
Strategica
Efficacia delle azioni a sostegno delle start up e della loro crescita, tasso di sopravvivenza, cause della mortalità o della mancanza di strategie di espansione. Asse 1, I.2.1 Asse 2 - II.1
1) ..quali imprese state finanziate nella programmazione 2007-2013 sono sopravvissute? 2) Quanto la qualità dei business plan spiega i risultati (e la sopravvivenza) delle start up finanziate? 4) …quelle che non partecipano al bando a supporto dell’espansione, quale è la causa? 5) Quanto sono state efficaci le azioni a sostegno dello start-up e coerenti con gli obiettivi propri dell’azione del POR?
Approccio basato sulla teoria.
Dati monitoraggio, primari rilevati sul
campo e dati pubblici
Esterna
TraHo in parte da Bozza PdV Emilia Romagna 2014-‐2020
14
15 Piano di valutazione PON per la Scuola 2014-‐2020 p.19 e p.43
4. Disponibilità dei daR: modalità con cui si rendono disponibili informazioni e daR uRli alla valutazione
• Indicare Rpo di daR di cui si ha bisogno e fonR esplicitando uso di daR del sistema di monitoraggio dell’OP, uso di database nazionali e daR primari da raccogliere
• Aree di miglioramento: • Poiché i metodi sono indicaR in modo abbastanza generico in
questa fase, occorre verificare la coerenza tra i tempi delle valutazione e la disponibilità dei daR necessari a realizzarle e idenRficare i possibili gap e rimedi
• DeHagli su serie di daR che devono essere raccolte
16
Coerenza tra domande valutaRve e scelte metodologiche
17 Piano di valutazione PON per la Scuola 2014-‐2020 p.52
5. Reclutamento delle experRse necessarie
• IdenRficazione chiara dell’unità/organismo responsabile della gesRone del PdV. Accordi per assicurare l’indipendenza degli esperR esterni.
Aree di miglioramento: • Indicare le competenze esistenR e le experRse dello staff
interno nelle aree della valutazione e del monitoraggio. IdenRficare i gap, i bisogni, e loro soddisfacimento tramite reclutamento competenze esterne e piani formaRvi
• Individuare budget dedicato alla partecipazione e caraHerisRche dei sogge. che vi parteciperanno
18
6. Modalità di comunicazione e diffusione
• IdenRficare gli uRlizzatori delle valutazioni e i mezzi aHraverso cui saranno comunicaR I risultaR delle valutazioni.
Aree di miglioramento: • DeHagliare i mezzi per la comunicazione interna/esterna
preferibilmente su misura per Rpo di stakeholder, e le dotazioni finanziarie per la comunicazione, la pubblicizzazione e il follow up della valutazione
• “it would be useful to make clear that each evalua9on report should include, at least: terms or reference, objec9ves and expected results, data and methods used, findings and conclusions, as well as lessons learnt”
19
Brevi riferimenR bibliografici • European Commission DG Regional Policy, Guidance document on Monitoring and
EvaluaRon. European Regional Development Fund, European Union 2015. hHp://ec.europa.eu/regional_policy/sources/docoffic/2014/working/wd_2014_en.pdf
• EVALSED, Sourcebook Methonìd and Techniques. European Union hHp://ec.europa.eu/regional_policy/sources/docgener/evaluaRon/guide/evaluaRon_sourcebook.pdf
• European Commission, EvaluaRon Plan Guidance, 2014 hHp://ec.europa.eu/regional_policy/sources/docoffic/2014/working/evaluaRon_plan_guidance_en.pdf
• Piani di Valutazione 2014-‐2020: indicazioni generali e breve guida ai materiali di orientamento disponibili. Nota tecnica NUVAP -‐ Novembre 2015
• Westhorp, G. (2014) 'Realist impact evaluaRon: an introducRon'. Methods Lab. London: Overseas Development InsRtute. hHp://beHerevaluaRon.org/resources/realist-‐impact-‐evaluaRon-‐introducRon
• Marchesi, M., L. Tagle, L., . Befani B., Approcci alla valutazione degli effe. delle poliRche di sviluppo regionale. Metodi Collana materiali UVAL n.22, 2011 hHp://www.dps.tesoro.it/documentazione/uval/materiali_uval/MUVAL_22_Valutazione_impaHo.pdf
20