costruire il disegno di valutazione
Upload: fiopsd-federazione-italiana-organismi-per-le-persone-senza-dimora
Post on 27-Jun-2015
186 views
DESCRIPTION
Summer School Ragusa 2014 Presentazione a cura di Anna Zenarolla e Paolo MolinariTRANSCRIPT
Costruire il disegno di valutazione
Molinari Paolo – Zenarolla Anna
Summer School Housing First
Ragusa, 27 giugno 2014
1
Perché valutare e
cos’è la valutazione
Finalità della valutazione
Valutazione e ricerca valutativa
Gli approcci alla valutazione
2
Accountability
Learning
Empowerment
Finalità della valutazione
La valutazione è principalmente (ma non
esclusivamente) un’attività di ricerca sociale
applicata, realizzata, nell’ambito di un processo
decisionale, in maniera integrata con le fasi di
programmazione, progettazione e intervento,
avente come scopo la riduzione della complessità
decisionale attraverso l’analisi degli effetti diretti
ed indiretti, attesi e non attesi, voluti o non voluti,
dell’azione, compresi quelli non riconducibili ad
aspetti materiali; in questo contesto la valutazione
assume il ruolo peculiare di strumento partecipato
di giudizio di azioni socialmente rilevanti,
accettandone necessariamente le conseguenze
operative relative al rapporto fra decisori, operatori
e beneficiari dell’azione.
Adattato da: C. Bezzi, Il disegno della ricerca valutativa, Nuova ed. rivista e aggiornata, Franco Angeli, Milano 2003, p. 60
1) la valutazione è ricerca; se no è solo ...
chiacchiere
2) Ricerca “applicata”; è quello che distingue la
valutazione dalla ricerca di base, teorica
3) La valutazione e la sua ricerca nascono e si sviluppano in un contesto
decisionale
4) La valutazione serve al
decisore per ridurne la complessità del contesto decisionale
5) Si caratterizza
per una dimensione di partecipazione
4
La valutazione di un programma consiste
essenzialmente nella raccolta e
interpretazione di informazioni che
cercano di rispondere a una serie
specifica di domande su prestazione ed
efficacia di un programma.
Ogni valutazione deve essere adattata “su
misura” alle caratteristiche della
situazione del programma valutato, per
dare risposte utili alle domande
specifiche che vengono poste
5
Compito della Val. è verificare e
misurare se gli obiettivi sono stati
raggiunti: confronto con gli obiettivi
Verificare l’efficacia di un programma
per generalizzarlo: idea strumentale
della valutazione
Metodo sperimentale o quasi
sperimentale, tecniche quantitative
Può dimostrare che qualcosa si modifica,
ma non è in grado di dire perché ciò
avviene
6
>>> Positivista – sperimentale
Un programma va analizzato nel suo contesto,
sociale e istituzionale
Ogni volta che si vara un programma esso muta
a contatto col contesto
Non esistono altri criteri di successo se non
quelli che vengono definiti all’interno della
situazione specifica
Uso conoscitivo della valutazione, per
comprendere la situazione e potenziare le
capacità dei beneficiari di utilizzare il
programma
7
>>> Costruttivista – del processo sociale
turbolenza
evento
evento
decisione
imple-
ment.
equilibrio
gestione adattamento
sollecita-
zione
(precedenti) valutazioni di varia
natura
valutazione ex ante di risultati e
impatti
val. in itinere
Monitoraggio, valutazione in itinere e intermedia
valutazione in itinere ed ex post di
realizzazioni e risultati
valutazione ex post di impatti
ed ex ante
Decisione, gestione e cambiamento,
e il ruolo della valutazione
8
Il disegno della
valutazione e le
domande di valutazione
9
Il disegno della ricerca valutativa
[5 Sostegno all’uso
della valutazione
[3] Accertamento
delle risorse
[1] Definizione del
mandato
[2] Analisi obiettivi
dell’evaluando e
formul. domande
valutative
[4b] Stipulazione
valori valutativi
[4a] Esplorazione
spazio semantico
[4c] Definizioni
operative specifiche
[4] Definizione
disegno2 specifico
(offerta tecnica)
[4d] Raccolta e
analisi dei dati
10
Il disegno della ricerca valutativa
1 – Definizione del mandato
Mandato = Perché me lo chiedi?
• Chi chiede (quale ruolo esercita, che poteri, bisogni,
interessi esprime …)?
• Chi altri sono coinvolti (beneficiari, ‘vittime’,
dipendenti, partner; clima generale, eventuali
conflitti, …)?
• Quali le finalità della valutazione (Controllare,
negoziare, rendicontare, …)?
Il disegno della ricerca valutativa
2 – Obiettivi dell’evaluando e domande valutative
Domande valutative = Cosa è importante
analizzare?
• Cosa serve a voi decisori, gestori, operatori per
meglio decidere, gestire, operare?
• Quali obiettivi ha l’evaluando?
• Quale ‘teoria’ (logica) c’è dietro all’evaluando?
Adeguate fonti
informative
Orientamento
epistemologico
Evaluando
Metodo
Livello gestionale Livello metodologico generale Connessioni
Problemi
implicati
Il disegno della ricerca valutativa
3 – Esplorazione campo semantico
Spazio semantico = Cosa valutiamo,
esattamente?
• Cosa intendiamo quando parliamo di …?
• Quali sono gli elementi strategici, costitutivi,
dell’evaluando (indicatori valutativi)?
Livello gestionale Connessioni
Valutazione ex ante
Formula un giudizio su interventi ipotetici
valutando le aspettative sugli effetti
Far riflettere i decisori di un intervento
sulle sue potenzialità attraverso una stima
dei suoi effetti e delle sue possibili
dinamiche.
Ponderare l’opportunità, la coerenza,
l’utilità e la rilevanza di procedere in un
senso piuttosto che in un altro
Si basa su elementi contestuali e sul
progetto/intervento in sè
14
Finalizzata ad aumentare la
razionalità decisionale offrendo
ulteriori elementi conoscitivi, ma
anche a ridurre la complessità/
conflittualità di alcune decisioni
che coinvolgono una pluralità di
interessi contrastanti
Accresce la legittimità di una
decisione
15
Valutazione in itinere
Si concentra sul processo ed è attenta a
cogliere i fattori imprevisti e quelli che
compromettono l’efficacia esterna di un
progetto/intervento
Cerca di “aprire la scatola nera” del processo
per capire il perché di certi risultati e restituire
una razionalità orientata alla correzione o alla
modifica degli errori durante la realizzazione
degli interventi
Consente di recuperare controllo alle funzioni
decisionali più distanti dall’operatività
concreta
Consente di attribuire le responsabilità rispetto
alla realizzazione
16
Valutazione ex post
Si focalizza sui risultati attesi e non
attesi di un intervento/progetto
Funzione riepilogativa, sommativa,
rendicontativa
Considera realizzazioni – output –
risultati – outcome – impatto – impact -
di un progetto/intervento
Difficoltà di raggiungere l’outcome e, in
particolare, l’outcome netto: influenza
del contesto
17
Garantire il controllo degli andamenti e
degli eventuali scostamenti nella fase
attuativa.
Il modello implementativo sotteso è di tipo
top-down e al monitoraggio si chiedono
informazioni in merito all’utilizzo delle
risorse finanziarie, organizzative e
temporali; alla coerenza tra le azioni
programmate e le specifiche di progetto; al
rispetto delle scadenze previste, ecc.
18
Funzione confermativa
Ricostruire bottom up le dinamiche
implementative, il sistema di relazioni tra
gli attori coinvolti nel processo e, in
generale, ad analizzare l’evoluzione dei
problemi legati al processo durante lo
svolgersi dello stesso.
Il focus si sposta dall’efficacia interna a quella
esterna; piuttosto che controllare l’andamento del
processo rispetto al modello implementativo
definito, qui il monitoraggio è inteso come
strumento in grado di migliorare il livello di
comprensione dei problemi affrontati e progettato
per rilevare dati utili ad analizzare il grado di
efficacia dell’intervento rispetto al problema.
19
Funzione esplorativa