[email protected] introduzione alla valutazione
TRANSCRIPT
DEFINIZIONE E CONCETTI DI BASE
FIGURE UTILIZZATE PER ALCUNE PUBBLICAZIONI, FRA CUI IL NUOVO DISEGNO DELLA RICERCA VALUTATIVA, FRANCO ANGELI, MILANO 2010
Prima parte – I concetti di base
Definizione di Valutazione
con ‘valutazione’ s’intende l’insieme delle attività collegate utili per esprimere un giudizio per un fine pubblico, giudizio argomentato tramite processi di ricerca che ne costituiscono l’elemento essenziale e imprescindibile di affidabilità delle procedure e fedeltà delle informazioni utilizzate per esprimere quel giudizio.
Claudio Bezzi, Il nuovo disegno della ricerca valutativa, Franco Angeli, Milano 2010
la valutazione è un giudizio espresso per un fine: lo sguardo è puntato sugli obiettivi di questo giudizio e quindi sul suo uso, sulla sua utilità. Non si tratta di pareri estemporanei, d’impressioni volubili, ma di giudizi finalizzati ai quali conseguono delle azioni dirette.
questo fine deve essere pubblico: giudizi necessari per risolvere questioni politiche, programmatorie, progettuali, organizzative e gestionali relative a interventi che coinvolgono la collettività nel suo insieme o specifici gruppi
Argomentazione significa esplicita dichiarazione degli elementi a partire dai quali il giudizio è formulato, esplicita esibizione degli strumenti e dei percorsi tramite i quali quegli elementi sono stati utilizzati, comparati, analizzati ed evidenziazione delle connessioni logiche tra i diversi passaggi.
turbolenza
evento
evento
decisione imple-ment.
equilibrio
gestione adattamento sollecita-zione
(precedenti) valutazioni di varia
natura
valutazione ex ante di risultati e
impatti
val. in itinere monitoraggiovalutazione in itinere e
intermedia
valutazione in itinere ed ex post di realizzazioni
e risultati
valutazione ex post di impatti ed
ex ante
Decisione, gestione e ruolo della valutazione
Analisi, riflessione, critica
Inte
rven
to s
ul p
roce
sso
Ast
ensi
one
dall
’int
erve
nto
Valutazione
Certificazione
Audit
Registrazione, mera informazione
Monitoraggio
Ricerca di base
Benchmarking
Bilancio sociale
Valutazione e attività correlatein relazione a intervento e criticità
Ricerca di base
Complessità epistemologico-metodologica
Cos
trut
tivi
smo
Rea
lism
o
Certificazione
Audit
Monitoraggio
Benchmarking
Valutazione
Semplicità epistemologico-metodologica
Bilancio sociale
Valutazione e attività correlate in relazione a epistemologia e metodologia
Bas
ato
su u
na f
igur
a di
Mau
ro P
alum
bo, I
l pro
cess
o di
val
utaz
ione
, Fra
nco
Ang
eli,
Mil
ano
2001
.
Contesto economico-sociale che esprime dei
bisogni
Contesto economico-sociale che esprime dei
bisogni
Contesto politico-istituzionaleche esprime delle
finalità
Contesto politico-istituzionaleche esprime delle
finalità
Obiettivi/Risultati attesi
Attori implicatiProcedureStrumenti
Attori implicatiProcedureStrumenti
Esiti Realizzazioni
Eff
ica
cia
es
tern
a
Eff
ica
cia
in
tern
a
Eff
icie
nza
Decisione/Programmazione
Implementazione
ValutazioneEffettiRisultati
Vincoli/RisorseVincoli/Risorse
Impatti
Efficacia ed efficienza in valutazione
Programma o intervento programmato
Programma o intervento programmato
Conclusione, o t0
Conclusione dell’intervento
esitirealizzazioni
effettirisultati
impatti
Eff
etti
att
esi
e d
esid
erat
i
Eff
etti
ausp
icat
i e
des
ider
ati esiti,
effetti,impatti
realizzazioni,risultati,impatti
Fattori Fattori intervenienti
Eff
etti
inat
tesi
Valutazioneorientata agli
obiettivi
Valutazioneorientata agli
obiettivi
Valutazionesvincolata
dagli obiettivi
Valutazionesvincolata
dagli obiettivi
Tipi di effetti di programmi e interventi
Occupazionelorda creata
(Verificata attraverso l’analisi occupazionale
dei partecipanti)
Deadweight[Peso morto]
Si è creato un lavoroche si sarebbe
comunque dato, anche senza l’intervento
Inaccettabile
spiazzamentoeffetto di
(Un lavoro è creato e un altroviene distrutto nell’area)
Inaccettabile
sostituzioneeffetto di
(un disoccupato trova lavoro ma
un altro lavoratoreperde il proprio)
Occupazionenetta creata
Il problema dell’impatto netto(nel caso della formazione professionale)
(Bisogni) Decisione Implementazione Gestione Fruizione
Att
ori c
he p
rese
ntan
o is
tanz
e
Soggetto che promuove
l’intervento
Soggetti deputati al controllo
Parti sociali
Eventuali soggetti convenzionati
Ben
efic
iari
del
l’in
terv
ento
(u
tent
i, cl
ient
i, be
nefi
ciar
i ind
iret
ti, ‘
vitt
ime’
)
Alta dirigenzaConsulenti
Operatori(Funzionari, quadri, consulenti)
Valutatore
Legenda Decisori
Operatori
Beneficiari
Gli attori sociali rilevanti per la valutazione
Competenza tecnico-scientifica della valutazioneConoscenzanel merito
dell’evaluando Bassa Media Alta
Bassa PregiudizioMetodologia
dogmatica
MediaValutazione
spontanea
AltaSpecialismo
dogmatico
Valutazione
competente
Valutazione
esperta
La valutazione fra competenza tecnica e conoscenza nel merito
Come realizzare un sistema di valutazione?
Facile da gestire(ma poco sensibile)
Autoritativo (solo l’Ente gestore)
Come (forse) lo vorremmo
realizzare
Come (forse) dovremo iniziare
Dialogico(concertazione con gli altri
attori rilevanti)
Sensibile(ma più complesso
da gestire)
Complessità valutativaCOMPLESSITA’
VALUTATIVA
Molteplicità degli attori coinvolti
Ambiguità concettuale
due tipi principali:
Identificaz. diversi set di valori
Identificaz. e selez. elementi di
valutaz.
Chiarificazione concettuale
Monitoraggio
Mappe Attori-Azioni e Dimens.-
Indicatori
Metodi Misti (nel disegno)
RICERCA VALUTATIVA
necessita di
necessita di
produce produce
consente
necessita di
consente
organizza
indirizzacoadiuva
dà senso
consente
1
9
87
65
43
2
Ricerca valutativa Esperimento
Non esperimento
MulticriteriMulti metodo
Criterio unico
Manageriale
Ricerca sociale
Standard
Non standard
Dati di primo livello
Dati di secondo livello
Albero di Porfirio delle strategie di ricerca valutativa
ProcedureStandard
Di secondo livelloDi primo livello
Procedurenon Standard
Di secondo livello
Di primo livello
basate sull’interrogazione
di individui
basate sull’interrogazione
di gruppi
Gruppi reali
Gruppi nominali
Questionario
Analisi Delphi Nominal Group Tech.
Focus group Brainstorming
Intervista biografica
Valutaz. tassonomica
Analisi costi benefici
Classificazione delle tecniche
Strategie e tecniche di ricerca valutativa
Ricerca valutativa
Esperimento
Non esperimento
Strategie miste
Criterio unico
Approccio manageriale
Ricerca sociale
Standard
Non standard
basate sull’interrogazione di individui
basate sull’interrogazione di gruppi
Gruppi reali
Gruppi nominali
Basata sull’interrogazione di individui
Basata sull’analisi di relazioni
basata su testi
Basata su testi
Basata sull’analisi di indicatori socio-economici
prevalentemente economici di primo e secondo livello
prevalentemente misti di secondo livello
Strategie di ricerca Tipi di tecniche
Valutazione(i flussi sono relativi alla valutazione, per la
programmazione)
Programmazione(i flussi sono relativi alla
decisione/programmazione)
Org
aniz
zazi
one d
ei dati
(acc
ento
sulla
sis
tem
ati
cità
, ra
ccolt
a e
gest
ione,
affi
dabili
tà …
)
Diff
usi
one d
ella
conosc
enza
(acc
ento
sull’
acc
ess
ibili
tà,
condiv
isio
ne,
com
pre
nsi
one …
)
Monitoraggio tradizionale
Monitoraggio basato sui
risultati
Sistema informativo
Sintesi, Review
Buone pratiche
Comunità di pratiche
Triangolazione
Basa
to s
u Ri
st-S
tam
e, F
rom
Stu
dies
to S
trea
ms
, 200
6
I flussi valutativi
DEFINIZIONE E CONCETTI AVANZATI
QUESTA SECONDA PARTE DEVE ESSERE CONSIDERATA NON COMPLETA E PROVVISORIA
Seconda parte – Concetti avanzati
PROVVISORIO
La valutazione dal punto di vista delle cause
Processo decisionale
Gruppo di
effetti
Gruppo di
effetti
Gruppo di
causeGrupp
o di cause
1
2
3a3b
4
5
6
7
8
1 – Causa (evento, bisogno…) diretta e nota
2 – Causa diretta non nota
3 – Causa indiretta (causa che produce cause)
4 – Causa indiretta (provenienza ignota, fattore interveniente)
5 – Feedback diretto
6 – Feedback indiretto (agisce sulle cause – ricorsività)
7 – Feedback indiretto (agisce sui processi)
8 – Feedback indiretto (agisce sugli effetti)
La valutazione dal punto di vista degli effetti
Processo decisionale
Gruppo di
effetti
Gruppo di
effetti
Gruppo di
causeGrupp
o di cause
1
2
3
56
4
7
1 – Decisione/effetto diretto e noto
2 – Decisione/effetto diretto e non noto
3 – Effetto indiretto (effetto che produce effetti)
4 – Effetto ‘spontaneo’ o non conseguenza della decisione
5 – Effetto causato da fattori ignoti
6 – Effetti inattesi
7 – Effetto causato dai processi
La valutazione nella complessità dei ‘meccanismi’
Processo decisionale
Gruppo di
effetti
Gruppo di
effetti
Gruppo di
causeGruppo di
cause
1
2
3
5
6
4
7
Processo decisionale
Gruppo di
effetti
Gruppo
di2effetti
Gruppo di
causeGruppo di
cause
1
2
3a
3b
4
5
6
7
8
A n a l i s i
G i u d i z i o
1
2
34
1 – Cause
2 – EffettiInfluenzano direttamente la costruzione del processo di analisi e conseguente formulazione del giudizio valutativo
3 – Contesti decisionali
4 – Processi implementati
Trasformazione sociale realista
M1
R1
C1
T1
M2
R2
C2
T2
Ray Pawson e Nick Tilley, Realistic Evaluation, Sage, London 1997