la valutazione dei servizi alla persona · un servizio di mensa scolastica riceve pe-riodiche...

CLAUDIO BEZZI

La valutazione dei servizi alla persona

edizione fuori commercio per www.valutazione.it

�

��

��

��

��

��

��

��

�

��

��

��

��

��

��

��

��

��

!��

��"��

��

��

�� !��"��#�$��

��

�� "�

��#�%��

�� !��"�� "��#��!��

��&��

��

��'��

�� #��"'(��

�� "��

��"�� #

)��

� ��!�� #

� ��#� ��

Sentiremo sempre più parlare di ‘valu-tazione’. Qualche volta a sproposito, magari,ma la valutazione è destinata a diventare unamodalità operativa frequentemente richiesta,se non imposta. Anche se non proprio nuo-vissima, questa attività è però ancora abbastan-za giovane e poco praticata, tanto da consen-tire equivoci, misconoscimenti, errori. In que-sto primo capitolo cerchiamo quindi di sgom-berare il campo da cattive interpretazioni, permettere a fuoco in modo preciso cosa sia lavalutazione, e quindi perché la si debba fare,chi sia incaricato di farla, e quali obiettivi ci siprefiggano.Si può considerare questo primo capitoloun’introduzione generale alla valutazione, de-dicata specialmente a chi non ne sa nulla, o nesa poco; ma pensata anche per chi crede disaperne qualche cosa e, forse, si sbaglia.

��

‘Valutazione’, in italiano, vuole dire giudizio,stima, perizia, più raramente misurazione. Par-tiamo da qui: perché mai qualcuno dovrebbevolere dare un giudizio su un’attività in corso?Poiché non parliamo di giudizi improvvisati ebasati sul buon senso, ma di attività profes-sionalmente complesse che hanno un costo,probabilmente chi chiede questo giudizio livuole utilizzare per migliorare i suoi compor-tamenti e i suoi risultati.La valutazione, nelle intenzioni, serve per mi-gliorare l’attività, e quindi entra direttamentenel processo, è un’azione concreta, operativa.La valutazione però, come detto, non è un giu-dizio arbitrario.Il dirigente, il responsabile di un servizio, l’as-sessore comunale, per quanto qualificati e pre-parati, se esprimono un giudizio estempora-neo su un’attività (un servizio sociale, per esem-pio) non stanno facendo valutazione. Anchese come linguaggio corrente potremmo dire

“Il responsabile ha valutato male la relazioneannuale sul nostro servizio”, in questo caso nonsi tratta affatto di valutazione come la inten-diamo qui, perché non è un giudizio arbitra-rio, un’opinione ‘nasometrica’, anche se auto-revole.La valutazione è un giudizio basato sulla rac-colta e sull’interpretazione di informazioni, esi configura pertanto come un processo di ri-cerca.Questo punto è essenziale, e serve proprio perdistinguere fra i pareri, per quanto formulatida persone esperte e animate da buone inten-zioni, e quell’attività professionale specifica chechiamiamo, appunto, valutazione. È la volontàdi raccogliere ogni informazione utile, plausi-bile, affidabile, in merito al processo o servi-zio sottoposto ad analisi, e la successiva ope-razione di analisi e interpretazione, che rendela valutazione diversa da un qualunque giudi-zio. In quanto attività di ricerca, infatti, la va-lutazione accetta di sottostare a una serie diregole tipiche di ogni comunità scientifica:� le procedure per la raccolta delle informa-

zioni sono esplicite, chiare, riproducibili, efanno parte di una sorta di ‘cassetta degliattrezzi’ che la comunità scientifico-profes-sionale accetta come valida;

� le informazioni raccolte sono pertinenti,affidabili, il più possibile complete, e ilvalutatore può fornire argomenti a soste-gno di ciò;

� l’interpretazione è coerente, plausibile, nonformulata tramite asserti ma attraverso unaserie di argomentazioni rese disponibili pereventuali confutazioni.

Qualche volta la valutazione non si preoccupadi realizzare un percorso di ricerca, intesa comeconcreta raccolta dei dati e successiva elabora-zione; qualche volta i dati ci sono già (forseperché raccolti da altri precedentemente), e inaltre situazioni non si può parlare propriamen-te di ‘dati’ perché il giudizio valutativo si basa

��

su informazioni di natura più sfumata, sulleconoscenze pregresse e di contesto di chi valu-ta. È per questo che qualche volta si distinguefra ‘valutazione’ e ‘ricerca valutativa’.‘Valutazione’ è quindi il più generale processodi formulazione di giudizi, mentre ‘ricercavalutativa’ è il più specifico processo di raccol-ta e analisi dei dati a fini valutativi. Non esistevalutazione, in senso professionale e scientifi-co, se non fondata sulla ricerca valutativa, chene costituisce l’elemento fondante, specifico,essenziale. In questo volume, per non appe-santire il testo, useremo indifferentemente idue termini, anche se ci riferiremo più che al-tro alla ricerca valutativa.Naturalmente, la ricerca valutativa non è unaricerca qualunque; se così fosse non ci sarebbealcun bisogno di coniare un termine specifico.Già si è detto che è un tipo di ricerca legataall’operatività, che entra direttamente nel pro-cesso; cosa si vuole dire? Perché, e in che modo,la valutazione entra nel processo? Lo scopoessenziale è di poter cambiare, poter modifi-care. Avere un’uscita di sicurezza. Facciamoalcuni esempi:�Una cooperativa sociale di tipo A gestisce

un servizio di assistenza domiciliare per an-ziani; il capitolato, al solito, riguarda essen-zialmente aspetti formali del servizio, mala cooperativa intende perseguire finalità diqualità anche in un servizio solitamenteconsiderato di basso profilo come questo.Come definire cosa sia ‘qualità’ in questoservizio domiciliare? E, una volta stabilitociò, come darsi procedure e un’organizza-zione adeguata affinché tale qualità sia rag-giunta? Come verificare se viene mantenu-ta nel tempo?

�Un servizio territoriale a prevalente valenzasanitaria vuole sperimentare nuovi approc-ci per il trattamento dei suoi pazienti basa-ti su una maggiore integrazione socio-sani-taria, su nuovi farmaci, ecc., e desidera ve-

rificare se il nuovo sistema produce miglio-ramenti certi; per fare questo però non puòche coinvolgere i pazienti, le loro famiglie,gli operatori tutti (sanitari, sociali, ecc.) inun processo unitario di intervento e verifi-ca; come realizzarlo? come risolvere i pro-blemi etici (relativi alla cura e quindi al be-nessere dei pazienti), quelli professionali (ilnuovo ruolo che alcuni operatori dovrannoassumersi), quelli formativi? E come, insostanza, controllare che il processo seguail corso previsto?

�Un servizio di mensa scolastica riceve pe-riodiche lamentele dai genitori e dal comi-tato di gestione, ma i dirigenti della mensasono sicuri di utilizzare materie prime e pro-cedure di preparazione dei pasti rispettosedelle norme. Occorre verificare in che cosail servizio di mensa non soddisfa i genitori,in che modo si possa eventualmente rime-diare, ecc.

�Un Comune vuole instaurare un nuovo ser-vizio per i minori in un quartiere disagiato,ritenendo in questo modo di contenere ildisagio giovanile in quella zona. L’assessoreavrebbe alcune idee, ma di costo eccessivoper il bilancio comunale. Come stabilire laconvenienza economica e soprattutto socialedell’intervento? Come caratterizzarlo inmodo che sia adeguato alle necessità di queigiovani?

In questi esempi, come si vede, c’è sempre unadecisione da dover prendere; una decisione perinstaurare un nuovo servizio, per modificar-ne, migliorarne, uno già esistente, per correg-gerne eventuali errori. Non importa chi sia ildecisore: un personaggio politico, il responsa-bile di una cooperativa, un responsabile diDistretto, in ogni caso si tratta di dover deci-dere, e quindi dover investire risorse, creareaspettative, ecc. Una bella responsabilità! Èesattamente qui che gioca un ruolo primariola valutazione.

� ��#� ��

La valutazione aiuta il processo decisionale,fornendo informazioni opportune al decisore,riducendo la complessità decisionale e fornen-do indicazioni in merito alla scelta più ade-guata.Attenzione all’ultima parte della frase: “fornen-do indicazioni in merito alla scelta più ade-guata” può volere dire poco: qual è ‘la sceltapiù adeguata’? ‘Adeguata’ in relazione a cosa?Ci possono essere diverse risposte; qui ne pro-poniamo una:

La valutazione ha come scopo il migliorraggiungimento degli obiettivi che il program-ma, il servizio, il processo valutato si è posto;in generale, il miglioramento delle condizionisociali dei beneficiari.Rispetto agli esempi fatti sopra:�cooperativa sociale che gestisce l’assistenza

domiciliare anziani: gli obiettivi sono, pro-babilmente, rendere un buon servizio diassistenza (efficacia esterna del servizio), ri-spettando almeno i termini contrattuali con

�� Perché valutare

�� *��"�� "��&� ��"�"��+��#,��"��"��+�� ,��"��+��,��#�$�� "�� #

��*�� &�� -�� #� �� #

��*�� "��*�� #�.�� &��* �� *��#

��*� ��!�� "�#�.��/��+��*�� ,#

�� *� �� *�� "�+��,#��*��"��"�� "��!��!��#�0�� &��"�� "� �� #

�� *� �� "��!��"��&��*��!��#

��

l’Ente appaltatore del servizio (efficacia in-terna), e gestire nel modo migliore i proprioperatori, che non si affatichino inutilmen-te, che traggano soddisfazione dal lavoro,che abbiano adeguati turni di riposo, ecc.(efficienza);

� servizio sanitario territoriale: assicurarsi cheil nuovo approccio venga implementatonella maniera prevista (efficacia interna),realizzando quegli obiettivi di miglioramen-to della salute che si volevano (efficaciaesterna), con un tipo di spesa giustificabilerispetto ai risultati ottenuti (efficienza);

�mensa scolastica: migliorare la qualità dellamensa, in modo che i bambini siano bennutriti e i loro genitori soddisfatti (effica-cia esterna), mantenendo un’indispensabi-le convenienza economica nel gestire lamensa (efficienza);

� servizio comunale per minori: dare una con-creta risposta, utile e ben accolta, ai proble-mi giovanili (efficacia esterna), compatibil-mente con il bilancio comunale, con lagestibilità del nuovo servizio, ecc. (efficien-za ed efficacia interna).

Come si vede dagli esempi fatti (ma diversialtri se ne potrebbero proporre), la valutazio-ne può essere fatta in momenti diversi (men-tre è in piena attività il servizio che si intendevalutare, prima di realizzarne uno nuovo, ecc.),su sollecitazione di persone diverse (l’assesso-re, un comitato di gestione, responsabili del-l’organizzazione, ecc.) e con obiettivi legger-mente diversi (fare/non fare, migliorare quel-lo che già c’è, controllare che non si sbagli nelcambiamento messo in atto, ecc.). Di tuttoquesto parleremo più avanti.A conclusione di questo primo, introduttivo,paragrafo occorre però ancora sgombrare ilcampo da alcuni tipici equivoci che investo-no, a volte, la valutazione:� ��

��. La va-

lutazione raccoglie informazioni, le inter-preta ed esprime pareri; questi pareri pos-sono anche avere implicazioni critiche, na-turalmente, ma l’obiettivo non è mai giudi-care le persone, men che meno singoli ope-ratori. Se la valutazione esprime giudizi ne-gativi, questi valgono per l’idea progettualein sé, giudicata inefficace per perseguire gliobiettivi dichiarati; oppure per le modalitàoperative dell’organizzazione, giudicatapoco efficiente e inadeguata per sostenereil progetto; questo non vuole necessaria-mente dire che i singoli operatori non sia-no capaci (anche se, ovviamente, proprioquesto potrebbe essere il problema), ma cheelementi del progetto, della sua organizza-zione, ecc., non sono adeguati. La valuta-zione, se ben fatta, indicherà anche i modiper superare questi contrattempi. Se la va-lutazione fosse solo un pretesto, invece, pergiudicare i singoli operatori del progetto,allora si può dire che è un approccio prete-stuoso, che è utilizzata in maniera impro-pria; è lo stesso valutatore che si sottrae aquesto ruolo improprio, in virtù del suocodice deontologico. Nei servizi alla perso-na, peraltro, si utilizzano solitamente for-me di valutazione partecipata che coinvol-gono profondamente gli operatori, che di-ventano così artefici del giudizio finale, co-struito in maniera condivisa proprio comeelemento di formazione e di crescita (di que-sto parleremo più avanti).

� ��

��. La valutazione fornisce ele-menti e indicazioni molto importanti per ildecisore, ma non si sostituisce a lui. Ilvalutatore è un tecnico, e la valutazione unprocesso tecnico di servizio; al decisore ilcompito di tradurre le indicazioni della va-lutazione in riflessioni più generali che di-verranno poi una decisione concreta. Anchequi: ci sono molte forme di valutazione, ma

��

sostanzialmente tutte si preoccupano, inizial-mente, di coinvolgere i decisori nel processodi valutazione, in modo che ci sia condivisio-ne e integrazione di competenze, sia pure inun’opportuna distinzione dei ruoli (anche diquesto parleremo più avanti).

��

��. La valutazione ha sem-pre un costo; anche se fosse eseguita gratui-tamente dagli stessi operatori di un servizio,questi impiegherebbero tempo, energie, e co-munque graverebbero sulla complessiva or-ganizzazione del loro servizio. Se poi, comeopportuno, si utilizza un professionista ester-no, questi avrà un costo. La valutazione sot-trae risorse, e quindi è sempre il caso di pen-sare bene se conviene farla. Anche se la valu-

tazione ha intenti nobili, di miglioramentodi un programma, o di un servizio, occorreponderare se è il caso di realizzarla, se cioè isuoi costi sono giustificati dal miglioramentoche procurerà. In estrema sintesi: progettimolto piccoli non giustificano l’onere di unavalutazione.

��

Si valuta in qualunque momento occorra de-cidere qualcosa in merito al programma o alservizio. In generale si individuano tre momen-ti canonici della valutazione: prima di decide-re definitivamente se avviare un nuovo pro-gramma o servizio, per stabilire se ne vale lapena; durante il suo svolgimento, per correg-

��

��

gere eventuali errori di percorso; a conclusio-ne, per imparare dall’esperienza fatta, e per daretrasparenza a ciò che si è realizzato.Ciascuno di questi momenti ha implicazionie significati diversi, e infine anche modalitàoperative e costi differenti. Una rappresenta-zione grafica generale dei modi e dei ‘tempi’della valutazione è riportata nella figura 1.La valutazione fatta prima (solitamente chia-mata valutazione ex ante) ha uno scopo abba-stanza evidente: capire se vale la pena intra-prendere una data strada; capire se i costi han-no un senso rispetto ai benefici attesi; avereanche indicazioni più precise su tali beneficiattesi: si realizzeranno veramente? Si realizze-ranno tutti? C’è il caso che oltre ai benefici at-tesi si realizzino, per conseguenze di sistemanon controllabili, anche effetti non desiderati?È chiaro che la valutazione ex ante risponde aun obiettivo formidabile: conoscere in antici-po gli effetti della decisione che si intende pren-dere.Purtroppo, com’è evidente, non è possibileavere un responso del genere in maniera certa,deterministica; in nessun caso è possibile de-terminare con certezza cosa accadrà in futuro.È possibile, però, fare delle approssimazioni,delle ipotesi ragionevoli; è possibile raccoglie-re dati statistici, per esempio, ed elaborarlicome proiezioni della loro evoluzione nei pros-simi anni. Ad esempio, i demografi possonofare delle ipotesi ragionevoli sull’ammontaredella popolazione di una data area nei prossi-mi dieci anni; per fare ciò, ovviamente, stabi-liscono delle regole del tipo: “dato un deter-minato tasso di natalità, di mortalità, di im-migrazione, ecc., allora l’evoluzione nei pros-simi dieci anni sarà la seguente”. Ciò non vuoledire che i tassi di natalità non possano cam-biare, modificando l’esito della previsione; ciònon di meno può essere estremamente utile alresponsabile di un programma complesso, adesempio relativo ai bisogni degli anziani, sa-

pere, almeno in linea ipotetica, quanti anzia-ni ci saranno prossimamente in quell’area.Purtroppo, più il problema valutativo (chechiameremo, in generale, evaluando) è com-plesso, più le difficoltà a costruire modelliprevisionali aumentano; più l’evaluando ha ache fare con problematiche sociali interrelate,più tali modelli saranno approssimativi.Ma la valutazione ex ante non è da intenderesolo come complicata costruzione di modelliprevisionali. Qualche volta alcune semplicioperazioni, realizzate prima di decidere, pos-sono costituire un supporto fondamentale aldecisore:�verificare se ci sono esperienze simili da con-

frontare; è evidente che ogni esperienza na-sce in un contesto specifico, e vale come si-tuazione unica, ma non bisogna enfatizzareeccessivamente questa specificità: se dobbia-mo realizzare un centro residenziale per an-ziani cerchiamo di capire cosa è stato fattoaltrove, cosa ha funzionato bene e cosa malein altre esperienze pregresse, e ragioniamo-ci sopra;

�procurarsi una base di dati; dati pertinenti,aggiornati e di fonte il più possibile affida-bile, possono raccontare molto, se li si sainterpretare; la distribuzione della popola-zione anziana nei vari quartieri di una cit-tà, per esempio, ci fornisce indicazioni sul-le zone urbane a più probabile densità diproblematiche alle quali rispondere con unservizio specifico; conoscere le scuole conun maggior tasso di abbandono scolasticopotrebbe farci individuare quartieri, o cetisociali, o altro, sui quali intervenire con unprogramma di sostegno per giovani; ecc.

�raccogliere e utilizzare i documenti ufficia-li: anche questa è raccolta di informazionipienamente ascrivibile a un processo di ri-cerca valutativa; ci sono delibere e altri do-cumenti pubblici delle istituzioni coinvol-te? Ci sono prese di posizione politiche re-

�� #� ��

centi sull’argomento? Qualche comitato hapresentato memorie? Qualche ricercatore hacompiuto studi? Documenti differenti perqualità, per approfondimento, per valoreoperativo, che però aiutano a orientarsi.

Anche se la valutazione ex ante esprime giudi-zi e pareri, come tutti i tipi di valutazione, sipuò ritenere un tipo di valutazione diversadalle altre – delle quali parliamo più avanti –in quanto solitamente la valutazione ex antecontribuisce a costruire il programma o servi-zio. Non ha senso fare uno studio prelimina-re, se questo poi non viene utilizzato per im-postare le scelte di programmazione e proget-tazione dell’evaluando. Per questo tale valuta-zione è ascrivibile a funzioni organizzative eprogrammatorie, piuttosto che a funzioni dicontrollo, decisione e apprendimento come isuccessivi tipi di valutazione.

La valutazione realizzata con il programma at-tualmente in corso, ovviamente, ha un altrosignificato. La decisione è già stata presa, lerisorse impegnate, gli operatori sono al lavo-ro. Qui si valuta per vedere se si sta mantenen-do la rotta giusta, per esempio, o per verificarese, nel frattempo, la situazione è cambiata, ebisogna modificare qualcosa nel nostro pro-gramma o servizio. D’altronde, intervenirevuole dire modificare; se un programma agi-sce correttamente forse contribuisce a supera-re il problema per il quale è stato posto in es-sere, e quindi occorre osservare il mutamentoin atto e adattare a esso il nostro intervento;nel caso di un servizio può semplicemente ac-cadere che il mondo evolva naturalmente, in-dipendentemente dai meriti del servizio stes-so: la popolazione sviluppa nuovi bisogni, lalegislazione impone adeguamenti, ecc. In li-nea di massima potremmo dire che nel socialetutto ciò che è statico è inadeguato, ma nonnecessariamente ciò che muta è efficace se nonopportunamente calibrato ai nuovi bisogni.

La valutazione in itinere (così generalmente sichiama questo tipo di valutazione) cerca di aiu-tare gli amministratori, i gestori e gli operatoridi un programma o servizio ad adattare il lorooperato all’evoluzione dell’ambiente circostan-te; a verificare se la routine e la prassi quotidia-na hanno fatto perdere di vista gli obiettivi ini-ziali (se ancora validi); se si possono metterein atto soluzioni organizzative migliori per dareuna risposta di uguale o maggiore efficacia; seper caso non stiano insorgendo effetticollaterali non voluti (i cosiddetti effetti per-versi), e se del caso come combatterli.La valutazione in itinere ha comunque una suadifferenziazione interna; generalmente si di-stingue fra valutazione in itinere propriamen-te detta e valutazione intermedia (o di mediotermine); la differenza principale è che la va-lutazione in itinere è un procedimento conti-nuo, che intende seguire tutto il programma,o gran parte di esso, con un’attività piùconsulenziale che di ricerca; nella valutazioneintermedia il valutatore, più o meno a metàprogramma (ovviamente nel caso di program-mi abbastanza lunghi) svolge un’analisi com-pleta e complessa che presume attività di ri-cerca specifiche. Nel caso di servizi abbiamouna situazione analoga: si fa valutazione initinere lungo un dato periodo di tempo peraffiancare gli amministratori e gli operatori inun’opera di miglioramento continuo del ser-vizio erogato; si fa valutazione intermedia se ildecisore o un responsabile, avendo sentore diun’inadeguatezza di fondo, desidera un’indi-cazione precisa sull’eventuale scostamento da-gli obiettivi, su effetti perversi, ecc.Attenzione: spesso si confonde la valutazionein itinere con il monitoraggio. È un errore daevitare assolutamente.Il monitoraggio è una raccolta sistematica didati che accompagna tutto un programma, oun servizio, che servirà poi alla valutazione. Insé il monitoraggio non implica quelle funzio-

��

ni critiche di analisi, riflessione, interpretazio-ne, che ha la valutazione. Evidentemente, unbuon monitoraggio, progettato con cura e lun-gimiranza, servirà adeguatamente ai successi-vi scopi di valutazione.

La valutazione eseguita successivamente allaconclusione di un programma (detta solita-mente valutazione ex post) può sembrare lameno utile; ormai quel che è fatto è fatto, lerisorse sono state spese, gli effetti ci sono stati,oppure no, e ormai non si può più fare nulla.Non è così; e anzi, la valutazione ex post è unpo’ la ‘regina’ delle valutazioni, se non altroper la quantità di valutazioni eseguite (a diffe-renza della valutazione ex ante, raramente fat-ta, e della valutazione in itinere, solo parzial-mente realizzata).

La valutazione ex post ha due obiettivi fonda-mentali e importantissimi: imparare da ciò chesi è fatto, e documentarlo per ragioni di de-mocrazia e trasparenza. Quest’ultimo obietti-vo riguarda maggiormente i programmi, equegli insiemi di programmi fra loro collegatiche si chiamano politiche. Dopo anni di inter-vento, dopo enormi quantità di danari spesi,il minimo che l’opinione pubblica pretendedi sapere è: “Ne è valsa davvero la pena?”, “Ibenefici realmente ottenuti sono stati quellipreventivati?”, ecc. Domande comunque chepossono riguardare anche un servizio, a undato momento del suo percorso.Ma è sul primo obiettivo che vogliamo appun-tare l’attenzione: si valuta a conclusione per-ché vogliamo imparare sia dagli errori fatti siadai successi conseguiti. E vogliamo imparare

�� Quando si valuta

��*��1� �� "�� 2�� #

�� *�� #

�� *�� /��"��3��3�� #

�� *� �� 2� �� "��#�4�� "��(��!�+�� ,��"�� (

� �� *� �� +�� ,��#

�� *�� #

�� *�� /��"��#

�� *�� #

�� *�� *��#

�� #� ��

perché i problemi sociali ai quali dobbiamodare risposta sono infiniti, continui, inesauri-bili, e ogni programma concluso trascina l’av-vio di un nuovo programma simile, se nonidentico; ogni servizio concluso rilancia unnuovo servizio, semmai con un approccio nuo-vo. Non possiamo desiderare di ricominciaresempre d’accapo; non possiamo voler disper-dere il patrimonio di esperienza che ciascunprogetto ha rappresentato. La valutazione expost si candida a questo ruolo di analisi e com-prensione, e in sostanza di informazione e for-mazione, dato che lo scopo è dichiaratamentequello di apprendere dall’esperienza per mi-gliorare.Anche qui abbiamo alcune importantidifferenziazioni, a seconda di quale valutazio-ne ex post si persegua: può darsi che il nostrointeresse si limiti agli esiti, ovvero ai risultatiimmediati imputabili al nostro intervento (peresempio quanti anziani sono stati oggetto diassistenza domiciliare, quanti allievi hannoconcluso un corso formativo), o che si rivolgaagli impatti (ovvero quali benefici reali in ter-mini di qualità della vita, alleggerimento dellapressione familiare, ecc., hanno avuto gli an-ziani; quali concrete possibilità occupazionalihanno poi avuto i partecipanti al corso, ecc.).Che questi termini di riferimento venganorapportati agli obiettivi del programma o ser-vizio, oppure ai reali bisogni ai quali il pro-gramma o servizio intendeva rispondere (nonè certo la stessa cosa!). In tutti questi casi ladenominazione ‘valutazione ex post’ viene inparte modificata e arricchita, ma non preoc-cupiamoci ora di eccessive distinzioni.

��$��#�%��&#!��

Qui affrontiamo un problema che a volte di-venta spinoso. È meglio che il valutatore siauna persona esterna al nostro servizio, o alprogramma? Semmai uno specialista notoria-

mente bravo ma costoso, e per di più intrusivo,non ‘uno di noi’? O è meglio che la valutazio-ne sia fatta dagli operatori stessi, semmai conrisultati più modesti ma con una maggiorepartecipazione e coinvolgimento?La risposta, non necessariamente ‘diplomati-ca’, è: “Dipende”. Dipende essenzialmentedagli obiettivi che ha la valutazione, da qualirisultati ci si prefigge. Più l’obiettivo riguardafunzioni di controllo per conto di un’autoritàsuperiore, come succede di regola nella valu-tazione che l’Unione Europea impone agli Statimembri e alle loro Regioni per verificare chefine hanno fatto i danari dei fondi comunitarispesi, più il valutatore deve essere esterno algruppo che ha concretamente gestito quei fon-di: è una regola elementare che i controlloridebbano essere diversi dai controllati. Anchein Italia ci sono molte società specializzate pro-prio in questa attività, oltre a un certo nume-ro di valutatori indipendenti individuali. Dicontro, più la valutazione è un processoformativo, di costruzione di un sapere nato esviluppato dentro un piccolo servizio, più lapartecipazione attiva degli stessi operatore ènon solo gradita ma addirittura essenziale.Naturalmente in questa sede siamo più inte-ressati a questo secondo caso, dato che ci rivol-giamo prevalentemente a operatori di servizi.Nei servizi alla persona non si può prescinde-re, per valutare, dal sapere professionale dellediverse figure coinvolte, prima fra tutte quelladell’operatore, dalla ‘storia’ e dal contesto spe-cifici di quel servizio, in una parola dalla ‘cul-tura del servizio’ che lì è data.Belle parole, che vanno ben chiarite per noningenerare pericolosi equivoci.Abbiamo detto che per comprendere chi deb-ba valutare occorre riferirsi agli scopi della va-lutazione:�se tale scopo è principalmente lo scambio

informativo entro un gruppo, per comuni-carsi i problemi e aiutarsi reciprocamente a

��

risolverli, probabilmente può essere realiz-zata anche senza consulenza di esperti ester-ni, anche se l’esperienza porta a ritenere cheuna supervisione (per esempio da parte diun responsabile del servizio se ha abbastan-za competenza in merito) sia necessaria;questa attività può a buon diritto esserechiamata ‘valutazione’, anche se in un’acce-zione piuttosto ampia e poco connotata, esenza che si creino aspettative esterne algruppo circa questo lavoro;

� se lo scopo è verificare il corretto procederedell’andamento di un programma (se, peresempio, i tempi di realizzazione di deter-minate parti sono rispettati) o di un servi-zio (se, per esempio, vengono serviti gliaventi diritto e non altri, oppure se le risor-se disponibili sono ripartite in manieraottimale), un buon amministratore dovreb-be essere sufficiente, semmai sostenuto da

alcuni collaboratori con competenza nellagestione diretta del progetto; anche questaè una ‘valutazione’, e può bastare una con-sulenza episodica di un bravo rendicontato-re, di uno specialista nella gestione di que-sti progetti, ecc.;

� se invece lo scopo è modificare l’andamentodi un servizio (migliorarlo, assumere ulte-riori obiettivi, ampliarne la base degli utenti,ecc.) allora le cose cambiano un po’: certa-mente la principale base è composta sem-pre dagli operatori, i quali probabilmenteavranno bisogno di una guida esperta, o diuna supervisione specialistica. Questo ac-cade perché gli operatori, anche se eccezio-nalmente competenti sul servizio, possononon conoscere le migliori modalità, anchese molto semplici, per raccogliere le infor-mazioni utili, e poi analizzarle, in modo daprendere la decisione più corretta; gli ope-

�� Chi fa la valutazione

�� *� �� "�+�� ,�� +�� #,� ��+�� #,&�� +�� 2� �� 5,� �� +�� 5� �� 6#6,�� *��#

�� *�� "�� &�� *��2�� &� ��"�� +�� 5�� 6#6,��"�� #

�� *�� *�� #

�� *�� 1�� 2��#

�� *� �� &��"��"��#

�� #� ��

ratori, inoltre, essendo fortemente coinvol-ti in prima persona, non possono avere queldistacco indispensabile per decidere cam-biamenti forse molto desiderati, o forse for-temente temuti, che comunque influireb-bero sulla loro vita; in questo caso la valu-tazione (senza virgolette ormai) può essererealizzata dagli operatori se la decisione daprendere è limitata e se hanno un forte inputtecnico da parte di un valutatore esterno(questo può avvenire anche sulla scorta diun’attività formativa, non necessariamentecome consulenza strutturata); se la decisio-ne da prendere è invece più complessa, ènecessario che un valutatore esterno aiuti ilgruppo a impostare la valutazione e ne fac-cia almeno la supervisione; questi casi spe-cifici vengono chiamati valutazione compe-tente, perché si fonda sulle competenze spe-cifiche che hanno, nel loro settore (qualun-que sia), gli operatori coinvolti;

� infine, è indispensabile che la valutazionesia impostata e condotta da un valutatoreesterno ed esperto in tutti questi casi:– l’evaluando coinvolge soggetti diversi(finanziatori, gestori, beneficiari) con inte-ressi non strettamente simili, o addiritturacontrapposti; in questo caso solo un valu-tatore esterno garantisce la necessaria auto-revolezza super partes;– la valutazione riguarda una possibile de-cisione drastica, molto favorevole o moltosfavorevole agli operatori, o ai beneficiari;una valutazione fatta dal gruppo sarebbe ov-viamente inficiata dalla posizione persona-le di ciascuno nella vicenda;– l’evaluando necessita di notevoli risorse;in questo caso c’è una responsabilità note-vole a cui rispondere ed è opportuno utiliz-zare procedure particolarmente rigorosesotto il profilo scientifico.

La presenza di un valutatore esterno non si-gnifica però, in nessun caso, rendere estranei

gli operatori dal processo di valutazione. Comesarà chiarito più avanti, anche in questi casigli operatori saranno chiamati a svolgere unruolo fondamentale.Ma il valutatore e gli operatori non sono gliunici soggetti che vengono coinvolti nel pro-cesso di valutazione; ci sono almeno altre trefigure specifiche che, volta a volta, può esse-re necessario coinvolgere nel processo valu-tativo:� i decisori, come definiti nel paragrafo 1.1;

in questa categoria includiamo anche ifinanziatori del programma o servizio chesi deve valutare, nonché i finanziatori delprocesso di valutazione (potrebbero esseregli stessi, oppure no);

� i beneficiari, ovvero gli utenti del serviziovalutato; chiariremo più avanti come si deb-ba rifuggire l’eccessiva enfasi sul coinvol-gimento dei beneficiari, ma certamente illoro è uno dei pareri centrali nella valuta-zione dei servizi;

� gli esperti, da intendere qui come personedirettamente estranee al programma o ser-vizio, ma che hanno importanti opinionial riguardo, oppure competenze dovute alloro studio, o al ruolo che occupano o han-no occupato, e che insomma possono for-nire importanti suggerimenti.

��'��#��&#!��&#!��

Poiché vi abbiamo fatto diversi riferimenti ènecessario chiarire quest’ultimo punto. Da unlato, infatti, nel campo valutativo si levanosempre più spesso voci tendenti a descrivere lavalutazione come un processo partecipato da-gli operatori, o più spesso dai beneficiari, men-tre d’altro lato i servizi alla persona si prestanomolto alle attività – appunto – partecipate, invirtù della forte componente di comunicazio-ne e relazione che vi è implicata.

��

Avvertendo che ci sono molte posizioni diver-se (anche molto diverse) sull’argomento, chia-riamo qui il nostro punto di vista.‘Partecipazione’ può volere dire cose diverse, epuò essere realizzata in forma diversa.Se con ‘partecipazione’ si intende evitare la ri-gida separazione fra momento tecnico emetodologico (proprio del professionista) dalmomento operativo dell’evaluando (proprio dicoloro che stanno nel problema, gli operatorie i beneficiari innanzitutto), al fine di favorireuna migliore efficacia del processo valutativo,allora la partecipazione deve essere intesa comeuna caratteristica fondamentale della valuta-zione.Come si vede ci sono dei limiti, ci sono dei‘se’.Il punto di vista dal quale partire è quello del-la valutazione; si noti: non del valutatore, ov-vero del professionista pagato per fare la suaconsulenza, ma proprio della valutazione, diquel processo realizzato, come si è detto, permigliorare il programma. ‘Il punto di vistadella valutazione’ è quindi un punto di vistache cerca di ottenere un risultato migliore: piùaffidabile, più sensibile, più completo. Un ri-sultato, in una parola, più efficace rispetto agliobiettivi iniziali. Questo punto di vista dovreb-be mettere d’accordo tutti: il decisore (che pro-babilmente paga anche la valutazione e vuoleun risultato preciso), gli operatori (che cosìpotranno lavorare meglio, con più soddisfa-zione), i beneficiari (che così sperano di otte-nere un maggiore beneficio).Il punto di vista della valutazione è presto det-to: avere tutte le possibili informazioni, perpoter fare la migliore analisi possibile. Ma ‘leinformazioni’ comprendono fortemente – neltipo di valutazione che dovremo presumibil-mente fare – anche i saperi degli operatori,probabilmente le esperienze dei beneficiari e,non è escluso, anche qualche opinione deidecisori; certamente utilizzeremo, in valuta-

zione, anche dei dati più ‘solidi’ (a secondadei casi: dati finanziari, dati ‘fisici’, dati demo-grafici, dati clinici, ecc.), ma in tutti i tipi divalutazione, e tanto più nella valutazione deiservizi, sono essenziali le informazioni basatesul racconto, sull’esposizione della propriaesperienza e del proprio giudizio, sull’afferma-zione della propria responsabilità (tutte que-ste cose sono rese nel termine ingleseaccountability).Questa informazione posseduta dagli attori delprocesso non è semplicemente una ‘narrazio-ne’ descrittiva di procedure, ma molto di più:è la chiave interpretativa per dare un senso nonastratto anche ai dati fisici, clinici, finanziari,ecc. che si hanno a disposizione.Non è possibile avere una completa informa-zione senza una piena adesione degli informa-tori al progetto valutativo; ancor più: il signi-ficato più profondo di quelle stesse informa-zioni non è possibile ricostruirlo senza l’inter-vento diretto di quegli informatori (via via:decisori, operatori, beneficiari) che hanno con-tribuito a determinare l’informazione stessa.Come si vede, la valutazione viene resa ‘parte-cipata’ non già per un intento democratico,come taluni vorrebbero, ma semplicemente peruna necessità opportunistica: fare bene la va-lutazione! Non sembri poco: la valutazione ègià fortemente portatrice di un nobile scopo,come detto nel paragrafo 1.1; dato quello sco-po (di miglioramento dei programmi e deiservizi), diamo una mano alla valutazione per-ché arrivi il più vicino possibile alla meta. Sia-mo poi estremamente felici se questo approc-cio ‘opportunistico’ finisce inevitabilmente pertrascinare con sé altri obiettivi secondari,correlati al principale:�formazione: partecipare al processo valuta-

tivo è un’attività altamente formativa in sé,perché presume la ricerca di informazioni ela loro interpretazione; nella valutazione siripercorrono quindi gli elementi fondamen-

�� #� ��

tali dell’evaluando, lo si vede (spesso per laprima volta) come un sistema complesso co-stituito da tante parti;

�consapevolezza: questa analisi non è freddae distaccata ricerca scientifica, ma più ‘cal-da’ e coinvolgente ricerca operativa, al cen-tro della quale ci sono le persone che vi par-tecipano; questo costringe a riflettere sullapropria azione in maniera critica;

�comunicazione: la valutazione mette in cir-colo le idee, e informa in merito alle sueconclusioni una platea più o meno vasta diindividui; certamente coloro che hanno par-tecipato, ma poi anche il decisore, ilfinanziatore della valutazione, e così via;tutti si scambiano idee, tutti si conosconomeglio conoscendo meglio la situazionedell’evaluando.

Rifiutiamo invece quelle idee che si basanoesclusivamente sul valore preminente di que-sta partecipazione, lasciando sullo sfondo gliscopi della valutazione. La cosiddetta valuta-zione realizzata per ‘emancipare’ gli utenti deiservizi, per esempio (è una delle tante propo-ste che circolano), ha nobili scopi ma rischiadi perdere di vista quelli della valutazione.E rispetto agli utenti occorre fare un’ultimadigressione. Da un po’ di tempo, fra le variemode che si affacciano alla ribalta, c’è quelladella valutazione pesantemente fondata sulparere dei beneficiari: in questo caso, spesso,si parla di soddisfazione dei clienti (spesso

detto in inglese: customer satisfaction), impor-tando nei servizi un linguaggio nato nell’im-presa privata. Chiariamo subito:La soddisfazione dei beneficiari (o più in ge-nerale il loro parere) è una componente im-portantissima, spesso fondamentale, della va-lutazione. Ma deve restare una delle compo-nenti, valida se inserita in un più vasto conte-sto basato anche su altre informazioni. La va-lutazione basata esclusivamente o prevalente-mente sull’opinione dei beneficiari deve esse-re considerata incompleta, parziale, e utile soloin determinate circostanze.Le ragioni appaiono evidenti; i beneficiari deiservizi:�hanno generalmente un’informazione limi-

tata circa le modalità di erogazione del servi-zio, i vincoli normativi, finanziari e gestionalientro cui il servizio va collocato, ecc.;

�hanno un orientamento centrato spesso solosul loro bisogno, quello al quale il serviziocerca di dare una risposta, e questo sollecitaun certo ‘egocentrismo’ che non riesce a rap-presentare serenamente un parere distacca-to sull’evaluando;

� in alcuni casi i beneficiari sono chiaramen-te nell’impossibilità di esporre un parereutilizzabile a causa di loro particolari con-dizioni (pazienti pediatrici, o psichiatrici).

Con un chiaro senso del limite con cui utiliz-zarlo, il parere dei beneficiari può essere util-mente messo in valutazione.

�� La partecipazione nella valutazione

�� *��!��"�� +�� ,� �� 2� ��#� �� 2�� #

� �� *� �� -��#

��

��

��

��$��%�� $��%��

��"��%��

7��!��"��

��#�8��"'��

��"��

��#�$��

��!��"��

��"��

��

��"��#

�� #� ��

��!"(��!� #"��#��#�"��#&#��"!��

In generale, tutto quello che abbiamo scrittofin qui vale per qualunque tipo di evaluando:senza grossi cambiamenti avremmo potutoscrivere le stesse cose per un manuale di valu-tazione di politiche e programmi, oppure peruna valutazione relativa a progetti formativi,o altro.Ora è il momento di fare un passo in più ver-so il contesto operativo dove noi vogliamo farein concreto valutazione: i servizi alla persona.Poiché questo manuale ha un carattere gene-rale, anche qui proponiamo una definizionepiuttosto ampia:I servizi alla persona riguardano tutte quelleattività che coinvolgono gli operatori in unrapporto diretto coi beneficiari, tale che il pro-dotto e il processo del servizio coincidono. Ca-ratteristiche fondamentali dei servizi alla per-sona sono la comunicazione e la relazione fraoperatore/i e beneficiari, che vengono realiz-zati in unica soluzione.In queste poche righe c’è una quantità di cosedette:� Il concetto chiave è quello della coincidenza

fra prodotto e servizio; questa coincidenza èspecifica dei servizi alla persona. Anche ilsettore alimentare è un servizio, ma la di-stinzione fra prodotti (ciò che andiamo acomperare) e il processo (le modalità delladistribuzione e della vendita) è bendistinguibile; nei servizi di cui parliamo ilprodotto erogato coincide strettamente conil processo di produzione dello stesso, sonola stessa cosa: nel servizio alla persona l’azio-ne specifica dell’operatore (accudire, comu-nicare, formare, curare, ecc.) è, allo stessotempo, processo (l’atto dell’accudire, contutto ciò che comporta; l’atto del comunica-re, con tutte le sue implicazioni; ecc.) e pro-

dotto (le conseguenze dell’attenzione presta-ta, il contenuto informativo della comuni-cazione, ecc.).

� Il ruolo degli operatori è ben delineato: sonoloro (alcuni di loro, quelli che si occupanodella prima linea del servizio) che eseguonoil processo erogando allo stesso tempo ilprodotto, ovvero, più in breve, loro eroga-no il servizio; mentre in altri contesti l’in-tero processo può essere molto parcellizzatoe suddiviso fra più persone, che possonoperfino ignorare esattamente cosa fanno glialtri, qui questa parcellizzazione è impossi-bile; certamente ci sono innumerevoli ruo-li e funzioni anche nelle organizzazioni cheerogano servizi alla persona, ma gli opera-tori di prima linea non hanno alcuna pos-sibilità di suddividersi questi compiti esclu-sivi di essere processo e di fornire un pro-dotto, assieme.

�Questo processo/prodotto, poi, è eseguitoin unica soluzione: si possono anche faredelle prove, ovviamente, ma il vero servizionon è immagazzinabile, per sottoporlo acontrolli di qualità, scartare quelle parti chenon funzionano, ed erogarlo poi secondonecessità. Il confronto con l’utente porta aun’esecuzione che va bene, o va male, e re-sta comunque irripetibile.

�� Cos’hanno dispeciale i servizi alla persona

�� &�� "��*�� &� ��2��"�� "��"'�� *��#�%��*��!#

��

Naturalmente, ci sono tanti tipi di servizi allapersona, ognuno con proprie caratteristiche,tipi di implicazioni e difficoltà; per esempio:��, di cui ci occu-

piamo in particolare in questo volume, sonoprobabilmente fra i più delicati, in virtù deldisagio umano cui cercano di rispondere;

�� , di cui faremo qualcheaccenno anche in questo volume, sono pro-babilmente meno complicati dal punto divista degli operatori, ma estremamentecomplessi dal punto di vista del rapportoeducativo e formativo che viene instauratofra docente e allievi;

��, di cui non trattere-mo qui (salvo per un esempio nel capitolo5), sembrano i più semplici e menoproblematici, ma le dinamiche della comu-nicazione sono complesse e sofisticate; cer-to, qui non abbiamo i casi di burn out tipi-ci dei servizi sociali.

In questo volume ci occuperemo principal-mente dei primi, e solo in parte degli altri, male logiche che cercheremo di tracciare valgo-no, sostanzialmente, per tutti i servizi alla per-sona con le caratteristiche sopra accennate.

��#��)#*#�#�+��)!&#�*#�#�+ �#�"��#&#

La valutazione della qualità, dell’efficacia, del-le performance, di un servizio è complicata daalcuni fattori. A differenza di altri casi, i servizialla persona presentano un’alta componente diintangibilità, ovvero forniscono prestazioni nonmateriali, e quindi difficilmente misurabili.L’assistenza domiciliare anziani, la prestazioneterapeutica, l’attività formativa, tanto per faredegli esempi, possono essere realizzate effica-cemente, ma questo concetto (efficacia) nonpuò essere determinato in modo certo con pa-rametri rigidi, per due motivi fondamentali:

1. qualunque concetto generale (come ‘effica-cia’) è descrivibile come orizzonte generaledi cui stabilire definizioni operative concor-date e contestualizzate, ma non è parametra-bile una volta per tutte; è evidente che ciòimplica l’impossibilità di una qualsivoglia‘misurazione’ secondo criteri definitivi,esterni al contesto valutato;

2. la differenziazione sociale comporta cheogni individuo interpreti comunque taliconcetti, anche se esplicitamente definiti,sulla base della propria esperienza indivi-duale, delle proprie capacità interpretative,delle proprie sensibilità ed esigenze, e tuttociò in maniera mutevole nel tempo; questaè la ragione principale, fra l’altro, delle cau-tele che abbiamo posto sull’enfasi da darealla soddisfazione degli utenti come crite-rio di valutazione (ne abbiamo parlato allafine del paragrafo 1.4).

La valutazione dei servizi, quindi, non puòprescindere da una piena assunzione, da partedel valutatore, dei diversi punti di vista (deidecisori, degli operatori, dei beneficiari delservizio), della mutabilità di tali punti di vi-sta, della loro contingenza legata a fattori so-ciali, cognitivi individuali, di contesto, ecc.Il secondo concetto da porre al centro dell’at-tenzione è quello di negoziabilità; esso fa rife-rimento alla possibilità, per l’erogatore di unservizio e per il suo cliente, di realizzare la tran-sazione con un margine di flessibilità.L’erogatore con flessibilità rispetto a quantoprogrammato, e il fruitore con flessibilità ri-spetto alle aspettative e ai bisogni che intendesoddisfare.Chi eroga il servizio ha un programma più omeno rigido e vincolante; quasi sempre, nelcaso dei servizi alla persona, ci sono documentiche si sforzano di descrivere il modello teoricodella prestazione fornita (delibere, capitolati,mansionari, per non parlare di leggi e regola-menti); nei fatti è evidente a tutti che tali nor-

�� #� ��

me, programmi e documenti servono più chealtro come orientamento, come definizione diconfini oltre i quali non andare, come prescri-zioni di massima. È l’interazione diretta e con-tinua fra operatore e cliente che genera, ognivolta, una situazione unica alla quale adeguarsicon un minimo di flessibilità; il contesto an-che organizzativo non è mai perfetto, e buonaparte delle energie va impiegata per sopperirea tali nei (il collega malato da sostituire, la riu-nione che si protrae e mette in crisi i successi-vi appuntamenti, ecc.); gli operatori, infine,sono persone in carne e ossa con comporta-menti e atteggiamenti che possono cambiarenei giorni. Tutto questo fa sì che sia inevitabi-le uno scostamento fra qualunque modelloorganizzativo di servizio che l’erogatore ha inmente, e il servizio realmente, effettivamente,prestato.Il beneficiario (o cliente) del servizio, è sog-getto a un processo analogo: ha un’idea astrat-ta del servizio, se non ne ha mai fruito, oppu-re ne ha un’idea basata su ricordi personali, suquanto ha sentito dire, a volte su vere e pro-prie fantasie; il servizio reale è probabilmenteun’altra cosa, e in ogni caso il cliente non co-nosce il vero servizio, nella sua completezza,ma ne percepisce aspetti, parti, elementi per luisalienti.Ma c’è un ulteriore ‘distanza’ da tenere pre-

sente: qualunque sia il servizio realmente ero-gato, e quello realmente percepito dal cliente,raramente i due coincidono; fra servizio ero-gato e servizio percepito c’è una distanza piùo meno grande che influisce sul gradimento omeno da parte del cliente.La valutazione dei servizi ha, quindi, a che farecon queste tre ‘distanze’:� la distanza fra servizio programmato e ser-

vizio effettivamente erogato: ciò ha a chefare principalmente con l’efficienza e conl’efficacia interna;

� la distanza fra servizio atteso dal cliente eservizio realmente percepito: questo ha a chefare, per il valutatore, con un problema dicontrollo sulle informazioni acquisite daiclienti e, per il gestore del servizio, con unproblema di comunicazione esterna;

� la distanza fra servizio effettivamente ero-gato e servizio percepito: ciò ha a che farecon l’efficacia esterna, almeno per quellaparte rappresentata dalla soddisfazioneespressa dai beneficiari (altro è il discorsodi una valutazione dell’efficacia esterna mi-surata a partire dai bisogni di quel gruppodi popolazione, che il valutatore misuri eanalizzi a prescindere da quanto tale grup-po esprime).

Il ‘gioco’ che si crea, fra chi eroga il servizio echi lo riceve, entro queste distanze, è ciò che

�� Intangibilità e negoziabilità dei servizi

��*��!��"��"��*�� -� � �� #

�� *� ��!��"��"�� !��"��#

��*� �� !�� "��"�� "��*��&�� #

��

chiamiamo ‘negoziabilità’, perché esiste unmargine di possibile negoziato entro cui met-tere in discussione i differenti punti di vista:l’organizzazione può negoziare, al suo inter-no, una riduzione della distanza fra servizioprogrammato e servizio erogato (il responsa-bile può proporre attività formative per i suoioperatori, può affiancare loro altre risorseumane, può sanzionarli; gli operatori posso-no favorire o resistere a tutto questo); ma –più importante – l’organizzazione deve nego-ziare spesso con il cliente la prestazione (ilcliente protesta, minaccia, o semplicementechiede; gli operatori si adeguano, oppure spie-gano perché non possono fare diversamente,ecc.). Il risultato di questa negoziazione è unasorta di assestamento reciproco, per cui glioperatori cercano di andare incontro alle ri-chieste e i clienti rimodellano tali richieste inmaniera più realistica.Una rappresentazione complessiva dellanegoziabilità è illustrata dalla figura 2.Tutto ciò, ovviamente, accade in maniera estre-mamente diversificata a seconda del tipo diservizio erogato, e della reale flessibilità che

ha, del tipo di clienti, e quindi della naturadei loro bisogni, e così via.L’intangibilità dei servizi (il fatto che non es-sendo ‘materiali’ sono mutevoli e soggetti ainterpretazione) e la loro negoziabilità(l’interazione per accordarsi sulla qualità delservizio) hanno notevolissime conseguenze sudiversi aspetti organizzativi, gestionali e, na-turalmente, valutativi.Da quest’ultimo punto di vista i principaliproblemi sono di ordine metodologico: comeraccogliere informazioni certe per poter espri-mere il giudizio valutativo se il contesto è cosìfluido e incerto? La risposta che proponiamoparte dal principio che quelli che sembranoelementi di debolezza possono essere conside-rati da un punto di vista diverso, che mostrainvece forza e duttilità.

��

Con in mente quanto abbiamo anticipato nelcapitolo 1, alla luce di quanto scritto qui sui

��

�� #� ��

servizi, possiamo provare a proporre delleconclusioni sulla valutazione dei servizi.Benché la valutazione sia un concetto genera-le applicabile a qualunque ambiente operati-vo, è evidente che ciascun contesto richiededegli adattamenti, delle specificità, delle atten-zioni particolari diverse da quelle utilizzate inaltri. Proprio il suo essere un’attività operativaimpone alla valutazione questo adattamento;proprio la sua ricerca di un’utilità entro il pro-cesso le impone di sviluppare modalità speci-fiche, più utili allo scopo, in ciascun settoredove viene applicata.Le caratteristiche salienti dei servizi, dal pun-to di vista della valutazione, possono essere cosìindividuate:� intangibilità: questo significa sostanziale

impossibilità, o quanto meno grande diffi-coltà, all’uso preponderante di tecniche diricerca basate sulla raccolta e analisi di datialtamente formalizzati, di misurazioni, diapplicazione di test statistici; da un puntodi vista metodologico l’approccio è più‘qualitativo’;

�negoziabilità: rinvia al fatto che il modelloè cangiante, che non possono esisterestandard se non basati su un accordo di mas-sima fra gli attori (erogatore e beneficiarioinnanzitutto), che il contesto incide mol-tissimo; da un punto di vista metodologicol’approccio deve essere partecipato;

� coinvolgimento e responsabilità: quello del-l’operatore dei servizi sarà pure un mestie-re, ma nella generalità dei casi si riscontrache è un mestiere dal grande coinvolgimentoemotivo, e che comporta un notevole gra-do di responsabilità. È impensabile farel’operatore (a tutti i livelli, dal responsabileall’addetto all’assistenza domiciliare) se nondentro un approccio umano ed etico, oltreche professionale. Di tutto questo non si

può non tenere conto in valutazione; va-lutare i servizi comporta anche per il va-luta-tore una almeno parziale assunzionedi questo ‘clima’, che deve essere rispetta-to e, perché no?, utilizzato come leva peruna valutazione partecipata;

� i beneficiari ultimi della valutazione: in ge-nerale si sostiene che ci possono essere treprincipali obiettivi della valutazione: a) con-tribuire a migliorare il programma; b) rea-lizzare un’azione specifica di sostegno per ibeneficiari del programma; c) favorire il pro-cesso decisionale dal punto di vista deidecisori. Quest’ultima è l’opzione più neu-tra, più professionale, che ci sentiremmo diraccomandare in altri contesti. Nella valu-tazione dei servizi invece, probabilmente,la prima è l’opzione inevitabile. Nel casodei servizi alla persona l’obiettivo principa-le finisce per essere quel miglioramento aiprogrammi, progetti, processi sociali checomporta, come conseguenze, un maggio-re beneficio per i clienti. In generale, costo-ro sono i beneficiari ultimi della valutazio-ne dei servizi, e che il valutatore lo facciaapertamente e consapevolmente, oppure no,la sua azione coinvolge anche costoro, e in-ciderà su quanto accadrà loro;

� limitazione delle risorse: anche questa è unacaratteristica della valutazione dei servizi:c’è sempre pochissimo tempo, perché i pro-blemi incalzano; c’è sempre pochissimo per-sonale, perché tutti fanno mille cose; e cer-tamente ci sono sempre pochissimi soldi,perché i servizi alla persona hanno soventepoche disponibilità, e i servizi in particola-re sono sempre in penuria economica. Checi piaccia o no dovremo fare i conti anchecon questo problema, disegnando una ri-cerca valutativa compatibile con questeproblematiche.

��$��

��

��'��&��

��"��$��

��"��$��$��

�� "��$��

��(��"��%��

��(��%

��(��"��

)�� ""��

8��"'��3��/��"��"��2��3

�� !�� #�9��"��

��"��

�� !��

��!��

��"��#

�� 3��3�� 2��#��"��

�� -��"�

�� #�8��

�� "��"��

��

�� "�� #

�� #� ��

Avviciniamoci alla pratica. Abbiamocompreso cos’è la valutazione, ora incomin-ciamo a pensare a come si fa. La nostraimpostazione, evidenziata fin dalle prime ri-ghe del primo capitolo, privilegia una conce-zione della valutazione come ricerca. La valu-tazione – da intendere come ricerca valutativa –è una raccolta di informazioni, da sottoporrepoi ad analisi e interpretazione.Sottolineare la vocazione della valutazione inquanto ‘ricerca’ è indispensabile per sviluppa-re un processo valutativo rigoroso nelle proce-dure, affidabile nei risultati e, quindi, efficacenei suoi intenti. Solo così la valutazione puòsperare di essere non solo utile ma, ciò che piùimporta, utilizzata.Trasformare una volontà, un’idea valutativa,in un progetto professionalmente rigoroso escientificamente affidabile, è quello che si chia-ma ‘disegnare la ricerca’. Il disegno della ricer-ca valutativa è l’insieme delle procedure, delletecniche utilizzate, ma anche delle riflessionee delle avvertenze che, tutte assieme, guidanoil valutatore e i suoi collaboratori nel processodi ricerca valutativa.

$��#��,"�� &#!��

Idealmente possiamo scomporre il disegnodella ricerca valutativa in cinque tappe bendefinite; ciascuna di queste tappe ha un preci-so significato, una sua importanza, un suoproprio modo per essere attraversata. Nessu-na di queste tappe può essere elusa, anche seovviamente i diversi contesti di ricerca ci di-ranno quanta importanza dare loro. Prima diaffrontarle una per una nei prossimi paragra-fi, diamone una panoramica sintetica:1. � ��

�� - Nonsi può valutare se non si ha una rispostachiara e convincente del perché si debba va-

lutare. La valutazione non risponde a unacuriosità intellettuale, costa tempo e dena-ro, sollecita aspettative, e non deve essereutilizzata per scopi impropri. Capire chi hadeciso di fare la valutazione, e cosa ne vo-glia fare, è un elemento imprescindibileanche e soprattutto per orientare il proces-so valutativo nella giusta direzione. In teo-ria si può valutare qualunque aspetto di unservizio, ma è inutile farlo se gli obiettivisono limitati. Il finanziatore della valuta-zione deve quindi illustrare compiutamentequali scopi si prefigge, e semmai deve esse-re aiutato dallo stesso valutatore a formula-re opportunamente questi obiettivi.

2. � ��

�� - Con unmandato chiaro, ci si deve avvicinareall’evaluando per capire quali siano i suoiprincipali nodi problematici iniziando, seopportuno, dall’analisi dei suoi obiettivi.Partire dagli obiettivi espliciti o implicitidell’evaluando è spesso una buona soluzio-ne perché la valutazione è, solitamente, unconfronto fra una data realtà e qualcos’altro(uno standard, un risultato atteso, oppureuna situazione di confronto, o altro); ciòcomporta che dobbiamo ben capire la real-tà dell’evaluando per come dovrebbe essere,per gli obiettivi che, inizialmente, gli furo-no assegnati. Solo così potremo dire, dopola valutazione: “Sì, quegli obiettivi sono statiraggiunti”; oppure: “Rispetto a tali questio-ni, l’evaluando manifesta questi problemi”.Conoscere gli obiettivi dell’evaluando vuo-le dire conoscere il progetto originale, co-noscere la sua organizzazione, e così via. Cisono certamente diversi casi (specie nellavalutazione dei servizi alla persona) in cuinon si può mettere troppa enfasi sugli obiet-tivi perché questi sono certi, ben evidenziatie sostanzialmente circoscritti e noti; in que-sti casi il valutatore deve osservare la situa-

��$��

zione, interrogare i principali attori, racco-gliere informazioni preliminari, per capirequali sono i nodi critici da mettere comun-que al centro del suo lavoro. Solo così, dopoaverli esposti con il committente e gli ope-ratori, e condivisi con loro, il valutatorepotrà procedere nelle parti più tecniche.

3. !��

�� - Che ci piac-cia o no, con la migliore intenzione di que-sto mondo non si fa nessuna valutazione senon ci sono le risorse. Le risorse sono es-senzialmente economiche, ma anche di per-sonale e di tempo (spesso queste sono ri-conducibili a quelle economiche, ma nonsempre); se non ci sono non si fa la valuta-zione; se ci sono, ma scarse, occorrerà pie-gare la nostra ricerca (vedi punto 4) a que-sti vincoli. Ma c’è anche un’altra risorsa dicui bisogna tenere conto: la volontà delfinanziatore della valutazione (che spesso èlo stesso decisore dal quale dipende la vitadel servizio valutato) a perseguire realmen-te le finalità della valutazione, la sua pazien-

za ad aspettare i risultati, la sua disponibili-tà a collaborare. Il contesto decisionale incui nasce la volontà a valutare deve essereindagato preliminarmente per essere certiche la risorsa ‘volontà del decisore’ accom-pagnerà tutto il processo.

4. "��

�� - A que-sto punto si entra nel vivo della ricercavalutativa. Con un chiaro mandato (punto1), la conoscenza dell’evaluando (punto 2),un budget preciso (punto 3) possiamo ri-flettere e decidere con cognizione come con-cretamente valutare. ‘Come’ significa conquali tecniche si ritiene di ottenere le infor-mazioni necessarie: si tratta di elaborare unquestionario? dobbiamo formare un grup-po per un focus group? Non si decide a caso:occorre sviluppare una riflessione che ci aiu-ti a disegnare la ricerca nel modo più ido-neo. In ogni caso questo punto quattro, incui si concentra propriamente la ricercavalutativa, è a sua volta da concepire cometripartito:

�� Le cinque-sette tappe dellavalutazione

�� *� �� "�� "�� #

�� *�� #

�� *� ��#�� *� �� "�� "��

+�� ,��"��3��3��&��"��*��+��,��#�$��*�� !��#

�� *�� !��+��,��"� �� &� �� +�� ,� �"�� &� �� /� �� /� �� "�� "�� #

�� #� ��

4.1. Definire le proprietà dell’evaluando - Signi-fica scomporre l’oggetto da valutare (peresempio un servizio) nelle sue componen-ti salienti, in modo da poterle trasformarein strumenti operativi di valutazione. Que-sta operazione, importantissima, ci con-sente di non essere schiacciati dall’impos-sibilità di valutare un servizio, o un pro-gramma, nel suo insieme, impossibilità chederiva dalla complessità e multidimen-sionalità di qualunque problema.

4.2. Ricostruire il sistema di valori dell’evaluan-do - Ogni parte dell’evaluando che abbia-mo identificato deve avere un valore; èintuitivo, infatti, che ci saranno elementipiù importanti e altri meno. Per evitaredi assumere, in valutazione, elementi divalore diverso come se fossero uguali, ènecessario stabilire dei criteri di differen-ziazione. In realtà, ragionare sulle relazionifra i diversi elementi, e i loro valori in-trinseci, significa stabilire delle gerarchie,delle logiche, e – in una parola – un siste-ma di valori complessivo dell’evaluando.La costruzione di questo sistema di valoriè importantissima, perché guiderà il pro-cesso valutativo e l’interpretazione finalecui perverrà. Realizzare questa fase contecniche partecipate fra gli operatori e iprincipali attori coinvolti significa quin-di lasciare emergere un sistema valorialespecifico, frutto di una cultura di serviziospecifica.

4.3. Stabilire delle conseguenti definizioni ope-rative - Le proprietà, ciascuna con il suodiverso valore, dovrà poi essere trasforma-ta in uno strumento operativo di valuta-zione, in un indicatore che possiamo fa-cilmente operazionalizzare per misurarele diverse componenti dell’evaluando egiungere alla nostra valutazione.

5. #��

�� - Non ha alcun senso fare valutazio-

ne se non perché la si vuole usare. Non sipuò usare la valutazione se non si cura ladiffusione dei suoi risultati. Questo è veroin generale, ma nella valutazione dei servizialla persona acquista un particolare rilievoetico e operativo.

Queste sette tappe (le cinque fondamentalidella valutazione, una delle quali, relativa allaricerca valutativa, è tripartita) sono state elen-cate in maniera logica, piuttosto checronologica, nel senso che non si deve pensarea una serie di scatole chiuse, da attraversareuna dietro l’altra in maniera rigida (prima faretutto ciò che è prescritto alla prima tappa, unavolta conclusa quella avviare la seconda tap-pa, ecc.).Il disegno della ricerca valutativa (e della ri-cerca in generale) è da considerare come uninsieme organico che cresce assieme; mentre ilvalutatore capisce quale mandato gli viene af-fidato (tappa 1) e su quale evaluando debbaagire (tappa 2), cerca di prefigurare come po-trebbe procedere (tappa 4), salvo ridimensio-nare il progetto conosciuto il budget disponi-bile (tappa 3); quando poi avvia il lavoro (tap-pe 4.1 e seguenti) potrebbe dover ritornare dalfinanziatore per ridefinire il mandato alla lucedi quanto va scoprendo; e così via.È solo una visione organica dell’intero dise-gno della ricerca che garantisce un buon risul-tato del processo valutativo.

$��# ��#%#��!-�� )�#�!*#��#�#� ��&#!��

Anche identificando esattamente l’evaluando(per esempio l’assistenza domiciliare anziani),in nessun caso può bastarci una generica indi-cazione del tipo: “Valutare il servizio di AD”.Valutare cosa? A che fine? Per quale utilizzo?

��$��

La valutazione è un’attività molto generale,comprende una grande quantità di possibili-tà, può essere fatta in un numero amplissimodi modi. Il nostro committente (colui che pagala valutazione, probabilmente un decisore cheha potere di intervenire sull’evaluando modi-ficandone il programma, decidendoampliamenti, riduzioni, ecc.) potrebbe nonavere le idee precise, e avvertire un genericobisogno di valutazione. Potrebbe cioè perce-pire la convenienza di avere una ricercavalutativa che gli faccia capire meglio cosa sidebba fare, senza però avere le idee chiare suquale piano operare. Il valutatore deve allorainterloquire con lui, e cercare di arrivare a unmandato specifico e ben delimitato. Le prin-cipali questioni da chiarire sono le seguenti:� ��

��

��

Questo è probabilmente il nodo principale(non certo l’unico). Cercando di prescindereda soluzioni ‘omnibus’ (valutare tutto) che ri-sulterebbero, probabilmente, pasticciate, ilvalutatore deve cercare di isolare un ambito(forse due) principale fra efficacia (interna edesterna) ed efficienza. O, almeno, di capirequale fra queste sia più importante valutare,in che ordine di priorità farlo, ecc.L’efficacia – è il caso di ricordarlo – riguarda ilraggiungimento dell’obiettivo; più ampio, piùqualitativamente positivo, più profondo, èl’obiettivo raggiunto, più abbiamo ottenutoun risultato efficace. Bisogna però distinguerefra due tipi piuttosto diversi di efficacia (comeabbiamo già anticipato nel paragrafo 1.1): l’ef-ficacia interna riguarda il raggiungimento de-gli obiettivi organizzativi, prescindendo in ognicaso dai reali cambiamenti prodotti suibeneficiari, mentre l’efficacia esterna riguardail reale cambiamento che il programma (o ilservizio) ha realizzato. In sostanza, il program-ma, o il servizio, fa i conti in questo caso con

la sua missione, che certamente ha a che farecon un bisogno sociale da soddisfare, che perònon viene assunto come elemento di confron-to. Facciamo un esempio: un Centro socialeper anziani in un quartiere di città vuole ri-spondere a un bisogno di socializzazione, dicontenimento della solitudine, di piccole atti-vità di segretariato, ecc.; qualcuno ha eviden-temente segnalato questo insieme di bisogni eun decisore (per esempio il dirigente socialedel Comune) ha finanziato il Centro, poi datoin appalto a una cooperativa. Nel caso miglio-re, il dirigente comunale, e il suo staff, si sonoposti degli obiettivi che non sono rimasti a unlivello generico, ma ha puntualizzato, peresempio, che il Centro deve realizzare un cer-to tipo di attività con una determinata fre-quenza, che ci si aspetta che vi partecipino uncerto numero di anziani, e che si presume chequesta partecipazione comporti un migliora-mento della loro vita. Parte di queste indica-zioni saranno confluite nel capitolato d’appaltodella cooperativa, impegnata con determinatioperatori a tenere aperto per un determinatoorario, con personale di una specificata com-petenza, realizzando determinate attività.L’efficacia interna, a questo punto, è la corret-ta e più o meno ampia risposta a questi obiet-tivi: restare effettivamente aperti per l’orariostabilito; accogliere perlomeno quel dato nu-mero di anziani, ecc.L’efficacia interna, insomma, è la misura dellacapacità di rispondere al programma previsto.In realtà, noi non sappiamo se, in questomodo, cambia qualche cosa negli stili di vitadegli anziani, se le loro famiglie hanno unmigliore clima familiare (in conseguenza aquesta partecipazione al Centro), se – addirit-tura – ci sono mutamenti nelle patologie ge-riatriche (gli anziani più sereni si ammalanomeno; è un’ipotesi).Di queste cose si occupa l’efficacia esterna, chesi pone il problema di un confronto fra quan-

�� #� ��

to realizzato e i bisogni originari ai quali sivoleva dare risposta.L’efficacia esterna è la misura delle capacità dirispondere ai problemi originali che hannomotivato il programma o servizio.Efficacia interna ed esterna non sono quindila stessa cosa, né una è più importante dell’al-tra; si tratta di due punti di vista. A volte ser-vono entrambi, a volte uno è più utile.L’efficienza è una cosa diversa; non si occupadei risultati se non per chiedersi se si poteva-no raggiungere ugualmente utilizzando menorisorse oppure, il che è quasi lo stesso, se sipotevano conseguire più benefici a parità dirisorse utilizzate (in generale con risorse, qui,si intende economiche).L’efficienza è il rapporto fra risultati raggiuntie risorse impiegate.Sarà piuttosto evidente che vogliamo che ilnostro mandato indichi quale punto di vistaoccorre privilegiare (almeno fra questi).� ��

��

��

��

È il tema, già affrontato, del ‘tempo’ della va-

lutazione (vedi paragrafo 1.2). Non è assolu-tamente la stessa cosa valutare qualcosa di ap-pena abbozzato, di progettualmente ancora insviluppo, oppure un servizio consolidato eimmutato da anni, oppure ancora un proget-to concluso.Nel caso di un progetto ancora in cantiere lafunzione valutativa affianca quella del pro-grammatore, gli fornisce strumenti conosciti-vi per progettare un servizio probabilmente piùadeguato alle esigenze.Nel caso di un servizio appena avviato pro-babilmente la valutazione interviene per con-tribuire a definirne gli ultimi aspetti, o an-che per sensibilizzare attorno alla nuova real-tà (la valutazione può anche avere una valenzainformativa, perché mobilita risorse umane,coinvolge attori diversi, rende noti i suoi ri-sultati).Se il servizio o programma è piuttosto conso-lidato, farne una valutazione può significarevoler fare dei cambiamenti; al limite voler chiu-dere l’esperienza. Questa è una funzione tipi-ca della valutazione, che si inserisce nel pro-cesso decisionale.Se l’esperienza è comunque già conclusa, va-

�� Identificare e comprenderegli obiettivi della valutazione

��*��"�� &��/��/��*��!�� &� ��*��2��"��2�� !#

�� ! � ��"�*��"��"��!�� 3� �� 3� �� &� �� "�� #�:�� "�� "�� #

�� ! �� "�*��"��"��!�� +��"��,#:�� "�� #

��$��

lutare significherà principalmente voler impa-rare da ciò che si è fatto per trarne un bilancioe renderlo noto, per imparare dagli errori e daisuccessi, eventualmente per replicare altrovel’esperienza.��

�� !��

��

Le differenze sono riducibili a due principalimandati della valutazione:La valutazione può avere un ruolo di respon-sabilità verso il programma o servizio, soste-nendo la decisione in merito alla prosecuzio-ne, modifica o interruzione; questa valutazio-ne viene chiamata spesso ‘sommativa’ (appros-simativa traduzione dall’americano summative)o ‘riepilogativa’.La valutazione può avere un ruolo di comuni-cazione e formazione, per favorire la compren-sione dei meccanismi innescati per meglioriproporli successivamente; questa valutazio-ne si chiama solitamente ‘formativa’, secondouna cattiva traduzione dall’americano forma-tive, o ‘costruttiva’.� "��#��

��$��

��

Qui ci avviciniamo a problemi etici rilevanti.Non è da escludere che la valutazione siacommissionata per avallare decisioni già pre-se, per contrastare avversari politici, per accre-scere il prestigio personale, ecc. Il valutatore(sia esso esterno o interno) deve comprendereil più approfonditamente possibile le ragionireali del committente, e l’uso concreto che in-tende fare della valutazione; e deve rifiutarsidi portare a termine la valutazione se ritiene,in coscienza, che essa possa essere utilizzata perfinalità improprie.Le questioni sono molte e complesse, ed è nellaprimissima fase del confronto fra valutatore ecommittente che questi problemi vanno chia-riti.

$�$�# ��#%#��!-�� )�#!*#��#�#��#��!*��-# ��(�� !

Mentre negoziamo con il committente il man-dato valutativo (paragrafo precedente), e suc-cessivamente, prima di impostare il percorsodi ricerca valutativa, dobbiamo avere un’ideachiara dei problemi, dei nodi critici, degliobiettivi dell’evaluando.Come già anticipato precedentemente, spessosi parte proprio dagli obiettivi, perché moltiapprocci di ricerca valutativa hanno a che farecon la comparazione fra obiettivi attesi e ri-sultati conseguiti. Questo è un problema chesi presenta in forma e intensità diversa a se-conda dell’oggetto valutato, e che tratteremovelocemente perché probabilmente nei servizialla persona è una questione meno rilevante.Nei servizi, infatti, diversamente dai program-mi di più ampia portata in cui, invece, la que-stione è spesso spinosa, la tematica degli obiet-

�� Identificaree comprendere gli obiettivie i problemi dell’evaluando

��*�� *�� *�� #�:� �� *�� *�� "� +�� *�� ,�� #

� � �� *� �� *��#

�� #� ��

tivi è facilmente risolta: sono spesso ben deli-neati, circoscritti sia territorialmente che comebeneficiari e protocolli di intervento; e sonopienamente noti e condivisi dai dirigenti, ope-ratori, utenti. È per questo che l’enfasi sugliobiettivi può essere utilmente sostituita, inquesti casi, dall’accentuazione dell’attenzionesu altre questioni che il valutatore deve indi-viduare e far condividere. Poiché però, in ge-nerale, il problema esiste, è bene esserne av-vertiti, perché quando presente la questionediviene cruciale.In poche parole si tratta di questo: l’oggettoche devo valutare deve avere uno scopo, degliobiettivi precisi, probabilmente – anzi – unaserie di obiettivi articolati anche gerarchica-mente (obiettivi generali, conseguenti obiet-tivi intermedi, ulteriori obiettivi specifici). Ciòpresume un assioma che non abbiamo ancoraintrodotto, e che potrebbe suonare così:La valutazione riguarda azioni intenzionali eprogrammate, mirate a realizzare un cambia-mento; nel caso dei servizi alla persona talecambiamento riguarda, di regola, il migliora-mento delle condizioni (o di alcune condizio-ni) della popolazione bersaglio, o ilcontenimento di elementi di disagio.In questa frase la notazione importante riguar-da le azioni intenzionali e programmate. Nonsi valutano azioni casuali, né processi estem-poranei senza vocazione all’intervento e al cam-biamento, salvo in circostanze particolari. Lavalutazione vuole essere strumento dirazionalizzazione e sostegno di processi deci-sionali, e tali sono quelli che intendono rea-lizzare cambiamenti sociali. Ecco allora che seignoriamo gli obiettivi dell’intervento non sa-premmo che tipo di valutazione fare, per qua-li scopi, con quale approccio metodologico.In generale, può accadere di ignorare gli obiet-tivi di un intervento per una principale ragio-ne: l’evaluando è così complesso, fruttodell’interazione negoziale fra tanti decisori di-

versi, che la descrizione degli obiettivi, per es-sere accettata da tutti, diventa opaca, vaga,confusa.Questa opacità si riscontra sovente nella defini-zione di politiche e di programmi, che sono in-sieme complessi di molte azioni progettuali, cheagiscono su territori vasti e per periodi di tem-po medio-lunghi. Molto meno, o per niente,nella definizione di progetti, che essendo mol-to operativi e specifici presentano, solitamente,obiettivi semplici e chiaramente esposti.Nel caso dei servizi alla persona si potrebberiscontrare questa vaghezza negli obiettivi se ilservizio è ampio e articolato, se è stato fruttodi un processo negoziale lungo e complesso,se coinvolge attori diversi (enti diversi, ciascu-no con la propria autonomia, privato sociale,operatori diversi, ecc.).È indispensabile avere la certezza che gli obiet-tivi conosciuti del programma o del servizioche si deve valutare siano espliciti e chiari; es-sere sicuri che tali obiettivi non siano solo va-ghe petizioni di principio (‘migliorare le con-dizioni degli utenti’) ma precise indicazioni –misurabili – di ciò che si vuole ottenere; chesiano obiettivi reali e non strumentali.Se è convinto che gli obiettivi non siano chia-ri, per prima cosa il valutatore deve procederealla loro ricostruzione, o chiedendo ulterioriinformazioni al committente, ai decisori, aglioperatori, e a tutti coloro, insomma, che pos-sono aiutarlo in questo scopo, oppure assu-mendosi la responsabilità di una ricostruzionedegli obiettivi con tecniche diverse che accen-neremo più avanti.Se il problema degli obiettivi, invece, non ècosì importante, perché la valutazione riguar-da un servizio alla persona di carattere circo-scritto, il valutatore può porre altre questionial centro della sua valutazione; è infatti possi-bile, in questo caso, che lo scopo della valuta-zione non sia la misurazione della risponden-za del ‘prodotto’ (ciò che si fa, ciò che si realiz-

��$��

za a favore dei beneficiari, ecc.) agli obiettiviiniziali, ma, per esempio, la determinazionedel rispetto di certi requisiti di ‘qualità’ (dadefinire), l’analisi e il superamento di difficol-tà organizzative, o altro ancora. Il valutatoredeve allora ascoltare, osservare, reperire infor-mazioni, e individuare così quelli che gli pa-iono i nodi critici di quel servizio o program-ma, in modo da concentrare su questi lo sfor-zo del processo valutativo, naturalmente dopoaverli comunicati, confrontati e condivisi coni principali attori.

$�'��#&&��#��!��"�!� ��#"#!��#%#��#"!�"� #"�!�#*#�#

Saremmo a questo punto quasi pronti per af-frontare gli aspetti metodologici della valuta-zione, se non fosse per un ultimo problema:che risorse abbiamo realmente disponibili? Ab-biamo già accennato al fatto che la valutazionecosta. Oltre a risvolti etici questo problema rap-presenta una questione organizzativa cruciale.Muniti di un mandato certo dal committente,e convinti che gli obiettivi dell’evaluando sia-no chiari, potremmo avere grandi idee su comeprocedere nella valutazione, ma le nostre idee,per quanto brillanti, devono fare un esame direaltà e interrogarsi sul loro possibile, reale, svi-luppo. Questa riflessione, si badi bene, non vie-ne prima della riflessione metodologica che ve-dremo a partire dal prossimo paragrafo; vieneassieme a essa. Pensiamo a una soluzionemetodologica e ne stimiamo, contemporane-amente, le implicazioni organizzative. In ter-mini brutali si riduce quasi tutto a una que-stione economica: abbiamo abbastanza soldiper fare questa valutazione? Il nostro consu-lente potrà essere pagato? Abbiamo considera-to le spese accessorie della valutazione (altriconsulenti, spese di segreteria, ecc.)?

Anche altri problemi, che possono sembraredi altra natura, intervengono in questa rifles-sione: i nostri operatori posso essere ‘distratti’sulla valutazione per il tempo necessario? Ilresponsabile di questo servizio ha tempo, com-petenze, disponibilità? La nostra organizzazio-ne può sopportare un cambiamento organiz-zativo, sia pure per un breve periodo, a causadell’impegno valutativo?Spesso le risorse necessarie sono anche di tiposimbolico: il nostro committente ci sosterràfino alla fine, anche se i risultati della valuta-

�� Analizzare il contestodecisionale e verificare le risorsedisponibili

�� *��*�� *��&� �� "�� +�� *��"��*��#,&�� "��#

�� *�� *�� !�+��*�� ,��!�� +��,#

�� *��*�� +�� ,��#

��*��+��*�� "�� *��,��+��"��,&��*��#

�� #� ��

zione fossero poco graditi? Gli attori rilevantiche possono incidere sul proseguimento delservizio, devono essere informati? E che rea-zioni avranno? Sono tutti problemi da affron-tare prima di avviare la valutazione. Tutti sonoimportanti, alcuni sono delicati, ma certamen-te quello cruciale è rappresentato dalla dispo-nibilità di risorse economiche, immediatamen-te seguito dalla disponibilità di risorse umane.Occorre sempre avere una chiara consapevo-lezza del fatto che ogni azioni valutativa im-pegna risorse umane interne ed esterne, e checiò comporta costi diversi a seconda delle tec-niche valutative utilizzate.Realizzare un’indagine campionaria presso unvasto numero di utenti del servizio, per esem-pio, può essere molto costoso se si intende re-alizzare un questionario e somministrarlo a casadegli utenti, specie se il campione è ampio; puòcostare molto meno se le interviste vengonorealizzate telefonicamente, e ancora meno sele interviste (brevi) vengono effettuate diretta-mente nel servizio dagli operatori stessi; ma inquest’ultimo caso ci potrebbero essere proble-mi di validità e fedeltà dei dati raccolti. Rea-lizzare un’azione valutativa attraverso l’opinio-ne di un gruppo di esperti può costare poco sesi ritiene di non pagarli, con il rischio però chemolti di loro disertino le riunioni, e comun-que probabilmente impegnerà diversi opera-tori per un periodo di tempo significativo.Solo una chiara comprensione dei costi dellediverse tecniche, e della loro effettiva efficaciae utilità, potrà orientare verso l’equilibrio mi-gliore e accettabile.

$�.�#�� #"�)�!� ��#��/� �%#�#��!��#��+ ��(�� !

Finalmente entriamo nel vivo del disegno dellaricerca. Con una chiara idea delle risorse di-

sponibili sceglieremo un approccio metodolo-gico adeguato, useremo delle tecniche, e cosìvia.In questo capitolo non parliamo ancora di tec-niche. Affrontiamo invece il problema dei treelementi cruciali, delle tre tappe fondamenta-li, in cui il disegno della ricerca valutativa puòessere suddiviso; qualunque sia poi la tecnicaimpiegata, questa generalmente si sviluppaattraverso un processo logico-cognitivo forma-to da queste tre tappe.La prima in assoluto riguarda la definizionedelle proprietà dell’evaluando. ‘Proprietà’ è untermine tecnico specifico che definisce una spe-cifica modalità (un modo di essere, una mani-festazione delle proprie caratteristiche) di uncaso (per esempio un individuo), che ne de-scrive uno dei possibili significati. Alcuni esem-pi chiariranno: sesso, età, titolo di studio, maanche ‘opinione su...’ e ‘frequenza d’uso di...’sono proprietà degli individui; ‘reddito fami-liare’ può essere una proprietà dei nuclei fami-liari; ‘densità di popolazione’ è una proprietàdei centri abitati; ecc. Le nostre proprietà spessonon saranno relative a individui o famiglie, maa servizi, e avranno alcune peculiarità dovuteal contesto valutativo che le differenziano unpoco dalle tradizionali ‘proprietà’ come intesenella ricerca sociale; le proprietà di un serviziodi assistenza domiciliare anziani, per esempio,potrebbero essere: relazione fra operatore eutente, competenze sanitarie di base dell’ope-ratore, relazioni affettive dell’anziano, ecc. Al-cune di queste proprietà riguardano l’operato-re; altre riguardano l’utente; altre ancora si po-trebbero immaginare in relazione al contestoambientale in cui l’anziano vive. Ciò che legafra loro queste proprietà è il fatto di essere tut-te elementi costitutivi del servizio di assistenzadomiciliare: tale servizio si caratterizza per leproblematiche dell’anziano (affettività,sessualità, problematiche sanitarie, relazionali,ecc.), per il rapporto con l’operatore, per le

��$��

mansioni che l’operatore svolge, e così via. Cia-scuno di questi aspetti ci descrive una parte delservizio; non potremmo pensare a esso senzariflettere sulla qualità del rapporto fra opera-tore e anziano; né senza riflettere sui problemisanitari, sulle relazioni fra l’anziano e i suoifamiliari, ecc. Nessuno di questi aspetti (pro-prietà) esaurisce in sé il servizio, ma nessunodi essi può essere escluso senza che la nostrariflessione sul servizio possa dirsi completa.La prima parte tecnico-operativa di qualun-que ricerca valutativa parte quindi da questomomento fondamentale: ricostruire un insie-me completo e convincente delle proprietàdell’evaluando.Come avviene questa ricostruzione, e a qualielementi occorre prestare più attenzione? Ve-diamo in breve:�"� ��$%�- Le pro-

prietà (come qui intese, in ambito valutati-vo) sono elementi descrittivi dell’evaluando,e non possono che essere fortementecontestualizzate; anche se l’esperienza ci puòsuggerire un canovaccio di massima, occorredefinire le proprietà su ciascun evaluando,ogni volta ricominciando daccapo, senza ri-prendere liste di proprietà predefinite. Seanche abbiamo già valutato altre volte l’as-sistenza domiciliare anziani, per continua-re nell’esempio, non possiamo utilizzare leproprietà definite precedentemente, per unaltro servizio, anche se, ovviamente, possia-mo aspettarci di trovare delle proprietàmolto simili.

�&�� $% - Se dobbia-mo legare al contesto le proprietà, la rispo-sta a questa domanda diventa quasi ovvia:è chi conosce il contesto specifico in cui va-lutiamo che ci può aiutare a definire le pro-prietà; sono quindi gli attori rilevanti delprocesso, a partire dagli operatori che ge-stiscono il servizio! Ecco perché, come ab-biamo anticipato, la valutazione partecipa-

ta è estremamente efficace se l’evaluando èrappresentato dai servizi alla persona. Poi,naturalmente, può essere estremamente ri-levante l’opinione dei clienti, dei decisori,e a volte pareri in un certo senso esterni,quali quelli forniti da consulenti, esperti,

�� Il disegno della ricerca:definire le proprietà dell’evaluando

�� &� �� +��*�� ,��!��#%�� *�� "'�� *�� "�� #

�� &��"�� &� �� "�� "�� +��,�� &�� +�� *�"�,��&�� "�� *�� "�� "��+��#,#

�� &��*�� !��*�� *��!��!��&�2� �� !��2��*��!��2��"�� #

�� #� ��

docenti universitari, ecc. Ma il centro delladefinizione delle proprietà nella valutazio-ne dei servizi è rappresentato indubbiamen-te dagli operatori

�'��$�� %�&��

(�� $%�- Naturalmente non c’èun numero stabilito; c’è piuttosto un certolivello di sensibilità che occorre rispettare;per capire questo concetto dobbiamo pri-ma immaginare che tutte le proprietà pos-sibili si possono distribuire lungo una di-mensione che si chiama ‘scala di astrazio-ne’. Possiamo immaginare questa scala comeuna serie di livelli, uno sopra l’altro; più sisale di livello più le proprietà sono astratte;più si scende più sono concrete, come illu-strato nella figura 3.Al livello massimo (nell’esempio della figu-ra 4: ‘Genere umano’) noi abbiamo solo unanozione ampia e vaga; capiamo cosa signi-fichi la parola, ma dentro ci sono troppi si-gnificati per poter utilizzare quel concettoin modo operativo: al livello minimo (“Unperugino specifico…”) abbiamo un casodettagliato, facilmente descrivibile in ognisuo aspetto, che trova, per esempio nel casoconcreto “Claudio Bezzi”, un suo esempla-re (detto ‘referente empirico’). Uscendo dal-l’esempio, e riferendoci ai servizi, potrem-mo immaginare la scala di astrazione comeillustrato nella figura 4. Quando cerchia-mo le proprietà del nostro servizio, cerchia-mo di descrivere con sufficiente completezzaun insieme di aspetti di uno stesso livello;non troppo in alto nella scala (sarebberotroppo poche proprietà, e comunque un po’troppo astratte), né troppo in basso (sareb-bero troppe proprietà, e comunque troppodi dettaglio per interessarci). Rispetto al-l’esempio fatto qui sopra possiamo pensaredi attestarci fra il livello 3 e il 4, ottenendo,probabilmente, fra le 10 e le 20 proprietàdi livello medio o medio-basso.

��

�$%�- Qualunque maniera va bene, purchéabbia una logica argomentabile e replicabile.Ci potrebbe essere un documento ufficialeche riassume le caratteristiche del servizio;potremmo allora estrarre da quel documen-to tali caratteristiche assumendole integral-mente come le proprietà del nostro evaluan-do. Oppure possiamo affidare a un espertodi cui ci fidiamo il compito di stilare la li-sta delle proprietà, dopo avergli fornito in-dicazioni precise sul mandato e sugli obiet-tivi valutativi che ci prefiggiamo.

��*�+�� ,

-��

��. /��

��0 ��

��1 )�$��

��2 ��+��,

��3�+�� ,

)��"��4��15��4��4��4��6

��"�� #� �

��* �� +��,

��. �� +��"��,

��0 ��$�� +�� ,

��1 )��$��"��+�� ,

��2 )��%��'��$��+��,

��3 )��"��'��%+�� $��,

��)��*��

��+��

��$��

Ma il modo più interessante, proficuo ed effi-cace, è certamente quello di definire la listadelle proprietà dell’evaluando all’interno di unprocesso dialogico e negoziale fra i diversi sog-getti (decisori, beneficiari, ma soprattutto ope-ratori) che agiscono all’interno del servizio, eche danno significato al servizio.È in questo modo che l’operazione tecnica dirintracciare le proprietà diviene un’azioneformativa per chi vi partecipa, un momentodi riflessione collettiva che spesso riserva sor-prese importanti per gli operatori.Ci sono diversi modi per raggiungere questoscopo; uno molto diffuso ed efficace è utiliz-zare una tecnica chiamata brainstorming. Iltermine significa, letteralmente ‘tempesta men-tale’, e si riferisce a un gruppo di ‘esperti’ (insenso generico, riferibile a qualunque opera-tore o altro attore del servizio) che produceidee grazie all’interazione reciproca, sotto laregia di un facilitatore (il valutatore). Parlere-mo diffusamente di questa tecnica più avanti.

$�0�#�� #"�)�!� ��#��/� ��!��!��#��+

Avere le nostre proprietà ben elencate non cibasta. È intuitivo che alcune hanno più im-portanza e altre meno, e che alcune acquista-no un significato diverso a seconda delle rela-zioni che instaurano con altre. Insomma: unsemplice elenco ci dice ‘cosa c’è dentro’l’evaluando, ma non ci chiarisce con che ruo-lo. Esempio: potremmo dire che proprietà ge-nerali dell’essere umano sono: salute, bellezza,ricchezza, altezza, intelligenza, colore degliocchi, ecc. È evidente che sono tutte proprietàpertinenti, ma è altrettanto evidente che nonhanno lo stesso valore; il ‘colore degli occhi’,per esempio, può essere una proprietà di uncerto rilievo se parliamo di attori cinemato-grafici o di modelle, ma in generale, in tutti

gli altri casi, lo riterremmo trascurabile; l’in-telligenza potrebbe essere una delle proprietàprincipali, ma certamente avremmo di chediscutere anche su questa affermazione e pro-babilmente accetteremmo, alla fine, l’indica-zione che ci viene dalla saggezza popolare che‘la salute è tutto’. Insomma: ci serve un orien-tamento che discrimini fra le diverse proprie-tà individuate, ma nessun orientamento è pri-vo di valori e di pregiudizi.La seconda tappa fondamentale di ogni ricer-ca valutativa è quindi l’esplicitazione di un si-stema di valori che consenta di connotare inqualche modo le nostre proprietà, dando a cia-scuna di esse un valore posizionale, un peso,un’attribuzione di qualche genere che la diffe-renzi e la correli a tutte le altre.�&�� (��

��% - La risposta è in linea con quan-to detto sopra; nella valutazione dei servizisono gli attori coinvolti che devono stabili-re il sistema di valori attraverso il quale va-lutare.

�'��

(��%� - Ce ne sono svariati. Sec’è un chiaro orientamento nel decisore onel gestore del programma o servizio può

�� Il disegno della ricerca:dare un valore alle proprietà

��*��!�� +��6*;��6*6<��#,#

�� *� �� !�� *�� "�� +��*�� ,#

�� #� ��

essere costui a stabilire, d’autorità, la gerar-chia dei valori delle proprietà; non è sba-gliato, e anzi sottolineiamo come questa fasesia particolarmente legata alle logiche deci-sionali, e sia quasi naturalmente di respon-sabilità del decisore. Nella pratica questonon avviene quasi mai, e specialmente nelservizi alla persona, dove la funzione deci-sionale è piuttosto diffusa, possono esseregli operatori stessi a decidere, o con unadiscussione libera, oppure avvalendosi ditecniche che facilitano questa decisione. Ov-viamente una discussione libera avrà effi-cacia entro un piccolo gruppo di operatoriaffiatati, mentre in gruppi composti da at-tori diversi (decisori, operatori e beneficia-ri), portatori di logiche diverse, è bene av-valersi di tecniche che facilitino la discus-sione e la condivisione su valori concorda-ti.

Se si vuole dare precisione formale a questosistema valoriale si può ricorrere a strumentinumerici. Ci sono sostanzialmente due ap-procci principali: uno si fonda su logiche ditipo cardinale, in cui i valori sono, in un certosenso, assoluti; un esempio di valori cardinalisono i voti scolastici o universitari: chi prende‘10’ prende il doppio di chi prende ‘5’; la ‘di-stanza’ fra chi prende ‘10’ e chi prende ‘8’ è lastessa di quella che intercorre fra chi ha preso‘8’ e chi ha preso ‘6’. I valori cardinali (a voltechiamati ‘pesi’) esprimono il valore assolutodi ciascuna proprietà presa a sé, senza compa-rarla con le altre: una data proprietà vale 5;un’altra proprietà vale 3; una terza proprietàvale ancora 5; e così via.Un approccio diverso si basa sulla logica ordi-nale, in cui i valori sono invece dati per com-parazione fra tutte le proprietà, attribuendonon già un valore assoluto, ma uno di posi-zione. I valori ordinali (a volte chiamati ‘ran-ghi’) esprimono la posizione di ciascuna pro-prietà rispetto alle altre: una data proprietà è

collocata al primo posto, un’altra al secondoposto, un’altra ancora al terzo, e così via; nes-sun rango può essere occupato da due proprie-tà.Ci sono diverse tecniche per raggiungere que-sti obiettivi. Nei prossimi capitoli ne vedremoalcune.

$�1�#�� #"�)�!� ��#��/�� %#�#&#!�#!��#��

A questo punto abbiamo un elenco di pro-prietà dell’evaluando: con ciò abbiamo una suadescrizione che giudichiamo appropriata. Ab-biamo poi dato un valore a ciascuna proprie-tà: così facendo abbiamo introdotto un ele-mento valoriale fondamentale, connotandol’insieme delle proprietà in maniera che aderi-sca agli obiettivi dell’evaluando.Ora dobbiamo trasformare tutto ciò in unostrumento di misurazione effettivo del nostroevaluando. Quello che abbiamo, infatti, è unmodello. Ci siamo raccontati, probabilmentein gruppo, come deve essere il nostro servizio;ora dobbiamo verificare com’è realmente, e inparticolare in cosa si discosti, e quanto, dalmodello condiviso che abbiamo costruito. Èora di cambiare nome alle cose: le nostre pro-prietà devono abbandonare la loro veste con-

�� Il disegno della ricerca:le definizioni operative

�� *�%��"�� !��"��/�� 2 �� *��#

��$��

cettuale-descrittiva e diventare strumenti piùoperativi. Per utilizzare un linguaggio più ri-goroso le chiameremo quindi, d’ora in poi, ‘in-dicatori valutativi’.Il termine indicatore viene spesso confuso conquello di ‘indicatore statistico’, di numero; gliindicatori valutativi sono invece delle proprietàtrasformabili in informazioni precise, che ge-neralmente sono numeri, attraverso delle re-gole prestabilite dette ‘definizioni operative’.Facciamo un esempio. Nella nostra valutazio-ne di un servizio di assistenza domiciliare an-ziani abbiamo stabilito che una proprietà im-portante è il benessere economico dell’anzia-no. Il benessere economico, d’ora in poi, è unindicatore che – assieme a tutti gli altri – cidescrive la complessa interazione fra operato-re e anziano, in un quadro problematico defi-nito dai bisogni di quest’ultimo; questo indi-catore può essere esattamente rilevato, peresempio attraverso il reddito annuale misura-to in milioni sulla base della dichiarazione deiredditi. Utilizzare la dichiarazione dei redditie registrare il reddito in milioni sono ‘defini-zioni operative’ dell’indicatore ‘benessere eco-nomico’. Avremmo potuto usare altre defini-zioni operative: per esempio chiedere diretta-mente all’anziano a quanto ammonti il suoreddito annuale, in milioni; oppure chieder-gli come si percepisce, in quanto a povertà/ricchezza, lungo una scala da 1 a 10.In ogni caso vanno ben ponderate le defini-zioni operative; non ci sono definizioni valideuna volta per tutte, e la scelta delle definizioniinfluisce pesantemente sulla qualità dei datiraccolti e sul loro significato finale.È chiaro che sono veramente pochi gli indica-tori (proprietà) facilmente trasformabili in ci-fre: età, reddito, altezza, pressione arteriosa ealcuni altri sono facilmente misurabili attra-verso appropriate definizioni operative, mamoltissime altre (qualità della relazione, co-municazione, affettività, paura della solitudi-

ne, bisogno) hanno un’evidente connotazionequalitativa che sembra negare qualunque mi-surazione attraverso numeri. Vedremo piùavanti come riusciremo a superare questa dif-ficoltà. In ogni caso, è questo l’aspetto più tec-nico in assoluto di tutta la ricerca valutativa.È piuttosto difficile realizzare un buon impian-to valutativo, con adeguate definizioni opera-tive, senza una buona competenza metodolo-gica ed esperienza.

$�2��"��&#!�� #%%!� ��#��#"��#

La valutazione solitamente non finisce con ledefinizioni operative (precedente paragrafo) ela conseguente misurazione degli indicatori.Quando ciò accade probabilmente si tratta diuna cattiva valutazione.La valutazione deve essere usata, e affinché ciòavvenga possono essere utili ancora momentidiversi in cui il processo valutativo corre, e ilvalutatore con il suo gruppo continua a inter-venire.�%�� -

Scrivere i risultati rilevati in un rapporto èun elemento fondamentale per assicurarsiche i dati vengano diffusi e utilizzati; unavalutazione rimasta come esperienza confi-nata nella memoria degli operatori diverràpresto sterile. Il rapporto di valutazione deveessere: chiaro, leggibile da un pubblico dinon specialisti, breve, scritto preferibilmenteper punti; deve contenere: una succinta de-scrizione delle tecniche impiegate, tutti irisultati ottenuti, un loro commento. Avolte è utile redigere anche alcune racco-mandazioni, sempreché questa funzionevalutativa sia stata negoziata con il commit-tente.

�&��- Lavalutazione può essere stata partecipata, puòavere buoni risultati, ma certamente sarà sta-

�� #� ��

ta, almeno in parte, autoreferenziale. Ciòsignifica che si potrebbe aver corso il rischiodi ragionare entro un ristretto circolo, in-consapevolmente propenso a parlare lo stes-so linguaggio, a giudicare coralmente l’eva-luando. Può non succedere, oppure puòsuccedere in maniera non dannosa per l’ef-ficacia della valutazione. Ogni volta, però,che si ritiene possibile una forte autoreferen-zialità valutativa, e che si giudica dannosoquesto fatto, può essere utile aprire arenedi discussione in cui un primo rapporto divalutazione viene diffuso presso un gruppopiù o meno ampio di operatori, esperti, ecc.,

�� Usare la valutazionee diffonderne i risultati

�� *� ��*�� "�� "�� 2��"��"��*��#

�� *� ��*�� *�!� �� *�� &� �� -� �� *��#

�� *� �� =

con richiesta di commento. L’arena di di-scussione può avere più obiettivi: riceverecommenti e critiche da parte di altri esper-ti, in modo da correggere il tiro dell’inter-pretazione finale della valutazione; far co-noscere il lavoro fatto, in modo da solleci-tare attenzione e consenso presso un pub-blico più vasto di quello direttamente coin-volto dalla valutazione.

�'�� - Anche lavalutazione può essere valutata! raramentesi hanno energie e risorse per questa espe-rienza (detta anche ‘metavalutazione’), cheinvece andrebbe praticata spesso, special-mente se la valutazione viene eseguita inmaniera spontanea da un gruppo di opera-tori. Ci sono diversi modi, il più lineare deiquali è informare una serie di esperti dellemodalità valutative adottate e dei risultaticosì ottenuti, chiedendo loro un parere tec-nico.

�� ( - In ogni caso, tredevono essere i principali obiettivi conclu-sivi della valutazione: utilizzo, utilizzo e uti-lizzo. Una valutazione non usata è peggiodi un semplice spreco di risorse e di denaro(spesso, di denaro pubblico); è la disattesadi aspettative, lo spreco di un’occasione cheforse non si ripresenterà, l’illusione di ope-ratore e beneficiari. Non valutare è un pec-cato; valutare, poi non usare la valutazione,è un peccato mortale.

��>��"��

��

��

��(��

��

��

-��

��"��$��

��7��

��8��%9$$��

��

��"��#��

��#��"�

��"�� &��

�� 2��&��#��

�� "��

��!��

� �� #��"��"�

��#�?��"�� "��

��#

�� #� ��

'��#-#�#� ��#��

In questo capitolo affronteremo il tema delletecniche di valutazione, descrivendo dettaglia-tamente quelle più utili nei servizi. Si trattadella parte più pragmatica e operativa dellavalutazione, ma sarebbe sbagliato dare alle tec-niche un’enfasi eccessiva.Le tecniche sono scatole vuote, di per sé inca-paci di fornire quel valore aggiunto, propriodella valutazione, rappresentato dalla riflessio-ne, dall’analisi, dal giudizio ponderato, ele-menti che solo il valutatore può dare.Le tecniche sono strumenti, che aiutano ilvalutatore a raccogliere i dati in maniera op-portuna per la successiva analisi; da sole, le tec-niche non sono in grado di fare l’analisi; cosìcome i dati ‘non parlano da soli’, ma vannointerpretati, e questa interpretazione è il frut-to di un processo cognitivo complesso.Bisogna anche considerare che le tecniche nonsono neutrali; scegliere una tecnica anzichéun’altra significa indirizzare la raccolta delleinformazioni in un modo piuttosto che in unaltro, e quindi, alla fine, ottenere un certo giu-dizio valutativo anziché un altro.Questa notazione è – evidentemente – moltoimportante, e non deve stupire. Occorresmitizzare il valore quasi magico del numero,del ‘dato’, della ricerca campionaria, degli in-dicatori statistici. Si tratta di strumenti, cia-scuno dei quali orienta i risultati e l’analisi fi-

nale. Se chi usa questi strumenti ne è consa-pevole, li utilizza con cautela e competenza; seè onesto, ne dichiara i limiti; se opera in ma-niera professionale, consente la verifica diquanto da lui proposto.In questo sta la scientificità della ricerca so-ciale, e di quella valutativa. La riproducibilità,la trasparenza, la coerenza di quanto prodottocon lo stato dell’arte corrente, sono i criteri digiudizio di una valutazione di buona qualità,pur sapendo, consapevolmente, che ogni va-lutazione rappresenta un punto di vista, ne-cessariamente incompleto e parziale.

E ora una premessa importante.Ci sono innumerevoli tecniche di ricerca so-ciale utilizzabili in valutazione, oltre a un cer-to numero di proposte specifiche di questocampo applicativo. Non è pensabile riproporlequi, se non come titoli che di per sé avrebberopoco significato. Il compito di questo manua-le è di fornire una sensibilizzazione verso lavalutazione, consentendo agli operatori deiservizi di esserne protagonisti attivi, difender-si da proposte commerciali poco efficaci, rea-lizzare ‘buone prassi’ valutative nei loro servi-zi. Non è possibile, invece, trasformare glioperatori in valutatori provetti solo con la let-tura di queste poche pagine. La scelta di fon-do è quindi indirizzata come segue: ciò cheproporremo è una serie articolata di procedi-menti cognitivi, di approcci, di suggerimenti,che tutti insieme costituiscono una propostacoerente ed efficace, il linea con in pareri, igusti, le idiosincrasie dell’Autore, evitando iltecnicismo e la descrizione precisa e puntualedi tecniche, peraltro descritte già in testi spe-cialistici citati nella bibliografia finale.

'��#-�� #��!/��!��#&&�&#!��

Se è una tecnica, lo è da un punto di vista esclu-

�� Limiti delle tecniche

��#� *�� "�� &� �� "�� * ��#

��>��"��

sivamente concettuale. Ma è così importanteche doveva essere affrontata per prima.La concettualizzazione è un processo di solu-zione di problemi cognitivi. Può essere impie-gata per problemi organizzativi e gestionali;per la costruzione di un progetto formativo;per impostare una ricerca sociale; all’internodella ricerca valutativa. Non ha importanzaquale sia la natura del problema. Se si tratta di‘capire’ come affrontare un problema comples-so, multidimensionale, articolato, allora laconcettualizzazione è uno strumento fonda-mentale. Nel processo valutativo può essere dienorme ausilio almeno in tre casi:�nella costruzione o ri-costruzione dell’albero

degli obiettivi, laddove non siano chiari(vedi quanto detto al paragrafo 3.3);

�nella definizione delle proprietà dell’eva-luando, se non viene realizzata con tecni-che diverse (per esempio approcci parteci-pati);

�nelle definizioni operative, per realizzarestrumenti di rilevazione coerenti con l’im-pianto concettuale realizzato.

La concettualizzazione è processo cognitivo,quindi non si tratta di una tecnica in sensostretto, ma di un modo di ragionare. In ter-

mini essenziali si tratta di scomporre concettiampi (molto in alto nella scala di astrazione)in concetti più ristretti (più in basso nella sca-la di astrazione), poi ciascuno di questi in con-cetti ancora più ristretti, fino a quando il con-cetto prodotto è sufficientemente prossimoall’esperienza quotidiana e quindi alla possi-bilità di misurarlo (e questo è essenzialmentelo scopo). Poniamo, per esempio, di dovervalutare l’opportunità di un nuovo Centro perminori in un quartiere difficile, nell’ambitodi un programma di prevenzione del disagiominorile. Se – giustamente – rifiutiamo di ri-correre ai nostri pre-saperi e pre-giudizi, cidovremmo porre il problema di cosa signifi-chi ‘disagio minorile’, in particolare nel con-testo dell’intervento. ‘Disagio minorile’ è unconcetto troppo vasto per essere reso operati-vo; ci sono dentro troppe cose, tutte impor-tanti. In una parola: è troppo alto nella scaladi astrazione. Anche se tutti ci capiamo, quan-do diciamo ‘disagio minorile’, ci rendiamoconto che si tratta di una comprensione su-perficiale, di massima (fig. 5).Il primo passo della concettualizzazione ci faallora chiedere: ‘Di quali parti è composto ildisagio minorile?’, ‘Quali sono i concetti fon-

��,��

��

damentali che riguardano questo problema?’.Abbiamo innanzitutto il concetto di ‘minori’che va ben delimitato: intendiamo semplice-mente i minori da un punto di vistanormativo? Intendiamo una classe di età pre-cisa? Nel concetto di ‘minori’ implichiamoanche un rapporto particolare, di dipendenzadalla famiglia? Immaginiamo una forte con-nessione con la scuola, con gli amici, con certiproblemi adolescenziali?Ma probabilmente ‘minori’ non è così com-plicato da definire come ‘disagio’. ‘Disagio’ èuna condizione di sofferenza o solo il rischiodi tale condizione? Si tratta di sofferenza ma-teriale, psicologica, morale o di tutte queste?È qualche cosa di interiore e personale o ha ache fare con la relazione? Ed eventualmente,con chi? Con la famiglia? Con la scuola? Coni coetanei?Come si può vedere anche da questo quadroappena abbozzato la riflessione può apriremolti orizzonti, porte verso problematichecollaterali, intrecci (‘famiglia’, per esempio, ècomparso come concetto portante per defini-re ‘minori’ e per definire ‘disagio’).Supponiamo che la nostra impresa ci abbiaportato a definire ‘disagio’ come concetto com-posto da: aspetti familiari, relazioni amicali,

formazione, ecc. (fig. 6), e che successivamen-te ‘formazione’ sia stato ulteriormente scom-posto in: scolarità, educazione informale eprecedenti esperienze professionali (come oc-casione di formazione) (fig. 7).Dovremmo ancora andare avanti; abbiamo giàun bel pezzo della nostra mappa concettuale,ma il livello cui siamo arrivati, assai più basso,nella scala di astrazione, dell’iniziale ‘disagiominorile’, non ci può bastare. Per esempio,come analizzare ‘scolarità’? Il passaggio ulte-riore, in questo nostro esempio, potrebbe es-sere: ‘titolo di studio conseguito’ e ‘anni com-plessivi trascorsi a scuola’. Questi ultimi con-cetti sono molto immediati, molto bassi sullascala di astrazione e, cosa che più importa, sonofacilmente misurabili. Potremmo infatti im-maginare di chiedere direttamente ai ragazzi,intervistati – per esempio nei bar e nei ritrovi –da operatori del servizio, che titolo di studioposseggano (fig. 8).A cosa ci serve tutto ciò? Vediamo a ritroso:chiedere il titolo di studio è una definizione ope-rativa dell’indicatore ‘scolarità’; si chiama ‘in-dicatore’ perché indica (segnala, guarda verso)un concetto sovraordinato, quello di ‘formazio-ne’ che è, infine, uno dei principali concettisottesi al problema iniziale, ‘disagio minorile’.

��

��>��"��

Abbiamo insomma una catena logica che di-scende dal problema iniziale, lungo diversirivoli, che si accrescono strato dopo strato,scendendo di generalità, e che ci porta a uncerto numero di indicatori, ciascuno dei qualiè trasformato, tramite opportune definizioni

��.��/��

��0��"��

operative, in uno strumento per misurare quel-la proprietà. L’insieme di queste operazioni,realizzate sui diversi indicatori, ci dà un qua-dro più o meno completo del ‘disagiominorile’.Non c’è altro modo.

�� #� ��

Se, di fronte al problema ‘disagio minorile’,volessimo direttamente improvvisare una ri-sposta in termini di indicatori e di definizionioperative, non avremmo alcuna certezza del re-ale collegamento fra questi e il problema inizia-le, con conseguenze gravi sulla fedeltà dei datiraccolti e sulla validità della ricerca. In questomodo, invece, anche se naturalmente è possi-bile l’errore, noi abbiamo degli argomenti persostenere che ogni indicatore è opportuno,pertinente, utile nell’economia del nostro la-voro.Vediamo alcuni risvolti pratici della concettua-lizzazione:�*�� (��- Que-

sto è un caso evidentissimo di buon utiliz-zo della concettualizzazione; le domande diun questionario non sono altro che defini-zioni operative di indicatori selezionati sulla

scorta di un processo come quello appenavisto. Immaginate l’esempio appena fattocome un caso di ricerca sociologica sul di-sagio minorile; il ricercatore – per ben ope-rare – avrebbe dovuto concettualizzare ilproblema più o meno come abbiamo fattosopra fino agli indicatori, che avrebbe poitrasformato in domande, scale e altri itemdel suo questionario.

�!�� - Nell’analisi costi-benefici, tipica tecnica valutativa di stam-po economico, di cui non ci occuperemoin questo manuale, occorre dare un valoreeconomico agli elementi che intervengonocome costo in un progetto, e a quelli cheverranno prodotti come beneficio; ilvalutatore deve quindi, preliminarmente,stilare una lista delle voci di costo e dellevoci di beneficio. Come individuarle? Se

�� Prima di tutto: la concettualizzazione

�� *�� "��+�� ,��*��#

�� $�� *� �� "�� +�� #,��* ��#

�� *�� &��*��"�� #

� ��*��2��+��,��"�� *��&�� #

��*�+��-�@��,�� "�� -��"��*�� #

�� *� �� &��#�� #

��*��-A?�� B�� -�A;��C��D��6B#

��>��"��

l’evaluando non è un oggetto noto in lette-ratura, con una casistica consolidata allaquale riferirsi, tramite un processo diconcettualizzazione può individuare quelleproprietà che determinano i costi e i bene-fici, per procedere poi alla stima economi-ca di ciascuna.

�1��- I progetti for-mativi che si candidano per ottenere un fi-nanziamento sono redatti secondo normeprecise tramite l’ausilio di un formulariostandardizzato, predisposto dall’ammini-strazione che ha messo a bando la gara. Chisa fare una buona progettazione compren-de che le varie parti del progetto, da indica-re nelle rispettive caselle del formulario, nonsono altro che scomposizioni concettuali,via via più dettagliate, del tema formativogenerale. Così immaginato, il progetto hauna sua coerenza, una validità visibile, e nonpresenta quelle sconnessioni fra le parti ti-piche dei progetti non concettualizzati.

�!��- Anche l’analisi diun’organizzazione (come un servizio socia-le, una cooperativa, ecc.) si presta benissi-mo alla concettualizzazione; proprio perchési tratta di un insieme complesso, qualun-que organizzazione sociale necessita, per es-sere compresa, di una scomposizione in partipiù semplici (per esempio per funzioni, perruoli, per mansioni, per obiettivi), e questein ulteriori parti, fino ad avere un’analisidettagliata delle parti e delle loro relazioni.

�1�� - Anche il processodecisionale dovrebbe seguire un percorso diconcettualizzazione. Dobbiamo aprire unCentro per minori? Quali obiettivi ci pre-figgiamo di raggiungere? Come si traduceogni obiettivo in sotto-obiettivi operativi,e ciascuno di questi in azioni progettuali,in un sistema organizzativo, ecc.? Si puòtracciare una struttura gerarchica dagliobiettivi generali alle azioni progettuali e

organizzative con un percorso concettualecome quello mostrato. Dal punto di vistadella valutazione questo processo può esse-re di ausilio, ma non sempre sostitutivo, perla ricostruzione degli obiettivi, perché laconcettualizzazione del valutatore potreb-be ovviamente essere diversa da quella (an-che implicita) del decisore.

La concettualizzazione è uno strumento disoluzione dei problemi, laddove i problemi siriferiscono a situazioni complesse, composteda parti diverse in interazione. Nella valuta-zione dei servizi la concettualizzazione è unostrumento principe per l’osservazione, l’ac-quisizione dei dati, la loro organizzazione lo-gica e l’interpretazione.Per essere ben eseguita, la concettualizzazionenecessita di un gruppo a confronto; difficil-mente un solo operatore potrà concettualizzareil suo servizio, o il solo valutatore concettualiz-zare l’evaluando.

'�$��"��#� ��#�"#"��#

Dopo avere opportunamente concettualizzatoil nostro problema (paragrafo precedente) po-tremmo, per prima cosa, cercare i dati dispo-nibili. Spesso si pensa che per ogni nuovo pro-blema occorre partire dall’inizio, reinventan-dosi le modalità per acquisire i dati necessari,senza rendersi conto che molti dati utili sonogiù presenti nella nostra organizzazione o pres-so centri specializzati. Imparare a individuarei dati disponibili, e saperne fare tesoro ai finivalutativi, può inoltre essere un sistema piut-tosto economico per realizzare valutazioni forsemodeste e limitate, ma certamente interessanti.Il discorso sui dati è pienamente ascrivibile aquesto capitolo sulle tecniche poiché il loroutilizzo, archiviazione, operazionalizzazione, èuna questione di tecniche, per lo più statisti-che e informatiche.

�� #� ��

Analizziamo i due principali aspetti del pro-blema: dove si possono trovare dati, e come sipossono organizzare.I dati possono trovarsi essenzialmente in dueluoghi: all’interno della propria organizzazio-ni o presso altre.I dati disponibili presso l’organizzazione pos-sono essere di due tipi: relativi all’organizza-zione in sé o relativi al prodotto/processo rea-lizzato. Chiariamo: nel nostro servizio, nellanostra cooperativa sociale, nella nostra agen-zia formativa, ecc., abbiamo certamente: datisul personale impiegato, dati salienti per cia-scun dipendente/socio (ferie, malattie, orari dilavoro, ruolo funzionale, mansioni eseguite),fatturato, clienti e loro distribuzione, ordina-tivi e fornitori, riviste e volumi nella bibliote-ca (se c’è), magazzino (se c’è), farmacia (se c’è),e probabilmente altri ancora. Sembrano po-chi? Anche solo con alcuni di questi si posso-no organizzare archivi di dati per un monito-raggio interessante relativo ad alcuni aspettidi efficienza e di efficacia interna.Il problema è organizzare i dati disponibili,possibilmente costruendo un sistema informa-tivo informatizzato, all’insegna di una logicadi monitoraggio da predefinire accuratamen-te.Ma sicuramente avremo anche informazionisul prodotto/processo realizzato: per esempioquanti utenti, di che genere (maschi/femmi-ne) con quali problematiche, ecc. Questi datipossono fornirci elementi interessanti per lavalutazione dell’efficacia esterna, specie secorrelati ai dati organizzativi già segnalati.Anche qui basta poco: se già non c’è, organiz-zare una scheda-utente da compilare all’ini-zio, quando un nuovo utente viene preso incarico dal servizio, e aggiornata periodicamen-te, non è difficile, specie se la scheda viene stu-diata diligentemente all’interno di un proces-so concettuale come descritto nel precedenteparagrafo.

Progettare accuratamente, curare nell’imple-mentazione, aggiornare periodicamente, unsistema informativo interno che raccolga i datiprovenienti dai diversi settori interni (direzio-ne, amministrazione, settori operativi) e dairapporti con i clienti (dati anamnestici inizia-li, dati sulle diverse prestazioni fornite, elemen-ti valutativi correnti), è la base di un sistemadi monitoraggio che può costituire, in sé, unottimo strumento di valutazione in itinere, ela base per periodiche valutazioni intermedie.Ma ci sono anche dati di altre organizzazioni,o di centri specializzati, che possono aggiun-gere informazioni al nostro sistema informa-tivo; per esempio:�dati forniti dall’organizzazione madre (se

presente): nel caso di un servizio alla perso-na può trattarsi dall’Ente da cui si dipende(Comune, Provincia), dall’Azienda sanita-ria, ecc.; spesso l’organizzazione principaleha un sistema informativo suo proprio alquale agganciarsi, o dal quale attingere in-formazioni di contesto che possono essererilevanti;

�dati forniti con continuità da centri specia-lizzati, quali l’Istat: i dati Istat hanno uncarattere generale, utile per collocare in uncontesto più ampio i dati relativi al nostroservizio; l’Istat produce una grande mole diinformazioni sui più svariati argomenti: unavisita alla sede regionale può portare a pia-cevoli scoperte;

�dati forniti con discontinuità da centri spe-cializzati: se l’Istat produce continuativa-mente certi tipi di statistiche, altri Centri eIstituti producono dati utili e interessantima senza specifica continuità nelle serie sta-tistiche; si tratta di centri che produconoricerche su argomenti particolari, che nonsempre vengono ripetute, ma che fornisco-no un valido ausilio nella nostra valutazio-ne: Università, Istituti nazionali come ilCensis, Istituti regionali di ricerca, Camere

��>��"��

di commercio, Associazioni professionali.Instaurare rapporti con questi (e altri) Cen-tri può significare avere un ricco apporto didati interessanti.

I dati, insomma, si trovano già con una certaabbondanza. Non è detto che quelli disponi-bili siano utili per gli scopi che ci siamo pre-fissi, e in questo caso dobbiamo investire ri-sorse per implementare nostre fonti informa-tive; ma se i dati presenti hanno già un certovalore, vale la pena certamente di investire inun sistema informativo interno. Qualunqueinformatico potrà facilmente costruirvi un ar-chivio elettronico (database), utilizzando pro-dotti commerciali abbastanza facili da utiliz-zare.Il problema però non è tanto l’archiviazioneelettronica, quanto l’uso in termini di analisi.È assolutamente inutile archiviare molti datiper produrre periodicamente chili di tabulatiilleggibili e inutilizzabili!

Consigliando quindi di progettare l’archivio,il monitoraggio, e l’organizzazione dei rapportiperiodici, assieme a un consulente specializ-zato, forniamo in breve alcune raccomanda-zioni di massima:� �� - piutto-

sto che tabulati grigi e noiosi, realizzare sem-plici figure è oggi piuttosto facile con i prin-cipali programmi informatici: istogrammi,torte, e altre soluzioni grafiche sono ottimaliper comprendere, a colpo d’occhio, quelloche una tabella non rivela con la stessa faci-lità;

� ��- in tabella o come figura, idati sono significativi se consentono com-parazioni; non ha molto senso dire ‘i no-stri clienti sono 327’, ma dire ‘dall’annoscorso i nostri clienti sono aumentati del6 per cento’ è certamente un’indicazioneutile;

� �� - per lo stesso principio,

�� Cercare e usare i dati esistenti

��#�� !��"�*�� "��*�� !�� &�� "��"��#

��*�� !��#�8��-��!��"�� ;��+��-��;��,#�$��"��'�� !�� &��-��;�� "�� #

��*��*��"�� #

�� *�� "��#

�� *� �� #��!� �� "�� #

� ��*�� "��"��+�� !��,#

�� #� ��

ogni volta che si può, comparare situazionidiverse, tipo: ‘nel servizio A quest’anno c’èstato un incremento di clienti del tot percento, mentre nel servizio B l’incremento èstato appena del totaltro per cento’;

� �� - sempre, quando si può, trasforma-re i dati disponibili in indici; gli indici sonooperazioni matematiche fatte su indicatoristatistici che consentono una comprensio-ne di sintesi maggiore di quella che dareb-be il solo indicatore. Un esempio: dire cheun Centro residenziale per minori ha avu-to, nell’anno trascorso, 100 ospiti, significaproporre un indicatore che di per sé ha pocosignificato: sono tanti? sono pochi? Lo stes-so dato, rapportato alla disponibilità di po-sti letto del Centro (capienza) può portarea un ‘indice di utilizzo del Centro’, calcola-to con la formula:

ospiti * giornate di permanenza

posti letto * giornate di apertura

Oppure, sempre lo stesso dato, può essererapportato alla popolazione di riferimento(i minori di quella fascia di età di quel ter-ritorio) per calcolare un ‘indice di servizioterritoriale’ con la formula:

minori ospiti

minori del territorio servito

Come si vede, i dati sono tutti disponibilio facilmente reperibili, e vengono combi-nati attorno a quello, fondamentale, delnumero di minori ospitati. A seconda diquale altro dato venga rapportato a questo,si possono costruire indici diversi.Ci sembra evidente, e senza bisogno dispendere molte altre parole, che la realiz-zazione di indici abbia una grande effica-cia esplicativa.

'�'��#� ��)��

Un problema tipico della valutazione nei ser-vizi è quello di chiedere l’opinione dei clienti.Ci sono diversi modi, ovviamente, compresoun breve colloquio fra operatore e cliente, datrasformare poi in relazione generale, di carat-tere impressionistico. Più spesso, varie ragioniinducono a pensare a un questionario, maqualche volta la scelta del questionario non ècompletamente giustificata. Vediamo le ragio-ni principali a sostegno dell’uso di un questio-nario:�2��3��

��4��- Ci sono ragioni sta-tistiche, oltre che di opportunità organiz-zativa, che sconsigliano di utilizzare il que-stionario per un numero ridotto di intervi-ste; in linea di massima (da verificare casoper caso) si suggerisce:� poche decine di intervistati (max 40-50); non realizzare un questionario, ma pre-ferire altre forme di intervista, quale l’inter-vista ermeneutica, basata su un colloquionon pre-strutturato, più profondo;� comunque sotto il centinaio, o attornoa cento; il questionario può essere utilizza-to per raccogliere le informazioni, ma for-nisce scarse possibilità di elaborazione sulpiano statistico;� alcune centinaia di intervistati; il que-stionario va benissimo, sia come raccolta checome elaborazione statistica dei risultati.

�� - Analogamentea quanto detto sopra circa la numerositàdegli intervistati, non ha senso fare un que-stionario per chiedere due informazioni(‘Quanto utilizza il nostro servizio?’; ‘Ne èsoddisfatto’?); se le questioni da chiederesono numerose (minimo una decina diitem), allora il questionario può essere unsupporto utile.

�5�� - Ci possono essere

* 100

* 100

��>��"��

casi in cui non si tratta solo di formulareun certo numero di domande, ma di pro-porre altri tipi di item (scale, vignette, testdi vario genere); in questi casi il supportodel questionario può essere preferibile, senaturalmente la gestione di questo appara-to complesso è affidato a personale esperto

�/�� - Lalogica del questionario conduce necessaria-mente all’elaborazione statistica dei risul-tati, e a un rapporto di ricerca basato su talielaborazioni (tabelle, grafici, ecc.); se que-sta forma di comunicazione è giudicata utileed efficace, allora la strategia basata sul que-stionario sarà ancora più fondata; ciò valemaggiormente nel caso di panel (gruppi dipersone ripetutamente sottoposti a intervi-sta).

�&��- In alcuni casi si possonoredigere strumenti in tutto simili ai que-stionari anche se gli intervistati sono po-chi, poche le domande, e non è prevista al-cuna particolare elaborazione dei dati; peresempio nel caso di corsi di formazione èusuale far compilare agli allievi, a fine cor-so, una breve scheda relativa alle competenzeacquisite, alla soddisfazione generale, adeventuali critiche, ecc.; queste ‘schede’ fi-nali (che si possono benissimo chiamare‘questionari’) possono essere proposte an-che per numeri limitati di allievi se si pensadi conservare i documenti per futuri raffron-ti, o meglio se si tratta di una schedastandard riproposta anche in altri corsi (ilche, di fatto, fa aumentare il numero deicasi disponibili).

Ci sono comunque pesanti controindicazio-ni. Il questionario sembra uno strumento sem-plice, ma implica abilità specifiche e un’orga-nizzazione complessiva di cui tenere bene con-to prima di avviare una ricerca basata su que-stionario:�*�� - È completamen-

te privo di senso realizzare un questiona-rio senza avere competenza nell’elaborazio-ne elettronica dei dati. Ogni questionariodeve essere inserito in una matrice dei dati(facilmente realizzabile con il computer di-sponendo, per esempio, di un foglio elet-tronico) e sottoposto ad analisi con parti-colari procedure; l’analisi minima, di persé assolutamente povera e limitata, si chia-ma analisi monovariata, e consiste nel cal-colare la distribuzione delle risposte una auna (una variabile alla volta). Per l’analisimonovariata, se i questionari sono pochi,si potrebbe procedere manualmente, sen-za supporto di computer. Diversamente,la più interessante ed efficace analisibivariata deve essere realizzata con un com-puter, specie se i questionari sono molti,perché si tratta di analizzare le variabili acoppie.In generale non è giustificata la ricerca ba-sata su questionari se non si produce alme-no un’analisi bivariata dei risultati.Infine, con software per analisi statistiche,si possono realizzare analisi multivariate,appannaggio solo di personale esperto.

�&�� (��- Il questio-nario non è una semplice serie di domandema una struttura complessa di domande edi altri oggetti che rispondono a logiche noncertamente improvvisabili, prima fra le qualila preventiva concettualizzazione, al terminedella quale si può redigere un questionario.In caso di schede semplici (per esempio sche-de di valutazione di fine corso, vedi sopra)la concettualizzazione sarà semplice, e la re-dazione del questionario piuttosto agevole,ma via via che ci si porta verso problematichepiù complesse e variate, il lavoro di concet-tualizzazione deve essere approfondito e laredazione di un questionario – se si vuoleevitare la banalizzazione – deve essere pro-gettata da personale competente.

�� #� ��

�&��- Il questionario si inserisce in un per-corso di ricerca ampio e complesso, solita-mente abbastanza costoso; prima di intra-prendere questa strategia di ricerca è benequindi sapere a cosa si va incontro; in breve:� questionari molto semplici somministra-ti direttamente dagli operatori entro il servi-zio (per esempio le schede di fine corsoformativo, oppure brevi questionari agliutenti sul gradimento di un nuovo orario delservizio, ecc.): il costo è prossimo allo zero;� questionari articolati, somministrati dapersonale assoldato allo scopo direttamentea casa degli intervistati: il costo è rilevante, epuò facilmente raggiungere le diverse deci-ne di milioni; la voce di costo principale èovviamente quella degli intervistatori, chese assoldati fuori dall’organizzazione nonpossono costare meno di 50.000-200.000

lire a intervista (a seconda della complessi-tà, della dispersione sul territorio, ecc.);� come sopra, ma interviste realizzate tra-mite telefono: se il lavoro è affidato aun’azienda specializzata, che fornisce un ser-vizio di interviste telefoniche supportate dacomputer (CATI), i costi possono essere daun terzo alla metà di quelli occorrenti perintervistatori a domicilio, e questo indipen-dentemente dalla sede dove opera la socie-tà; se le interviste telefoniche sono realizza-te dagli stessi operatori i costi sono irrisori,ma la gestione non sarebbe affatto sempli-ce come può apparire;� questionari postali: costi irrisori, impu-tabili solo alle spese postali, ma risultatiparimenti irrisori; per diverse ragioni i que-stionari postali sono in assoluto i peggiori,e i risultati raggiunti generalmente pessimi.

�� Chiedere alla gente

��*�� &� �� *��#

�� *�� &� �� !��#

��*�� &�� #

%&'(� *� �� +��,� �� :�� "�� #

��*�� "�� +��!��,#

��*�� *�&��/�� "�� #

�� +��%��,� *� �� "�� 1� �� #

��*��"��1��!�+��5�� #6,� �� #

��>��"��

Infine, alcune parole sull’intervista ermeneu-tica.Non sempre è opportuno chiedere l’opinionedella gente attraverso questionari strutturati;le ragioni le abbiamo appena dette. Un’alter-nativa interessante è intervistare poche perso-ne (max alcune decine) con uno strumentomolto meno strutturato, basato su un collo-quio fra l’intervistatore e l’intervistato. Ci sonomolte forme di intervista di questo genere, connomi diversi (per esempio ‘intervista in pro-fondità’, ‘storia di vita’, ecc.), ma in generalel’organizzazione è simile:�L’intervistatore ha una traccia, una scaletta,

un temario, un elenco di punti chiave; nes-suna domanda rigidamente precodificata ostrutturata. L’ordine delle domande di solitonon è rigido, né viene imposto un certomodo per porgerle. Più che ‘domande’, ap-punto, si tratta di ‘argomenti’ da sviluppare.

�La registrazione delle risposte non avviene,generalmente, per iscritto, salvo piccoli ap-punti che l’intervistatore può prendere manmano come promemoria; in genere c’è unregistratore in funzione (occorre semprechiedere il permesso all’intervistato!), e inseguito la registrazione viene ascoltata eriascoltata dall’équipe di ricerca.

�Non è prevista alcuna elaborazione statisti-ca dei risultati, e quindi nessun tabulato;l’ascolto dei nastri fornisce suggestioni, ar-gomenti, riflessioni, che confluiscono in unrapporto di ricerca di tipo narrativo.

'�.�)�#��"��#

Molte volte non siamo interessati a fare unaserie di domande a tutti, o a tanti, ma abbia-mo piuttosto un interesse particolare versol’opinione di un gruppo più ristretto di perso-ne; vuoi perché rappresentano al meglio lapopolazione bersaglio del nostro intervento,vuoi perché ci sembrano particolarmente qua-

lificate e competenti: riteniamo che costoro,anche se in numero limitato, possano risolve-re al meglio il nostro problema valutativo. Cisi riferisce a costoro come a ‘esperti’, comedefiniti nel paragrafo 3.5 che ora riprendiamopiù ampiamente.Per i nostri fini (la ricerca valutativa) un ‘esper-to’ è colui che ha un’esperienza, una compe-tenza specifica, un vissuto particolare, un ruolonell’organizzazione, ecc., tale che la sua infor-mazione sull’evaluando origina direttamente daessa, per esperienza diretta.Per esempio, nel caso di un Centro residen-ziale per minori sono da considerare esperti,anche se in modo molto diverso:� gli operatori del Centro;� i responsabili dell’organizzazione che gesti-

sce il Centro, anche se non lo frequentano;� gli utenti ma, poiché si tratta di minori,

specialmente le loro famiglie, ivi compreseeventuali organizzazioni di familiari;

� i decisori, coloro che hanno istituito il Cen-tro, o che hanno comunque il potere dimodificarlo o chiuderlo;

� eventualmente: testimoni qualificati qualiil sacerdote, un insegnante, ecc. del quar-tiere dove sorge il Centro;

� eventualmente: docenti universitari, studio-si, professionisti di nota competenza su temipedagogici, sui servizi sociali per i minori,ecc.;

� eventualmente: funzionari e dirigenti diEnti e Istituzioni che hanno a che fare – siapure indirettamente – con il Centro (peresempio funzionari regionali dell’Assesso-rato ai Servizi sociali, avendo responsabili-tà di programmazione in merito).

Nel caso di valutazione della formazione pro-fessionale, supponendo sia titolata la Provin-cia alla gestione dei bandi e della valutazionedella progettazione, sono esperti:� i dirigenti provinciali del Servizio o Settore

formazione professionale;

�� #� ��

� i funzionari provinciali dello stesso Servi-zio o Settore, compresi i membri del nu-cleo di valutazione (se esiste) e coloro chesono impiegati con funzioni ispettive;

� l’assessore provinciale competente;� esponenti delle agenzie ed enti di forma-

zione sul territorio;� i progettisti libero-professionisti;� esponenti e rappresentanti delle categorie

imprenditoriali;� esponenti e rappresentanti della scuola e

dell’Università;� eventualmente: funzionari e dirigenti regio-

nali (per il loro ruolo nella programmazio-ne);

� eventualmente: docenti universitari, studio-si, professionisti di nota competenza su temiformativi, relativi al mercato del lavoro, ecc.

L’utilizzo degli esperti, come lo andremo deli-neando in questo paragrafo, è piuttosto diver-so di quello di analoghe figure competentiutilizzate nella ricerca sociale, come nel casodei ‘testimoni qualificati’ (o ‘privilegiati’); inquesto caso, infatti, si tratta in generale di in-terviste ermeneutiche (vedi fine del preceden-te paragrafo) realizzate a un testimone per vol-ta, lasciando alla cura del ricercatore la sintesidelle molteplici risposte. Senza sminuire l’im-portanza di questa procedura, segnaliamo laprofonda differenza dell’uso di esperti, nel sen-so specifico qui raccomandato: l’uso di esper-ti nella ricerca valutativa si basa principalmentesul gruppo.Gli esperti, riuniti solitamente in gruppo allapresenza di un facilitatore, interagiscono fra loronella produzione di un giudizio; il valore ag-giunto di questo approccio sta appunto nel fat-to che il gruppo realizza una riflessione più ap-profondita di quanto ciascuno dei partecipantipotrebbe raggiungere se interrogato da solo.Nella ricerca valutativa si utilizzano molto igruppi di esperti, alla luce di questa principa-le considerazione:

Se gli esperti sono ben reclutati, e riescono arappresentare i diversi punti di vista, allora sipuò supporre che il loro giudizio, se condiviso,descriva fedelmente la realtà (l’evaluando).Questa considerazione è assolutamente fon-damentale, e racchiude assieme le ragioni del-l’uso di gruppi esperti, e anche i suoi possibililimiti. È ovvio infatti che una forte problema-ticità viene accumulata sulla selezione e reclu-tamento degli esperti. Se questa selezione èsbagliata, il prodotto finale del gruppo potreb-be essere modesto, se non addirittura poco fe-dele.Come si seleziona il gruppo di esperti? Que-ste le principali regole:�&�� 6�� 7

�� - Valga quanto detto all’ini-zio di questo paragrafo; l’esperto è colui cheha una reale esperienza sull’evaluando.

�&�� - È essen-ziale che nel gruppo siano rappresentati tuttii punti di vista: almeno tutti quelli impor-tanti. Si può usare una metafora per illu-strare questo punto: immaginiamo i nostriesperti come un gruppo di persone che sie-derà lungo il perimetro di una stanza gran-de, con al centro un monumento equestre.Tutti i presenti capiscono che stanno osser-vando un monumento equestre (tutti sonoesperti sull’argomento loro proposto), maciascuno, dal punto di vista prospettico chegli consente la sua sedia, ne vedrà bene solouna parte (ovvero: ciascun esperto haun’esperienza specifica, diversa da quelladegli altri, e tenderà inevitabilmente aenfatizzare il suo punto di vista). Se ci limi-tiamo a chiedere a ciascuno, separatamente,cosa vede, tutti ci diranno “Un monumen-to equestre”, ma ciascuno darà descrizionileggermente diverse: chi, di fronte, ne po-trà osservare l’espressione serena, o bellico-sa; chi, di fianco, noterà che tiene la manosull’elsa della spada nell’atto di sguainarla,

��>��"��

oppure sulle briglie, ecc. Se invece mettia-mo in interazione gli esperti, e se consen-tiamo loro di confrontare ciò che vedono,probabilmente completeranno il puzzle econcorderanno su una descrizione finalecomune: “È Giuseppe Garibaldi che sta perordinare un attacco”. Fuori di metafora,dobbiamo cercare di occupare tutte le sedieattorno alla nostra stanza; o, almeno, che lesedie occupate siano distribuite in tutte ledirezioni, e non solo nella facciata nord, oin quella ovest.

�� - Nella maggiorparte dei casi gli esperti sono messi ininterazione diretta, durante un’unica sessio-ne di lavoro (vedremo più avanti come, an-notando anche alcune eccezioni); questofatto limita necessariamente il numero diesperti da reclutare fra un minimo indispen-sabile per fare ‘massa critica’ e consentireun’interazione interessante, e un massimooltre il quale il più bravo dei facilitati nonriuscirebbe a gestire le numerose dinami-che di gruppo che si vengono, di regola, ainstaurare (fenomeni di leadership da con-trollare, contrapposizioni da gestire, muti-smi da superare, ecc.). In generale, possia-mo ritenere che sotto le sei persone il grup-po non possa funzionare efficacemente, eda quattro in giù è meglio soprassedere; dal-l’altra parte dodici-tredici è un buon nu-mero, piuttosto alto ma gestibile; quindiciè già difficilmente gestibile; oltre è assolu-tamente ingestibile. Questi valori, assolu-tamente indicativi, variano comunque inrelazione alla capacità del facilitatore e altipo specifico di tecnica di gruppo impie-gata (e comunque si riferiscono a gruppi ininterazione diretta).

�� - Da evitareassolutamente la presenza di ‘esperti’ in rap-presentanza ufficiale di qualche Ente o Isti-tuzione o Associazione; questo problema

nasce spesso quando si seleziona il gruppoassieme al committente. Il valutatore, peresempio, ritiene che per il suo problemaservirebbe il parere di un sindacalista, comerappresentante del punto di vista dei lavo-ratori organizzati; è piuttosto tipica la pre-occupazione del committente che, per noncrearsi problemi diplomatici, suggerisce checi siano almeno tre sindacalisti, in rappre-sentanza delle tre maggiori organizzazioni.Altro caso analogo: serve un parere del pun-to di vista gestionale e organizzativo di unservizio, e il valutatore ha individuato inun funzionario, di lunga esperienza, l’esper-to ideale; il committente potrebbe insistereper chiamare invece il dirigente, anche seha da poco tempo occupato quel ruolo enon possiede le informazioni necessarie. Ilvalutatore deve essere molto fermo in que-sti casi: non ci servono le rappresentanze difacciata, i ruoli formali, né deve valere lapar condicio. Coloro che servono sono co-loro che sanno, che sanno fare, che hannouna reale competenza; e poiché non pos-siamo reclutare gruppi numerosi, per le ra-

�� Gli esperti

�� *� �� "� �� #

�� *�� 2��!� �� #

�� *� �� "��*�� "��*��#

�� #� ��

gioni dette, la scelta deve indirizzarsi sui realidetentori dell’informazione e del suo signi-ficato.

�*�� - Un pericolo più subdolo,perché meno individuabile, è rappresenta-to da gruppi che, malgrado l’attenzione nel-la selezione e reclutamento, finiscono perproporre una riflessione corale, monocorde.In generale, un gruppo siffatto fornisce unrisultato di bassissimo profilo, poco stimo-lante e scarsamente efficace. Ciò può acca-dere, sostanzialmente, per due ragioni: l’ar-gomento è molto specifico, e sono pochigli esperti in grado di parlarne; il territoriodal quale reclutare gli esperti è piuttostopiccolo e, ancora una volta, fornisce pochepossibilità di scelta. Attenzione: gli esperticosì reclutati potrebbero anche rappresen-tare, sulla carta, opinioni diverse; potrebbeesserci il sindacalista e l’imprenditore, ilnoto esponente di destra e quello di sini-stra. Ma se reclutati entro ambienti ristrettiquesti esperti, molto probabilmente, si co-noscono da anni, si frequentano, si incon-trano e si scontrano su questi temi da trop-po tempo per non conoscere in anticipo ilpensiero di ciascuno: il dialogo non si fon-derebbe più sulle loro idee, ma sui loro pre-saperi, sulle reciproche stereotipie, sull’ade-guamento al ruolo che ciascuno ritiene didover ricoprire. Il valutatore deve cercare intutti i modi di evitare che questo accada.Un modo può essere quello di ricorrere alla‘persona spaiata’, ovvero a un esperto che èstato reclutato per rompere gli schemi, per-turbare il gruppo, creare vera discussione.La persona spaiata deve in qualche modoessere esperto, ovviamente, ma probabil-mente la sua competenza non è tale da se-gnalarlo come ‘prima scelta’ da parte delvalutatore. Il valutatore però lo individuacome elemento prezioso del gruppo se ca-pisce che per il suo ruolo, per la sua storia

personale, per il suo carattere, o altro, co-stui non consentirà una monocorde tratta-zione dei temi proposti, arrivando semmaia provocare discussioni più vivaci ma piùstimolanti. Ovviamente: attenzione a nonesagerare! La persona spaiata deve romperegli schemi, sì, ma non rovinare la riunione!

Con i nostri esperti così selezionati potremofare ora diverse cose, che tratteremo con spa-zio diverso nei prossimi paragrafi. Possiamochiedere di offrirci il loro parere per azioni stru-mentali entro un percorso valutativo, cioè difornirci un giudizio valutativo di per sé nongià compiuto, ma da trattare ulteriormente inaltro modo; appartengono a questa categoriail focus group e il brainstorming (paragrafo 4.6).Se invece l’interazione degli esperti deve pro-durre un giudizio valutativo più completo,possiamo proporre un approccio Delphi (pa-ragrafo 4.7), o una Scala delle Priorità Obbli-gate (paragrafo 4.8).Naturalmente, ci sono altre tecniche, più omeno simili a queste presentate, ma il quadroche forniremo sarà comunque abbastanza pre-ciso e completo.

'�0�#��!��#��"��

Il focus group (termine che potremmo tradur-re con ‘gruppo concentrato su un problema’)è una tecnica di discussione con un gruppoesperto molto diffusa, non solo nella ricercavalutativa. Viene utilizzata, in prevalenza, perdescrivere la natura e le dimensioni principalidi un’unica questione, o di un limitato nume-ro di problemi o concetti comunque correlati.La gestione del gruppo avviene, a cura delfacilitatore, seguendo una scaletta di argomentiche stimola il gruppo a riflettere in manieraapprofondita sul tema proposto, e favorendo,di fatto, il confronto diretto fra punti di vistadiversi. In generale, il gruppo deve essere omo-

��>��"��

geneo, in quanto a tipo e qualità delle compe-tenze rappresentate. Diversamente da altre tec-niche, il focus group favorisce le prese di posi-zione contrapposte fra i diversi esperti e leopinioni espresse vigorosamente, anche in di-fesa di punti di vista istituzionali.Scopo del focus group è far emergere le princi-pali dimensioni del problema, enuclearne leprincipali direzioni, componenti e ragioni.Non importa se le riflessioni emergono inmaniera un po’ sovradimensionata; quello cheimporta veramente è che emergano tutte.Quando è utile i focus group nella ricercavalutativa? Ci sembra di poter segnalare inparticolare due casi:� all’inizio di un percorso di valutazione, se

l’evaluando è complesso, non sufficiente-mente noto al valutatore, oppure se è uncaso sperimentale e quindi nuovo; insom-ma: quando si vuole conoscere preliminar-mente l’evaluando, per poi costruire unpercorso di ricerca appropriato;

� alla fine di un percorso valutativo, quandosi vogliono confrontare i risultati ottenuticon un gruppo esterno a quello che ha va-lutato, in modo da ottenere una chiave dilettura più approfondita e supportata dalparere di esperti (può essere affiancato al-l’utilizzo di ‘arene’ di discussione, già pre-sentate al paragrafo 3.8).

Il brainstorming è piuttosto diverso. La tecni-ca ha un carattere creativo, che la rende ido-nea a diverse applicazioni, non solo in valuta-zione.Nella ricerca valutativa il brainstorming ha un’ec-cezionale versatilità specie per l’individuazione,in maniera partecipata con gli operatori o altriattori rilevanti, delle proprietà dell’evaluando(vedi quanto scritto nel capitolo 3).Una sessione di brainstorming (che può dura-re 2-4 ore) potrebbe prevedere le seguenti fasi:�1�� 6��

�� - Il facilitatore presenta la riunione e

spiega quali obiettivi ci si prefigge. Succes-sivamente presenta il brainstorming essen-zialmente come un gioco creativo che hapoche regole, però da rispettare: 1) nessu-no si deve censurare; vale a dire: le idee chevengono in mente vanno esposte, senza por-si il problema se siano ‘giuste’ oppure no;nel brainstorming – almeno nella sua pri-ma fase – non ci sono idee ‘giuste’ o ‘sba-gliate’, ma solo idee; 2) nessuno deve cen-surare gli altri; ovvero: nessuno intervengaper dire ‘il mio collega ha detto una cosasbagliata’.

�1��7��- La prima parte delbrainstorming è veramente di tipo creativo;capito bene il tema sul quale riflettere, ilfacilitatore invita i partecipanti a lasciare li-bera la fantasia proponendo caratteristiche,proprietà, descrizioni, dettagli che conno-tano l’evaluando. In generale, appena qual-cuno ‘rompe il ghiaccio’, ogni proposta sti-mola i partecipanti a produrre altre sugge-stioni, e altre ancora. Il ruolo del facilitatoreè solo quello di trascrivere tutto su una gran-de lavagna, di fronte ai partecipanti, e difar rispettare le poche regole del gioco, evi-tando eventuali dinamiche di gruppo ne-gative. Se il facilitatore è esperto, saprà an-che dare eventuali piccoli stimoli, quandooccorre, per impedire che il gruppo si areniin vicoli ciechi.

�/�� 7� �� - In gene-rale, una volta che risulti evidente che ilgruppo non ha più nulla da dire, ci si trovacon numerose decine di frasi, aggettivi,esempi, collocati in ordine sparso, così comesono stati detti. Tutto questo materiale grez-zo è a volte ridondante, qualche volta nonpertinente, e comunque essenzialmentetroppo vasto. La vastità nasce dal livello digeneralità piuttosto basso che naturalmen-te si è prodotto nel gruppo. Ma al valutatoreserve un livello di generalità un po’ più alto,

�� #� ��

che consenta fra l’altro di contenere le pro-prietà che gli interessano entro un numerolimitato (fra le 10 e le 20 sembra essere ilnumero giusto). Per fare ciò, per ripulire lalavagna delle tante decine di proposte diqualità e livello diverso, e per raggiungereun elenco più ordinato ed omogeneo, cisono diversi modi; quello utilizzato dall’Au-tore del presente manuale prevede l’utilizzodel processo classificatorio, che è un pro-cesso cognitivo potente e sofisticato, nonsemplice, ed estremamente proficuo. Ilfacilitatore, in sostanza, invita il gruppo ariunire tutte le stringhe prodotte entro unnumero limitato di ‘famiglie’, o ‘insiemi’omogenei, marcandoli sulla lavagna con unsimbolo colorato collocato davanti a ciascu-na stringa, in modo che si riconosca a qua-le insieme è da ascrivere. È compito delfacilitatore far comprendere la logicaclassificatoria, e guidare il gruppo con unpo’ più di direttività della fase precedente.Si tratta di un procedimento non semplice,da realizzare con flessibilità; per esempio èda considerare normale che alcune stringhefacciano parte di più insiemi diversi (da unpunto di vista metodologico ciò rinvia allapossibilità di un indicatore di essere deri-vato da concetti diversi).

�8��7��- Durante un oppor-tuno intervallo il facilitatore trascriverà ognistringa su nuovi fogli, raggruppandoli peròsotto i rispettivi insiemi, ai quali avrà attri-buito anche un nome. Il risultato è di mo-strare al gruppo, insieme per insieme, leconnotazioni che sono state prodotte. Per-ché fare ciò? Perché altrimenti, nel caos dellaproduzione della prima fase non è assolu-tamente possibile riconoscere le ridondanzee, specialmente, le mancanze. Negli elen-chi relativi a ciascun insieme invece, nonsolo c’è un numero assolutamente più li-mitato di oggetti, più facilmentepercepibili, ma tali ‘oggetti’ sono coerenti,dello stesso genere. Il gruppo quindi, susollecitazione del facilitatore, compirà unlavoro di sintesi, cercando di ricondurre lestringhe di ciascun insieme a poche pro-prietà, su un più alto livello nella scala diastrazione. Identificate le due, tre proprie-tà relative a ciascun insieme sarà facile peril gruppo percepire l’eventuale assenza cla-morosa di importanti proprietà che, neltroppo vasto numero iniziale, poteva esse-re sfuggita.

Con questo procedimento il valutatore ottie-ne facilmente un elenco di proprietà che ilgruppo condivide, ritiene completo, ricono-sce come pertinente. Con questo elenco diproprietà, poi, il valutatore potrà avventurar-si, semmai con lo stesso gruppo di esperti, ver-so ulteriori tappe valutative.

'�1��#�� #

Parleremo brevemente di questa tecnica per-ché è importante, e occorre conoscere di cosasi tratta, ma è complessa da gestire, e quindiprobabilmente non adatta alla generalità deicasi di valutazione dei servizi.Il nome deriva dalla trascrizione anglosasso-ne della città di Delfi, dove la leggenda narra

�� Il focus groupe il brainstorming

�� &� �� 2� �� #

� �� &�� #

��>��"��

ci fosse un famoso oracolo. Il nome della tec-nica richiama appunto a questa funzioneoracolare, perché è stata inventata per analisiprevisionali particolarmente adatte alla valu-tazione ex ante. Come tutte le tecniche, co-munque, può avere un raggio di impiego piùvasto, ed essere utilizzata per la costruzionedi scenari alternativi, per la formulazione digiudizi su processi e problemi attuali o pas-sati, ecc.Il Delphi classico ha una prerogativa che ladifferenzia da tutte le altre tecniche di giudi-zio degli esperti che vedremo in questo ma-nuale: gli esperti, qui, non interagiscono di-rettamente fra loro, ma solo per il tramite delricercatore. Sostanzialmente il Delphi classi-co funziona così:�/�� - Gli

esperti sono selezionati secondo i principigenerali già indicati nel paragrafo 4.5, masenza porsi vincoli geografici; poiché – comevedremo – gli esperti non si sposterannodalla loro residenza abituale, possono esse-re reclutati in qualunque parte del mondo.Nota bene: i panelist (membri del panel) nonsanno, in generale, chi sono gli altri mem-bri, e comunque non verranno mai messiin interazione diretta l’uno con l’altro.

� ��"�� - Il valutatore pre-dispone una specie di questionario, non ri-gidamente strutturato, con non molte que-stioni, comunque ben illustrate, e lo inviaai membri del panel chiedendo loro di espri-mersi su ciascuna questione per iscritto; in

generale, in questo primo round, le questio-ni poste sono di livello abbastanza genera-le, introduttivo.

� ��"�� - Il valutatorericeve le risposte e ne formula una sintesiche tenga conto dei punti di vista concor-di, degli eventuali disaccordi, ecc. Sulla basedi queste risposte formula un secondo que-stionario più specifico, che cercherà di ap-profondire degli aspetti, e lo rinvia aipanelist, eventualmente con la sintesi diquanto scaturito dal gruppo, ma senzapersonalizzare le opinioni. Ancora una vol-ta aspetta le risposte, le sintetizza, e fa unsuccessivo questionario. Non c’è una rego-la per stabilire quanti round in tutto sianoda fare, anche se ragioni logistiche eorganizzative suggeriscono di contenere l’in-sieme dei round in tre o quattro.

� �� "�� - General-mente al terzo o quarto turno il ricercatoremanda il questionario finale, che indaghe-rà questioni di dettaglio. È questa la fase incui si possono anche chiedere stime, valori,probabilità quantificate su determinatieventi ipotizzati dal panel.

�#�� "��- Naturalmente, a con-clusione del Delphi è buona norma inviareil rapporto finale a tutti, sempre senzapersonalizzazioni, comprensivo dell’elencodi tutti i panelist.

Quando usare il Delphi? Le occasioni miglio-ri sono per indagare problematiche complesseche necessitano di prefigurare scenari, ipotesiprobabilistiche, oppure che hanno a che farecon questioni di vasta portata. Il Delphi, inquesti casi, è una splendida occasione per re-clutare esperti di chiara fama, indipendente-mente dai vincoli geografici. L’uso delle mo-derne tecnologie informatiche, poi, e in parti-colare la diffusione della posta elettronica, ri-duce – teoricamente – i tempi di attesa deiquestionari. ‘Teoricamente’ perché la lentezza

�� La tecnica Delphi

)��#�� *� �� "��*�� *��#

�� #� ��

delle risposte è uno dei punti di debolezza diquesta tecnica.A meno che i panelist non siano pagati (ma, sesono esperti di chiara fama, costeranno pro-babilmente molto) o grandemente motivati (ilcommittente della valutazione è un’istituzio-ne di grande prestigio), la gestione del panel èdifficoltosa. I panelist tardano grandemente arispondere, si perdono in parte per la strada, etutto ciò può finire con il minare la qualitàdei dati raccolti.

'�2��"�� #!�#�+�!**�#)��3"�!4

L’ultima tecnica che presentiamo è esemplifi-cativa di una famiglia di tecniche che utilizza-no gli esperti per attribuire pesi e valori alleproprietà, operazione che, come abbiamo vi-sto nel capitolo 3, rappresenta un elementofondamentale della ricerca valutativa.Segnaliamo subito che la SPO si inserisce benein quell’approccio valutativo noto come ‘ana-lisi multicriteri’, che non può essere indicatocome una tecnica ma come un insieme di tec-niche diverse volte ad attribuire, appunto, va-lori diversi a proprietà di natura differenziata,parte quantitative e parte qualitative, come si

trovano sovente nella valutazione dei servizi.Per descrivere la SPO dobbiamo prima com-prenderne le finalità.Se rivediamo quanto scritto al paragrafo 3.6possiamo richiamare alla mente i concetti fon-damentali; abbiamo una lista di proprietà,eventualmente realizzata con un brainstorming,e dobbiamo darne dei valori diversificati perpoter arrivare a un più completo giudiziovalutativo, oppure per poter giungere a piùopportune definizioni operative.La SPO si basa sulla logica ordinale dei valori,attribuiti secondo due dimensioni divergenti.Vediamo fase per fase come funziona:�/�� -

Vale quanto già detto in generale sugli esperti.A differenza del Delphi, nella SPO gli esper-ti convergono tutti in un luogo einteragiscono direttamente fra loro. Una SPOpuò durare da 2 a 4 ore, a seconda delle mo-dalità in cui viene realizzato. La SPO vienedi molto facilitata se il gruppo di esperti è lostesso che ha realizzato il precedentebrainstorming.

��

�� : a unlivello piuttosto generale si suggerisce diutilizzare dimensioni che specificano me-

�� La Scala delle Priorità Obbligate

��*�� "��"��!� �� +�� ,�� !� �� !� ��&� �� 9�� 8��!�)�� /� �� #

�� *� �� #� �� *� �� "�� "�

�� #*��+�� ,��!*+,"�*��

��!#��*�� "��

��&��2��2�� #

��>��"��

glio, in modo pertinente al caso, l’efficaciainterna e l’efficacia esterna (per esempio, ri-spettivamente: questioni legate all’organiz-zazione e ai suoi obiettivi, e questioni lega-te al prodotto fornito, ai clienti e ai lorobisogni); in generale, il valutatore ha tuttigli strumenti per individuare le due dimen-sioni più opportune, ma è sempre buonaregola validarle nel gruppo.

��

��, composta da un numero di in-tervalli esattamente pari al numero di pro-prietà da collocare; la scala è redatta su unfoglio distribuito a ciascun esperto, assie-me a un set di cartoncini, ognuno riprodu-cente una delle proprietà (in termini tecni-ci tutti questi oggetti manipolabili si chia-mano gadget). La scala indica chiaramenteche ai due estremi si trovano il massimo e ilminimo di apprezzamento, di efficacia, diutilità, ecc., a seconda di come si è definitala prima dimensione. Ciascun esperto col-locherà quindi i cartoncini nell’ordine se-condo lui più appropriato, con le sole rego-le di non sovrapporre i cartoncini (non cisono æx equo), di collocare tutti i cartonci-ni e, conseguentemente, di non lasciare cellevuote.

�� , epropone la seconda scala (sulla seconda di-mensione), sulla quale collocare gli stessi car-toncini, procedendo come sopra.

��(�� , secondo sem-plici regole statistiche, che fanno sostanzial-mente capo al valore modale (relativo allamoda), quali proprietà hanno ricevuto unrango consensuale da parte del gruppo, equali no; presenta quindi i risultati al grup-po, e apre una discussione, da lui diretta,sulle proprietà sulle quali non si è raggiun-to consenso, al fine di trovare una colloca-zione gerarchica che soddisfi il gruppo nelsuo complesso.

��

��, lungo le due dimensionistabilite, con le proprietà consensualmenteordinate. Collocando la doppia gerarchia suun piano cartesiano si può disegnare unasorta di ‘mappa’, in cui ciascuna proprietà èposta in relazione alle altre. Un esempio dimappa prodotto con la SPO è riportato piùavanti, nel paragrafo 5.1.

A questo punto si possono fare diverse cose:usare la ‘mappa’ come descrizione, di per sévalutativa, dei punti di forza e di debolezzadell’evaluando; usare la mappa come grigliache definisce diversi ‘pesi’ alle proprietà, poioperazionalizzate opportunamente (e in que-sta funzione la SPO si mostra chiaramentecome strumento di analisi multicriteriale); oaltro.La SPO, specialmente se fa seguito a unbrainstorming realizzato con lo stesso gruppodi operatori, presenta una serie indiscutibiledi vantaggi:� è veloce da realizzare, e quindi fondamen-

talmente poco costosa;� è altamente partecipata, e gli operatori (ed

eventualmente altri attori coinvolti) rico-noscono come proprio il prodotto valuta-tivo finale, ottenuto fra l’altro in un pro-cesso di per sé formativo;

� ha un alto valore euristico, ovvero ‘spiega’molto dell’evaluando, e in maniera chiaraed evidente.

� ha un’alta fedeltà delle informazioni raccol-te, anche se ovviamente una sensibilità piùbassa rispetto ad altre tecniche (ma la fe-deltà dei dati è la questione principale; nel-la valutazione la sensibilità è spesso unaqualità secondaria).

'�5��#��

È ovvio che la ricerca sociale in generale, equella valutativa in particolare, dispongono di

�� #� ��

molti altri strumenti, di altre importanti tec-niche, e di più complessi approcci specifici,che consistono in organizzazioni particolari ditecniche e di processi cognitivi, che rendonomolto più complicata la ricerca valutativa. Lepagine precedenti hanno in ogni caso attra-versato l’area delle questioni più interessantiper la valutazione dei servizi alla persona, pro-ponendo alcune delle tecniche più utilizzatein questo settore. Per completezza, comunque,vogliamo riportare, almeno come sommario,alcuni ulteriori spunti. Fra le tecniche utiliz-zate in valutazione:� casi di studio: si tratta di analisi in profon-

dità di specifiche situazioni (per esempiouno o più servizi) con l’obiettivo di coglier-ne tutti gli aspetti significativi, sia dal pun-to di vista organizzativo e gestionale, chedei suoi effetti; è certamente un’attività diricerca realizzabile solo dopo che un servi-zio (o programma) è concluso, oppure è auno stadio maturo, e serve essenzialmentenella valutazione ex ante per imparare daprecedenti esempi e formulare meglio unnuovo programma o la progettazione di unnuovo servizio;

�altre tecniche basate sul giudizio degli esperti:oltre a quelle già presentate in questo volu-me ve ne sono diverse altre, fra le quali laNominal Group Technique (NGT), piutto-sto simile, nelle procedure, alla SPO mabasata, a differenza di questa, sulla proprie-tà cardinale dei giudizi espressi in formanumerica; vi sono poi altre tecniche anchepiù semplici, come la check list e altre an-cora;

�analisi costi-benefici: la più nota delle tecni-che per la valutazione dell’efficienza, o perla valutazione dal punto di vista economi-co di grandi progetti; si basa sulla compa-razione fra tutti i costi e tutti i benefici, ma

il calcolo è complicato da numerosi fattori:la difficoltà a stabilire il valore economicodi beni non commerciali (la salute, l’am-biente, ecc.), la necessità di prevederne ilvalore futuro alla luce del diverso costo,prevedibile, del denaro, ecc.

�analisi costi-efficacia: come la precedente, maevita il calcolo economico dei risultati.

Oltre a queste – e altre – tecniche vi sono poiapprocci più complessi, che non sonoconfigurabili come ‘tecniche’:� analisi multicriteri: utilizzata, per esempio,

per selezionare progetti diversi che hannosia elementi economico-finanziari, sia ele-menti di altro genere (relativi, per esempio,alla qualità); la multicriteri riesce, con al-cuni artifici, a superare il problema dellediverse unità di conto, e a comparare quin-di elementi diversi; l’analisi multicriteri uti-lizza poi, operativamente, tecniche come lacheck list, la SPO, o altre;

� approccio sperimentale: la valutazione piùrigorosa sul piano metodologico pretendedi stabilire dei giudizi inoppugnabili sul pia-no dei reali effetti di un programma solo sepuò comparare i risultati visibili su un grup-po di persone soggette a un dato interven-to, rispetto a un altro gruppo, sostanzial-mente identico, che non ha ricevuto il trat-tamento; la difficoltà tecnica di questo ap-proccio (fra l’altro molto dispendioso) in-duce spesso ad alcuni compromessi opera-tivi che portano all’approccio quasi sperimen-tale, comunque anch’esso regolato in ma-niera piuttosto ferrea;

� quadro logico: è un approccio cognitivo aigrandi programmi, o alle politiche, che sug-gerisce conseguentemente particolari mo-dalità di valutazione; è tipico della valuta-zione nell’ambito dei Fondi Strutturali del-l’Unione Europea.

��E��

!��"��"��

��

��

��

�� ;��"��

�� $$��

��

��"��

��#.��

��#�?��

�� #�9��"��"�� "��

�� &��1��

��!��"��"��"��#�0��

�� &��

�� /��

�� #8��

��

��#

�� #� ��

A questo punto il lettore ha tutti i ‘fon-damentali’ per sapere cos’è la valutazione, qualiobiettivi si prefigge, con quali approccimetodologici, in linea di massima, possa esse-re eseguita. Con questo capitolo conclusivovogliamo provare ad assemblare le varie no-zioni apprese fin qui, tratteggiando dei per-corsi valutativi completi; ne mostreremo leragioni, seguiremo le scelte metodologiche, eaccenneremo a come se l’è cavata il valutatorein alcune situazioni problematiche. Se fosserodei film dovremmo mettere in evidenza, neititoli di testa, ‘basato su una storia vera’. Gliesempi, infatti, ripercorrono esperienze auten-tiche fatte dall’Autore, ma a fini didattici sisono cambiate diverse circostanze e si sonoinventate situazioni che non si sono presenta-te nella realtà. Insomma: il contesto è sostan-zialmente inventato, mentre le soluzioni indi-cate riflettono quelle che, in casi più o menoanaloghi, l’Autore ha compiuto.

.��&#!�� (�""#"��&� !-#�#�#��&#��#

�#$%&'()'%L’Assessorato ai Servizi sociali di un Comunedi media grandezza ha affidato la gestione delServizio di Assistenza domiciliare anziani adalcune cooperative sociali locali. Al fine dimigliorare la qualità del servizio il Comune ele cooperative stabiliscono di realizzare unavalutazione intermedia finalizzata a innalzarela qualità delle performance degli operatori. Ilpercorso immaginato è il seguente: analizzia-mo il processo entro cui viene realizzato il ser-vizio e trasformiamo gli elementi positivi rile-vati in azioni più consapevoli da parte deglioperatori. Per il Comune si tratta di garantireai propri anziani assistiti un servizio di quali-tà costante, uniforme sul territorio, e di unlivello minimo controllato; per le cooperative

si tratta di realizzare un percorso qualificantedi formazione sul lavoro.

�*+%,#(-..--(/.0'./(#10#2'0'%+(Innanzitutto gli operatori di assistenzadomiciliare lavorano quasi tutti da anni, epotrebbero non gradire un intervento se nonben compreso; spesso poi questi operatori, chegeneralmente hanno un titolo di studio me-dio-basso, fanno un lavoro faticoso, ingrato epoco riconosciuto. Considerando anche i fer-menti attuali nel terzo settore c’è un possibilerischio di fraintendimento: la valutazione po-trebbe essere intesa come strumento di con-trollo da parte dei responsabili delle coopera-tive o, più probabilmente, da parte del Co-mune, il cui Servizio sociale è entrato diversevolte in frizione con gli operatori.

�+.-(30)./.0**+%$$.%Il valutatore incontra più volte il committenteprincipale, rappresentato dal dirigente dei Ser-vizi sociali, e il presidente della principale coo-perativa sociale, senza peraltro riuscire a incon-trarli congiuntamente. Mentre il dirigente ponel’enfasi sulla necessità di un servizio adeguatoai tempi, ricorda l’imminente riorganizzazionedei Servizi e il fatto che solo strutture accredi-tate e di qualità potranno concorrere alla lorogestione, alludendo di quando in quando a pas-sati episodi di lamentele di alcuni utenti, il pre-sidente sottolinea l’occasione di riqualificazionedegli operatori, si dichiara convinto che il mon-do del terzo settore sta cambiando e che biso-gna adeguarsi per competere, e precisa che glioperatori di assistenza domiciliare sono ingiu-stamente ritenuti poco professionali mentre,in realtà, sviluppano un’attività di grande re-sponsabilità in cui riversano ben più di quan-to prescritto nei capitolati.Non c’è nulla di incompatibile nei due discorsi,ma il valutatore ha la sensazione che le aspet-tative relative alla valutazione siano leggermen-

��E��

te diverse, e che possano nascondere alcuniproblemi, non esplicitati, fra Comune e coo-perative. Il valutatore non riesce a ottenere unmandato preciso, proprio perché c’è sostan-zialmente una doppia committenza: è il Co-mune che paga, ma sono le cooperative a esse-re agite dalla valutazione. Le aspettative sonostate esplicitate, ma solo oralmente, e in mododiscorsivo e un po’ confuso.A questo punto il valutatore sa cosa deve fare.

�#/.)(4&%/(##0+.$(+$0Il valutatore presenta il suo progetto per iscrittoal Comune e alle cooperative; con queste ulti-me riesce anche ad avere un incontro, al qualepartecipano i presidenti delle due cooperativee alcuni responsabili.Il progetto scritto è breve, chiaro, redatto perpunti; spiega che prodotti valutativi usciran-no dalle diverse fasi, quanto tempo si impie-gherà e quanto costerà. In poche righe finali ilvalutatore spiega, dal suo punto di vista, ilvalore complessivo del lavoro. Si tratta di unpaio di pagine in tutto, in cui i costi preventi-vati e i tempi previsti coincidono con quantoconcordato a voce.Nella riunione con le cooperative, invece, ilvalutatore – avendo tempo a disposizione epotendo approfittare dell’interazione con glioperatori – si dilunga sulla spiegazione dellevarie fasi, sottolineando la componente di par-tecipazione e coinvolgimento del suo approc-cio, cercando di stemperare eventuali ansie;risponde alle domande, mostra degli esempidi valutazione realizzati altrove, e conclude lariunione in un clima sereno. Appena gli arrival’incarico formale da parte del Comune ilvalutatore è pronto per iniziare.

�#4+2**%/.()*(+'.Il valutatore ha deciso per un approcciopartecipativo, che si snoderà attraverso unbrainstorming per definire le proprietà del ser-

vizio e un successivo SPO per definire i ran-ghi. La selezione del gruppo è fondamentale,e in questo caso anche delicata. Non solo ilgruppo deve saper descrivere efficacementel’evaluando (il servizio di assistenza domiciliareper anziani), ma la doppia committenza, lerelazioni fra Comune e cooperative, le aspet-tative non chiarissime, ecc., rendono la sele-zione e il reclutamento degli esperti anche unproblema diplomatico.Alla fine il valutatore decidere di dividere ide-almente il gruppo di esperti in tre blocchi: unterzo circa di provenienza dalle cooperative,un terzo circa dal comune e un altro terzo dasettori ‘neutrali’. Le ragioni di questa sceltasono, assieme, funzionali e diplomatiche: inogni caso il parere dall’interno delle due com-ponenti sarebbe stato fondamentale per orien-tare la valutazione verso gli obiettivi, pur va-ghi, proposti; e così facendo dà sicurezza allecooperative, che si vedono tutelate, ma dà alcontempo garanzie al Comune, che finanzial’impresa e ne ha comunque la responsabilitàpolitica.Alla fine il gruppo è composto da:– il presidente della cooperativa A;– il responsabile anziani della cooperativa A;– il responsabile amministrativo della coo-

perativa B;– il responsabile anziani della cooperativa B;– l’assessore comunale, che si occupa attiva-

mente da anni di servizi e che ha in animodi sviluppare le politiche sociali nel Comu-ne;

– il dirigente del Comune responsabile deiServizi sociali;

– l’assistente sociale comunale;– un esponente di un’associazione di volonta-

riato, piuttosto noto in città;– un medico dell’Unità geriatrica dell’Azien-

da sanitaria locale;– un sindacalista del Sindacato pensionati;– un geriatra dell’Università.

�� #� ��

�#,+0.&)'%+-.&4Il valutatore si impegna a far seguire le regoledel brainstorming e far esplorare tutte le com-ponenti principali del problema. I due respon-sabili delle cooperative restano stranamentemuti, forse intimoriti da alcune presenzetitolate, mentre i due geriatri si danno manforte in una logica eccessivamente sanitaria delproblema. Il valutatore rimpiange di non averbilanciato meglio il gruppo, inserendo anchequalche altra figura (per esempio un sociologodell’Università), e di non essersi assicurato chei responsabili anziani delle cooperative, altreal ruolo professionale, avessero anche quel po’di grinta che consentiva di far più apparire gliaspetti organizzativi e operativi del lavoro. Conun po’ di pazienza e senza forzare il gruppo,mettendo una parola qui e una là, pian pianoil valutatore, quando i geriatri hanno pratica-mente finito di esplorare le dimensioni che piùinteressano loro, riesce a stimolare il presiden-te della cooperativa e l’assistente sociale a por-tare le proposte verso gli operatori e il loro la-voro, finché anche i responsabili anziani nonsi svegliano dando alcuni contributi essenzia-li. L’assessore, dopo avere ribadito alcuni con-cetti che gli stanno particolarmente a cuore in-terviene poco, lasciando un po’ più campo alsuo dirigente.Alla fine la fase creativa del brainstorming sispegne, lasciando soddisfatto anche ilvalutatore che stima buono il lavoro realizza-to, inducendolo a passare al lavoro di classifi-cazione e poi di sintesi. Poiché la fasepropositiva è finita con la prima parte delbrainstorming, il lavoro finale è solamente uncompito che tutti svolgono diligentemente,senza alcun problema.

�0��Per le due dimensioni della SPO il valutatoreha le idee molto chiare: le due classiche dimen-sioni di efficacia interna ed esterna si coniuga-

no benissimo con la missione propria del Co-mune (realizzare un servizio di qualità nel ri-spetto dell’impostazione organizzativa che si èdata = efficacia interna) e con le aspirazioni dellecooperative (rispondere ai bisogni degli utentiattraverso una maggiore qualificazione deglioperatori = efficacia esterna). Poiché, poi, glianziani soggetti di assistenza hanno tipologieassai diverse fra loro, il gruppo decide di realiz-zare SPO distinte per gli anziani autosufficienti,per gli anziani non autosufficienti che vivonoin famiglia e, infine, per gli anziani non autosuf-ficienti soli.I panelist gerarchizzano le proprietà elaboratenel brainstorming per ciascuna delle due di-mensioni, e per ciascuno dei tre gruppi di an-ziani, quindi discutono, sotto la regia delvalutatore, per i casi non immediatamentecondivisi. La logica gerarchica è così sempliceda capire che sono pochi i casi controversi suiquali la discussione si prolunga un po’; conpoca fatica il valutatore conclude la sessionecon le due gerarchie condivise.

�0$%)'+25.%&(/(##0-0**0Le diciotto proprietà definite dal gruppo sonoora collocate su una griglia 18 per 18 che ilvalutatore disegna come riportato nella figu-ra 9.Tutte le proprietà che risultano collocate inalto a destra, sono proprietà che hanno rice-vuto ranghi preminenti sia dal punto di vistaorganizzativo-gestionale che dal punto di vi-sta della gravità del bisogno per l’utente. Sitratta in assoluto delle proprietà più gravi.Quelle in basso a destra, per esempio, sono didifficile gestione per l’operatore, mentre nonrappresentano un problema particolarmenteacuto per l’anziano; in alto a sinistra, vicever-sa, i problemi gravi per l’anziano che non com-portano particolari problemi gestionali perl’operatore; e così via. Ogni quadrante ha unasua ‘gravità’, e raccoglie uno o più indicatori.

��E��

�&*+.-%+.)2#'0'%La mappa come strumento di programmazio-ne. Il valutatore, a questo punto, ha prontoun primo risultato che ritiene possa risponde-re ai desideri delle cooperative. Con l’aiuto deiresponsabili anziani delle cooperative, e di ungruppetto selezionato di operatori, fra i piùesperti, nel corso di un paio di riunioni moltopartecipate costruisce una scheda di interven-to per l’operatore e una serie di definizionioperative per l’intervento che hanno più omeno questa scansione:� l’operatore, quando prende in carico un

nuovo anziano, inizia una nuova scheda, che

lo guida passo passo verso il primo approc-cio e la conoscenza dell’utente;

�dopo un adeguato lasso di tempo – 10-15giorni – l’operatore individua una serie diproblemi sanitari, sociali, relazionali, affet-tivi ecc., del suo utente; in qualunque modoli intenda descrivere, questi problemi van-no tradotti entro i 18 elementi problematicidescritti dal panel;

� l’operatore rapporta ciascun problema allamappa, per valutarne la gravità generale, erealizza programmi di intervento per cia-scuno di essi; la natura del programma, iltipo di impegno, e le aspettative di risulta-

��9�� $� ��

�

�� #� ��

to sono diverse a seconda della gravità sta-bilita dal gruppo di esperti; non più, quin-di, un intervento estemporaneo sull’anzia-no, basato esclusivamente sul buon senso,ma una procedura omogenea per tutti glioperatori, da scrivere sulla scheda sotto lasupervisione dei responsabili;

� inoltre, attribuendo un punteggio crescen-te a ciascun quadrante, a seconda della gra-vità, si può stimare la gravità complessivadell’anziano, e utilizzare questo valore comeindicatore dei carichi di lavoro di ciascunoperatore, per una migliore distribuzione dellavoro; successivamente, i responsabili del-le cooperative perfezionano il sistema, uti-lizzando questa mappa e i suoi quadrantiper una stima, approssimativa, delle ore dilavoro veramente necessarie per i diversianziani, e per negoziare con migliore argo-mentazione il monte ore disponibileappaltato dal Comune.

�&)($%&/%+.)2#'0'%La mappa come strumento di valutazione. Siapure in termini solo generali, e non vincolanti(il valutatore aveva ben spiegato funzioni e li-miti del lavoro), il Comune si trova uno stru-mento di valutazione del suo intervento; lastessa logica utilizzata nelle cooperative di at-tribuire un valore ai quadranti può infatti ser-vire al dirigente del Comune per calcolare, suinformazioni dei responsabili, la ‘gravità’ com-plessiva degli anziani soggetti al servizio, conla possibilità di tracciare una serie storica e dicomparare, in seguito, questo dato con la gra-vità di anziani non seguiti dal suo servizio.

�%&$#2).%&.Le cooperative hanno avuto uno strumentodi programmazione e il Comune uno di valu-tazione. Ma, soprattutto, il processo di costru-zione in comune di questi risultati ha avvici-nato le posizioni, uniformato, almeno in par-

te, i lessici e le culture del servizio, contribuitocomplessivamente a migliorarlo. Probabilmen-te i più contenti saranno gli anziani.

.��&#!�� #��!"!�#!"��#��#!

�#$%&'()'%L’assessore regionale ai Servizi sociali sta perpresentare al Consiglio Regionale il nuovo Pia-no sociale; per favorire la discussione intendepresentare, come materiale di riflessione, lavalutazione del precedente Piano regionalesociosanitario.Il Piano, quinquennale, scaduto già da alcunianni, sta per essere sostituito con strumenti diprogrammazione nuovi, e comunque separatifra sanitario e sociale (precedentemente le com-petenze erano unificate).

�*+%,#(-..--(/.0'./(#10#2'0'%+(Le belle speranze del valutatore si infrangonopresto davanti alla realtà propostagli dal com-mittente. Innanzitutto la valutazione non vie-ne chiesta come elemento di decisione macome momento di riflessione fra gli altri,sottostimandone le funzioni e la portata e ri-ducendo di molto il significato del mandatovalutativo. Ma, quel che più conta, il commit-tente chiede che il lavoro sia concluso entroquaranta giorni, termine perentorio stabilitodalla presentazione in aula del nuovo Piano,annunciando nel contempo che può destinar-vi una cifra modesta, dell’ordine di circa 15milioni.Un Piano sociosanitario è un programma com-plesso, ampio, articolato, ricco di indicazioniplurime sugli obiettivi di salute, sui mezzi coni quali conseguirli, e così via; e agisce, per anni,su un territorio vasto come quello di una re-gione. Per un’autentica valutazione del Pianooccorrerebbero diversi mesi, e non pochi de-

��E��

nari (i due elementi, naturalmente, hanno unrapporto reciproco inverso: più denaro è di-sponibile per la valutazione e meno tempo sipuò impiegare, almeno entro certi limiti). In-certo sulla bontà della sua decisione, ilvalutatore accetta la sfida e propone una boz-za di proposta dove sottolinea, in manieraesplicita e chiara, che:�la valutazione riguarderà solo i servizi so-

ciali territoriali indicati nel Piano, e nessu-n’altra parte dello stesso (scelta concordatacon il committente);

�dati i limiti di tempo e di risorse l’approc-cio potrà essere solo di tipo qualitativo,molto generale, e quindi poco sensibile;questo punto è ben spiegato, per noningenerare equivoci;

�ci si concentrerà inoltre, per gli stessi moti-vi, solo su alcuni aspetti dell’efficacia inter-na.

Il committente accetta la proposta e i limitiche contiene.

�+.-(30)./.0**+%$$.%Il valutatore ritiene di non avere molte scelte:l’efficacia interna dei servizi territoriali si va-luta raffrontando gli obiettivi di salute propridi questi servizi con i mezzi e le risorse a essidestinati; la domanda alla quale il valutatoreintende rispondere è la seguente: il Piano in-dirizzava le risorse adeguate agli obiettivi in-dicati? Il valutatore assume anche i seguentiprincipi:�nel mandato negoziato con il committente

non c’è alcun accenno all’efficacia esterna(se, cioè, quegli obiettivi fossero coerenticon i reali bisogni di salute, e se siano statieffettivamente raggiunti);

�non c’è neppure modo di verificare la vali-dità degli obiettivi prefissati rispetto alle co-noscenze e allo stato dell’arte dell’epoca incui il Piano venne redatto;

� con ‘risorse’ si devono intendere strutture,

risorse umane e linee programmatiche di in-dirizzo (come vincoli).

�#/.)(4&%/(##0+.$(+$0Nel contesto appena descritto la valutazionedeve prevedere il confronto fra risorse e obiet-tivi. Dove trovare l’indicazione delle risorse edegli obiettivi? Naturalmente nel Piano, pon-deroso volume di diverse centinaia di pagineche il valutatore, che non è un esperto in ma-teria sociosanitaria, non può ovviamente ana-lizzare da solo, con competenza, nei pochissi-mi giorni di tempo disponibili; né si può, sem-pre per mancanza di tempo, ricorrere a ungruppo di esperti per far individuare gli obiet-tivi, per esempio attraverso un brainstorming.Anche avendo tempo non sarebbe questa latecnica migliore; il brainstorming, e l’uso diesperti in analoghe circostanze, dà ottimi ri-sultati se occorre esprimere dei giudizi, non seoccorre riclassificare, riconoscere, analizzare,elementi pre-esistenti di un programma. Inquesto caso non ci sono giudizi da esprimere,occorre invece avere una competenza specifi-ca nel merito e saper individuare e sintetizzarealcuni elementi specifici.Data la situazione, il valutatore decide di affi-darsi a un consulente, con un incarico specifi-co. A un direttore generale di Azienda sanita-ria viene quindi affidato l’incarico di leggere ilPiano e di enuclearne mezzi e obiettivi. Lapersona viene identificata in base alla cono-scenza di massima del suo curriculum: è pre-parata, viene da un’esperienza decennale insanità, ha avuto più incarichi di rilievo e, spe-cialmente, proviene da fuori regione. Non solo,quindi, non ha in alcun modo collaborato allastesura del vecchio Piano, ma è – relativamen-te – fuori dalla rete politico-sanitaria regiona-le. Il consulente accetta, e in un paio di setti-mane produce una sintesi che illustra alvalutatore, e che questi reinterpreta adattan-dola alle sue esigenze. Il prodotto finale è una

�� #� ��

��:��#�� 1��

-�� <8��<�=� �

� ��<�8��<�=� ��$��

9$��8#

��

��"��

��7

8

��

��&

��"��

��

� ��

��

��$��

��

��&

��

��

��"��>��

�� $�� %��$$��$�� ,

��"�� $��

��"��

9��

��

��

��

��$��

�� $��)�88��$��$��

��)�88��8��

��"�,��"�� 88�

��

� ��

��

��

��

�&��

��$��

��"�� "��

��"��

��

��> '��$��

��

�� &��

9�� $��8#

��

griglia piuttosto complessa che mostra, sulfianco, una serie variegata e complessa di mezzie strumenti, e sulla testatina gli obiettivi, divi-si per gruppi logici. Nella figura 10 si può ve-dere come venne concepita la griglia.Nel frattempo il valutatore si occupava del re-clutamento di un ampio gruppo di esperti, aiquali far giudicare la rispondenza fra ciascunaazione, mezzo e strumento per ogni obiettivo.Per raggiungere questo fine adotta la tecnica a

‘palla di neve’: individua alcuni esperti localidi chiara fama, chiede loro di fornirgli una li-sta di esperti ed eventualmente chiede anche acostoro di fornire nominativi di esperti. Aquesto punto si trova diverse decine di nomifra i quali scegliere, a partire da coloro che han-no ricevuto più indicazioni.In questo caso gli esperti riguardano, comeprofilo, un po’ tutte le tipologie sociosanitariecompetenti di servizi territoriali, sia con ruoli

��E��

9$��"��8#4��"��$��8#

9$��

��

�"�

��

��

��

��

��

��

��

��$��

��&

��

��

��$��

��

��

��

��

��

��$��

��

��4

��

��

��

8��

��

��

��

��

��

��"��

��

��

��

�9/�)

��

��

&��

��

�&� ��4��&

��

��"��

��

��"��

&��4��

��

��

�'

��

��

'��%��

��

��

��

��

!��"��

��

7�"��

��

�

centrali che operativi, sparse un po’ in tutta laregione.

�04+.4#.0/.10#2'05.%&(Il consulente fornisce la griglia più o menoquando il valutatore ha completato la lista de-gli esperti: a tutti viene mandata la griglia, conuna lettera di invito a collaborare. Nella letteraviene chiaramente indicato l’obiettivo del lavo-ro, i limiti che lo vincolano e le regole per l’at-

tribuzione del giudizio (un voto da 1 a 5 in cia-scuna cella di intersezione fra mezzi e obietti-vi). Si provvederà poi a un contatto telefonicoper assicurarsi il maggior numero di risposte.

�+.)2#'0'.Al valutatore giungono, nei tempi fissati, ri-sposte sufficienti per dare validità al lavoro.Per ciascuna cella della griglia si osserva la di-stribuzione dei voti assegnati, tenendo in con-

��)��*�+,�-��.��

�� #� ��

siderazione in particolare la moda (ovvero ilvalore che ha ottenuto più frequenza). Tuttele celle che presentano una distribuzioneunimodale (la stragrande maggioranza) sonoconsiderate consensuali, e il valore di modaviene considerato il giudizio che il gruppo at-tribuisce alla congruità fra azione e obiettivo;le celle che non presentano una distribuzioneunimodale sarebbero da ridiscutere in grup-po, se il gruppo esistesse! Avendo realizzato unariunione di gruppo virtuale, il valutatore nonritiene opportuno mandare una seconda let-tera per la discussione dei casi non condivisi,e preferisce organizzare una sessione di discus-sione presso il suo studio con una ristretta maqualificata selezione dei suoi esperti, i qualidiscutono liberamente dei casi incerti propo-nendo ipotesi di soluzione (solo ipotesi, natu-ralmente, perché il gruppo ristretto non ha glistrumenti per interpretare le ragioni di unavotazione difforme di un gruppo più vasto).Il risultato consegnato al committente è un bre-ve rapporto di ricerca che fa perno sulla gri-glia, con un valore numerico da 1 a 5 su cia-scuna cella. Le celle non consensuali, o risoltenella discussione finale, sono evidenziate, e ilvalore che contengono indicato con cautela.Il rapporto ribadisce e precisa tutti i limiti dellavalutazione.

.�$��!"��#��"#"��-� #��&#!��6��!"� ��%!�-�&#!��

�#$%&'()'%La formazione professionale è un fondamenta-le strumento nelle politiche del lavoro, gestitadalle Regioni e dalle Provincie (in maniera dif-ferenziata e con deleghe leggermente diverse daRegione a Regione) che periodicamente met-tono a bando dei fondi comunitari destinati aspecifiche politiche formative: a favore di gio-vani disoccupati, a favore di occupati a rischio

di espulsione dal mercato del lavoro, a favoredi donne che intendono creare impresa, ecc.Nel caso di cui ci occupiamo qui, una Provin-cia piuttosto vivace, che già gestisce molta for-mazione professionale, intende migliorare il si-stema di valutazione attraverso il quale si sele-zionano i progetti migliori per ammetterli alfinanziamento, nella convinzione che un mi-glior sistema valutativo contribuisca a miglio-rare le performance del sistema nel suo insieme.

�+.-(30)./.0**+%$$.%La valutazione ex ante dei progetti formativiviene realizzata ormai da molto tempo, e cisono diverse esperienze piuttosto valide anchein Italia. Inserendosi nel solco delle cose giàesistenti, quindi, il valutatore propone di rea-lizzare un sistema valutativo chiaro e traspa-rente, partendo dalle competenze degli stessifunzionari provinciali implicati. Il valutatore,però, propone al committente questa riflessio-ne: la sola valutazione ex ante dei progetti nongarantisce sufficientemente della qualità com-plessiva della formazione per il semplice mo-tivo che è un tipo di valutazione è assoluta-mente autoreferenziale anche se ben fatta.Ciò significa che i valutatori che dovranno se-lezionare i progetti avranno una grande quan-tità di elementi di giudizio (tutte le varie di-chiarazioni che i proponenti faranno in rela-zione al loro progetto didattico, ai docenti cheintendono utilizzare, ai costi, ecc.), tutte peròbasate su semplici dichiarazioni presuntive; unprogetto, infatti, è un testo che dice “noi fare-mo…”, e anche se siamo certi della buona fededel proponente si sa per esperienza che tantiaspetti del progetto cambieranno per cause diforza maggiore. È la concreta gestione del pro-getto, la capacità di intervenire al meglio inquesti cambiamenti, che rende buona un’azio-ne formativa. L’esempio migliore per compren-dere questo elemento è il seguente: general-mente, nei formulari adottati per guidare i

��E��

proponenti nella redazione di un progettoformativo, c’è una parte relativa alle motiva-zioni; in questa parte il proponente spiegaperché, a suo avviso, questo corso sarà utileper rispondere alle richieste del bando. È quiche si scriverà che il territorio è carente di cer-te qualifiche, per esempio, che invece sonomolto richieste dal mercato del lavoro, che unacerta impostazione didattica favorirà le politi-che del lavoro e così via. Se l’estensore del pro-getto è bravo, tali dichiarazioni sarannosuffragate da dati statistici, o più probabilmen-te da titoli di libri, riviste e giornali contenen-ti informazioni a sostegno di queste tesi. Insede di comitato di valutazione dei progetti ivalutatori, che sono in generale funzionaripubblici, esperti sì, ma non onniscienti, si tro-vano a leggere tali dichiarazioni e a giudicarleveritiere, pertinenti, convincenti, oppure no,sulla base delle loro conoscenze e, più spesso,sulla base di quanto l’estensore è stato convin-cente. Insomma: spesso le capacità retorichedegli estensori dei progetti finiscono con il pre-miare il finanziamento di corsi formativi inrealtà poco utili, gestiti male, e così via.Il valutatore propone questa riflessione, con-cludendo che sarebbe veramente opportunorealizzare anche un secondo sistema, per la va-lutazione ex post delle azioni formative, ovvero:cosa accade veramente ai corsi finanziati? Èpossibile valutarli, per poi dare un premio, ostabilire una sanzione, a coloro che fanno bene,o fanno male, il corso finanziato? Il commit-tente approva questa idea, e il valutatore co-struisce, quindi, due sistemi valutativi correlati.Naturalmente ci sono altri problemi: costrui-re tutto questo sistema implica personale qua-lificato e un sistema informativo interno. Peril primo problema si conviene di realizzare unapproccio partecipato, che costituisca forma-zione per i funzionari provinciali. Il secondoproblema è più complesso, perché implica unariorganizzazione e ristrutturazione degli uffi-

ci; poiché ciò non pare possibile nell’imme-diato, per la valutazione ex post delle azioniformative il valutatore sceglie una soluzionebasata sulle disponibilità organizzative attualie reali, anche a costo di realizzare un sistemameno sensibile.

�#/.)(4&%/(##0+.$(+$0Il lavoro viene distinto in due fasi: nella pri-ma si realizzerà il sistema di valutazione ex antedei progetti e nella seconda la valutazione expost delle azioni formative.Nel primo caso l’approccio partecipato rical-ca uno schema abbastanza classico: definizio-ne del campo di attributi tramite un brainstor-ming con personale provinciale, poi attribu-zione di pesi alle proprietà selezionate, quindioperazionalizzazione degli indicatori, infinecostruzione di una griglia di valutazione chespieghi, indicatore per indicatore, come vienemisurato. Le future schede progettuali saran-no redatte in maniera da poter essere valutatecon questa griglia, così da poter assegnare unpunteggio a ogni progetto e ammettere a fi-nanziamento quelli che hanno ottenuto pun-teggi più alti.Il clima collaborativo e la relativa semplicitàdell’operazione decretano il successo di que-sta prima fase, poi sperimentata e sottopostaa verifiche mentre si procede con la secondaparte, che pone subito dei problemi:�politico-istituzionali: malgrado le buone

intenzioni insite nella valutazione questadeve essere compresa e accettata dai nume-rosi proponenti sul territorio; sembra diffi-cile avviare subito sistemi complessi laddoveprima non c’era nulla, senza realizzare per-corsi graduali;

�organizzativi: la valutazione ex post delleazioni formative, per essere utile, deve esse-re collegata alla valutazione ex ante, devegestire una certa quantità di informazioni,deve prevedere una certa organizzazione;

�� #� ��

poiché non si ravvisano garanzie circa unarapida organizzazione e informatizzazionedegli uffici in relazione alla valutazione,sembra necessario procedere a piccoli pas-si, basandosi su un esame di realtà circa ciòche è realmente possibile realizzare;

�metodologici: mentre la valutazione ex antedei progetti può essere facilmente trasformatain aspetti tecnici (variabili da misurare), lavalutazione ex post delle azioni formative èassai più complessa e delicata, perché impli-ca la definizione di ‘qualità’ dell’azione.

È per questo che il valutatore, in questa se-conda fase, preferisce un approccio diverso:realizzare la valutazione ex post a partire da ciòche è già disponibile in quanto a informazionie loro gestione.

�0)(#(5.%&(/(4#..&/.$0'%+.Per raggiungere le sue finalità il valutatore noncerca di ridefinire il campo degli attributi, peresempio con un nuovo brainstorming, ma in-dividua, con l’aiuto dei funzionari provincia-li, il tipo di informazioni già disponibili.Nel campo della formazione professionale laProvincia ha tre fonti informative: le visiteispettive, che vengono realizzate da propri fun-zionari; la rendicontazione finanziaria a fineprogetto; le notifiche, inviate a cura dei gesto-ri del corso, delle modifiche necessarie a corsoavviato (cambio di docenti, di sede, di orari,ecc.).Il valutatore – con l’aiuto dei funzionari –analizza a fondo queste tre fonti informative ene individua le informazioni fornite. Il risul-tato è un coacervo di informazioni di svariatanatura: alcune importanti per il giudizio sullaqualità del corso (per esempio avere cambiatoi docenti previsti inizialmente, con nuovi do-centi meno affidabili è certamente indice dideprezzamento nella qualità complessiva delcorso), altre meno rilevanti (per esempio ilcorretto uso del registro, certo importante a

fini ispettivi ma, in sé, non sempre utile indi-catore di qualità); alcune incontrovertibili (pre-senza/assenza degli allievi in aula) altre opina-bili (tutte quelle che riguardano un giudiziosoggettivo sulla ‘qualità di …’).L’idea del valutatore è di lavorare sulla qualitàdi questi indicatori disponibili; con i funzio-nari realizza quindi una SPO dove vengonogerarchizzate non già le qualità richieste alcorso, ma le qualità degli indicatori. Le duedimensioni della SPO divengono, così, la ‘sen-sibilità’ (quanto gli indicatori dicano a pro-posito della qualità del corso) e l’‘affidabilità’(quanto siano incontrovertibili, non soggettia eccessiva interpretazione impugnabile, poi,dai gestori dei corsi).Al termine della SPO il valutatore produce la‘mappa’ degli indicatori disponibili riprodot-ta nella figura 11.Solo quelli inclusi nei sei quadranti in alto adestra (quelli con il segno di spunta) sarannopoi ritenuti idonei per la successiva trasfor-mazione in concreti strumenti di misurazionee valutazione delle azioni formative

�%&)(42(&5(%*(+0'.1(Il sistema di valutazione ex post è uno stru-mento di attribuzione di punteggi alle con-crete performance realizzate dai gestori di pro-getti formativi. Il punteggio che ottengono èbasato su una scelta delle migliori informa-zioni disponibili, desunte dalle dichiarazio-ni, dalle visite ispettive, dalla rendicontazione.Il comitato provinciale di valutazione, attra-verso un semplice sistema predisposto dalvalutatore, trasforma questo punteggio in uncoefficiente che servirà, nella successiva tor-nata di valutazione ex ante di progetti, a mo-dificare il punteggio ottenuto. Modificarlo inmeglio, se il propositore di nuovi progetti harealizzato una buona gestione precedente-mente; modificarlo in peggio in caso diver-so.

��E��

Naturalmente, il sistema è poi stato presenta-to a tutti gli attori sociali rilevanti del territo-rio, perché questo sistema valutativo non in-tende essere una sorta di controllo punitivo,strumento ideato per trovare e punire i cattivigestori di formazione; al contrario, è uno stru-mento di miglioramento del sistema, perché iprogettisti, i proponenti e i gestori di forma-zione conoscano in anticipo il sistema di va-lutazione e possano prendere ogni provvedi-mento utile per realizzare una buona gestio-ne, ottenendo, la volta successiva, il previsto‘premio’.

.�'��&#!�� !-��#��&#!��**�#��

�#$%&'()'%La maggior parte dei servizi erogati da (o perconto di) un’Amministrazione pubblica, ne-cessitano di un adeguato sistema di informa-zione-comunicazione. L’informazione, qui,significa mettere in campo strategie e risorsespecifiche per comunicare, a tutti gli interes-sati, che esiste un tale servizio, che funzionanel tale modo, ecc. La comunicazione signifi-ca la capacità di dialogare con gli utenti po-

��

�� #� ��

tenziali e reali, rispondere alle loro domandeed esigenze, e quindi intervenire. Esempi tipi-ci di necessità da parte di un Ente erogatore dicomunicare sono i seguenti:�proposta di un bando di gara: ce ne sono

infiniti, per gran parte finanziati o co-fi-nanziati dai Fondi strutturali europei (lamaggior parte della formazione professio-nale è finanziata in questo modo), altri fi-nanziati da Ministeri, Regioni, altre Istitu-zioni (per finanziamenti relativi a progettidi prevenzione, sperimentazione, ricerca,ecc. nel campo sociale, sanitario, ecc.);

� informazione circa la presenza di un servi-zio: può essere il caso di un nuovo servizio,di cui far conoscere l’apertura, oppure di unovecchio di cui si siano modificati alcuni aspet-ti gestionali; in questo caso si tratta di infor-mare gli utenti reali e quelli potenziali diquesta presenza, o di questo cambiamento;

� informazioni specifiche riguardo un even-to: un esempio è la comunicazione in emer-genza, per informare i cittadini, dopo unevento calamitoso, dei comportamenti daassumere, dei referenti da contattare, deicentri di raccolta dove dirigersi.

Nel nostro esempio ci riferiamo al caso dellacomunicazione che l’Istituzione deve avviareverso i potenziali beneficiari di un bando pub-blico, che prevede sovvenzioni per i titolari diparticolari condizioni (possiamo immagina-re, per esempio, aiuti per gli allevatori di par-ticolari specie animali; parziale finanziamen-to per la ristrutturazione di vecchi alberghi; lacreazione di consorzi di produttori per l’ac-cesso a benefici; ecc.).

�*+%,#(-..--(/.0'./(#10#2'0'%+(La prima constatazione è che l’Ente erogatore,in questo caso la Regione, non ha alcuna pre-parazione in merito alla corretta comunicazio-ne con i cittadini; esiste un Ufficio stampa,

naturalmente, che però svolge tutt’altre fun-zioni, e per il resto ogni Ufficio, responsabiledi un certo programma, organizza la comuni-cazione in base al proprio buon senso, som-mando le funzioni comunicative a quelle spe-cifiche di ciascun funzionario. La sensibilità auna corretta comunicazione è piuttosto vaga,intesa più come atto amministrativo che noncome impegno verso una comunicazione chedeve essere compresa dal target appropriato.In questa fase il valutatore non ha un mandatopreciso, salvo quello di collaborare con un grup-po di consulenti per allestire una migliore cam-pagna comunicativa della Regione riguardoimportanti fondi pubblici ai quali accedere.Nel gruppo vi sono esperti di comunicazioneche hanno già un’adeguata competenza versogli aspetti tecnici del problema; il valutatoredecide di introdurre elementi di ‘culturavalutativa’ nel programma, non solo e non tan-to per valutare questa campagna informativa,quanto piuttosto per sviluppare una sensibili-tà specifica verso quei funzionari chiamati asvolgere, anche in futuro, questo ruolo.

�+.-(30)./.0**+%$$.%Il valutatore realizza colloqui preliminari conuna molteplicità di dirigenti e funzionari re-gionali per comprendere il funzionamentogenerale, il ruolo, le principali problematichedella comunicazione pubblica. Ciò che neemerge è sostanzialmente questo:� ogni Ufficio, ogni Settore, ogni singolo fun-

zionario con una responsabilità diretta suuna parte specifica del programma realizzasue strategie comunicative, indipendente-mente da ogni altro collega e senza approc-ci unitari al problema;

�le strategie comunicative sono le più dispa-rate, a seconda della fantasia e della culturadel funzionario: bandi pubblici affissi nellecittà, con rigido linguaggio burocratico;brochure inviate a pioggia con la collaborazio-

��E��

ne delle associazioni di categoria; incontridiretti con i potenziali beneficiari, realizzatiin diversi centri regionali; ecc.;

�questi diversi approcci affondano le radicinel buon senso di ciascuno, e sempre ‘a naso’ciascun responsabile stima l’efficacia dell’in-tervento realizzato; solitamente, il sistemache più garantisce l’effettivo raggiungimen-to di tutti i potenziali beneficiari è la reitera-zione dell’intervento, mentre sull’effettivacomprensione del messaggio ci si affida alcaso.

Mentre realizza questi colloqui, il valutatore siinforma in merito allo ‘stato dell’arte’ in mate-ria, scoprendo comunque che sulla valutazionedella comunicazione pubblica non esiste prati-camente nulla. Occorre inventarsi tutto.

�0*+%*%)'010#2'0'.10Il valutatore capisce che il problema principa-le non è l’organizzazione del messaggio; i di-versi altri consulenti sono in grado di suggeri-re le strategie migliori in questo senso. Il pro-blema più interessante è dare strumenti ai fun-zionari affinché sappiano coordinare i tecnicidella comunicazione (grafici, ecc.), in mododa ottimizzare l’efficacia comunicativa, e stru-menti per valutare il grado di efficacia effetti-vamente raggiunto.Il progetto che il valutatore propone, quindi,è relativo a uno strumento di valutazione com-petente (vedi box dei concetti chiave in codaal paragrafo 1.3) per la gestione dell’efficaciacomunicativa; questo si tradurrà in una ‘lineaguida’ che i funzionari dovranno usare in que-sti casi.

�#(-(&'.)$0'2+.'./0##0*+%*%)'0 La comunicazione viene riferita a tre ambitiproblematici: gli attori, i mezzi e il contesto.Gli ‘attori’ sono tutti coloro che sono coin-volti dal processo comunicativo: i beneficiaridella comunicazione, innanzitutto, ma poi i

funzionari stessi che devono comunicare, gliindispensabili intermediari (associazioni dicategoria, per esempio); i ‘mezzi’ sono gli stru-menti comunicativi: manifesti, opuscoli, an-nunci radio, e così via; il ‘contesto’ si riferisceessenzialmente a due aspetti fortementecorrelati: l’orizzonte culturale presunto deibeneficiari e il loro contesto ambientale (rura-le-isolato, cittadino, ecc.).Per ciascuno di questi ambiti problematici sianalizza l’approccio valutativo principale. A ti-tolo di esempio, nella figura 12 si riporta lo sche-ma relativo agli approcci comunicativi e valu-tativi relativi ai diversi tipi popolazione target(analoghi schemi sono forniti, dal valutatore,per i diversi contesti, mezzi di comunicazione,ecc.).Per ciascuna ipotesi valutativa, indicata conuna lettera nell’ultima colonna, il valutatoreprovvede a redigere una scheda che spiega mi-nutamente, al funzionario, cosa debba fare.

�#+.)2#'0'%6()(-*.%/.10#2'05.%7&(�$%-*('(&'(�Il valutatore non si è posto, in questa circo-stanza, come giudice e misuratore di compor-tamenti, ma come consulente-formatore cheintende agire nel processo per un suo miglio-ramento complessivo.Per fare ciò il valutatore parte dalla constata-zione che in questo caso (valutazione dellacomunicazione pubblica) ai funzionari e diri-genti regionali viene assegnato un ruoloaggiuntivo e per certi versi improprio (quellodi comunicatore) la cui valutazione non puòtradursi in un aggravio di compiti, o in com-piti complessi non compatibili con il loro tra-dizionale ruolo.Una riflessione generale sulla necessità di ap-procci comunicativi diversi (prime colonnedella figura 12) si coniuga quindi con propo-ste valutative veramente semplici, a volte ele-mentari, ma di facile esecuzione.

�� #� ��

.�.��&#!�� (#��!�"#��#��#�!

�#$%&'()'%Il responsabile di un Servizio di Salute menta-le di un’Azienda USL matura la convinzione,assieme ad alcuni suoi collaboratori, che siapossibile migliorare la qualità della vita deipazienti schizofrenici attraverso un nuovo pro-gramma che preveda essenzialmente tre ele-menti di base:

�� $�� 8�� 8�� +��,

8��$$�� +��4��4�� 4��6,

8��"��4��"��4��$��?��$��%��

��"��&$��?��?"�� ?��$�� @9#4��4��6

�,��$��%��?

#,�� ?

�,�� "��&��"�� ?

7,�� "��'��$��"��?

/,�� "��

��4��4��"�� 4��4��6+$��4� �� 4��4��6,

��4��"�� ?��"��A��4��4��"��

��4��"�� ?��?�� ?��6

��,��/,��,��%��

��$�� 4��"��4��4��%�� $��4��"��$��4��6

��4��4��"��4�'��$��"��'��"�$��"��

��"��4��$��4��"��$��

�� "��?�� ?��$��?��6

7,��/,��-,�!��%��F��4

��$��

/��4��

�� /�� $��

/,��-,��B,�� "��

�� ,��/��

��"��

��(��4��#� �4��&��)�$��4��*5524��6�116

��*�� 7��

� l’approccio integrato fra competenze pretta-mente sanitarie e aspetti riabilitativi, socio-assistenziali, socio-relazionali, ecc.;

�il conseguente coinvolgimento di più e di-versi attori sociali: oltre allo psichiatra, quin-di, anche gli infermieri, gli operatori dellariabilitazione e dell’integrazione sociale, ifamiliari del paziente e, naturalmente, ilpaziente stesso;

�una terapia farmacologica diversa da quellafino ad allora utilizzata, con farmaci idoneia mantenere una risposta vigile del pazien-

��E��

te tale da consentire l’effettiva realizzazionedi un recupero, anche parziale, nel conte-sto sociale e familiare.

L’uso, infatti, dei cosiddetti antipsicotici in luo-go dei neurolettici, quando questi ultimi nonaiutano lo sviluppo di un efficace programmaterapeutico-riabilitativo, può modificare il si-stema di relazioni che si dà nell’agire dei varioperatori di un Servizio di Salute mentale, e la‘sorpresa’ che ciò comporta necessita di un’azio-ne preparatoria, di una condivisione del pro-getto, e specialmente di un monitoraggio e va-lutazione del processo innescato.Il problema vero, per il responsabile, non ètanto la realizzazione del programma in sé, mala disponibilità che gli altri attori sociali offri-ranno per l’introduzione di questo diversoagire; gli infermieri più anziani, per esempio,abituati a pazienti più passivi, reagiranno op-portunamente a un programma che richiedeloro, non più una risposta standardizzata tesaalla sedazione del paziente, ma un atteggia-mento flessibile alle sue reazioni/richieste? Egli stessi familiari come reagiranno? I pazien-ti, poi, come vivranno concretamente questamaggiore possibilità di vita e di iniziativa cheviene offerta loro?Il responsabile sa che chiede uno sforzo mag-giore a molte figure professionali, alcune conuna formazione antiquata e abitudini conso-lidate; sa che la stessa famiglia del pazientepotrebbe spaventarsi, in qualche modo, per lanuova reattività del loro familiare; sa che sen-za una collaborazione di tutti il progetto è de-stinato a fallire.

�+.-(30)./.0**+%$$.%La risposta viene impostata con la ‘complici-tà’ della valutazione. Il responsabile, nel pro-porre ai collaboratori il progetto, lo inseriscein un contesto valutativo avente i seguentiobiettivi:�verificare la bontà del nuovo percorso, in-

terromperlo se del caso (funzione rassicu-rativa: ‘Abbiamo uno strumento che ci puòindicare un’uscita di sicurezza’);

� adattare il programma, correggerne in cor-so d’opera le eventuali disfunzionalità im-parando dagli errori e dai successi (funzio-ne riflessiva e formativa: ‘Facciamo benequello che abbiamo deciso di fare, impa-rando a fare meglio’);

� creare consenso da parte di tutti i soggetticoinvolti, in particolare quelli più resistenticome il personale anziano, alcuni familiari,ecc. (funzione negoziale: ‘Il progetto non civiene imposto, non cade dall’alto, ma vienefatto da tutti noi in forma condivisa’);

�verificare un modello, per esportarlo in al-tre situazioni (funzione scientifica: ‘Ciò chefacciamo non serve solo a noi perché ha unvalore in sé’).

Facendo leva sui reali obiettivi della valuta-zione (riflettere, imparare, formare, condivi-dere, interpretare) si mettono da parte – al-meno un po’ – i dubbi di tutti, e il progettopuò partire.

�#/.)(4&%/(##0+.$(+$0Per attraversare le competenze e i linguaggi ditutti (compresi soggetti poco scolarizzati, lon-tani dalle problematiche dello specialista) ilvalutatore incaricato decide di realizzare delleschede di rilevazione piuttosto semplici per ifamiliari, gli utenti e il personale operativo di‘prima linea’ (infermieri psichiatrici, operato-ri della riabilitazione, ecc.), e concorda con ilresponsabile del Servizio una scheda più spe-cifica per gli aspetti psichiatrici e farmacologicidi competenza degli specialisti.Le diverse schede vengono testate, illustrate agliaddetti e definite nei diversi aspetti operativi.Per ogni paziente c’è un intero set di schede,da compilare da parte di ciascun addetto cheformano un vero e proprio ‘quaderno’. Que-sto quaderno contiene in sé gli strumenti per

�� #� ��

rispondere in maniera integrata a una serie didomande riguardanti:� la valutazione delle abilità e dei comporta-

menti del paziente prima, durante e dopol’attuazione del programma;

� la valutazione della partecipazione al trat-tamento farmacologico del paziente;

� la valutazione della sua qualità di vita;� l’esperienza soggettiva alla terapia farmaco-

logica;� il livello di soddisfazione espresso da un al-

tro attore di quell’agire terapeutico: lo psi-chiatra;

� il livello di soddisfazione espresso dai fami-liari;

� il livello di soddisfazione espresso dal pa-ziente.

Il valore aggiunto di questo processo non sta,naturalmente, nelle singole schede valutative,ma nel loro utilizzo.Per evitare che il tutto venga percepito comeulteriore adempimento burocratico, tanto dafinire presto nel dimenticatoio delle idee nonpraticabili, il valutatore assicura una velocerestituzione dei dati elaborati; inizialmenteogni bimestre, poi in periodi più lunghi, ilvalutatore fornisce a tutti gli interessati i datiincrociati desunti dalle diverse schede, in modoche lo stesso paziente viene ‘letto’ da punti divista diversi, tramite l’ausilio di scale, test epiccole batterie di domande.Il lavoro vero inizia dopo, con la discussio-ne sulle discrepanze, la programmazione dellavoro basata sui risultati delle schede e, so-prattutto, sulla base di una valutazione della‘qualità paragonata’, del confronto, cioè, conaltri operatori e altre équipe che hanno vo-luto e potuto utilizzare il medesimo pro-gramma e, dunque, le stesse procedurevalutative.

�%&)(42(&5(Le schede di valutazione vengono modificate

più volte durante il primo anno. Il valutatorene è contento, perché tali modifiche rappre-sentano l’uso attivo, la voglia di confronto, l’in-teresse per i risultati. Man mano si aggiungo-no e tolgono domande, scale, ecc.Una riflessione specifica viene fatta a propo-sito del ruolo del paziente. Tutto il progettoruota attorno a lui, e in valutazione questo haun significato ben preciso. Il valutatore, sen-tito il responsabile, decide quindi di dargli unospazio particolare; non solo amplia e detta-glia la scheda che lui deve compilare, ma unaserie di voci relative alla sua soddisfazione ven-gono incluse in più schede oltre a quella delpaziente: in quella del familiare, dello psichia-tra e dell’infermiere. In questo modo ilvalutatore vuole ‘triangolare’, chiedendolo apiù soggetti, quello che è uno dei principaliindicatori da porre al centro di qualunque ser-vizio alla persona. Ma poiché si tratta di unindicatore complesso, vago, intangibile, mu-tevole, porlo al centro della riflessione dei di-versi attori implicati nel processo psichiatricocomporta una conseguente riflessione piùampia, la necessità di discutere e confrontarsinel gruppo. Ed è anche questa più importan-te discussione di gruppo, e la volontà di ap-profondire metodiche comuni, un’ulterioreconseguenza del processo valutativo, oltre alsostegno alla programmazione del servizio, allaprogettazione individualizzata sul caso, al con-trollo di qualità. Processo che, a sua volta, aprea un ulteriore – per altro contiguo – contestovalutativo, che riguarda le modalitàorganizzative di un servizio territoriale di sa-lute mentale e, dunque, la capacità di ricono-scere e valutare le risorse poste in campo inragione degli obiettivi che si intendono rag-giungere.In tal modo, alla valutazione della qualità del-l’intervento tecnico si può aggiungere la valu-tazione dell’efficacia organizzativa e gestionaledel servizio.

Azioni / Strumenti / Mezzi indicati dal Piano per ilraggiungimento degli obiettivi di salute

Obiettivi generali dell’ASB Obiettivi non specifici dell’ASB, ma in parteriferibili anche all’ASB

Obiettivi comuni e trasversali

Lotta

con

tro le

mal

attie

infe

ttive

e AI

DS

Tute

la m

ater

no-

infa

ntile

e d

onna

Tute

la s

alut

ean

zian

i

Lotta

con

tro il

diab

ete

Prev

enzi

one

stat

idi

toss

ico-

dipe

nden

za

Prev

enzi

one

mal

form

azio

nie

altre

mal

attie

cong

enite

Lotta

con

tro le

card

iopa

tie

Lotta

con

tro le

cere

brov

ascu

-lo

patie

Trat

tam

enti

riabi

litat

ivi

degl

i han

dica

p

Lotta

alle

mal

attie

neop

last

iche

Riab

ilita

zion

e

Prom

ozio

nest

ili d

i vita

,ed

ucaz

ione

sani

taria

Sorv

eglia

nza

anda

men

toep

idem

iolo

gic

o in

form

azio

nist

atis

tiche

per

l’OER

U

Con

solid

amen

-to

delle

vac

ci-

nazi

oni,

pre-

venz

ione

tum

ori s

fera

geni

tale

fem

-m

inile

, re

gist

rode

ll’ha

ndic

apac

quis

ito

Con

trolli

di

qual

ità e

mon

itora

ggio

su s

truttu

re e

serv

izi

Qua

lific

azio

nede

l per

sona

le

Def

iniz

ione

di

prot

ocol

li

parametri di riferimento per l'adeguamento del settoreprevenzione educazione sanitaria e medicina legale

articolazione del laboratorio multizonale di epidemiologia esanità pubblica in dipartimenti laboratori e servizi)

parametri di riferimento per la strutturazione del gruppo dilavoro del distretto di base

parametri di riferimento per la strutturazione dei servizi diassistenza ai tossicodipendenti

elenco delle prestazioni specialistiche decentrabili presso tutte leULSS e livelli ambulatoriali e poliambulatoriali di erogazione

criteri di riparto tra le ULSS del FSR per le spese correnti

punto f )dei criteri per il finanziamento del Piano straordinarioper gli investimenti nel patrimonio edilizio e nelle attrezzaturetecnologiche del SSR

parametri di riferimento per la sezione formazione del personale

verificare la distrettualizzazione

costituire i comitati partecipativi

costituire l'équipe di base e il coordinatore

avviare sperimentazione di integrazione con i medici dimedicina generale

integrazione socio-sanitaria

relazione annuale di distretto

��

.�� 5��"��#�>��

��5�� "�

�� "��

�� #�$��

��

�� !��#

��

�� #� ��

�� - rappresentazione grafica degliobiettivi di un programma, progetto o servizio, con idiversi livelli gerarchici (obiettivi generali, interme-di, specifici) e le relazioni fra di loro. [4.2]

�� - analisi statistica di dati prodotti dauna ricerca con questionario, in cui le variabili regi-strate vengono analizzate a coppia; questo produce,generalmente, tabelle a doppia entrata. [4.4]

�� $�� - tecnica di ricerca valutativa checerca di mettere a confronto il totale del valore eco-nomico dei costi (inclusi quelli sociali, ambientali,ecc.) di un progetto e dei suoi impatti, con il valoreeconomico dei benefici sociali ottenibili. [4.2]

�� - analisi statistica di dati pro-dotti da una ricerca con questionario, in cui le va-riabili registrate vengono analizzate singolarmente,una per una; questo tipo di analisi è molto sempli-ce, e propone una ridotta quantità di informazioni.[4.4]

�� - nome di una famiglia di tecnichediverse che cerca di comparare, con unità di misureastratte (punteggi di scala), proprietà altrimenti nonriconducibili alla stessa unità di misura; la SPO puòessere considerata una tecnica multicriteriale.

�� - analisi statistica di dati prodottida una ricerca con questionario, in cui le variabiliregistrate vengono analizzate a gruppi; è realizzabilesolo con programmi informatici complessi. [4.4]

��#�� !��" - le moderne tecnolo-gie informatiche consentono di immagazzinare quan-tità notevoli di dati, e di trattarli poi in maniera ver-satile, costruendo tabelle, grafici, indici, elaborazio-ni varie; la sede in cui vengono conservati questi dati,e la struttura organizzativa stessa, vengono chiamati‘archivio elettronico’. [4.3]

�� - lo spazio di discussione che vieneaperto alla fine della valutazione, chiedendo a ungruppo più o meno ampio di persone, che non han-no partecipato alla valutazione, di commentarne irisultati. [3.8]

�� - riflettere di un problema dall’in-terno, senza la possibilità di aprirsi a importanti ele-menti riflessivi esterni; in sintesi: parlarsi addosso.[3.8]

�� - termine generico per indicare chi (perso-na, gruppo) riceve il beneficio del programma (incen-tivi economici, corsi di formazione, assistenza sanita-

ria, ecc.) o del servizio (assistenza domiciliare,segretariato, ecc.); in questo testo i termini ‘beneficia-rio’, ‘operatore’ e ‘decisore’ sono utilizzati per descri-vere, genericamente, i tre principali ruoli coinvolti nellavalutazione. [1.3]

�� - tecnica di discussione fra un gruppodi esperti (cfr. ‘esperto’) finalizzata alla produzionepiù completa possibile di elementi descrittividell’evaluando, al fine di stilarne un elenco di indi-catori. È una tecnica molto efficace, generalmentegradita ai partecipanti perché consente un’elabora-zione libera senza implicazioni negative legate alledinamiche di gruppo. [3.5]

�� - termine inglese che si potrebbe tradurre con‘essere cotti’; essere cotti e non poterne più del lavo-ro che si fa, della sua fatica, delle sue scarsegratificazioni, anche perché, per quanto si fa, non sene vede mai la fine. È una tipica sindrome del lavo-ratore sociale dopo anni di attività. [2.1]

�� - una parte della popolazione sulla quale re-alizziamo un’indagine; il campione deve avere le stessecaratteristiche dell’intera popolazione dalla quale èestratto (la stessa proporzione fra maschi e femmine,fra laureati e diplomati, ecc.); in questo caso si chia-ma ‘campione rappresentativo’. [3.4]

��- caratteristica delle proprietà dell’evaluando,per la quale viene dato, a ciascuna, un valore assolu-to lungo una scala prefissata di valori (per esempio1-5, 1-10, ecc.). [3.6]

%&'(� - acronimo per Computer Assisted (o Aided)Telephone Interviewing, che significa intervista tele-fonica supportata dal computer. [4.4]

��- chi paga la valutazione; può essere unodei decisori, può essere un operatore con un ruolo diresponsabilità, potrebbero essere gli stessi operatoridi base; quanto più il committente ha un ruolo dipotere decisionale sul servizio valutato, tanto più ènecessario negoziare con lui il mandato valutativo ecomprenderne bene le finalità. [3.2]

�� - processo cognitivo di soluzionedei problemi complessi; è una ‘tecnica’ estremamen-te flessibile e versatile che consente, fra l’altro, di pro-gettare la ricerca valutativa in maniera efficace. [4.2]

��- è il valore assegnato a una proprietà di cui vienerilevato lo stato. Per esempio: nel caso dei centri perminori, se la proprietà è ‘numero di minori presenti’,il dato che ne registra lo stato potrebbe essere ‘5’ (ov-

��

vero: sono presenti 5 minori). I dati non hanno al-cun valore in sé se non viene specificato a quale pro-prietà, a quale caso si riferiscono; vale a dire: ‘5’ nonsignifica nulla, se non spiego che si tratta di minori,frequentanti quel Centro. [4.3]

�� - chiunque partecipi al processo decisionale,contribuendo in qualche modo alla decisione finale;quindi non solo chi ha il potere formale di decidere(il responsabile dei servizi, l’assessore, ecc.) ma an-che chi propone un’istanza (il comitato di gestione),chi contribuisce amministrativamente a ‘confeziona-re’ la decisione (il funzionario pubblico), ecc. In que-sto testo, quindi, quando indichiamo il ‘decisore’ nonintendiamo tanto una persona quanto un ruolo tra-sversale, certamente occupato in forme molto diver-se, da persone differenti. [1.1]

�� - l’insieme delle procedure che ilvalutatore stabilisce di utilizzare per raccogliere con-cretamente i dati che gli sono necessari. [3.1]

)��#��- tecnica di ricerca previsionale, che utilizza unpanel di esperti facendoli interagire a distanza, con lamediazione del valutatore. [4.8]

�� - è il termine tecnico con il qua-le si definisce il progetto della ricerca in ogni suafase. [3.1]

� ��- il più usuale tipo di item che si trova gene-ralmente in un questionario; le domande, di diversotipo e formato, sono generalmente rivolte agli inter-vistati per ottenere informazioni da trattare con stru-menti statistici. [4.2]

�� - si definiscono solitamente così gli ef-fetti di un programma che non erano stati previstiall’inizio, e sono giudicati negativi sia per l’efficaciadel programma o del servizio, sia, più in generale,per la popolazione o per l’area oggetto dell’interven-to. [1.2]

�� - il raggiungimento di obiettivi rela-tivi ai beneficiari del programma o del servizio; ingenerale: il miglioramento delle condizioni deibeneficiari dal punto di vista della missione di quelprogramma o di quel servizio. L’accento sull’efficaciaesterna indica l’interesse a rispondere ai bisogni dellapopolazione indipendentemente dalle implicazioniper l’organizzazione. [1.1]

�� - il raggiungimento degli obiettivi di-chiarati, stabiliti, pattuiti, indipendentemente dalfatto se questi corrispondano in pieno ai bisogni dei

beneficiari. Non è qualcosa di meno importante o dimeno nobile dall’efficacia esterna; certamente un’or-ganizzazione deve innanzitutto essere capace di ri-spettare gli obiettivi stabiliti nel mandato. [1.1]

��- riguarda la capacità di ottenere il massimorisultato con il minimo impegno di risorse, general-mente economiche. Nei servizi alla persona l’efficien-za non può essere un obiettivo primario, se non inte-sa come componente dell’efficacia (specie dell’effica-cia interna). [1.1]

�� - è il ‘prodotto’ desiderato di un programma o diun servizio, conseguenza diretta del nostro interven-to. [1.2]

�� - è un termine che si utilizza in modi legger-mente diversi; in questo contesto indichiamo con‘esperto’ chiunque abbia un’esperienza diretta (nontanto un sapere) sull’evaluando, e quindi possa for-nire al valutatore suggerimenti, esempi, idee perti-nenti e utili alla valutazione; in generale gli espertiutilizzati nella valutazione dei servizi sono individuatiprincipalmente fra gli operatori (ai diversi livelli ge-rarchici), poi fra i beneficiari e i decisori; possonoessere inclusi, in gruppi di esperti, anche persone nonappartenenti a questi gruppi, ma che hanno una com-petenza ritenuta utile (esperti di altri settori, docentiuniversitari, ecc.). [3.5]

�� - termine generico per definire ‘ciò che sista valutando’, per non dire sempre – come si è fattofinora – ‘il programma o il servizio oggetto della va-lutazione’. [1.2]

�� - nome tecnico di colui che gestisce e con-duce il gruppo degli esperti. [4.5]

��- è la congruenza fra l’informazione raccolta el’effettivo stato sulla proprietà (ovvero su come è,veramente, l’oggetto misurato), ed è pertanto la pro-prietà centrale degli strumenti (e di tutto l’impiantodella ricerca). [3.5]

� �� - tecnica di discussione fra un gruppo diesperti finalizzata a far emergere le principali com-ponenti di un dato problema. [4.6]

�� - termine tecnico per indicare qualunque og-getto manipolabile dall’intervistato. [4.8]

�� - gli effetti e i risultati più generali di un pro-gramma o servizio, quelli che non derivano diretta-mente dal nostro intervento, si definiscono ‘impat-ti’. Quali benefici per le famiglie che usufruisconodell’assistenza domiciliare dei loro anziani? Cosa ri-

�� #� ��

sparmia la collettività (non solo gli anziani), per ilfatto che c’è questo servizio? [1.2]

�� - una ricerca sociale in cui siraccolgono informazioni (per esempio tramite un que-stionario) su un campione. [3.4]

�� - È un concetto che si pone a un livello nonastratto lungo la scala delle generalità, e che ilvalutatore può utilizzare, tramite alcune definizionioperative, per esplorare concetti più generali posti alcentro della valutazione. [3.7]

��- una serie di indicatori statistici combinati fraloro e, spesso, percentualizzati, forniscono un indi-ce, che è un dato di sintesi di maggiore valoreeuristico. [4.3]

��- la proprietà che hanno i servizi alla per-sona di non avere, se non trascurabile, una base ma-teriale: i servizi alla persona sono caratterizzati daaspetti quali la relazione e la comunicazione, difficil-mente definibili e misurabili. [2.2]

�� - nome generico di una serie ditecniche di interviste qualitative, non basate su que-stionari (per esempio interviste in profondità, storiedi vita). [4.4]

�� - particolare forma di rappresentazione gra-fica di dati che appare come serie di colonne affian-cate. [4.3]

��- (pronuncia aitem) termine anglosassone difficil-mente traducibile, che si riferisce a qualunque ‘og-getto’ presente in un questionario: domande, scale,ma anche altri strumenti utili per l’indagine. [4.2]

�� - gli obiettivi della valutazione, come stabili-ti con il finanziatore, o con il decisore. [3.1]

�� - struttura logica dove vengono collo-cati i dati raccolti con un questionario; si può imma-ginare come una griglia composta, sulle righe, daidiversi questionari, e sulle colonne dalle risposte allediverse domande previste nel questionario. [4.4]

�� - la valutazione della valutazione. [3.8]� ��- valore caratteristico delle distribuzioni di fre-

quenza, relativo allo stato che ha raccolto il maggiornumero di frequenze. [4.8]

� �� - raccolta sistematica di informazioni (inparticolare dati finanziari e dati sull’andamento delprogramma) utili per la valutazione. [1.2]

�� - la proprietà che hanno i servizi allapersona di consentire una specie di contrattazionefra erogatore e cliente al fine di avvicinare i loro

punti di vista circa la qualità che deve avere il servi-zio. [2.2]

��- le ragioni per le quali si realizza un program-ma o un servizio, l’insieme dei risultati auspicati eattesi, costituiscono gli obiettivi. Ai fini valutativi nonbastano gli obiettivi generali, solitamente vaghi (‘mi-gliorare le condizioni degli utenti’, ‘contribuire al-l’occupazione giovanile’, ‘sviluppare armonicamenteil territorio’), ma occorre addentrarsi nei diversi li-velli di obiettivi intermedi e specifici. [3.3]

�� - termine generico per indicare chi è incari-cato dell’esecuzione del programma, o dell’erogazionedel servizio; in questo testo il termine ‘operatore’ èleggermente diverso, e più esteso, di quello utilizzatosolitamente nei servizi; qui anche il responsabile deiservizi è un operatore, nel mentre organizza il suoservizio e distribuisce il lavoro fra i suoi collaborato-ri, mentre la stessa persona è un ‘decisore’ (vedi lem-ma) nel momento che contribuisce attivamente alladecisione se continuare a attivare qual servizio oppu-re no. [1.3]

��- caratteristica delle proprietà dell’evaluandoper la quale sono poste in ordine crescente o decre-scente rispetto a una qualche dimensione prefissata(per esempio, ordine decrescente secondo l’efficacia).[3.6]

��(pronuncia pànel) – si chiama così un particola-re gruppo di intervistati sottoposti ripetutamente aintervista. [4.4]

�� -– un esperto inserito in un gruppo invirtù della sua supposta capacità di spezzare una di-scussione altrimenti troppo monocorde e corale. [4.5]

� � �� - quella parte della popolazio-ne verso cui l’intervento è diretto. [3.3]

�� - è un insieme articolato, coerente e coor-dinato, di progetti, generalmente riferibili a un’areaspecifica e realizzato in periodi medio-lunghi (mesi eanni). La valutazione ha molto a che fare con i pro-grammi, che per complessità e onerosità necessitanodi vari interventi valutativi. Un piano sociale regio-nale è un programma; una relazione che riepiloghigli obiettivi annuali di una cooperativa è un program-ma. [1.1]

�� - le caratteristiche dell’evaluando che solita-mente il valutatore deve cercare (non sono quasi maidate in anticipo) per avere un modello chiaro – epossibilmente condiviso – del servizio valutato; è una

��

caratteristica dell’evaluando che si ritiene importan-te (assieme ad altre) per dare una sua definizione com-pleta. In valutazione è essenziale individuare una li-sta esauriente delle principali proprietà dell’evaluando.[3.1]

��- in questo testo usiamo il concetto di ‘qualità’in maniera generica, per indicare l’insieme delle ca-ratteristiche che l’erogatore del servizio desidera for-nire, e che il cliente desidera ottenere; molto in ge-nerale si riferisce all’efficacia, e in parte all’efficien-za. [2.2]

�� - tecnica di ricerca molto utilizzata negliapprocci sociologici quantitativi; consiste di un elen-co di domande e altri item proposti a un ampio nu-mero di intervistati. Le risposte vengono poi analiz-zate con procedimenti statistici. [4.2]

�� - la successione, immaginaria, del-le diverse proprietà, secondo ‘strati’ differenziati perla generalità o la specificità della descrizione; più inalto le proprietà astratte, poco utilizzabili concreta-mente, e più in basso proprietà più specifiche, facil-mente trasformabili in definizioni operative. [3.5]

��- tipo particolare di domande le cui risposte assu-mono una forma scalare del tipo: “Molto soddisfat-to, abbastanza soddisfatto, poco soddisfatto, per nien-te soddisfatto”, oppure semplicemente un punteggiotipo: “5, 4, 3, 2, 1”. [4.2]

��- caratteristica degli strumenti e delle tecni-che di ricerca relativa alla finezza del dato rilevato;più uno strumento è sensibile e più dati di dettaglioriesce a raccogliere. [4.8]

�� - in questo testo utilizziamo il termine ‘servi-zio’ in un senso abbastanza largo, come specifico pro-getto volto alla fornitura di qualche attività aun’utenza chiaramente identificata; è servizio l’assi-stenza domiciliare anziani, come un Centro residen-ziale minori, come l’attività di valutazione. [1.1]

�� - l’organizzazione della raccolta edella gestione di informazioni utilizzabili per ilmonitoraggio, la valutazione, il controllo di gestio-ne, o altro. Le attuali disponibilità tecnologiche sug-geriscono di realizzarlo in forma informatizzata. [4.3]

� �� - il gradimento del servizioricevuto, per come espresso dai diretti fruitori: un’im-portante informazione fra le altre, mai la base esclu-siva della nostra valutazione. [1.1]

*+,�!*��+�� ,��" - tecnica di ca-

rattere ordinale per attribuire valore e relazioni a unaserie di proprietà. [4.8]

��#�- Sono riferibili a procedimenti preconfeziona-ti, che non mettono in discussione il fine; in questosenso sono strumenti vuoti che acquistano significa-to entro un percorso metodologico stabilito dalvalutatore. [4.1]

�� - un esperto cui generalmentenon si chiede di partecipare ad una sessione di grup-po, ma che viene intervistato individualmente, pro-babilmente con un’intervista ermeneutica. [4.5]

� ��- particolare forma di rappresentazione grafica didati, che appare come un cerchio suddiviso in settori(come una torta già affettata). [4.3]

��- è il rapporto fra il concetto (ovvero il proble-ma che si sta indagando) e il suo indicatore (ovveroun suo elemento che usiamo per descrivere il proble-ma); uno strumento è valido se la sua parte indicanteil concetto è piuttosto ampia, non è valido se la parteindicante è irrisoria o nulla. [3.4]

�� - come per altri termini già incontrati(decisore, beneficiario, operatore) anche qui utiliz-ziamo questo concetto in maniera piuttosto genera-le; ‘valutatore’, in questo testo, è colui (persona, grup-po) che valuta; certamente può essere un professio-nista esterno, ma può essere anche un gruppo di ope-ratori che sviluppa un’esperienza di ‘valutazione com-petente’. [3.1]

�� - la valutazione realizzata dalpersonale interno del programma o servizio, sotto lasupervisione di un professionista esterno, allo scopodi migliorare alcuni elementi della propria prestazio-ne professionale. [1.3]

�� - la valutazione eseguita da un pro-fessionista esterno al servizio, così da garantire ungiudizio più affidabile e distaccato. [1.3]

�� - la valutazione realizzata prima diporre in essere il programma o il servizio. [1.2]

�� - la valutazione realizzata a conclu-sione di un programma, o alla fine di un ciclo delservizio, per farne un consuntivo e imparare da ciòche si è fatto. [1.2]

�� ! � ��" - la valutazioneche ha come principale finalità di apprendere – valu-tando – dall’esperienza fatta; in generale la valutazio-ne formativa non ha senso all’inizio di un program-ma. Alcuni ritengono che il termine ‘formativa’ sia

�� #� ��

una cattiva traduzione dall’americano formative, esuggeriscono di usare il termine ‘costruttiva’. [3.2]

�� - la valutazione fatta durantel’esercizio di un programma o servizio, in forma con-tinuativa, per intervenire in tempo utile eventuali pro-blemi. [1.2]

�� - una valutazione fatta in unperiodo intermedio di un programma di medio olungo periodo, per fare il punto della situazione eimplementare eventualmente nuove parti. [1.2]

�� - la valutazione eseguita dal perso-nale dello stesso programma o servizio; si chiamaanche ‘auto valutazione’. [1.3]

�� - modalità di esecuzione di

un processo valutativo che coinvolge alcuni soggettiimplicati nell’evaluando (per esempio gli operatori)per ricevere delle informazioni più complete. La va-lutazione partecipata è una forma di valutazione piùcoinvolgente, con forti connotazioni formative. [1.4]

�� ! �� " - la valuta-zione che ha come principale finalità una decisionein merito al programma o servizio (continuare, chiu-dere, cambiare, ecc). Alcuni ritengono che il terminesommativa sia una cattiva traduzione dall’americanosummative, e suggeriscono di usare il termine‘riepilogativa’. [3.2]

�� - si chiama così la ‘proprietà’ quando vieneregistrata in matrice per essere analizzata. [4.4]

��

��

� ��

��

� ��

��

� ��

��

��

� ��

�� !��

�� "

�� #�� #��

��

�� "

� ��

� ��

��

� � ��

��"

��

� �� $�� %&&&�

��

��

Per inquadrare le problematiche della valuta-zione in una dimensione teorica fondamenta-le, e ricostruire il dibattito degli ultimi trent’an-ni, specie americano, è indispensabile il bel-lissimo libro di Nicoletta Stame, L’esperienzadella valutazione, Ed. Seam, Roma 1998. Sitratta di un libro fondamentale per chiunquevoglia capire cosa significhi valutare, e non solofare delle esercitazioni valutative.Per un approfondimento degli aspettiproblematici principali della valutazione ri-mando al libro a cura di Claudio Bezzi e MauroPalumbo, Strategie di valutazione. Materiali dilavoro, Ed. Gramma, Perugia 1998; in parti-colare il saggio di Mauro Palumbo, Elementidi una teoria generale della valutazione, cheintroduce al problema del processo decisiona-le rispetto alla valutazione, e quello di Clau-dio Bezzi, La valutazione sociale. Una mappaconcettuale, che segnala e chiarisce i principalinodi problematici della valutazione.Brevi introduzioni alla valutazione, non piùrecenti ma ancora valide sono: Anna MariaBoileau, Ricerca valutativa, in F. Demarchi -A. Ellena e B. Cattarinussi, “Nuovo diziona-rio di sociologia”, Ed. Paoline, Milano 1987;Angelo Saporiti, La ricerca valutativa: un’in-troduzione alla valutazione dei programmi so-cio-sanitari, in Manuale di sociologia sanitaria,a cura di Pierpaolo Donati, La Nuova Italiascientifica, Roma 1987.Un’introduzione più ampia, a metà fra rifles-sione concettuale e suggerimenti tecnico-or-ganizzativi è il bel libro di Vittorio Masoni,M&V. Monitoraggio e valutazione dei progettinelle organizzazioni pubbliche e private, Fran-co Angeli, Milano 1997, scritto con linguag-gio molto chiaro.

��

� ��

Le esperienze valutative sui servizi sono ormaimolte, anche in Italia. Oltre a quanto si trovasulle riviste specializzate segnaliamo l’impor-tante libro di Liliana Leone e Miretta Prezza,Costruire e valutare i progetti nel sociale, Fran-co Angeli, Milano 1999, che ha il significati-vo sottotitolo di Manuale operativo per chi la-vora su progetti in campo sanitario, sociale,educativo e culturale.In campo sanitario ocorre segnalare il testo diFabio Nuti, Introduzione all’economia sanita-ria e alla valutazione economica delle decisionisanitarie, Giappichelli editore, Torino 1999,scritto da un punto di vista economico, e dinon semplice lettura per tutti, ma certamenteun testo fondamentale sull’argomento, checoniuga competenza tecnica a sensibilità eti-ca.Sulla formazione, il testo di Domenico Lipari,Progettazione e valutazione nei processi forma-tivi, Edizioni Lavoro, Roma 1995, resta pro-babilmente uno dei più completi ed equilibrati.Segnaliamo infine le 15 linee guida sulla valu-tazione edite dall’Irres (Istituto Regionale diRicerche Economiche e Sociali della Regionedell’Umbria) nel 1995, su quindici argomentidiversi, che propongono approcci teorici e,specialmente, soluzioni metodologiche, digrande interesse divulgativo; pertinenti con letematiche dei servizi alla persona ve ne sonodue: La valutazione della comunicazione pub-blica, a cura di Claudio Bezzi, Irres - Regionedell’Umbria, Perugia 1995, e La valutazionedella formazione professionale, a cura di Clau-dio Bezzi, Irres - Regione dell’Umbria, Perugia1995. Tutti i fascicoli possono essere richiestiall’Irres, via Mario Angeloni 78, 06124 Peru-gia.

��

��

��

Non esiste al momento un testo italiano suquesto argomento generale, mentre ne esisto-no molti di carattere metodologico che aiuta-no a comprendere come va strutturata una ri-cerca sociale. Alcuni aspetti (mandato dellaricerca, obiettivi della valutazione) si possonocomunque ritrovare nel già citato testo di Clau-dio Bezzi, La valutazione sociale. Una mappaconcettuale e in quello di Vittorio Masoni,M&V. Monitoraggio e valutazione dei progettinelle organizzazioni pubbliche e private, Fran-co Angeli, Milano 1997; altri più centrati sul-la ricerca (come impostarla, attenzione agliaspetti organizzativi) in Claudio Bezzi - MauroPalumbo, Questionario e dintorni, Arnaud-Gramma, Perugia 1995.Uscirà probabilmente nel corso del 2000, pres-so l’editore Franco Angeli, il volume di Clau-dio Bezzi dal titolo provvisorio di Il disegnodella ricerca valutativa, che, ovviamente, trat-terà dettagliatamente questi temi.

��

��

Sul fondamentale problema della concettualiz-zazione dobbiamo segnalare un libro non fa-cile, molto denso, ma certamente fondamen-tale: Alberto Marradi, Concetti e metodo per laricerca sociale, La Giuntina, Firenze, vari anni(il libro ha avuto numerose ristampe); sempredi Alberto Marradi, come introduzione all’ana-lisi dei dati, vogliamo segnalare L’analisimonovariata, Franco Angeli, Milano, 1995 (se-conda edizione riveduta e ampliata), e Lineeguida per l’analisi bivariata dei dati nelle scien-ze sociali, Franco Angeli, Milano 1997. Il pri-mo è un testo meraviglioso per profondità ditrattazione di una materia che potrebbe appa-rire semplice senza esserlo, e assieme per lachiarezza espositiva, che fanno di questovolumetto un testo fondamentale di introdu-zione; il secondo è un testo ovviamente un po’più complesso, in sintonia con la maggiorecomplessità della materia trattata.Il generale, e più specificatamente per tuttociò che riguarda l’indagine campionaria e ilquestionario, rinviamo al già citato ClaudioBezzi - Mauro Palumbo, Questionario e din-torni, Arnaud-Gramma, Perugia 1995.Per l’intervista realizzata in profondità, senzaquestionario, e in generale per tutte le tecni-che ermeneutiche, segnaliamo Paolo Monte-sperelli, L’intervista ermeneutica, Franco An-geli, Milano 1998.Si può trovare una trattazione teorica della SPO(Scala delle Priorità Obbligate) nel testo diStefania Taralli, La Scala delle Priorità Obbli-gate: una tecnica per rilevare le gerarchie di va-lore, in Strategie di valutazione. Materiali dilavoro, a cura di Claudio Bezzi e MauroPalumbo, Ed. Gramma, Perugia 1998; un casoapplicativo relativo all’assistenza domiciliaresi può trovare in Claudio Bezzi, La Scala dellePriorità Obbligate. Una proposta per la ricerca

�! ��

valutativa, in “Rassegna Italiana di Valutazio-ne”, n. 7, 1997 (www.valutazione.it/rassegna),mentre un caso applicativo relativo alla for-mazione professionale è pubblicato da Clau-dio Bezzi sul volumetto edito dalla Provinciadi Pisa, Formazione professionale. ValutazioneQualità Sistema, Pisa 1999.

��

��

Una bibliografia di casi di studio è particolar-mente difficile per poche e semplici ragioni: inItalia si fa valutazione da poco, e non c’è unacasistica ampia; questo anche perché c’è pocaabitudine a scrivere su casi empirici, e quandolo si fa, a volte si ottengono dei testi non sem-pre utilissimi.Proviamo comunque a proporre alcune espe-rienze senza pretendere una completezzabibliografica:Per i servizi socio-sanitari: nel citato volume diLeone e Prezza, Costruire e valutare i progetti nelsociale, viene ripercorsa un’esperienza di valu-tazione relativa a un programma “Youthstart”.Il volume a cura di Paolo Ugolini e Franco C.Giannotti, Valutazione e prevenzione delletossicodipendenze. Teoria, metodi e strumentivalutativi, Franco Angeli, Milano 1998, riportadiverse esperienze sul tema.Un’esperienza applicativa della Scala delle Prio-rità Obbligate nel Servizio domiciliare anzia-ni si può trovare in Claudio Bezzi, La Scaladelle Priorità Obbligate. Una proposta per la ri-cerca valutativa, in “Rassegna Italiana di Va-lutazione”, n. 7, 1997 (www.valutazione.it/ras-segna).L. Todesco, C. Beltramello, P. Bonin e T. Sca-la hanno scritto Valutazione di un interventoeducativo per i bambini asmatici e le loro fami-glie, in “Rassegna Italiana di Valutazione”, n.5, 1997 (www.valutazione.it/rassegna).Infine, nel volume a cura di Giovanni Bertin,Valutazione e sapere sociologico, Franco Angeli,Milano, 1999, si fa riferimento a diversi con-testi applicativi.In campo formativo: il citato volumetto editodalla Provincia di Pisa, Formazione professio-nale. Valutazione Qualità Sistema, Pisa 1998,ripercorre un intero invervento di costruzionedi un sistema di valutazione ex ante dei pro-

��

��

Concludiamo con alcuni indirizzi utili. In Ita-lia esiste da alcuni anni un’Associazione Ita-liana di Valutazione che raccoglie tutti coloroche sono interessati, a vario titolo, alla diffu-sione di una ‘cultura della valutazione’; nonsolo valutatori, quindi, ma anche operatori diservizi, funzionari pubblici, docenti universi-tari ecc.Per avere informazioni si raccomanda di con-sultare il sito: www.valutazioneitaliana.it

L’Autore di questo Manuale, Claudio Bezzi,si occupa a tempo pieno di valutazione e diricerca valutativa per conto dell’Istituto Ita-liano di Valutazione ([email protected];[email protected]), da lui fondato e di-retto.

getti formativi ed ex post delle azioni formativerealizzate.Sulla scuola: Provincia autonoma di Trento -Assessorato all’Istruzione Formazione Profes-sionale e Cultura, Un laboratorio in attesa.Quarto rapporto del Comitato di valutazione sulsistema scolastico trentino. 1998, Didascalie li-bri, Trento 1998.I congressi nazionali dell’Associazione Italia-na di Valutazione (AIV) sono occasione an-nuale per la presentazione di numerose rela-zioni, diverse delle quali basate su casi empirici.Buona parte delle relazioni presentate al con-gresso di Napoli nel 1999 sono in corso distampa al momento di scrivere questa biblio-grafia e usciranno entro il 2000 nella collanache l’AIV sta avviando presso l’editore FrancoAngeli.

��

la valutazione dei servizi alla persona · un servizio di mensa scolastica riceve pe-riodiche...

Documents