Studio di fattibilità per la costruzione di un gruppo di controllo interno per l’analisi
controfattuale
Roma, 27 febbraio 2013
Gruppo Nazionale PlacementIsfol, Sala Auditorium
Roma, Corso d’Italia, 33
Unione Europea Fondi Strutturali 2007-2013
• Obiettivo generale – Verificare la fattibilità di realizzare una
valutazione d’efficacia degli interventi formativi, con metodologia
d’analisi controfattuale basata su GRUPPO DI CONTROLLO
INTERNO
• Idonei non ammessi agli interventi
• Non idonei
• Attività – ISTRUTTORIA sulla raccolta, conservazione e
disponibilità delle informazioni amministrative relative a questi
individui (da parte degli Enti Formativi o del Sistema informativo
regionale)
La sperimentazione
• Oggetto d’indagine
• Progetti formativi conclusi tra il 2008 ed il 2011 che hanno avuto
candidature eccedenti i posti disponibili
• Tipologie formative rivolte all’occupabilità
• Finanziamento Por FSE Lazio: • 2000-2006 assi A, C ed E • 2007-2013 assi II e IV
• Strumenti d’indagine
• Questionari web compilati dagli Enti formativi per ciascun progetto
selezionato nella sperimentazione • Dimensioni indagate: presenza di candidature eccedenti; consistenza o
stima (%) del loro ammontare; criteri di stesura graduatorie; presenza di verbali, gestione e conservazione delle informazioni sulle candidature eccedenti
Attività Istruttoria
• Dimensione significativa nell’analisi dei risultati dell’Istruttoria
• Per la tipologia delle informazioni considerate:
necessarie per la costruzione di gruppi di controllo interno;
trattate in assenza di indicazioni univoche e tassative da parte
dell’Adg
• Per le indicazioni sulla fattibilità (metodologica e materiale) di
un’indagine valutativa controfattuale basata su GRUPPO DI CONTROLLO
INTERNO
Attività Istruttoria/2: gestione e conservazione delle informazioni
Gestione e conservazione delle informazioni sulle candidature eccedenti i posti disponibili
Gestione e conservazione delle informazioni sulle candidature eccedenti i posti disponibili/2
Gestione e conservazione delle informazioni sulle candidature eccedenti i posti disponibili/3
Tassi di risposta
• Universo d’indagine: 783 progetti
• Tasso di risposta: 30,4% (238
progetti)
Più elevato:
i. presso gli Enti con un maggior
numero di progetti selezionati;
ii. nei Progetti della
programmazione 2007-2013
(35,9%)
Dimensione Ente per n. questionari risposte universo Tasso di
disposta
1 16 65 24,6
2-4 49 208 23,6
5-8 71 232 30,6
9-12 57 124 46,0
>12 45 154 29,2Totale 238 783 30,4
Anno di programmazione risposte universo Tasso di
disposta
2000-2006 116 443 26,2
2007-2013 122 340 35,9Totale 238 783 30,4
Alcune evidenze/1
Circa il 27% dei progetti non ha candidature eccedenti
La non obbligatorietà di caricare i dati per in non ammessi in SI.MON produce una caduta informativa:•È inserito in SI.MON solo il 40% dei progetti con i dati sulle «candidature eccedenti» (32 su 82 progetti)
•Solo il 37,5% dei progetti con i dati in SI.MON (12 su 32) è altamente coerente con i dati riportati nei questionari
d’altra parte:
•Esiste una relazione interessante nel rapporto tra numero di non ammessi e iscritti:
i. esso aumenta nei progetti 2007-2013 (1,78) rispetto al valore totale (1,24), per effetto di una maggiore attenzione richiesta dalla Regione agli Enti formativi nella comunicazione di tali informazioni
ii. diminuisce per effetto della dispersione delle informazioni sulle «candidature eccedenti» a causa dell’assenza di indicazioni vincolanti sull’inserimento di tali dati: nel caso di progetti coerentemente caricati in SI.MON è pari a 3,98; nei progetti caricati in SI.MON ma non coerenti scende a 2,11
Alcune evidenze/1
Circa il 27% dei progetti non ha candidature eccedenti
La non obbligatorietà di caricare i dati per in non ammessi in SI.MON produce 2 effetti:•Inseriti in SI.MON solo il 40% dei progetti con i dati sulle «candidature eccedenti» (32 su 82 progetti)
•Solo il 15% dei progetti con i dati in SI.MON (12 su 32) è altamente coerente con i dati riportati nei questionari
d’altra parte:
•Esiste una relazione interessante nel rapporto tra numero di non ammessi e iscritti:
i. esso aumenta nei progetti 2007-2013 (1,78) rispetto al valore totale (1,24), per effetto di una maggiore attenzione richiesta dalla Regione agli Enti formativi nella comunicazione di tali informazioni
ii. diminuisce per effetto della dispersione delle informazioni sulle «candidature eccedenti» a causa dell’assenza di indicazioni vincolanti sull’inserimento di tali dati: nel caso di progetti coerentemente caricati in SI.MON è pari a 3,98; nei progetti caricati in SI.MON ma non coerenti scende a 2,11
• Effetti della «non obbligatorietà» di inserimento delle informazioni sulle
«candidature eccedenti»:
• Caduta informativa• Popolamento dei sistemi informativi con informazioni eterogenee e/o parziali
i. rischio di informazioni inattendibiliii. limiti nella possibilità di riuso delle informazioni (a fini statistici)
Potenziali controlli
Questionari Corsi Destinatari Iscritti (a)
Destinatari eccedenti (b)
Rapporto b/a
Risposte totali 238 4.956
di cui:
stimano in % i candidati eccedenti 22 206
con informazione puntuale sul numero di candidati eccedenti
di cui:
corsi totali 154 3.661 4.529 1,24corsi della progr. 2007-2013 78 1.677 2.998 1,78corsi caricati su SI.MON 32 815 1.717 2,11
corsi caricati su SI.MON coerenti con dati istruttoria 12 274 1.091 3,98
Caduta informativa
-62,4%
-89,3%
-62,5%
Caricati su SI.MON e coerenti con dati
istruttoria
Potenzialità e limiti attuali del sistema informativo: un’analisi sui non ammessi per i 12 progetti coerenti
Candidati non ammessi
Ammessi a partecipare ad altri interventi
all’interno di Si.monStima sperimentazione
20-25%
Ammessi a partecipare ad altri interventi
all’interno di Si.monStima sperimentazione
20-25%
•Candidati che non appaiono in ulteriori interventi nel sistema informativo
•Candidati che risultano non ammessi in altri interventi
La non obbligatorietà di inserimento dei dati sulle candidature eccedenti (cioè di non monitorare tutta la domanda di formazione) non permette di stimare separatamente i 2 aggregati (che insieme contano per il 75-80%)
•Candidati che non appaiono in ulteriori interventi nel sistema informativo
•Candidati che risultano non ammessi in altri interventi
La non obbligatorietà di inserimento dei dati sulle candidature eccedenti (cioè di non monitorare tutta la domanda di formazione) non permette di stimare separatamente i 2 aggregati (che insieme contano per il 75-80%)
Le soluzioni al problema
1. Strutturare gli archivi amministrativi della Formazione in modo tale da contenere le informazioni sulle candidature eccedenti i posti disponibili, cioè le anagrafiche degli «idonei non ammessi» e dei «non ammessi».
2. Coinvolgere gli Enti di formazione nella raccolta dati per il monitoraggio e la valutazione degli interventi, attraverso la previsione di:
• strumenti standard per la rilevazione in ingresso della domanda formativa (domanda d’iscrizione);
• procedure (nei dispositivi di accreditamento, nei bandi attuativi, ecc.) che vincolino gli Enti a conferire nel sistema informativo regionale le informazioni sulle candidature eccedenti in concomitanza con l’avvio delle attività.
I vantaggi per le regioniDimensione economica
Permette di verificare immediatamente se esiste la possibilità di implementare una valutazione di efficacia con metodo controfattuale utilizzando un gruppo di controllo interno, senza prevedere risorse aggiuntive e ulteriori attività istruttorie
Dimensione pragmatica
Consente di acquisire informazioni di cruciale importanza per i policy makers, ad esempio:
1. Presenza di target vulnerabili: ci sono individui che presentano domanda di iscrizione a più interventi, senza mai essere ammessi ad alcuno?
2. Quanti sono gli individui che partecipano a più selezioni (magari per tipologie di interventi tra loro completamente diverse) prima di essere ammessi ad un intervento? E’ utile studiare i comportamenti individuali ai fini di analizzare le dinamiche di reinserimento nei percorsi di istruzione e formazione, di inserimento occupazionale e di sviluppo delle carriere?
3. Quanti sono gli interventi nei quali le domande di ammissione risultano essere inferiori o uguali al numero dei posti disponibili? Che caratteristiche ricorrenti hanno questi interventi?
I possibili rischi
In prospettiva futura, la presenza di archivi amministrativi scarsamente funzionali alle analisi valutative basate sulle informazioni pre-intervento espone le Amministrazioni ai seguenti rischi:
•tempi più lunghi e risorse finanziarie aggiuntive per realizzare la fase istruttoria, senza peraltro avere la minima certezza sul buon esito finale;
•focalizzazione delle attività sulle problematiche relative alla scelta del metodo, che rischiano di prevalere sull’utilità della valutazione stessa e – nei casi peggiori – stravolgere il disegno valutativo iniziale;
•utilizzo parziale o poco pragmatico della valutazione d’efficacia, in mancanza di informazioni cruciali per analizzare e giudicare la bontà delle scelte fatte dai policy makers (per es. decidere di rifinanziare tipologie di intervento risultate particolarmente efficaci ai fini dell’inserimento occupazionale, senza conoscere il rapporto tra l’offerta formativa e la domanda territoriale)
GLI ENTI FORMATIVI ACQUISISCONO
INFORMAZIONI ANCHE SUGLI IDONEI NON AMMESSI E SUGLI
ESCLUSI E LE FORNISCONO ALLE REGIONI O ALMENO LE
CONSERVANO
GLI ENTI FORMATIVI ACQUISISCONO
INFORMAZIONI ANCHE SUGLI IDONEI NON AMMESSI E SUGLI
ESCLUSI E LE FORNISCONO ALLE REGIONI O ALMENO LE
CONSERVANO
LE INFORMAZIONI SONO INSERITE NELLE
BANCHE DATI REGIONALI O SU MONIT
LE INFORMAZIONI SONO INSERITE NELLE
BANCHE DATI REGIONALI O SU MONIT
FASE ISTRUTTORIA PROPEDEUTICA
ALL’INDAGINE PER CONOSCERE IL NUMERO
DEGLI ALLIEVI IDONEI, IDONEI NON AMMESSI,
ESCLUSI
FASE ISTRUTTORIA PROPEDEUTICA
ALL’INDAGINE PER CONOSCERE IL NUMERO
DEGLI ALLIEVI IDONEI, IDONEI NON AMMESSI,
ESCLUSI
gruppo di controllo interno
gruppo di controllo interno
•INDAGINE•INDAGINE
Conclusioni dell’Istruttoria Indicazioni per la Regione
Prosieguo dell’indagine (q.nario regioni)