La transizione a indagini Computer Assisted: il ridisegno delle indagini sulle famiglie

DISA/B - Progettazione ed implementazione delle nuove reti di rilevazione e tecniche di indagine Relatrice: Maria Clelia Romano Roma, 20 maggio 2014

Seminario “Le innovazioni metodologiche

nelle indagini socio-economiche sulle famiglie”

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Sommario

• Progressivo ricorso a tecniche Computer Assisted

• Le indagini coinvolte e le scelte adottate

• Cambiamenti metodologici e organizzativi

• L’affidamento a società private del lavoro sul campo

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Nel 2010 il Dipartimento per le statistiche sociali e ambientali ha avviato un ampio processo

di transizione a tecniche Computer Assisted.

Questo processo ha coinvolto indagini chiave del sistema di indagini campionarie su famiglie e individui.

Importante investimento di risorse

MODERNIZZAZIONE DELLE STATISTICHE SOCIALI

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

La progressiva modernizzazione delle statistiche sociali e delle relative rilevazioni, realizzata con il passaggio a tecniche CA,

rappresenta uno degli assi portanti di

Industrializzazione e standardizzazione

dei processi di produzione, in un’ottica di sistema

STAT2015

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

La transizione a tecniche CA

Dematerializzazione dei processi di produzione

• Miglioramento della qualità dei dati raccolti

• Maggiore tempestività nel rilascio

• Riduzione dei costi di realizzazione dell’indagine

• Riduzione del response burden

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Tecniche miste di cui almeno una C.A .

PAPI CATI

CAWI

CAPI

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Tre indagini DISA realizzate con UNICA TECNICA C.A.

1 indagine da PAPI a CAPI: Indagine sulle condizioni di vita (EU-SILC) 1 indagine da CATI a CAPI: Viaggi e vacanze

1 NUOVA indagine CAPI (DCSA):

Condizione e integrazione sociale dei cittadini stranieri

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

….. 3 indagini con tecnica mista (di cui almeno una C.A.)

1 NUOVA indagine: Discriminazioni in base al genere, all’orientamento sessuale e all’appartenenza etnica

(CAPI – SAQ)

1 indagine da PAPI a CAPI Indagine sulle spese delle famiglie (CAPI - SAQ)

1 NUOVA indagine Partecipazione degli adulti alle attività formative (CAPI – CATI)

Circa 120.000 interviste CAPI

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Nel 2012 è stata avviata anche la prima indagine CAWI sugli individui: Inserimento professionale dei dottori di ricerca (2014) Tecnica compatibile con: Target di popolazione Tematica Struttura di questionario

Popolazione di circa 23 mila dottori di ricerca!

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

In fase di progettazione:

• Indagine sull’inserimento professionale dei laureati

• Indagine sui percorsi di studio e di lavoro dei diplomati

• Eusilc 2015: CAPI/CATI

Un processo continuo di revisione delle tecniche e di ridisegno delle indagini

CAWI/CATI

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Quali combinazione di tecniche?

1. CAPI/SAQ: Diverse tecniche per diverse parti del questionario (per lo stesso rispondente)

2. CAPI/CATI: Unico questionario, una tecnica è usata per una parte del campione e un’altra, contemporaneaneamente, per l’altra parte

3.CAPI/CATI: Stesso questionario sulla stessa persona rilevata con tecniche diverse in diversi momenti

4.CAWI/CATI: Unico questionario, tecniche diverse usate in sequenza. 5. CAPI-CATI: Quale combinazione di tecniche per Eu-silc?

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Perché segliere una tecnica mista CAWI: Nel 2013 il 59,7% delle famiglie in Italia ha accesso da casa a Internet con banda larga (70,8% famiglie con almeno un minorenne, 9,9% famiglie di soli anziani di 65+) CATI: nel 2012 solo il 48,3% delle famiglie aveva un numero di telefono fisso in elenco CAPI: problemi nel raggiungere comuni in zone impervie, ma anche tipologie familiari con particolari stili di vita.

Se l’obiettivo è trovare il metodo più conveniente per ottimizzare le procedure di raccolta dati e ridurre l’errore totale, tenendo conto dei vincoli di tempo e di budget..…… molto spesso il metodo più conveniente è un metodo mixed mode.

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

L’organizzazione interna

Strutture di staff presso il Dipartimento:

DISA/A

DISA/B

DISA/C

Task Force “avente il compito di predisporre tutte le operazioni necessarie all’effettuazione della transizione delle indagini sulle famiglie a tecnica CAPI” (del. n.101/DPTS dell’ 11.6.2011)

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Cambia l’organizzazione del lavoro

Con la realizzazione di un’indagine C.A. molte delle fasi di lavorazione svolte in un’indagine PAPI dopo la fase della raccolta dati sono incorporate nella fase di acquisizione. In fase progettuale devono essere prese decisioni riguardanti tutte le fasi di conduzione di una rilevazione, non solo dunque la progettazione e redazione del questionario, ma anche tutto quanto concerne le successive fasi:

• piano di check, • trattamento delle mancate risposte, • struttura dei tracciati record, • etc. etc.

aggravio di lavoro nelle fasi iniziali, MA con il vantaggio che una volta che il questionario elettronico è finito, testato e pronto per il field, il grosso del lavoro è ormai alle spalle!

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Cambiano processi e competenze

• Dematerializzazione del processo di acquisizione

• Le fasi iniziali di trattamento dei dati non più necessarie

…alcune competenze diventano obsolete, altre sono necessarie già in fase di progettazione

Forte impatto sul piano organizzativo

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Un linguaggio informatico

Interazione costante con gli sviluppatori (interni ed esterni)

Limiti e potenzialità dei software elettronici

Test dei questionari

Indagini C.A.: nuove competenze

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

L’interazione con gli informatici prosegue nella fase di test

Durata Per verificare che il questionario elettronico funzioni bene, deve essere previsto un congruo (spesso lungo) periodo di test, spesso ripetitivi. Complessità I test devono riguardare tutti i possibili percorsi per tutti i quesiti, per ogni tipologia di rispondente che arriva a ciascun quesito. Difficile definire a priori uno schema esaustivo e sistematico di test. Inoltre, non si testano solo flussi, ma anche l’attivazione di regole, warning etc. Versioni Il ritmo frenetico con cui si lavora e l’effettuazione di test in parallelo può avere degli inconvenienti.

Criticità fisiologiche

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Il passaggio a CAPI è stato accompagnato da un altro importante cambiamento: l’affidamento del lavoro sul campo a società private

Questi due cambiamenti sono strettamente collegati

Cinque procedure internazionali per l’affidamento all’esterno

dei servizi relativi alla realizzazione delle rilevazioni e preparazione della documentazione relativa

Cambiamenti nell’organizzazione del fieldwork in termini di ruoli e di soggetti coinvolti

L’outsourcing

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Dal tradizionale assetto organizzativo………..

Interviste e trasmissione di informazioni utili al monitoraggio del lavoro sul campo

Istat Sede Centrale

Comuni

Intervistatori

Data entry dei questionari cartacei Società privata

Selezione degli intervistatori/ Assistenza agli intervistatori Raccolta invio questionari cartacei

Progettazione dell'indagine Istruzioni referenti Sedi territoriali; controllo di qualità; trattamento e analisi dei dati

Supervisione del fieldwork; assistenza ai Comuni; istruzioni rilevatori

Istat Uffici territoriali

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

….ad un nuovo modello

Sviluppo e gestione del questionario elettronico Sviluppo e gestione del sistema informatico di rilevazione Organizzazione e gestione del fieldwork

Istat (Centrale)

Società privata

Intervistatori

Interviste Trasmissione dei dati

Assistenza agli intervistatori, solo in caso di necessità Comuni

Progettazione dell'indagine; Istruzioni agli intervistatori; Controllo di qualità; Trattamento e analisi dei dati

Istat (Uffici territoriali) Supporto al monitoraggio del fieldwork; Supporto organizzativo (rapporti con i comuni e con le famiglie)

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

• Le procedure di gara sono periodiche

• Il mercato non offre reti di rilevazione precostituite

L’utilizzo di rilevatori professionali appositamente formati

e monitorati quotidianamente

Le reti private

Armonizzazione dei disegni campionari

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

La reingegnerizzazione delle indagini socio-economiche è in fase avanzata, nuove competenze sono state acquisite e hanno arricchito le professionalità preesistenti ma… …razionalizzazione e armonizzazione delle indagini e dei processi di produzione si realizzano secondo un processo continuo che deve tenere conto:

• della domanda crescente di informazione espressa dagli stakeholder • della necessità di ridurre l’onere sui rispondenti • delle risorse finanziarie limitate • delle possibilità offerte dall’utilizzo delle fonti amministrative

Ciò implica lo sfruttamento sempre più intensivo/estensivo delle nuove tecniche e delle possibilità offerte dalla progressiva “digitalizzazione” della popolazione Nuovi modelli di cattura dei dati si aggiungeranno a quelli già utilizzati Approfondimenti sull’effetto tecnica sono in corso

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Sostenibilità di modelli di tecniche miste in carico a soggetti diversi (ISTAT-Società privata)? Quale modello di rete territoriale immaginare per il futuro? Come valorizzare il ruolo delle sedi territoriali? ………………………………………….. Quali strumenti adottare per la codifica assistita nei questionari CAWI?

Ambiti di riflessione

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Qualche auspicio

• Sistematizzazione e documentazione del lavoro svolto

• Definizione di linee guida finalizzate a fornire indicazioni operative

• Diffusione e condivisione delle migliore pratiche

Seminario “Le innovazioni metodologiche nelle indagini socio-economiche sulle famiglie”

Credits

Nunzia Balì

Luisa Bevilacqua Davide Farina

Alessandra Federici Enzo Leonardi

Pasquale Marrone Cosima Mero

Laura Piccinini Anita Sagnotti

Grazie per l’attenzione!