CORSO DI METODI DI INDAGINE

Transcript

1 CORSO DI METODI DI INDAGINE E VALUTAZIONE NELLE SCIENZE SOCIALI Lezione 2: Qualità dei dati e delle indagini statistiche Il concetto di qualità La qualità di una statistica è espressa in termini di capacità della stessa di soddisfare le esigenze (implicite o esplicite) degli utenti dell informazione statistica. Gli organismi internazionali ed europei che si occupano di statistica hanno sviluppato sistemi di documentazione e monitoraggio volti a rilevare l importanza della qualità nelle indagini statistiche e a sostenerla. L Istat da oltre trent anni ha sviluppato un approccio sistematico alla qualità, in conformità con gli standard internazionali. Di recente si sta procedendo con l estensione degli avanzamenti a tutte le statistiche prodotte nell ambito del Sistema Statistico Nazionale (Codice italiano della statistica ufficiale, G.U. n. 240 del 13/10/2010). 2 1

2 L approccio sistematico alla qualità L approccio è orientato a tutti gli aspetti della produzione statistica. Qualità del prodotto l output del processo passaggi necessari per arrivare all output Progettazione Rilevazione Elaborazione Diffusione 3 L approccio sistematico alla qualità Coerentemente con la definizione di qualità di Eurostat, la produzione statistica deve soddisfare i seguenti requisiti: essere rilevante per le finalità conoscitive e di analisi degli indicatori fornire stime e indicatori il più attendibili possibile, cioè caratterizzati da elevati livelli di accuratezza cogliere tempestivamente i fenomeni oggetto di studio essere facilmente accessibile e corredata di informazioni utili alla comprensione dei dati consentire di effettuare confronti, come analisi in serie storiche o tra fonti diverse 4 2

3 La qualità del prodotto Rilevanza Accuratezza Le dimensioni della qualità Tempestività e puntualità Coerenza Comparabilità Accessibilità e chiarezza 5 Le dimensioni della qualità Rilevanza: soddisfacimento delle esigenze attuali e potenziali degli utenti Accuratezza: grado di vicinanza tra le stime e i valori reali oggetto di rilevazione Tempestività: tempo intercorrente tra la data di rilascio e quella di riferimento dei dati Puntualità: rispetto dei tempi programmati per il rilascio dei dati Coerenza: utilizzo dei medesimi concetti, classificazioni, definizioni e popolazioni obiettivo Comparabilità: confrontabilità nel tempo e/o nello spazio delle stesse variabili Accessibilità: facilità di accesso ai dati Chiarezza: facilità di comprensione dei dati 6 3

4 Un dettaglio sull accuratezza errori campionari e non campionari Le possibili fonti di errore di un indagine: Errore campionario È gestibile e in gran parte noto in base allo schema di campionamento Diminuisce all aumentare del campione. Errore non campionario Copertura: è insito nelle liste di partenza dell indagine (sottocopertura, sovracopertura, duplicazioni) Mancata risposta: mancata acquisizione parziale o totale dei dati relativi a certe unità nel campo di osservazione Misurazione: errori nell identificazione del valore della variabile in fase di raccolta o trattamento dei dati 7 Un dettaglio sull accuratezza tipologie di errore Errore variabile Dipende dal numero di unità da rilevare (n) nelle indagini campionarie di solito diminuisce al crescere di n nelle indagini non campionarie su vasta scala può crescere all aumentare di n Distorsione È indipendente dal numero di unità da rilevare utilizzo di una scala di misurazione errata impiego di uno stimatore distorto ecc. 8 4

5 La scomposizione dell errore totale Distorsione Non campionaria Campionaria 9 Indagini statistiche 10 5

6 Fasi dell indagine statistica: dalla progettazione alla diffusione Progettazione Obiettivi, definizioni, classificazioni Disegno d indagine Tecniche di indagine Il questionario Tempi e costi Rilevazione Registrazione dati su supporto elettronico e codifica dei quesiti aperti Revisione automatica e/o interattiva Elaborazioni statistiche Validazione Diffusione 11 Progettazione dell indagine L obiettivo generale di una rilevazione è la produzione di statistiche in grado di riassumere adeguatamente il fenomeno di studio. Progettare un indagine significa definire gli aspetti salienti relativi alla sua realizzazione calibrandoli in funzione degli obiettivi conoscitivi e in modo da garantire la qualità dei dati rilevati. Il processo di rilevazione, infatti, è un processo sistemico e le singole fasi sono collegate tra loro. Errori progettuali in una di esse possono avere ricadute negative su tutto il processo di rilevazione. La progettazione è realizzata da un team multidisciplinare di professionalità - gruppo di progettazione - che ha lo scopo di individuare la strategia di rilevazione. Il lavoro di progettazione termina con la realizzazione del documento di progettazione. 12 6

7 Obiettivi, definizioni e classificazioni 1/3 a) Fenomeno di interesse La statistica è una scienza utilizzata per analizzare i fenomeni collettivi ovvero quei fenomeni che interessano una pluralità di individui (es. natalità, mortalità, matrimoni, reddito ecc ) al fine di individuare delle regolarità di comportamento (pattern). Ogni fenomeno collettivo può perciò essere il fenomeno di interesse della rilevazione. È necessario delimitare precisamente gli aspetti che si intende descrivere e quelli da escludere - componente statica vs componente dinamica - confrontabilità territoriale e/o temporale - ipotesi che si vuole mettere a verifica 13 Obiettivi, definizioni e classificazioni 2/3 b) Popolazione di riferimento (campo di osservazione) Individua con precisione le unità eleggibili, ovvero l insieme delle unità statistiche alle quali si intende estendere i risultati dell indagine. Le caratteristiche che permettono di identificare l appartenenza o meno di una unità al campo di osservazione vengono definite criteri di eleggibilità. c) Variabili studiate Rappresentano le caratteristiche elementari della popolazione di riferimento (es. qualitative ordinali o sconnesse, quantitative discrete o continue). Derivano dalla scomposizione del fenomeno di interesse nei suoi elementi 14 costituenti. 7

8 Obiettivi, definizioni e classificazioni 3/3 d) Classificazioni: Si intende l insieme delle categorie assunte dalle variabili qualitative ai fini dell indagine. Per alcune variabili, perché particolarmente complesse e/o per garantirne la comparabilità spazio-temporale, si utilizzano classificazioni standard adottate a livello internazionale: - CODICE ATECO classificazioni attività economiche - CODICE DELLE PROFESSIONI - CLASSIFICAZIONE DEI TITOLI DI STUDIO - NOMENCLATURA DELLE UNITA TERRITORIALI (NUTS/LAU) - CLASSIFICAZIONE DEGLI STATI ESTERI 15 - Disegno di indagine Per realizzare il disegno d indagine è necessario definire: qual è il tipo di indagine più consono in relazione alle statistiche di interesse - stime di variazione netta o lorda - trend temporali - stime di durata (transizioni di stato) - se si vuole procedere ad un indagine totale o campionaria quale debba essere la tecnica di indagine 16 8

9 Disegno di indagine: tipologie di indagini In primo luogo è necessario decidere se l indagine sarà: - longitudinale (panel): riferita a una coorte di individui seguiti nel tempo - trasversale (cross-sectional): se riferita ad un periodo specifico trasversale longitudinale età Diagramma di Lexis anni 17 Disegno di indagine: tipologie di indagini Indagini occasionali: - forniscono stime relative a un singolo istante temporale o a un singolo periodo di riferimento - se collegate ad altre indagini sono più informative (es. Indagine multiscopo sulla Sicurezza delle donne, Indagini ripetute: - periodiche o ricorrenti - senza sovrapposizione (Indagine multiscopo Aspetti della vita quotidiana) o con sovrapposizione parziale del campione (Indagine continua sulle Forze di Lavoro) Indagini longitudinali senza rotazione: - la coorte di origine resta inalterata nel corso del tempo Indagini longitudinali con rotazione: - la coorte iniziale di individui riceve dei nuovi ingressi nel corso del tempo (Indagine su reddito e condizioni di vita - Eu-Silc) 18 9

10 Disegno di indagine: totale o campionaria Indagine totale: investiga tutte le unità della popolazione di riferimento molto costosa soggetta ad elevata probabilità di errori Popolazione Indagine campionaria: Campione necessita di liste affidabili da cui estrarre il campione bisogna definire la strategia di campionamento e la numerosità campionaria 19 Disegno di indagine: tecniche di indagine Per tecnica di indagine si intende l insieme delle modalità di contatto delle unità statistiche e di raccolta delle informazioni. Tipologie principali Indagini dirette Indagini indirette - Intervista diretta (faccia a faccia) - Intervista telefonica - Questionario postale auto-compilato - Questionario web (auto-compilato) - Diario -Tecniche miste (mix delle precedenti) Utilizzo di dati amministrativi con finalità statistiche 20 10

11 Indagini dirette 21 Tecniche di indagine: indagini dirette Intervista diretta (o faccia a faccia) L intervista viene condotta da un rilevatore che legge le domande e le opzioni di risposta nell esatto ordine e con lo stesso linguaggio adottati nel questionario riportandovi quindi le risposte così come sono fornite dal rispondente. Modalità di somministrazione del questionario PAPI -> paper and pencil interview CAPI -> computer assisted personal interview Vantaggi: - identifica esattamente il rispondente - l intervistatore può chiarire il significato delle domande - più adatta per censimenti e campionamenti areali - maggiore possibilità di convincere l intervistato a fornire le risposte Svantaggi:- costosa - richiede un apparato organizzativo importante - tempi lunghi - rischi di condizionamento 22 11

12 Tecniche di indagine: indagini dirette Intervista telefonica - CATI (Computer Assisted Telephone Interview) L intervistatore contatta il rispondente telefonicamente L intervista è condotta con il supporto di un computer L intervistatore legge le domande e registra contestualmente le risposte Vantaggi: - costi minori rispetto intervista faccia a faccia - tempestività nella raccolta dati (data entry contestuale) - non richiede organizzazione sul territorio - possibilità di controllo dell operato dei rilevatori - bassi rischi di condizionamento Svantaggi:- impossibilità di contattare chi è senza telefono - il rispondente non è identificato con certezza - il questionario non può essere eccessivamente lungo - l ausilio che l intervistatore può dare è contenuto 23 Tecniche di indagine: indagini dirette Questionario postale auto-compilato (o web autocompilato) Tradizionalmente il rispondente riceve il questionario a mezzo posta o corriere e provvede a compilarlo nelle parti ad esso spettanti restituendolo via posta o tramite un incaricato. Nel caso web il rispondente riceve un link per la compilazione via internet. Vantaggi: - bassi costi di realizzazione - livello di organizzazione contenuto - bassi rischi di condizionamento - il rispondente ha il tempo di reperire le informazioni utili - adatta per i quesiti delicati Svantaggi:- tempi lunghi di raccolta (salvo le risposte web) - impossibilità di identificare il rispondente - autoselezione dei rispondenti - minore capacità di ottenere la partecipazione dei rispondenti 24 12

13 Tecniche di indagine: indagini dirette Diario È un particolare tipo di questionario strutturato appositamente per registrare eventi frequenti e di scarsa importanza quali spese di bassa entità o attività quotidiane. La sua strutturazione è tale da permettere la registrazione degli eventi nel momento della giornata in cui si verificano in modo da non dover ricorrere ad uno sforzo di memoria successivo come avverrebbe in un intervista di tipo classico, con la conseguente sotto-notifica degli eventi. Vantaggi: non affetto da problemi di memoria Svantaggi:- struttura del questionario complessa - sotto notifica degli eventi - rischi di condizionamento dei comportamenti da registrare - necessità del rilevatore per la consegna, il ritiro e il supporto alla compilazione 25 Tecniche di indagine: tecniche miste Vengono utilizzate quando una sola tecnica di rilevazione è ritenuta non sufficiente alla raccolta dei dati. Esempi di tecniche miste: Indagine postale + indagine diretta sui non rispondenti all indagine postale Indagine telefonica + indagine diretta su coloro che non possiedono il telefono Indagine diretta + questionario individuale Diario + intervista finale Prima intervista diretta e successive con modalità telefonica Dati amministrativi + controllo campionario con questionario postale autocompilato 26 13

14 Indagini indirette 27 Tecniche di indagine: indagini indirette Si definisce indagine indiretta (o indagine statistica basata su dati di fonte amministrativa) l indagine che utilizza dati amministrativi con finalità di tipo statistico. Vantaggi: - relativamente economiche da utilizzare a fini statistici - nessun disturbo ai rispondenti - spesso riguardano la totalità della popolazione e sono utili per costruire archivi o registri statistici 28 14

15 Tecniche di indagine: indagini indirette Svantaggi: - Qualità variabile e incognita: accessibilità, tempestività; completezza; - le leggi che regolano la raccolta possono cambiare pregiudicando la confrontabilità dei dati nel tempo (es. omicidio stradale; raccolta differenziata) - lo statistico non è in grado di controllare ex ante e in itinere la qualità della raccolta dei dati - Le informazioni utili ai fini statistici potrebbero essere raccolte in modo inaccurato perché non di primaria importanza ai fini amministrativi (es. titolo di studio all anagrafe) - le informazioni potrebbero essere insufficienti a 29 definire l unità di analisi di interesse (es. caratteristiche individuali, eventi e non individui, ecc) Tecniche di indagine: indagini indirette Errori di copertura - la popolazione alla quale interessa riferire l'informazione può non coincidere con quella riguardata dalla raccolta dei dati amministrativi (riferimento territoriale; definizione unità di rilevazione); - Sottodichiarazione degli eventi di interesse (cd sommerso ) e e sovranotifica (es. liste di disoccupazione) Distorsioni - non coincidenza fra le definizioni usate per i dati amministrativi e quelli interessanti ai fini statistici (es. guida in stato di ebbrezza) 30 15

16 Il questionario 31 Il questionario Il questionario di indagine è uno strumento di misura atto a raccogliere in modo sistematico caratteristiche, comportamenti, opinioni dei rispondenti. È uno strumento di comunicazione standardizzato. Fasi di progettazione del questionario: definizione degli obiettivi e concettualizzazione: documentazione sull argomento, individuazione delle variabili da raccogliere rispetto ai temi di interesse, identificazione dei destinatari del questionario redazione del questionario: predisposizione di una successione logica dei temi trattati, utilizzando un linguaggio comprensibile ai rispondenti e prevedendo transizioni graduali tra un tema e l altro; verifica dell opportunità di introdurre domande filtro, di controllo, retrospettive, o quesiti su temi delicati verifica del questionario: mediante pre-test, test delle alternative, indagine pilota 32 16

17 Tempi e costi La programmazione dei tempi e dei costi di esecuzione dell indagine è un fattore critico per la riuscita della stessa. Queste variabili si influenzano reciprocamente e sono fortemente connesse alla qualità dell informazione prodotta. Azioni utili per migliorare la pianificazione di tempi e costi d indagine: considerare le singole fasi operative e valutarne attentamente l integrazione predisporre, nel sistema dei controlli di qualità, un monitoraggio delle risorse impiegate in ciascuna attività condotta e dei loro tempi di esecuzione, mettendo tali informazioni a confronto con gli altri indicatori di qualità prodotti. Tali informazioni sono utili sia in fase di validazione, per identificare inefficienze, sia in successive fasi di progettazione della stessa o di altre indagini 33 Rilevazione La fase di rilevazione consiste nel contattare le unità statistiche selezionate e procedere alla raccolta delle informazioni. Tre elementi centrali: Individuare le unità e promuovere la loro partecipazione alla rilevazione Raccogliere l informazione in modo neutrale Lasciare una buona impressione Per soddisfare i tre requisiti precedenti è necessario che la fase di rilevazione venga ben pianificata, che il personale coinvolto sia adeguatamente formato, che siano state attuate delle campagne informative, che ci sia un interazione costante e fluida tra tutti i nodi della rete organizzativa

18 Registrazione su supporto elettronico Consiste nella digitalizzazione, su supporto informatico, delle risposte dei questionari cartacei Errori: slineamenti, scambi di tasti, errori di lettura ottica) - pianificare in dettaglio l attività e le modalità di registrazione - prevedere delle procedure di test dell attività Non necessaria per CATI, CAPI, WEB SURVEY ecc La codifica dei quesiti aperti consiste nella trasposizione di risposte pervenute sotto forma di linguaggio libero in codici standard (es. ATECO). 35 Revisione automatica Consiste nell individuazione dei valori mancanti o incongruenti e nella successiva imputazione dei valori veri (ricontatto delle unità) o più corretti (imputazione probabilistica) Tipologie di errore Sistematico: un unico valore corretto per la sottopopolazione Casuale: esiste una variabilità di risposte Obiettivo Riportare i dati ad una condizione di ammissibilità in modo da influenzare al minimo le stime Metodologi a Definizione di regole formali da implementare tramite procedure informatiche di natura deterministica (errori sistematici) o probabilistica (errori casuali) 36 18

19 Validazione Valuta la congruità delle dell indagine informazioni raccolte con le finalità Obiettivi di qualità programmati VS Risultati raggiunti Finalità: valutare se la qualità dei dati è adatta alla diffusione valutare la necessità di modificare il processo di produzione 37 Diffusione È l ultima fase della produzione di informazione statistica. La strategia di diffusione dei risultati deve tenere conto sia dei canali utilizzati che delle caratteristiche dei fruitori. Le modalità di diffusione possono essere: dirette, in cui i mezzi e i modi di trasferimento delle informazioni sono gestiti dal produttore delle statistiche per mezzo di propri strumenti editoriali indirette, ad esempio mediante il coinvolgimento dei mezzi di comunicazione di massa diffuse in rete, rendendo disponibili alcune banche dati dalle quali gli utenti più esperti del settore di interesse possono ricavare approfondimenti adeguati ai loro specifici obiettivi. L'accesso alle banche dati deve comunque essere studiato in modo tale da garantire 38 la riservatezza delle informazioni diffuse, evitando che si possa risalire al singolo individuo. 19

20 Bibliografia (1/2) Istat (2012), Linee guida per la qualità dei processi statistici, Eurostat (2012), Quality Assurance Framework of the European Statistical System en.pdf/8bcff303-68da-43d9-aa7d-325a5bf7fb42. OMB (2006), Office of Management and Budget - Standards and Guidelines for Statistical Surveys. The White House, Washington, USA. g/statpolicy/standards_stat_surveys.pdf. Eurostat (2005) European Statistics Code of Practice for the National and Community Statistical Authorities. Adopted by the Statistical Programme Committee on 24 February 2005 and promulgated in the Commission recommendation of 25 May Bibliografia (2/2) European Communitiy (2002), Quality in the European Statistical System - The Way Forward (LEG on Quality) the-ess-leg-on-quality-2002-en-0-1.pdf/347a e-4feb-9d bd6330c7 M.Fortini (2000), Linee guida metodologiche per rilevazioni statistiche Istat,