Valori Mancanti. Valori Mancanti. Introduzione. continua

Transcript

1 Un vecchio adagio afferma che ci sono due certezze: Morte e tasse. Potremmo aggiungerne un altra: i valori mancanti. McKnight P.,McKnight K., Sidani S., Figueredo A. (2007) Dott.ssa Saraco Francesca Seminario del 3 Aprile Introduzione continua L assenza di alcuni dati è molto comune e comporta problemi nella interpretazione dei risultati e nella comprensione, conoscenza e spiegazione del fenomeno in studio; Esistono diversi tipi di valori mancanti I differenti tipi conducono a problemi diversi. L impatto dei valori mancanti si ha su tre ampi aspetti dell indagine statistica: 1. Misurazione; 2. Comprensione delle relazioni tra variabili; 3. Comprensione delle relazioni tra unità; 4. Conclusioni scientifiche. 3 4

2 Cause dei valori mancanti Mancata copertura: mancata inclusione di alcune unità della popolazione obiettivo del campionamento (no contact) Mancata risposta totale: per una o più unità selezionate nel campione non si dispone di alcun dato perché non rilasciati o forniti in modo manifestamente illogico (no record); Conseguenze dei valori mancanti Tipo di conseguenza Misurazione (affidabilità, pertinenza dei dati al fenomeno studiato) Tipo di valore mancante -Campo (manca una o più informazioni); -Record (mancano tutte le informazioni) Caratteristiche -Diminuisce l insieme dei dati, -aumenta la varianza dell errore, -aumentano le stime distorte. Mancata risposta parziale: solo una parte delle informazioni relative ad una unità statistica risultano disponibili (no field). EFFETTI DISTORSIVI SULLE STIME FINALI Affidabilità e precisione dei risultati (attendibilità interna) Generalizzazione dei risultati; Governance -Distorsione nel campionamento (distacco tra partecipanti e non partecipanti con dati completi e partecipanti con dati incompleti); -Riduzione dell ampiezza campionaria. -Campioni non rappresentativi, differenze tra popolazione studiata e popolazione campionata (attendibilità esterna); -perdita di potenza dei test; -minore validità dei risultati. 5 6 Mancate risposte parziali: Imputazione & Editing Nel progettare un indagine statistica, si prevede una fase ad hoc denominata editing. Tale operazione si svolge in due fasi: 1) riconoscimento del valore mancante con formulazione di regole che lo fanno emergere dall insieme dei dati presenti; Esempio: valore mancante: anni di contribuzione all atto dell intervista (2008) anno di inizio dei contributi: Valore mancante = 30. 2) correzione, cioè si individua il nuovo dato da imputare al posto di quello mancante, correggendo così il file grezzo. Esempio: valore mancante: anni di contribuzione all atto dell intervista (2008) valore mancante = mediana degli anni di contribuzione nel campione Mancate risposte parziali: Imputazione (invenzione) Serie di tecniche per sostituire i valori mancanti con valori prodotti artificialmente. L imputazione consente poi di lavorare sul data set come se questo fosse completo facilitando l analisi dei dati e rendendo più agevole la presentazione dei risultati (NB: molti pacchetti statistici possono elaborare soltanto data set completi). Nelle mancate risposte parziali di solito l informazione in grado di predire il dato mancante è presente in altre risposte del questionario. 7 8

3 Tre tipologie di dati mancanti (Rubin,1976): Causalità esterna (MCAR): se il dato può mancare anche in teoria ma non necessariamente in pratica. Non c è legame tra i mancanti di un indicatore e i mancanti di un altro indicatore. Non c è legame tra un mancante e un altro. Casualità interna (MAR): i dati mancano per la rilevazione in esame e quindi in pratica ma non in teoria. IDEM Casualità totale (MNCAR): se il dato può mancare sia per ragioni teoriche che pratiche. Possono esistere legami di dipendenza tra i valori mancanti. Tabella R Tabella dei campi non validati Record Identification Variables Weight Number Classification V1 V2 V3 V4 V5 1 X W X W X W X W X W X W X W X W X W X W Tre tipologie di dati mancanti (Rubin,1976)/2: Esempio: se X rappresenta una variabile osservata per intero, Y una osservata con dati mancanti, Z le cause dei dati mancanti (si presume non correlate a X e a Y) e R la tabella dei codici 0/1. Metodi d Imputazione: In linea generale possiamo considerare tre classi di metodi: Metodi deduttivi, nei quali il valore imputato è dedotto da informazioni o relazioni note; Metodi deterministici, nei quali imputazioni ripetute per unità aventi le stesse caratteristiche producono sempre gli stessi valori imputati; Metodi stocastici, nei quali le imputazioni ripetute per unità aventi le stesse caratteristiche possono produrre diversi valori imputati. Inoltre, si assegna un valore al campo mancante in relazione ad uno specifico modello sottostante

4 Metodi Deduttivi Possibilità di sfruttare le informazioni presenti nel data set in modo da poter dedurre il valore da sostituire al dato mancante da una o più variabili già presenti o disponibili. Esempi: - Il rispondente ha un età inferiore ai 17 anni; il valore da imputare alla variabile patente di guida è NO. -Conoscendo il reddito lordo ed il regime di tassazione/contribuzione, è possibile ottenere il reddito netto. - Conoscendo il codice fiscale di un individuo, si possono ottenere anno di nascita, sesso, età. Metodi Deduttivi/2 Vantaggi: Possibilità di imputare valori corrispondenti esattamente a quelli veri. Svantaggi: Possibilità di distorsioni nel caso in cui il metodo è applicato in maniera errata. È necessario avere un buon grado di conoscenza dei dati (unità e variabili) e delle relazioni esistenti al loro interno Metodi Deterministici L imputazione deterministica assegna solo un valore determinato a priori, sulla base di altri valori ricavati in maniera univoca da altri valori del record ritenuti corretti. Dati il campione dei rispondenti, il valore da imputare si ottengono da relazioni note, di tipo contabile, fra le variabili del record. Procedura rapida e di importanza essenziale in quanto riduce l esigenza di imputare valori con metodi più complessi. Metodi Deterministici: imputazione con media Si sostituiscono tutte le mancate risposte nella variabile y con un unico valore, la media, la media ponderata o la mediana calcolata sul totale dei rispondenti, cioè. E un metodo che può essere utilizzato solo per le variabili quantitative. Per le qualitative si può usare la moda. E consigliabile nei casi in cui: il numero dei dati mancanti per ciascuna variabile è esiguo; lo scopo dell analisi è limitato alla stima di medie e totali. yi 15 16

5 Metodi Deterministici imputazione con media/2 Vantaggi: preserva la media e il totale dei rispondenti; facile da applicare e da spiegare. Svantaggi: introduce una seria distorsione nella distribuzione della variabile (aumenta il numero di casi al centro, che forse non ci sono). Provoca distorsioni nei legami tra variabili perché compaiono più spesso le coppie (media X i, media Y i ). Esempio: Regione Anno Ateco Fatturato Addetti Fatt/Add Abruzzo 2002 DF 40, Abruzzo 2003 DF 28,132, ,986 Regione Anno Ateco Fatturato/Addetti Regione Fatt/Add somma(1:21) 2003 DF 11, NB: nel calcolo del valore del fatturato da imputare è stata esclusa la regione Abruzzo Conclusioni Conclusioni/2 Uno dei primi problemi che un ricercatore si trova ad affrontare è quello del data set incompleto e con errori. È determinante stabilire se il meccanismo che ha generato i valori mancanti è di tipo casuale o meno, nonché analizzare le possibili relazioni tra i valori mancanti e i dati effettivamente rilevati. L uso dell imputazione è giustificata per almeno tre motivi: 1) Riduce le distorsioni delle stime; 2) Conduce a risultati coerenti; 3) Consente di lavorate sul data set come se fosse completo. I valori una volta imputati, perché mancanti o incoerenti, devono rispettare gli edit: cioè, lo scopo dell imputazione e dell editing è di produrre un data set pulito che meglio rifletta importanti caratteristiche della distribuzione originaria