Imputazione dati mancanti

Transcript

1 Imputazione dati mancanti

2 Una volta preparata la matrice dei dati, occorre controllare alcuni aspetti delle variabili disponibili. Missing Value Range Minimum & Maximum Extreme Values Per verificare la presenza di errori particolari, dati mancanti e valori estremi

3

4 Dati mancanti MISSING VALUE Missing Completely At Random Missing At Random Missing non ingnorabili MCAR Il processo che ha determinato la non rilevazione è completamente indipendente dal valore mancante e da qualsiasi altra variabile disponibile MAR Il processo che ha determinato la non rilevazione è completamente indipendente dal valore mancante ma può dipendere da altre variabili disponibili NMAR Il processo che ha determinato la non rilevazione del valore dipende dal valore mancante

5 Missing completely at random (MCAR) La probabilità che un certo valore per una data variabile sia missing è indipendente da qualsiasi altro valore per qualsiasi altra variabile, missing o osservata. Ovvero i valori missing values sono distribuiti aleatoriamente. Esempi Esperimento Avviamo più prove sperimentali con un ordine casuale. Concludiamole dopo 30 minuti. Sondaggi Chiediamo un numero di domande sorteggiate casualmente Limitiamo al 30% del campione (casuale) un certo item Data entry Inseriamo gli item in disordine sorteggiandoli dal mucchio Fermiamo l inserimento dati a intervalli aleatori.

6 Missing at random (MAR) La probabilità che un valore sia missing è collegata ai valori osservati disponibili Esempi Le donne meno spesso indicano l età I cinesi più spesso evadono le tasse MAR se sesso e nazionalità sono osservati

7 Not missing at random (NMAR) La probabilità che un valore sia mancante è collegata ai valori mancanti Esempi I sovrappeso meno spesso indicano il peso I ricchi il reddito Gli appartenenti all estrema destra il partito NMAR: problema grave

8 Cosa fare? Primo punto: individuare i missing utilizzando le funzioni di calcolo per le frequenze, anche tavole doppie, individuando così anche i dati anomali o errori di inserimento particolari Quindi, in fase di codifica ed inserimento dei dati, sia assegnato un valore univoco ai dati mancanti, in modo da distinguerli chiaramente dai valori effettivi. Ne segue che, ai missing, spettano sempre valori al di fuori dei campi di esistenza delle rispettive variabili, magari identici per tutto il data set: ad esempio 0 se esistono variabili su scala a rapporti 0 è lecito? NO! occorre un alternativa? Sì un codice alfabetico NA

9 Strategia passiva i dati missing vengono ignorati; l analisi viene effettuata esclusivamente sui dati presenti (complete case approach) in due diversi modi: casewise o parwise deletion casewise deletion (listwise deletion) vengono analizzati solamente casi completi; in presenza di molte variabili si ha una considerevole perdita di casi; Non esiste una regola per decidere quando eliminare il record o correggerlo con un imputazione (strategia attiva). Con grandi campioni e basse proporzioni di missing (5% o meno) comunemente si procede ad una casewise/ listwise deletion

10 Strategia passiva Nella casewise deletion o listwise deletion il problema principale dovuto è la perdita di informazioni e quindi di potenza statistica. Ad esempio, con l 1% di probabilità di avere un missing per ognuna delle 100 variabili considerate risulterebbe disponibile solo il 37% del campione. Con 50 variabili avremmo solo il 60% E con il 5% di probabilità di avere un missing, non si avrebbe a disposizione nemmeno l 1% e l 8% del campione, per 100 e 50 variabili complete (come mai?)

11 Strategia passiva pairwise deletion: vengono analizzati casi che presentano dati missing per ciascuna coppia di variabili considerate; Ad esempio, il calcolo delle correlazioni può essere svolto su un numero diverso di casi per ciascuna coppia di variabili; l insieme dei coefficienti di correlazione viene allora stimato su un maggior numero di casi rispetto alla situazione precedente. Questa opzione è solitamente poco preferibile, appunto perché il calcoli sono fatti su sottocampioni diversi e la matrice di varianza \ covarianza può generare problemi

12 Strategia esplorativa Abbiamo detto che i dati missing di una variabile sono raccolti in un solo codice, gestito sullo stesso modo delle altre modalità della variabile attiva. Tale strategia consente di verificare se i valori mancanti si riferiscono ad osservazioni sistematicamente diverse da quelle complete e di studiare le differenze tra unità complete e unità incomplete.

13 Strategia esplorativa

14 Strategia esplorativa

15 Strategia esplorativa

16 Strategia esplorativa

17 Strategia attiva (imputazione) L obiettivo in questo caso è quello di sostituire ciascun valore mancante con uno plausibile, stimato sulla base dei valori validi delle altre variabili completo. Supponiamo, ad esempio, di voler stimare il valore mancante per la variabile peso conoscendo sesso e/o l età per ogni intervistato. Si dovrebbe considerare in modo molto cauto l uso dell imputazione, per via del suo potenziale impatto, talora molto forte, sull analisi dei dati.

18 Strategia 1 listwise n=20 donne (grigio) più riservate per le variabili peso (Y) età (X 2 ) caso sesso (X1) età-20 (X2) peso (Y)

19 Simulazione listwise cancello tutti i casi con valori missing lavoro solo sui record completi è il default nei software In questo caso il campione risultante non è selezione in funzione del peso Y, ma del sesso X. La cancellazione listwise è stata selettiva per sesso, non per peso. Se il peso non dipende dal sesso, il campione residuo non è distorto per peso caso sesso (X1) età-20 (X2) peso (Y)

20 LD conviene, in generale, su dati MCAR LD non porta a distorsioni salvo la cancellazione dipenda da Y

21 Strategia 2: media Si calcola la media dei casi completi Y per sostituirla nei casi mancanti Lo stesso per X 1, X 2 Il modello implicito Y= Y X 1 = 1 X 2 = 2 Problemi Si oscura la relazione tra X e Y si sottostima la varianza di Y e la covarianza tra X i e Y

22 Strategia 2: media condizionata Si calcola la media sui casi completi, ma condizionatamente ai valori noti X 1, X 2 il modello implicito se Y è missing Y = X 1 1 Problemi Si ignora la componente random (manca ) si sottostima la varianza della variabile Y imputata

23 Strategia 3: media condizionata + Come la media condizionata più un residuo aleatorio Il modello implicito se Y è missing Y = 0 X 1 1 Y Problemi con Y modifico artificialmente la correlazione tra Y e X 1 introduco un'altra sorgente di variabilità nei miei dati

24 Problemi con l imputazione singola Si sottostima la variabilità delle variabili missing e quindi anche la variabilità delle stime campionarie svolte anche con i dati imputati Infatti si trattano i valori imputati come osservati, mentre sono più incerti sono ulteriori stime! In altri termini, quando si considera l aggiunta di un residuo aleatorio () ipoteticamente dovuto al modello aleatorio considerato, si introduce una sorta di ulteriore campionamento quindi una aleatorietà aggiuntiva oltre a quella primaria dovuta all'estrazione iniziale del campione