Approfondimento 5.2. Individuare gli outlier

Transcript

1 Approfondimento 5.2 Individuare gli outlier Gli outlier sono quei valori che, rispetto agli altri del campione, risultano particolarmente estremi. Questo non significa che non siano punteggi validi, ma nemmeno che debbano essere mantenuti nel dataset. La casistica, purtroppo, è molto ampia: ad esempio, in un punteggio ad un test di 10 item da valutare su scala Likert di accordo a 5 punti (1=per niente d accordo, 5=completamente d accordo) un soggetto potrebbe ottenere un punteggio di 10 o di 50 e risultare un outlier rispetto al resto dei punteggi: per quanto il suo punteggio possa essere estremo o anche improbabile, è però perfettamente possibile e compatibile col concetto di punteggio al test. Dall altra parte, un tempo di reazione di 5 secondi rappresenta un risultato possibile in base al concetto generico di latenza della risposta, ma lo è molto meno rispetto al concetto di reazione, che dovrebbe avvenire in un intervallo temporale molto più breve. Nel primo caso, quindi, potremmo pensare di mantenere il punteggio del dataset, nel secondo, invece, dovremmo escluderlo. Gli outlier costituiscono un problema perché tendono a distorcere i risultati delle analisi dei dati, in particolare le statistiche descrittive e le correlazioni. In linea di principio dovrebbero essere individuati nella fase di data cleaning (si veda Approfondimento 4.8), ma possono essere trattati anche nella fase successiva di analisi dei dati. Gli outlier possono essere univariati, ossia presentano un valore estremo per una singola variabile, oppure multivariati, per cui presentano una combinazione insolita di valori su un certo numero di variabili. Questo significa che un outlier multivariato non necessariamente presenterà almeno un valore estremo su una delle variabili, per cui tutti i suoi punteggi potrebbero essere perfettamente ammissibili ma essi potrebbero rappresentare un pattern di risposta improbabile rispetto al resto dei soggetti. Questo può essere proprio il caso delle risposte agli item di tipo Likert di un test di prestazione tipica.

2 Approfondimento 5.2 Individuare gli outlier 2 1. Outlier univariati Gli outlier univariati nel contesto di variabili di tipo metrico vengono di solito valutati in base a tre strategie principali: 1. la standardizzazione dei punteggi 2. l impiego della median absolute deviation 3. l impiego della differenza interquartile 1.1 La standardizzazione dei punteggi La standardizzazione dei punteggi consiste nella consueta trasformazione a punti z dei punteggi mediante la formula: z = X M s dove X è il punteggio osservato, M la media dei punteggi, s la deviazione standard dei punteggi. Poiché nella distribuzione normale standardizzata i punteggi superiori a 2, in valore assoluto, hanno una bassa probabilità di verificarsi, di solito si considera questo il limite per considerare un valore un outlier. Il punto, però, è che nella letteratura scientifica sono stati utilizzati vari altri punteggi critici di z, in base alla definizione degli autori di punteggio improbabile, per cui potreste trovare un range di possibili punteggi critici di z da 2 a 5. La procedura per calcolare i punteggi standardizzati in SPSS è molto semplice. Utilizziamo in questo approfondimento il file TIPICA4.sav, composto da nove variabili, una relativa al codice di identificazione del soggetto (ID), una relativa all età dei 386 soggetti e sette relative ad item di tipo Likert di accordo a 5 punti (1=per niente d accordo, 5=completamente d accordo) di un test di prestazione tipica che misurano la compulsione ad accumulare oggetti. Cominciamo valutando se vi sono outlier per l età. Seguiamo Analyze Descriptive Statistics Descriptives, inseriamo la variabile età nel campo Variable(s), e spuntiamo, in basso a sinistra, Save standardized values as variables (Figura 5.2.1)

3 Approfondimento 5.2 Individuare gli outlier 3 Figura Impostare il calcolo dei punteggi standardizzati in SPSS. Clickiamo su OK. Nell ouput comparirà una tabella con le statistiche descrittive dell età (Figura 5.2.2). Descriptive Statistics età Valid N (listwise) N Minimum Maximum Mean Std. Deviation Figura Statistiche descrittive della variabile età Le statistiche di dicono che il valore minimo è 18 e quello massimo 65, il che ci potrebbe far pensare che, se il campione sul quale stiamo lavorando riguarda la popolazione generale, i punteggi e- stremi appaiono plausibili. Torniamo ora al file dei dati, e notiamo che è stata aggiunta una colonna, Zetà, che contiene i valori di età trasformati a punti z. Per valutare la possibile presenza di outlier dobbiamo decidere quale valore di punto z rappresenta il limite per considerare i punteggi estremi. Poniamo di aver scelto il valore 3. A questo punto ordiniamo il dataset in ordine crescente in base al valore di Zetà. Per farlo, seguiamo Data Sort cases e inseriamo Zetà nel campo Sort by, lasciando l impostazione di default dell ordine ascendente (ascending) (Figura 5.2.3).

4 Approfondimento 5.2 Individuare gli outlier 4 Figura Ordinare il dataset in base ad una delle variabili Clickiamo su OK. Adesso il dataset è ordinato in base ai valori di Zetà. Concentriamoci sulla colonna di questa variabile. Se nel dataset vi sono outlier rispetto all età, questi dovrebbero comparire nelle prime righe del dataset riordinato (bassi valori di età) e nelle ultime (alti valori di età). Il punto z corrispondente ad un età di 18 anni, la minima osservata è 1,57, che in valore assoluto non è superiore a 3, per cui non lo consideriamo un outlier. Il valore massimo 65, invece, presenta un punteggio standardizzato di 3,01, che, per quanto di poco, lo pone al di fuori della gamma di valori accettabili. Dobbiamo dunque considerarlo un outlier? In base al criterio statistico che abbiamo scelto sì, ma occorre tenere in considerazione che i valori di età immediatamente precedenti sono 63 e 61, per cui la distanza di questo valore da quelli non classificati come outlier non appare rilevante. Inoltre, anche in senso assoluto 65 potrebbe non essere considerato un valore particolarmente estremo per l età, soprattutto in un campione di soggetti che hanno compilato un test. Potremmo quindi pensare di mantenerlo nel dataset. Se lo escludessimo, dovremmo cancellare il valore dell età di quel soggetto e ri-stimarla mediante l analisi per i dati mancanti (Approfondimento 4.9). Il metodo della standardizzazione, però, è basato sul sottrarre al punteggio osservato la media di tutti i punteggi e sul dividere questa differenza per la deviazione standard dei punteggi. Il problema è che media e deviazione standard sono due statistiche che risentono pesantemente proprio della presenza di outlier,. Per ovviare a questo problema si ricorre allora alla median absolute deviation.

5 Approfondimento 5.2 Individuare gli outlier Median Absolute Deviation La median absolute deviation (MAD) consente di ottenere uno stimatore consistente della deviazione standard indipendente dalla presenza di outlier, e la sua origine pare risalire ad un lavoro di Gauss (1816). La MAD è la mediana del valore assoluto degli scarti fra ogni valore e la mediana: MAD = mediana i X i mediana j ( X j ) Si può dimostrare che la relazione fra la MAD e la deviazione standard è s = MAD 1,4286. Tale valore è una costante che dipende dalla distribuzione di probabilità su cui si sta lavorando, che di solito è la distribuzione normale. Il punteggio z robusto (z r ) viene quindi calcolato come i punti z classici, ma con la stima di s partire dalla MAD a denominatore: z r X M = MAD 1,4286 I punteggi superiori a 3,5 in valore assoluto vengono quindi considerati outlier. Per calcolare la MAD in SPSS dobbiamo innanzitutto calcolare la mediana. Utilizziamo sempre la variabile età. Seguiamo Analyze Descriptive Statistics Frequencies, inseriamo la variabile età nel campo Variable(s) e clickiamo su Statistics. Nella nuova finestra spuntiamo Quartiles nel riquadro Percentile Values (Figura 5.2.4). Figura Impostazioni di SPSS per il calcolo della mediana Il motivo per cui non spuntiamo direttamente Median nel riquadro Central Tendency è che il secondo quartile corrisponde in ogni caso alla mediana, e il primo e il terzo quartile ci serviranno per de-

6 Approfondimento 5.2 Individuare gli outlier 6 scrivere un altra procedura di valutazione degli outlier univariati nella prossima sezione. Clickiamo su Continue, quindi su OK e otteniamo il risultato in Figura Statistics età N Percentiles Valid Missing Figura Quartili della distribuzione dell età Il percentile 25 corrisponde al primo quartile (Q1), il 50 alla mediana (o secondo quartile Q2), il 75 al terzo quartile (Q3). La mediana dell età è quindi 34. Adesso dobbiamo calcolare per ogni valore lo scarto dalla mediana, prenderlo in valore assoluto, sempre positivo, e calcolare la mediana di questi nuovi valori. Seguiamo allora Trasform Compute. Nel campo Targer Variable scriviamo il nome della variabile che conterrà gli scarti in valore assoluto dalla mediana (dev_med), mentre nel campo Numeric Expression scriviamo la formula ABS(età 34) (Figura 5.2.6).

7 Approfondimento 5.2 Individuare gli outlier 7 Figura Calcolo degli scarti assoluti dalla mediana Clickiamo su OK. Adesso dobbiamo calcolare la mediana della nuova variabile dev_med. Per farlo, seguiamo lo stesso procedimento illustrato in precedenza per calcolare la mediana dell età. La mediana degli scarti in valore assoluto dalla mediana è quindi 7. Possiamo adesso calcolare, per ogni soggetto, il punteggio z r con la formula vista in precedenza. Seguiamo di nuovo Trasform Compute. Nel campo Targer Variable scriviamo il nome della variabile che conterrà i punteggi z robusti (zr), mentre nel campo Numeric Expression scriviamo la formula (età 34.15)/(1.4286*7) (Figura 5.2.7) 1 1 Il valore 34,15 della media dell età lo abbiamo ottenuto in Figura

8 Approfondimento 5.2 Individuare gli outlier 8 Figura Calcolo degli z robusti Clickiamo su OK, e, con il procedimento visto in Figura 5.2.3, ordiniamo il dataset in base alla nuova variabile zr. Osserviamo che il valore minimo è 1,56 (corrispondente a 18 anni) e il massimo 2,97 (corrispondente a 65 anni), entrambi inferiori al 3,5 che costituisce il valore critico di zr per considerare il valore un outlier. In base all impiego della MAD, quindi, nessun valore di età pare poter essere considerato un outlier. 1.3 Differenza interquartile Un altro metodo basato sull informazione a livello ordinale per l individuazione di outlier univariati è quello del calcolare un limite superiore di accettabilità uguale al terzo quantile più 1,5 volte la differenza interquartile e un limite inferiore uguale al primo quartile meno 1,5 volte la differenza interquartile. Nel caso dell età che stiamo considerando, abbiamo visto in Figura che Q1 e Q3

9 Approfondimento 5.2 Individuare gli outlier 9 sono rispettivamente 27 e 41. Questo significa che la differenza interquartile DI = = 14, per cui il limite superiore sarà ,5 = 62 e il limite inferiore sarà ,5 = 6. A questo punto basta ordinare il dataset in base all età e individuare se vi sono valori inferiori a 6 o superiori a 62. Nel nostro caso non abbiamo valori inferiori a 6 (il minimo è 18), mentre abbiamo due valori superiori a 62 (63 e 65). SPSS non consente un calcolo diretto di questi valori, ma possiamo ottenere un grafico che corrisponde a questa procedura seguendo Analyze Descriptive Statistics Explore e inserendo la variabile età nel campo Dependent List. A questo punto clickiamo su Plots, dove deselezioniamo Stem-and-leaf nel campo Descriptive e selezionaimo invece Histogram (Figura 5.2.8). Figura Impostazioni di SPSS per l'individuazione di outlier mediante la differenza interquartile Clickiamo su Continue, quindi su OK e osserviamo l output (Figura 5.2.9). Descriptives età Mean 95% Confidence Interval for Mean Lower Bound Upper Bound Statistic Std. Error % Trimmed Mean Median Variance Std. Deviation Minimum Maximum Range Interquartile Range Skewness Kurtosis

10 Approfondimento 5.2 Individuare gli outlier 10 Figura Output di SPSS per la funzione Explore Nella tabella Descriptives è riportato il valore 5% Trimmed Mean, che è la media calcolata dopo aver escluso il 5% dei valori agli estremi della distribuzione (2,5% nella coda inferiore, 2,5% nella coda superiore). Se questo valore è molto diverso dalla media potremmo supporre che i valori e- stremi pesino particolarmente all interno del campione, ma in questo caso la differenza è inferiore all unità di misura (34,15 33,77 = 0.38). Nel boxplot, invece, osserviamo due piccoli cerchi sopra il baffo superiore, che indicano proprio i due outlier identificati con la procedura numerica di prima. Si noti che il numero accanto ai cerchietti non è l ID del soggetto, ma la riga del dataset nella quale compare il valore al momento dell analisi. Questo significa che il valore può cambiare se avete ordinato il dataset in base ad un altra variabile. 1.4 Considerazioni sugli outlier univariati Le tre procedure che abbiamo visto in questa sezione hanno condotto a tre diverse conclusioni circa lo status di outlier dell età di alcuni soggetti. Questo risultato dovrebbe far riflettere circa il livello di arbitrarietà che può influenzare le decisioni. Se in precedenza è stato consigliato di eliminare i valori identificati come outlier dal dataset e ri-stimarli mediante, ad esempio, la multiple imputation, un altra strategia potrebbe essere quella di creare una nuova variabile, in cui i valori siano 0 se

11 Approfondimento 5.2 Individuare gli outlier 11 il soggetto non è un outlier e 1 se lo è risultato in base ad un qualche criterio. La procedura in SPSS è molto semplice. Supponiamo di voler utilizzare il metodo della differenza interquartile. Abbiamo visto che i valori inferiori a 6 e superiori a 62 dovrebbero essere considerati outlier. Seguiamo quindi Transform Recode Into different variables e inseriamo la variabile età nel campo Numeric Variable -> Output Variable. Scriviamo il nome della nuova variabile nel campo Name nel riquadro Output Variable e clickiamo Change. Nell esempio in Figura abbiamo utilizzato il nome outlier. Figura Codifica della variabile che identifica gli outlier Clickiamo poi su Old and New Values. Spuntiamo Range through highest in basso a sinistra nel riquadro Old Value, inseriamo nel campo il valore 62, poi spostiamoci nel campo New Value, inseriamo il valore 0 nel campo Value e clickiamo Add. Torniamo al riquadro Old Value e spuntiamo Range Lowest through, inseriamo nel campo il valore 6, poi spostiamoci nel campo New Value, inseriamo il valore 0 nel campo Value e clickiamo Add. Infine, spuntiamo All other values nel campo

12 Approfondimento 5.2 Individuare gli outlier 12 Old Value, inseriamo il valore 1 nel campo Value e clickiamo Add, quindi Continue e OK. Verrà creata una nuova variabile contenente 0 e 1 coerentemente con le nostre impostazioni. Con lo stesso principio avremmo potuto creare una nuova variabile che identificasse i valori superiori a 3 e inferiori a 3 per Zetà o i valori superiori a 3,5 e inferiori a 3,5 per zr. Il vantaggio di avere questa nuova variabile è che potremmo utilizzarla come filtro per le analisi. Ad esempio, potremo, senza cancellare i soggetti dal dataset, realizzare un analisi dei dati considerando tutti i soggetti, e poi rifare la stessa analisi ma senza gli outlier. Per farlo basta seguire Data Select Cases, spuntare Use filter variable e inserire nel campo la variabile filtro (nel nostro caso la variabile outlier, Figura ). Figura Filtro dei dati in base alla variabile outlier Clickando su OK si noterà come la colonna di sinistra del file dei dati presenterà una barra diagonale in corrispondenza dei casi non selezionati. Da questo momento in avanti tali casi non verranno considerati nelle analisi, per cui se si vuole ripristinare l intero dataset dovremo tornare alla finestra di Figura e spuntare All cases.

13 Approfondimento 5.2 Individuare gli outlier Outlier multivariati Per l individuazione dei casi estremi non come punteggio in una singola variabile, ma come combinazioni di punteggi in un insieme di variabili, utilizziamo la distanza di Mahalanobis. In SPSS questo indice viene calcolato seguendo Analyze Regression Linear. Le variabili che vogliamo considerare per individuare gli outlier multivariati (nel nostro caso, le risposte agli item da i01 a i07) dovranno essere inserite nel campo Independent(s), mentre nel campo Dependent dovrà essere inserita una qualunque altra variabile metrica del dataset. In realtà non importa assolutamente quale, l importante è che abbia lo stesso numero di casi validi del set di variabili in esame. Nel nostro caso inseriamo l età (Figura ). Figura Impostazioni di SPSS per ottenere la distanza di Mahalanobis Clickiamo poi su Save e nella nuova finestra spuntiamo Mahalanobis nel campo Distances. Clickiamo su Continue e poi su OK. All inizio possiamo ignorare l output e concentrarci invece sulla nuova variabile creata nel file di dati, MAH_1. I valori della distanza mahalonobiana D 2 sono distribuiti come chi-quadrato con un numero di gradi di libertà uguale al numero di variabili inserite nel campo Independent(s), per cui nel nostro caso sono 7. Associamo allora una probabilità al valore di D 2. Seguiamo Transform Compute, inseriamo il nome della variabile (p) che conterrà la pro-

14 Approfondimento 5.2 Individuare gli outlier 14 babilità associata a D 2 nel campo Target Variable e nel campo Numeric Expression scriviamo 1- CDF.CHISQ(MAH_1,7), come in Figura Figura Calcolo della probabilità associata alla distanza mahalobiana Si noti che la formula è identica per qualunque altro caso, tranne che per il 7 finale, che rappresenta il numero di variabili considerate di volta in volta, e quindi può variare. Clickiamo su OK e nel file di dati comparirà la variabile p. Dopo esserci assicurati, nel foglio Variable View, che la variabile venga visualizzata con almeno 5 decimali, con la procedura già vista in Figura ordiniamo il dataset in base a questa variabile. I valori di probabilità associati a D 2 inferiori a.001 sono da considerarsi outlier multivariati. Nel nostro caso notiamo come si trovino in questa condizione sette casi, quelli evidenziati in nero in Figura

15 Approfondimento 5.2 Individuare gli outlier 15 Figura Outlier multivariati nel dataset TIPICA4.sav Osserviamo i pattern di risposta di questi soggetti. Poiché la scala in questione è composta di sette operazionalizzazioni dell acquisizione compulsiva di oggetti, dovremmo aspettarci una bassa variabilità delle risposte di un soggetto, in quanto se ha un livello alto nel costrutto dovrebbe indicare punteggi alti in tutti gli item, mentre se ha un punteggio basso nel costrutto dovrebbe indicare punteggi bassi a tutti gli item. Tutti i soggetti con D 2 troppo alti, però, presentano pattern apparentemente incoerenti, come il soggetto 30 sulla prima riga: dopo aver risposto 5 ai primi due item ha risposto 1 al terzo e al quarto. Come già detto nel caso degli outlier univariati, in questi casi la decisione se escludere o meno i soggetti può essere oggetto di discussione. Nel caso degli outlier multivariati, in particolare, il fatto che un soggetto emerga come un outlier dipende anche dagli altri soggetti del campione, per cui se ora eliminassimo i sette soggetti di Figura e ripetessimo l analisi, potremmo ottenere che altri soggetti, inizialmente non individuati, risultano outlier in riferimento al nuovo campione. Potete escludere quindi questi soggetti, ripetere l analisi e valutare se vi sono ancora outlier: in ogni caso non dovrete ripetere la procedura molte, volte, per cui, in quattro-cinque cicli al massimo dovreste avere a disposizione un campione senza outlier multivariati. Questo rappresenterà un vantaggio al momento di realizzare l analisi fattoriale, ma potrebbe aver portato lo svantaggio di diminuito troppo l ampiezza campionaria oppure, ancor peggio, di aver modificato la rappresentatività del campione, per cui è sempre utile verificare, mediante le statistiche descrittive delle variabili socio-

16 Approfondimento 5.2 Individuare gli outlier 16 demografiche, che il nuovo campione senza gli outlier multivariati abbia mantenuto le caratteristiche che rendevano il campione iniziale rappresentativo della vostra popolazione target sempre che lo fosse!