Approfondimento 4.6. La valutazione statistica della discriminatività di un item

Transcript

1 Approfondimento.6 La valutazione statistica della discriminatività di un item. Item di test di prestazione massima Per valutare la discriminatività di un item di un test di prestazione massima occorre confrontare fra loro le proporzioni di risposta corretta di ogni item fra i gruppi di soggetti definiti dal quantile massimo e dal quantile minimo della distribuzione dei punteggi totali al test. Nel manuale viene suggerito che la divisione può essere fatta in due parti tramite la mediana, oppure in tre, quattro o cinque parti, e che all aumentare delle parti in cui è suddivisa la distribuzione dei punteggi totali il test diventa più sensibile. In questo esempio la distribuzione verrà divisa in quartili, ma la procedura è i- dentica per qualunque altro numero di parti si voglia dividere la distribuzione. Nel seguente esempio utilizziamo il file RASCH.sav, scaricabile dal sito online del manuale. Il file è composto da 3 colonne, corrispondenti alle 3 domande del file Test_pedagogia.doc, e da 38 righe, corrispondenti ai soggetti. I valori 0 e indicano, rispettivamente, risposta errata e corretta. I dati sono già correttamente codificati, per cui, utilizzando la funzione Compute descritta nell Approfondimento., Sezione, calcoliamo il punteggio totale. Andiamo al menu Transform Compute e nei campi appositi della finestra che si apre indichiamo il nome della variabile che conterrà il punteggio totale (tot) e la somma degli item (Figura.6.). Figura.6. Calcolo del punteggio totale per i dati del file RASCH.sav Una volta clickato OK comparirà nel file di dati una nuova colonna chiamata tot. Copyright 0 The McGraw-Hill Companies S.r.l., Publishing Group Italia

2 Approfondimento.6 La valutazione statistica della discriminatività di un item A questo punto abbiamo bisogno di suddividere in quartili questa distribuzione. Per farlo, andiamo al menu Transform Rank cases. Nella finestra che si aprirà inseriamo la variabile tot nel campo Variable(s) e clickiamo su Rank Types. Nella nuova finestra (Figura.6.) deselezioniamo l opzione di default Rank e selezioniamo invece Ntiles. Accanto all opzione c è un numero, che è appunto il numero di parti in cui vogliamo dividere la distribuzione. Come è ovvio, se desiderate dividere la distribuzione in terzili o quintili basta cambiare questo numero. Figura.6. Finestre Rank Cases e Rank Cases: Types Clickiamo su Continue e poi su OK. Si aprirà una finestra di output che riporterà la dicitura Variables Created By RANK tot into Ntot(NTILES of tot) e nel file di dati comparirà un altra colonna chiamata Ntot. Quello che vogliamo fare adesso è confrontare se le proporzioni di risposte corrette nel quarto quartile sono statisticamente maggiori di quelle del primo quartile. Purtroppo non possiamo farlo direttamente con SPSS, ma possiamo utilizzare SPSS per calcolare i dati da incollare nel file DISCRIM.xls scaricabile dal sito del manuale. Quello che facciamo, quindi, è utilizzare la procedura di SPSS che permette di realizzare un test per campioni indipendenti, ma dell outpur risultante consideremo solo le statistiche descrittive, i- gnorando il test di ipotesi. Andiamo a Analyze Compare Means Independent Samples T Test e inseriamo tutti gli i- tem nel campo Test Variable(s) e la variabile Ntot nel campo Grouping Variable. A questo punto clickiamo su Define Groups e indichiamo che i due gruppi da confrontare sono l e il (Figura.6.3). Copyright 0 The McGraw-Hill Companies S.r.l., Publishing Group Italia

3 Approfondimento.6 La valutazione statistica della discriminatività di un item 3 Figura.6.3 Indicazione dei gruppi da confrontare in SPSS Clickiamo su Continue e quindi su OK. A questo punto nella finestra di output comparirà la tabella Group Statistics (Figura.6.) e la tabella Independent Samples Test. Group Statistics d0 d0 d03 d0 d05 d06 d07 d08 d09 d0 d d d3 NTILES of tot Std. Error N Mean Std. Deviation Mean Figura.6. Tabella dei risultati Group Statistics per gli item del file RASCH.sav Se le risposte sono state codificate come 0=sbagliata e =corretta, la media dei valori corrisponderà alla proporzione di risposte corrette. A questo punto apriamo il file DISCRIM.xls e selezioniamo il foglio PROPORZIONI. Torniamo all output di SPSS, selezioniamo la prima tabella, copiamo (CTRL+C), andiamo al file DISCRIM, foglio PROPORZIONI, selezioniamo la casella A e incol- Oppure clickare col tasto destro del mouse e scegliere Copia. Copyright 0 The McGraw-Hill Companies S.r.l., Publishing Group Italia

4 Approfondimento.6 La valutazione statistica della discriminatività di un item liamo (CTRL+V). Nelle celle di gialle compariranno i dati che abbiamo incollato, mentre le celle bianche calcoleranno automaticamente gli indici citati nel testo (Figura.6.5). Figura.6.5 File DISCRIM.xls, foglio PROPORZIONI Per ogni item viene eseguito il test di significatività, da cui un valore di z e di p (colonne L e M), viene calcolata la discriminatività D (colonna O), la dimensione dell effetto h (colonna R) e l indice di difficoltà di Ebel (colonna U). I commenti accanto a questi tre indici sono quelli riportati, rispettivamente, nelle Tabelle.9,.0 e.7 del manuale. Si noti come le ampie numerosità campionarie influenzino la significatività del test z (in cui la logica è: se p <,05 la discriminatività adeguata, altrimenti no) mentre gli altri indici forniscano un quadro più attendibile della discriminatività di ogni item. Abbiamo quindi che l item d07 non sembra offrire un adeguata discriminatività, mentre gli buona parte degli altri item presentano un ottima discriminatività, un indice di dimensione dell effetto alto e un indice di difficoltà ottimale. I dettagli statistici della verifica delle ipotesi per il confronto di due proporzioni indipendenti possono essere trovati in Chiorri (00), Capitolo 5, Sezione Item di test di prestazione tipica Nel caso degli item di prestazione tipica, il procedimento è identico a quello appena illustrato per i test di prestazione massima. Per riprodurre i risultati dell esempio che segue occorre utilizzare il file di dati TIPICA.sav. In questo file sono contenute le risposte di 386 soggetti a 7 item di tipo Likert a 5 punti. Con lo stesso procedimento visto nella sezione di questo approfondimento calcoliamo il punteggio massimo tot e il rango quartile (Ntile) per ogni soggetto. Poi eseguiamo il medesimo procedimento per realizzare il test t per campioni indipendenti, e otteniamo la tabella Group Statistics (Figura.6.6) Oppure clickare col tasto destro del mouse e scegliere Incolla. Copyright 0 The McGraw-Hill Companies S.r.l., Publishing Group Italia

5 Approfondimento.6 La valutazione statistica della discriminatività di un item 5 Group Statistics i0 i0 i03 i0 i05 i06 i07 NTILES of tot Std. Error N Mean Std. Deviation Mean Figura.6.6 Tabella dei risultati Group Statistics per gli item del file TIPICA.sav Analogamente al caso precedente, copiamo e incolliamo la tabella nella cella A del file DI- SCRIM.xls, questa volta nel foglio MEDIE. I risultati sono riportati in Figura.6.7 Figura.6.7 File DISCRIM.xls, foglio MEDIE In questo caso viene effettivamente realizzato un test t per campioni indipendenti, ma con la formula corretta per le varianze non omogenee (da cui il numero di gradi di libertà con la virgola). Questo accorgimento si rende necessario in quanto non sempre le varianze dei due gruppi sono omogenee fra di loro. Ad ogni modo, quello che ci interessa valutare è la dimensione dell effetto d, il cui commento segue le indicazioni: d < 0,0 trascurabile, 0,0 < d < 0,50 piccolo, 0,50 < d < 0,80 moderato e d > 0,80 grande. In base ai risultati presentati in Figura.6.7 risulta evidente come tutti gli item presentino un alto livello di discriminatività. Copyright 0 The McGraw-Hill Companies S.r.l., Publishing Group Italia

6 Approfondimento.6 La valutazione statistica della discriminatività di un item 6 I dettagli statistici della verifica delle ipotesi per il confronto di due medie di campioni indipendenti possono essere trovati in Chiorri (00), Capitolo 5, Sezione Discriminatività fra gruppi precostituiti Quando il test è orientato al criterio, l item analysis si focalizza soprattutto sull individuare quegli item che meglio consentono la discriminazione fra i due gruppi. In questi casi la discriminatività di ogni item viene valutata confrontando le proporzioni o le medie dei due gruppi di soggetti, senza ricorrere alla suddivisione dei soggetti in quartili in base al punteggio totale. In questi casi le analisi di discriminatività vengono eseguite esattamente come nei casi che abbiamo visto nelle sezioni e, solo che la variabile di raggruppamento da inserire nel campo Grouping Variable (vedi Figura.6.3) non sarà il rango quartile, ma il gruppo a cui i soggetti appartengono, che, a seconda dei casi, sarà una variabile che contiene informazioni sul genere, sul fatto di appartenere al campione di popolazione generale o a quello della popolazione clinica, sul fatto di appartenere al gruppo sperimentale o a quello di controllo, e così via. In questi casi, per massimizzare la capacità discriminativa del punteggio al test è consigliabile mantenere nel pool di item quegli item che abbiano un livello di discriminatività D almeno Buono e un indice di dimensione dell effetto almeno Moderato. Quando si lavora su gruppi precostituiti non è raro che i gruppi che si vogliono discriminare fra loro siano più di due. In questi casi occorre utilizzare tecniche di analisi che tengano conto della presenza di più di due gruppi e ci consentano di valutare se, in generale, almeno due gruppi differiscono significativamente fra di loro, e, se sì, quali. Il ricercatore, infatti, potrebbe essere interessato a selezionare item che distinguano tutti i gruppi fra di loro, oppure solo alcuni specifici. Se la verifica dell ipotesi nulla che tutti i gruppi facciano riferimento a popolazioni con proporzioni o medie uguali viene realizzata mediante il cosiddetto test omnibus, la verifica dell ipotesi nulla che alcune coppie di gruppi non differiscano fra loro può essere eseguita mediante i test post-hoc. 3. Discriminatività fra gruppi precostituiti: caso delle proporzioni Nel file RASCH.sav sono riportati i dati di sei prove attentive (0 = non superata, = superata) che possono essere utilizzati per discriminare fra tre gruppi di soggetti: lesione cerebrale specifica (codificato come nella variabile gruppo), lesione cerebrale generica (codificato come nella variabile gruppo) e popolazione generale (codificato come 3 nella variabile gruppo). In questo caso vogliamo verificare se le proporzioni di soggetti che superano ogni singola prova attentiva sono le stesse per tutti e tre i gruppi. Per riuscirvi dobbiamo applicare il test per il confronto di k proporzioni indipendenti. Vediamo come procedere per l item0. Copyright 0 The McGraw-Hill Companies S.r.l., Publishing Group Italia

7 Approfondimento.6 La valutazione statistica della discriminatività di un item 7 Innanzitutto abbiamo bisogno di realizzare una tavola di contingenza con la variabile gruppo sulle righe e il risultato della prova sulle colonne. Per farlo con SPSS seguiamo Analyze Descriptive Statistics Crosstabs. Inseriamo la variabile gruppo nel campo Row(s) e la variabile d0 nel campo Column(s) (Figura.6.8). Figura.6.8 Eseguire un analisi per il confronto di k proporzioni indipendenti in SPSS A questo punto clickiamo su Statistics e nella nuova finestra spuntiamo in alto a sinistra Chisquare, e poi Continue. Poi clickiamo su Cells, lasciamo selezionato Observed e spuntiamo nel Row nel riquadro Percentages, quindi Continue (Figura.6.9). Figura.6.9 Opzioni per il confronto di k proporzioni indipendenti in SPSS A questo punto clickiamo OK. Nei risultati le tabelle che ci interessano sono quelle chiamate gruppo * d0 Crosstabulation e Chi-Square Tests (Figura.6.0). Copyright 0 The McGraw-Hill Companies S.r.l., Publishing Group Italia

8 Approfondimento.6 La valutazione statistica della discriminatività di un item 8 gruppo * d0 Crosstabulation gruppo Total Lesione specifica Lesione generica Popolazione generale Count % within gruppo Count % within gruppo Count % within gruppo Count % within gruppo d0 Non supera l'item Supera l'item Total % 3.8% 00.0% % 5.% 00.0% % 7.9% 00.0% % 5.0% 00.0% Pearson Chi-Square Likelihood Ratio Linear-by-Linear Association N of Valid Cases Chi-Square Tests Asymp. Sig. Value df (-sided) a a. 0 cells (.0%) have expected count less than 5. The minimum expected count is Figura.6.0 Tabelle di output di SPSS per il confronto di k proporzioni indipendenti Innanzitutto dobbiamo verificare, per un livello di significatività del 5% (ossia, α =,05) se possiamo rifiutare l ipotesi nulla che i tre gruppi facciano riferimento a popolazioni con la stessa proporzione di individui che superano la prova. Nella tabella Chi-Square Tests valutiamo la significatività del test Pearson Chi-Square [colonna Asymp. Sig. (-sided)] che è inferiore a,05. Questo significa che possiamo rifiutare l ipotesi nulla e accettare quella alternativa che almeno due proporzioni siano diverse fra loro. A questo punto, però, calcoliamo la dimensione dell effetto w, perché la significatività del test omnibus potrebbe essere dovuta semplicemente all alto numero di soggetti. Per calcolarla applichiamo la formula: w = X n = 9, =,3 Questo valore viene interpretato nel seguente modo: w <,0 trascurabile,,0 < w <,30 piccolo,,30 < w <,50 moderato e w >,50 grande. Poiché il w ottenuto è uguale a,3, possiamo concludere che la dimensione dell effetto del test omnibus è moderata, e quindi adeguata. Nondimeno, ora vogliamo sapere quali gruppi differiscono fra loro quanto a proporzione di soggetti che superano la prova. Esiste una tecnica statistica (descritta in Chiorri, 00, Approfondimento 6.), ma a noi interesserà soprattutto la dimensione dell effetto, per cui calcoliamo direttamente quella. La dimensione dell effetto h per il confronto fra due proporzioni indipendenti si calcola come: Copyright 0 The McGraw-Hill Companies S.r.l., Publishing Group Italia

9 Approfondimento.6 La valutazione statistica della discriminatività di un item 9 h = arcsen P arcsen P In base ai dati della tavola di contingenza in Figura.6.0, colonna Supera l item, calcoliamo le tre dimensioni dell effetto: Confronto popolazione generale vs lesione specifica: h = arcsen,79 arcsen,38 = 0, 80 Confronto popolazione generale vs lesione generica: h = arcsen,79 arcsen,5 = 0, 3 Confronto lesione generica vs lesione specifica: h = arcsen,5 arcsen,38 = 0, 38 La dimensione dell effetto h viene interpretata: h < 0,0 trascurabile, 0,0 < h < 0,50 piccolo, 0,50 < h < 0,80 moderato e h > 0,80 grande. In base ai risultati possiamo concludere che la discriminatività dell item è grande per il confronto popolazione generale vs lesione specifica, ma piccola per il confronto fra popolazione generale e lesione generica e fra lesione generica e lesione specifica. La domanda che occorre porsi a questo punto è: tali livelli sono sufficienti? Se infatti l item discrimina bene fra popolazione generale e lesione specifica, la sua capacità di discriminare fra le altre coppie possibili di gruppi non appare molto elevata, per cui, dopo aver valutato anche i risultati ottenuti con gli altri item, occorrerà considerare con attenzione se mantenere l item nel test oppure no. 3.3 Discriminatività fra gruppi precostituiti: caso delle medie Il file TIPICA3.sav è di fatto identico al file RASCH.sav che abbiamo appena utilizzato, con la differenza che gli item contengono risposte su scala Likert da =per niente d accordo a 6=completamente d accordo di tre gruppi di soggetti: pazienti con disturbo di personalità (DP) narcisistico (codificato come nella variabile gruppo), pazienti con DP generico (codificato come nella variabile gruppo) e popolazione generale (codificato come 3 nella variabile gruppo). Lo scopo dell analisi è verificare se i pazienti con DP narcisistico ottengono punteggi più alti degli altri due gruppi. La logica è esattamente la stessa del test sulle k proporzioni indipendenti, solo che stavolta l ipotesi nulla è che le medie delle tre popolazioni a cui fanno riferimento i tre gruppi siano uguali. Per verificare l ipotesi con SPSS utilizziamo l analisi della varianza (ANOVA) ad una via. Seguiamo Analyze Compare Means One-Way ANOVA, e inseriamo la variabile d0 nel campo Dependent List e la variabile gruppo nel campo Factor (Figura.6.). Copyright 0 The McGraw-Hill Companies S.r.l., Publishing Group Italia

10 Approfondimento.6 La valutazione statistica della discriminatività di un item 0 Figura.6. Procedura di SPSS per il realizzare un ANOVA Clickiamo su Post-Hoc, spuntiamo Games-Howell nel riquadro Equal Variances Not Assumed e poi Continue. Questo ci consentirà di eseguire i test post-hoc per verificare, se il test omnibus è significativo, quali medie differiscono statisticamente fra di loro. Poi clickiamo su Options, spuntiamo Descriptive e poi clickiamo Continue (Figura.6.) Questo ci consentirà di ottenere nell output le statistiche descrittive dei tre gruppi Figura.6. Opzioni di SPSS per l ANOVA Clickiamo OK e otteniamo l output (Figura.6.3). Descriptives d0 DP narcisistico DP generico Popolazione generale Total 95% Confidence Interval for Mean N Mean Std. Deviation Std. Error Lower Bound Upper Bound Minimum Maximum Copyright 0 The McGraw-Hill Companies S.r.l., Publishing Group Italia

11 Approfondimento.6 La valutazione statistica della discriminatività di un item ANOVA d0 Between Groups Within Groups Total Sum of Squares df Mean Square F Sig Multiple Comparisons Dependent Variable: d0 Games-Howell (I) gruppo DP narcisistico DP generico Popolazione generale (J) gruppo DP generico Popolazione generale DP narcisistico Popolazione generale DP narcisistico DP generico *. The mean difference is significant at the.05 level. Mean Difference 95% Confidence Interval (I-J) Std. Error Sig. Lower Bound Upper Bound.9* * * * * * Figura.6.3 Output di SPSS per l ANOVA Dalla prima tabella (Descriptives) osserviamo che le tre medie sono perlomeno nell ordine atteso, ossia con i pazienti di DP narcisistico che mostrano i punteggi maggiori, seguiti nell ordine dai DP generici e della popolazione generale. La seconda tabella (ANOVA) mostra che il test omnibus è significativo, per cui possiamo rifiutare l ipotesi nulla che le medie delle popolazioni a cui fanno riferimento i tre gruppi siano uguali. La dimensione dell effetto può essere calcolata come ω con la formula: ω SS = between SS ( k ) MS totale MS within within dove SS sta per Sum of Squares, ossia devianza, MS sta per Mean of Squares, ossia varianza, e k è il numero di gruppi. I valori che ci servono sono proprio nella colonna omonima della tabella ANO- VA: 58,75 (3 ),9 ω = =,38 3,580,9 La dimensione dell effetto ω viene interpretata: ω <,0 trascurabile,,0 < ω h <,06 piccolo,,06 < ω <,5 moderato e ω >,5 grande, per cui ci troviamo di fronte ad un effetto grande. Copyright 0 The McGraw-Hill Companies S.r.l., Publishing Group Italia

12 Approfondimento.6 La valutazione statistica della discriminatività di un item I test post-hoc nella tabella Multiple Comparisons confermano la capacità del test di discriminare fra i gruppi, dato che tutti i confronti sono statisticamente significativi (vedi la colonna Sig.: tutti i valori sono inferiori a,05). Si noti che in questo caso non c è bisogno di considerare la correzione del livello di significatività per i confronti multipli in quanto è già incorporata nel test eseguito dal software. Per calcolare la dimensione dell effetto dei test post-hoc abbiamo bisogno di calcolare, a partire dai valori della tabella Multiple Comparisons, il valore di q, che è dato dal rapporto fra i valori nella colonna Mean Difference (I J) e quelli nella colonna Std. Error. Nel caso del confronto DP narcisistico vs Dp generico avremo che q =,9 /,9 =,70, e allo stesso modo calcoliamo i q per DP narcisistico vs Popolazione generale (,86 /,9 =,7) e DP generico vs Popolazione generale (,7 /,9 = 6,0). A questo punto la dimensiona dell effetto r per ogni confronto è data dalla formula: r = ( q / ( q / ) ) + df within dove df within sono i gradi di libertà della varianza within. Dalla tabella ANOVA ricaviamo che questo valore è 97. La dimensione dell effetto r viene interpretata come: r <,0 trascurabile,,0 < r <,30 piccolo,,30 < r <,50 moderato e r >,50 grande, per cui avremo che: (,70 / ) Confronto DP narcisistico vs DP generico: r = =, 3 (,70 / ) + 97 (,7 / ) Confronto DP narcisistico vs popolazione generale: r = =, 56 (,7 / ) + 97 (6,0 / ) Confronto DP generico vs popolazione generale: r = =, 3 (6,0 / ) + 97 Dalle dimensioni dell effetto osserviamo che il test discrimina molto bene fra DP narcisistico e popolazione generale, ad un livello basso fra DP narcisistico e generico e moderato fra DP generico e popolazione generale. Anche in questo caso, naturalmente, sta al ricercatore decidere se questi livelli sono sufficienti per i suoi scopi oppure no. Copyright 0 The McGraw-Hill Companies S.r.l., Publishing Group Italia