La teoria classica dei test. Prof.ssa D. Fioredistella IEZZI

Transcript

1 La teoria classica dei test Prof.ssa D. Fioredistella IEZZI

2 Analisi degli item La teoria classica dei test esamina le risposte fornite ai singoli item del questionario allo scopo di valutare la qualità degli item e del questionario nel suo complesso. 1. la difficoltà degli item, 2. le relazioni tra coppie di item, 3. il punteggio totale del test, 4. le relazioni tra gli item e il punteggio totale del test. Tali procedure vengono utilizzate per la selezione degli item al fine di costruire un questionario omogeneo, attendibile e dotato di validità predittiva.

3 Difficoltà degli item La difficoltà degli item deve essere interpretata in riferimento alla probabilità di indovinare la risposta corretta. Si suppone, infatti, che i rispondenti tirino ad indovinare quando non conoscono la risposta alla domanda di un questionario. Nel caso di item dicotomici, ci possiamo aspettare un valore pj sulla base del caso; 0,25 nel caso di item con 4 opzioni di scelta.

4 Item facili, difficili o di media difficoltà? Se il test è composto, per la maggior parte da item «facili», allora il test non sarà in grado di discriminare rispondenti con livelli di abilità diversi, in quanto tutti i rispondenti saranno in grado di fornire una risposta corretta alla maggioranza degli item. Lo stesso si può dire di item troppo difficili. Se consideriamo un test composto unicamente da test di media difficoltà, ancora una volta non siamo in grado di differenziare il livello dei rispondenti

5 Quale deve essere il livello di difficoltà di un test RACCOMANDAZIONE IN GENERALE E BUONA PRATICA COSTRUIRE TEST CON ITEM CHE COPRANO TUTTI I LIVELLI DI DIFFICOLTA. La scelta che viene usualmente fatta è quella di una dispersione moderata e simmetrica del livello di difficoltà attorno ad un valore leggermente superiore al valore che sta a metà tra il livello del caso (1.0 diviso per il numero di alternative e il punteggio pieno (1.0).

6 La difficoltà degli item Il numero ottimale di risposte positive (pj) Nel caso di item con quattro alternative di risposta, ad esempio, il livello del caso è pari a 1.00/4 = Il livello ottimale di difficoltà media è uguale a ( )/2 = Nel caso di item dicotomici, il livello del caso è 1.00/2 = 0.50 e il livello ottimale di difficoltà media è ( )/2 = In generale, item con livelli di difficoltà superiore a 0.90 o inferiore a 0.20 dovrebbero essere utilizzati con cautela.

7 Intervallo di confidenza Un intervallo di confidenza per il livello di difficoltà di un item si costruisce nel modo seguente: p j z / 2 p j 1 n p j ovvero, utilizzando la stessa procedura utilizzata per costruire l intervallo di confidenza per una proporzione.

8 Intervallo di confidenza per una proporzione in R Per costruire intervalli di confidenza o fare prova delle ipotesi su proporzioni si usa il comando prop.test. ESEMPIO: Supponiamo che su un campione di 200 individui il 41% ha detto che è soddisfatto di un certo servizio. Per costruire un intervallo di confidenza a livello 99% e prova delle ipotesi uso il comando: > prop.test(41,200,conf.level=0.99)

9 Risultato in R 1-sample proportions test with continuity correction data: 41 out of 200, null probability 0.5 X-squared = , df = 1, p-value < 2.2e-16 alternative hypothesis: true p is not equal to percent confidence interval: sample estimates: p Si può concludere che, con un livello di confidenza del 99%, dal 13,9% al 29,0% degli individui saranno soddisfatti del servizio.

10 Correzione per guessing Si supponga che un rispondente risponda correttamente a R item e risponda in maniera sbagliata a W item. Se assumiamo che un rispondente si limita a tirare ad indovinare allora, ogni C risposte, ci aspettiamo 1 risposta giusta e C 1 risposte sbagliate. Per ridurre il punteggio totale del test del numero di risposte corrette ottenute tirando ad indovinare è necessario sottrarre 1 punto per ogni C 1 item a cui è stata fornita una risposta corretta. W R C 1

11 Correzione per guessing Per esempio, se C = 5, allora è necessario sottrarre un punto ogni 4, il che è proprio quello che fa la formula. La correzione per il guessing rappresenta dunque il tentativo di scomporre il numero totale di risposte corrette in due componenti: A) le risposte corrette dovute alle conoscenze del soggetto e quelle che risultano B) corrette come effetto del caso. La medesima formula può anche essere utilizzata per calcolare la difficoltà degli item corretta per il guessing.

12 Relazione tra coppie di item La relazione tra coppie di item sono importanti sia per la costruzione di test che per l analisi dei test. La teoria classica dei test definisce l attendibilità di un test (o di un item) come il rapporto tra la varianza del punteggio vero e la varianza del punteggio osservato

13 Relazione tra coppie di item Per item quantitativi, possiamo usare la correlazione di Pearson e le covariate; Per item qualitativi politonici ordinali, usiamo la correlazione policorica, ; Per item dicotomici, usiamo la correlazione tetracorica (ad esempio, l indice Φ).

14 Esempio Il questionario «Satisfaction with Life» (SWLS) è stato somministrato ad un campione di 174 rispondenti. I dati sono contenuti nel file SWLS.questions.txt e possono essere scaricati direttamente dal web al seguente indirizzo: txt

15 La batteria di domande del questionario SWLS I 5 item sono a 7 punti con modalità «strongly agree», «agree», «sligthly agree», «neither agree nor disagree», «Slightly disagree», «disagree», «strongly disagree» 1. In most my life is close to my ideal, 2. The conditions of my life are excellent; 3. I am satisfied with my life 4. So far I have gotten the important things I want in life; 5. If I could life my life over, I would change alomost nothing

16 La batteria di domande del questionario SWLS SWLS <- read.table("c:/users/stella/desktop/swls.txt.txt", header=true, sep="\t", na.strings="na", dec=".", strip.white=true) fix(swls) LA MATRICE DI CORRELAZIONE round(cor(swls), 2) > round(cor(swls), 2) Q1 Q2 Q3 Q4 Q5 Q Q Q Q Q

17 Correlazione policorica Se le variabili sono qualitative, come nel caso del questionario SWLS, NON è appropriato utilizzare la correlazione di Pearson. E preferibile utilizzabile le CORRELAZIONI POLICORICHE. IPOTESI 1. Le modalità delle due variabili sono su scala ordinale; 2. Le modalità delle variabili osservate derivano dalla suddivisione di due variabili soggiacenti continue; 3. Le variabili continue seguono una distribuzione normale bivariata

18 Correlazione policorica in R Le correlazioni policoriche in R possono essere calcolare con la funzione polycor(), contenuta nel pacchetto polychor. Correlazione policorica tra primo e secondo item polychor(swls[,1], SWLS[,2]) [1] Correlazione di Pearson tra primo e secondo item cor(swls[,1], SWLS[,2]) [1]

19 Misure di associazione tra due variabili ordinali C è concordanza tra X e Y se modalità di ordine elevato di X si associano più frequentemente a modalità di ordine Y, mentre modalità di ordine basso di X si associano più frequentemente a modalità di ordine basso di Y. C è discordanza tra X e Y se modalità di ordine elevato di X si associano più frequentemente a modalità di ordine basso di Y, mentre modalità di ordine basso di X si associano più frequentemente a modalità di ordine elevato di Y.

20 Rho di Spearman s 6 i1 1 2 n n n d 2 i 1 dove con d i si indica la differenza tra i ranghi per la i-ma unità. Questo indice assume valori compresi tra -1 e +1. E pari a +1 quando le unità presentano lo stesso rango in entrambe le graduatorie; vale -1 se i ranghi sono in perfetta discordanza. Vale zero in caso di assenza di associazione.

21 cantanti Rho di Spearman tecnica (X) Rango X Interpretazione (Y) Rango Y Franca Giovanni Sandro Antonella Luigi Maurizio Maura Roberta

22 Procedura di calcolo Rho di Spearman ballerini X Y d i d 2 i a b c d e f g h s n 2 6 di i n 2 n ,83

23 Esercizio Rho di Spearman > x<-c(1,2,3,4,5,6,7,8) > y<-c(2,1,5,3,4,7,8,6) > cor.test(x, y, method="spearman") Spearman's rank correlation rho data: x and y S = 14, p-value = alternative hypothesis: true rho is not equal to 0 sample estimates: rho

24 Esercizio Rho di Spearman in R > x <- c(5, 7, 9, 9, 8, 6, 4, 8, 7, 7) > y <- c(6, 7, 4, 4, 8, 7, 3, 9, 5, 8) > cor.test(x, y, method="spearman") Spearman's rank correlation rho data: x and x S = , p-value = alternative hypothesis: true rho is not equal to 0 sample estimates: rho

25 Esercizio indice Gamma Supponiamo di aver condotto un indagine su un nuovo servizio offerto dal Comune di Roma e di averne misurato la soddisfazione su un campione di 170 cittadini. Il Comune vuole verificare se la soddisfazione è legata al reddito degli intervistati Reddito Soddisfazione Poco Abbastanza Molto Totale Basso Medio Alto Totale C C D D C sono il numero di coppie concordati e D il numero di coppie discordati

26 Illustrazione del calcolo del numero di coppie concordanti P A M P A M P A M P A M Basso Medio Alto C=20( )+40(24+7)+ 14(15+7) + 29(7)=3251 P A M P A M P A M P A M Basso Medio Alto D=17( )+24(15+4)+40(14+4)+29(4)=2346 C C D D ,16