1 - e 2 / x 2, si tratta di far sì che e 2 rifletta effettivamente l errore di misura

Transcript

1 LA STIMA EMPIRICA DELL ATTENDIBILITA In pratica l attendibilità di un test non può mai essere stabilita esattamente, ma solo stimata sulla base di un determinato campione di soggetti che risponde ad un determinato campione di item inclusi in un certo test. Le procedure utilizzate per operare tale stima negli studi di attendibilità sono varie e la scelta dell una o dell altra dipende dall importanza relativa attribuita ai due seguenti criterie di ottimizzazione della stima: ) Lo studio di attendibilità dovrebbe fornire un indice il più possibile vicino a quello che si otterrebbe utilizzando due forme strettamente parallele del test. Lo studio deve quindi essere progettato in modo da minimizzare l effetto dell imperfetto parallelismo, utilizzando misure quanto più parallele possibile ) Quale sia la procedura più appropriata da utilizzare negli studi di attendibilità dipende da quale uso si intende fare del test. Il ricercatore deve valutare attentamente quali siano i più importanti fattori di errore che agiscono nel contesto previsto di utilizzazione del test e progettare lo studio in modo da far sì che tali fattori possano essere inclusi nella valutazione dell attendibilità. Ricordando che v / = - e /, si tratta di far sì che e rifletta effettivamente l errore di misura nel contesto previsto di utilizzazione del test.

2 CLASSIFICAZIONE DELLE PRINCIPALI PROCEDURE DI STIMA DELL ATTENDIBILITÀ. A. Procedure che richiedono due somministrazioni. A. Metodo delle forme equivalenti (coefficiente di equivalenza) A. Metodo del test-retest (coefficiente di stabilità) A3. Metodo del test-retest con forme alternative o parallele (coefficiente di stabilità ed equivalenza) B. Procedure che richiedono una sola somministrazione Metodi basati sulla divisione (split-half) del test in due parti parallele : B Metodo basato sulla correlazione, corretta con la formula profetica di Spearman-Brown, tra le due metà del test, (coefficiente di split-half) B Metodo basato sulla varianza delle differenze tra i punteggi delle due metà: (coefficiente di Rulon, o di Guttman) Metodi basati sulle covarianze tra gli item (indici di coerenza interna ): B3 metodo dell alfa di Cronbach (coefficiente alfa), metodo di Kuder Richardson (coeff. KR0)

3 A. Metodo delle forme alternative o delle forme parallele Questo metodo è indicato principalmente quando si desiderano due (o più) forme diverse dello stesso test da somministrare agli stessi soggetti in occasioni diverse o a soggetti diversi nella stessa occasione. Si immagini di volere testare il profitto di una classe in algebra e di volere evitare che gli allievi possano copiare dal compagno di banco. In questo caso l allievo si aspetta che la valutazione del suo profitto non sia sostanzialmente influenzata dalla particolare forma del test che ha ricevuto, e il docente dovrà costruire due forme il più possibile equivalenti del test. Nonostante ciò, è probabile che un fattore rilevante di errore di misura sia riconducibile a differenze casuali nei contenuti delle due forme (errore di campionamento degli item). Tale fattore di errore si aggiungerebbe naturalmente a tanti altri (errori di somministrazione e di scoring, risposte indovinate per caso, fluttuazioni casuali dell attenzione ecc.). Un altro caso è quello in cui si intende valutare il cambiamento della caratteristica misurata in seguito a un intervento e non sia possibile usare lo stesso test, perché le risposte alla seconda somministrazione del test potrebbero essere influenzate dal ricordo della prima soministrazione. La stima dell attendibiltà del test richiede allora la costruzione di due forme il più possibile simili del test e la loro somministrazione ad un unico gruppo di soggetti, con un breve intervallo tra le due somministrazioni. Si considera generalmente opportuno controbilanciare tra i soggetti l ordine di presentazione delle due forme. Il coefficiente di correlazione (r di Pearson) tra le due forme costituisce una stima dell attendibilità del test che tiene conto anche dell errore dovuto alle differenze casuali tra i due campioni di item che costituiscono le due forme del test. La sima dell attendibilità effettuata in questo modo prende il nome di coefficiente di equivalenza. In genere l attendibilità è considerata ottima per r.90 buona per.80 r.89 discreta per.70 r.79 accettabile solo per usi non clinici per.60 r 69 3

4 A. Metodo del test-retest Questo metodo è indicato quando l utilizzatore del test desidera somministrare la stessa forma del test in momenti diversi, ad es. per valutare l impatto a lungo termine di un trattamento, di un corso di sostegno ecc.. In questi casi, oltre alle già citate fonti di errore - errori di somministrazione e di scoring, risposte indovinate per caso, fluttuazioni momentanee casuali dell attenzione, della motivazione ecc.- è possibile che se ne aggiunga un altra, la fluttuazione del punteggio osservato attorno al valore centrale del tratto, a causa di variazioni temporanee dello stato del soggetto. Non agisce invece l errore di campionamento degli item, dato che si tratta sempre degli stessi item. In questi casi si somministra la stessa forma del test due volte, con un intervallo che varia in genere da poche settimane a pochi mesi, tenendo conto che ) l intervallo deve essere abbastanza lungo da eliminare effetti della memoria e della pratica, ma abbastanza breve da evitare effetti sostanziali storici o di maturazione. ) La durata dell intervallo dipende dall uso che si intende fare del test e dalla stabilità intrinseca della variabile misurata. Il coefficiente di correlazione (r di Pearson) tra le due somministrazioni è chiamato coefficiente di stabilità e può essere interpretato come una stima dell attendibilità solo se si può assumere che il tratto misurato sia sostanzialmente stabile. In caso contrario esso non fornisce una stima corretta di attendibiltà, dato che include nella stima dell errore di misura anche variazione effettive del tratto misurato. Non vi sono regole generali per valutare quando un coefficiente di stabilità possa essere giudicato sufficiente. Si deve tener conto che esso tende generalmente ad abbassarsi con l aumentare della durata dell intervallo tra le somministrazioni. Tra i test con più alta stabilità vi sono i test attitudinali a somministrazione individuale. Ad esempio per le subscale della WAIS si riscontrano spesso valori superiori a.80 e in qualche caso anche a.90. Per le misure di personalità, di atteggiamento e di interessi si riscontrano generalmente valori più bassi. In questi casi si considera spesso accettabile un coefficiente di stabilità a lungo termine anche relativamente basso, ad es. un coefficiente di stabilità a venti anni di.60 può essere considerato del tutto accettabile. 4

5 A3. Metodo del test-retest con forme alternative o parallele I metodi A e A per la stima dell attendibilità possono essere combinati somministrando due forme equivalenti con intervallo simile a quello descritto per il metodo A. Anche in questo caso si considera generalmente opportuno controbilanciare l ordine di presentazione delle due forme. La stima dell attendibilità, in questo caso, tiene conto sia dell errore dovuto al campionamento degli item, sia delle fluttuazioni casuali dello stato del soggetto e si chiama coefficiente di stabilità ed equivalenza. 5

6 B. Procedure che richiedono una sola somministrazione Metodi basati sulla divisione (split-half) del test in due parti parallele : I metodi più usati per suddividere il test in due parti parallele sono i seguenti: ) assegnare gli item pari alla forma A e gli item dispari alla forma B; ) ordinare gli item secondo l indice di difficoltà riscontrato nel campione, quindi assegnare gli item con rango (di difficoltà) pari alla forma A e quelli con rango dispari alla forma B; 3) assegnare gli item a caso alle due forme 4) suddividere gli item in due gruppi il più possibile equivalenti nel contenuto B. Metodo basato sulla correlazione tra le due metà del test. Si somministra un unico test (possibilmente composto di un numero pari di item) ma, prima di effettuare lo scoring, il test viene suddiviso in due sub-test di pari lunghezza che vanno a costituire due forme (presumibilmente parallele) di un test dimezzato rispetto al test intero. Ogni soggetto riceve dunque due punteggi, uno per ogni sub-test. La correlazione tra i due sub-test costituisce una stima dell attendibilità dei sub-test (coefficiente di equivalenza dei due subtest). L attendibilità del test intero è poi stimata utilizzando la formula profetica di Spearman-Brown, che in questo caso assume la seguente forma: r ' r r AB AB dove r è la stima dell attendibilità del test intero (coefficiente di split-half) e r AB è la correlazione stimata tra le due metà del test. L utilizzazione della formula di Spearman- Brown si fonda sull assunzione che le due parti del test siano strettamente parallele: quanto maggiore è la violazione di tale assunzione, tanto meno accurata sarà la stima dell attendibilità. 6

7 B Metodo basato sulla varianza delle differenze tra i punteggi delle due metà: (coefficiente di Rulon) Questo metodo richiede, come il metodo B, di suddividere il test in due parti A e B. Per ogni soggetto si calcola quindi d = A B. La varianza di questi punteggi differenziali ( d) si usa quindi come stima della varianza d errore ( e) all interno della formula e definizionale dell attendibilità: ' Dimostrazione che la varianza delle differenze tra i semitest A e B è pari alla varianza d errore del test intero C: e C d d A B AB dato che A e B sono forme parallele: B A inoltre: AB V V A B V A V B V dove è la varianza osservata del semitest A e del semitest B; e V è la varianza vera del semitest A e del semitest B 3 d V 4 d V 5 d ( V e ) V 6 d e La 6 ci dice che la varianza delle differenze tra i punteggi osservati al semitest A e B è pari a due volte la varianza d errore di ognuno dei due semitest. 7

8 Nella lezione 9 abbiamo dimostrato che nel caso di sub-test paralleli valgono le seguenti uguaglianze: v v e e ( ( ) ) Qui interessa che che la varianza d errore di un test composto da sub-test paralleli è paria a volte la varianza d errore di ogni sub-test. Nel nostro caso il test completo è composto da due sub-test (K=). Quindi: La varianza d errore del test intero e C e d e C è pari alla varianza delle differenze tra i punteggi osservati ai due semitest d 8

9 Esempio di calcolo della correlazione corretta di split-half e del coefficiente di Rulon. Tabella A. Item A B Sogg dispari pari tot A-B p Media: pq dev.st correlazione tra le due metà, A e B: r AB =.34 Coeff. di attendibilità split-half: r = (.34) /( +.34) =.5 Coeff. Di Rulon: r =.4/4.08 =.45 I due metodi danno la stessa stima solo quando le varianze dei due sub-test sono identiche. In caso contrario il coefficiente di Rulon è sistematicamente inferiore al coefficiente di split-half. 9

10 Metodi basati sulle covarianze tra gli item (indici di consistenza interna ): B3 metodo dell alfa di Cronbach (coefficiente alfa) i B4 metodo di Kuder Richardson per item dicotomici (coeff. KR0) KR pq 0 Esercizio : Valuta l attendibilità del seguente test, costituito da 5 item a scelta multipla, in termini di coefficiente di coerenza interna. I dati sono i seguenti: item item item3 item4 item5 tot sogg media varianza.64 suggerimenti: ) ricorda la formula che fa al tuo caso: KR 0 o alfa di Cronbach? ) le varianze degli item sono facili da calcolare 0

11 Non guardare il seguito prima di avere provato a risolvere il problema!

12 Svolgimento: )La formula del coefficiente di coerenza interna per item dicotomici: ) Calcoliamo le varianze degli item come prodotti pq, dove p è la media e q = (-p). item item item3 item4 item5 tot sogg p j p j q j KR 0 pq 3) Calcoliamo la somma delle varianze degli item pq ) inseriamo i dati nella formula: KR pq 0 KR (.33).4 Domanda: il test è attendibile? perché sì/no?

13 Schema riassuntivo dei diversi metodi di stima dell attendibilità Principale fonte di coefficiente di procedura di elaborazione statistica errore attendibilità raccolta dei dati. Fluttuazioni casuali nel soggetto coefficiente di stabilità somministra il test, attendi, somministra nuovamente il test.calcola la r di Pearson. errore di campionamento degli item; fluttuazioni casuali dell attributo coefficiente di equivalenza somministra la forma A, somministra la forma B.calcola la r di Pearson 3. campionamento degli item; coefficienti di split-half e consistenza interna somministra una sola forma in una sola occasione 3a. suddividi il test in due parti, A e B. Calcola la r di Pearson tra A e B. Correggi con la formula di Spearman- Brown. 3b. suddividi il test in due parti, A e B. Calcola le differenze (d) tra i punteggi. Calcola la varianza delle differenze. Utilizza la formula di Rulon 3c. Calcola le varianze degli item e la varianza del punteggio totale. Utilizza la formula dell alfa di Cronbach o la formula equivalente di Kuder - Richardson. 3

14 Principali fattori che influenzano i coefficienti di attendibilità. Caratteristiche psicometriche degli item: L attendibilità dipende innanzitutto dalle caratteristiche degli item che compongono le scale. Come abbiamo visto, item fortemente e omogeneamente intercorrelati, con distribuzioni vicine alla normale, ampie varianze, medie vicine al valore centrale della scala e buona discriminatività (per es. correlazioni item-totali maggiori di.50, indici* di discriminazione dell item maggiori di.30) tendono a produrre buoni livelli di attendibilità. *L indice di discriminazione dell item, D, rappresenta la differenza tra la proporzione di risposte corrette nel sottogruppo dei soggetti con punteggi totali più alti (per es. superiori alla mediana, o al 70 centile) e la proporzione di risposte corrette nel sottogruppo dei soggetti con punteggi totali più bassi (per es. inferiori alla mediana, o al 30 centile): D = p(a) p(b) Per l interpretazione di D si possono seguire le linee guida di Ebel: D.40: discriminatività ottima D.30: discriminatività buona D.0: discriminatività sufficiente D <.0: discriminatività insufficiente 4

15 Eterogeneità dei soggetti: Ricordiamo che: = v / Dato che l attendibilità dipende dalla varianza dei punteggi veri, a parità di varianza d errore uno stesso test risulterà essere più attendibile se somministrato a soggetti eterogenei (alta varianza dei punteggi veri) piuttosto che a soggetti omogenei (bassa varianza dei punteggi veri). Si immagini che un test mostri di avere varianza alta nella popolazione A e varianza bassa nella popolazione B. Se si assume che l errore standard della misura sia costante (in quanto media delle deviazioni standard d errore dei singoli soggetti), deve essere soddisfatta la seguente uguaglianza: A AA' B BB' A ( AA' ) B( BB' ) se A B ( ') ( BB' ) AA AA ' BB' Il coefficiente di attendibilità, quindi, non è una caratteristica propria del test, ma una caratteristica del test somministrato ad una popolazione con una determinata eterogeneità. Ne consegue che:. quando si utilizza un test non ci si può aspettare una attendibilità simile a quella riportata nel manuale del test se l omogeneità dei soggetti cui si intende somministrare il test differisce sostanzialmente da quella del campione di standardizzazione;. se si prevede che il test possa essere utilizzato in popolazioni con diverso grado di omogeneità, il manuale dovrebbe riportare più stime differenziate di attendibilità. 5

16 Per stimare l attendibilità del test per una popolazione più o meno eterogenea rispetto alla popolazione su cui è stato effettuata la stima originaria dell attendibilità, si usa la seguente formula (formula di Magnusson): NN' ( N ' ) dove ρ NN è l attendibilità del test nel nuovo campione, σ N è la varianza del test nel nuovo campione, ρ è l attendibilità del test nel campione originario e σ è la varianza del test nel campione originario. La formula assume che gli errori standard di misura siano uguali nei due campioni. Esempio: si immagini un test che nel campione di standardizzazione mostra un coefficiente di attendibilità di.857 e una varianza pari a 70. Un ricercatore desidera utilzzarlo in un campione tratto da una popolazione più omogenea, con varianza pari a 0. Che livello di attendibilità si deve attendere? 70(.857) NN ' La (prevedibile) riduzione dell attendibilità è dovuta al fatto che la riduzione della varianza osservata è solo dovuta alla riduzione della varianza vera, come illustra la seguente tabella. nuovo campione campione di standardizzazione σ v 0 60 σ e 0 0 σ 0 70 ρ \ NB: dato che raramente si può essere certi che gli errori standard di misura siano esattamente uguali in popolazioni diverse, è buona regola, quando si utilizza un test su una popolazione nuova, stimare l attendibilità direttamente sul nuovo campione. 6

17 Esercizio: un ricercatore intende valutare la relazione tra intelligenza e produttività scientifica in un campione di astrofisici reclutato tra i più importanti laboratori del mondo. Per la misura dell intelligenza utilizza un test che nella popolazione generale ha mostrato una buona attendibilità, con alfa di Cronbach pari a.90. A. Il ricercatore può contare su questo buon livello di attendibilità anche fra i soggetti della sua ricerca? perché?... B. Il ricercatore ricava dal manuale che la varianza del test nella popolazione generale è pari a 5. Nel campione della ricerca trova invece una varianza sostanzialmente più bassa, pari a 00. Che attendibilità si deve attendere di ottenere nel suo campione? svolgimento: ( si utilizza la formula di Magnusson: NN' NN ' 5(.90) 00 N ' ) NN '

18 limiti di tempo: Quando il test è somministrato entro limiti ristretti di tempo, in modo che alcuni soggetti finiscano e altri no, la rapidità dei soggetti influenza sistematicamente la prestazione. In questi casi le stime dell attendibilità in termini di consistenza interna (attendibilità di split-half, alfa di Cronbach ecc.) tendono ad essere distorte verso l alto, dato che tutti gli item che i soggetti non fanno in tempo ad affrontare risultano artificialmente omogenei, anche se del tutto diversi come contenuto e livelli di difficoltà. E preferibile quindi servirsi di stime dell attendibilità basate su somministrazioni diverse dello stesso test in tempi successivi o di test paralleli. lunghezza del test: Come abbiamo visto (formula profetica di Spearman-Brown), l attendibilità del test tenda ad aumentare all aumentare della lunghezza del test. E importante, tuttavia, ricordare che :. gli aumenti di attendibilità ottenuti aumentando il numero di item seguono la legge dei ricavi decrescenti: raddoppiare la lunghezza di un test con coefficiente di attendibilità.60 porterà l attendibilità a.75, triplicandolo si arriverà a.8, ma quintuplicandolo arriveremo solo a.88.. la formula di Spearman-Brown fornisce una previsione accurata solo se gli item aggiunti sono paralleli a quelli già presenti e quindi equivalenti in contenuto e difficoltà. 8