FONDAMENTI DI PSICOMETRIA - 8 CFU

Ψ FONDAMENTI DI PSICOMETRIA - 8 CFU STIMA DELL ATTENDIBILITA

STIMA DELL ATTENDIBILITA DEFINIZIONE DI ATTENDIBILITA (affidabilità, fedeltà) Grado di accordo tra diversi tentativi di misurare uno stesso concetto teorico

STIMA DELL ATTENDIBILITA Formula di base della teoria classica X V + E X punteggio osservato V punteggio vero E errore casuale

STIMA DELL ATTENDIBILITA Le assunzioni statistiche della teoria E n r VE 0 r E1E2 0 0 La media degli errori casuali deve essere nulla per N Punteggio vero e errore sono indipendenti Due errori casuali sono indipendenti

STIMA DELL ATTENDIBILITA Da questo deriva: X ( V + E) n V n + E n E Per n 0 n X V

STIMA DELL ATTENDIBILITA Si dimostra che la varianza di X è: Dividendo per σ 2 X σ X 2 σ V 2 + σ E 2 σ X 2 σ X 2 σ 2 V 2 σ X + σ 2 E 2 σ X σ V 2 σ X 2 1 σ 2 E 2 σ X r tt COEFFICIENTE DI ATTENDIBILITA

STIMA DELL ATTENDIBILITA PROPRIETA Varia tra 0 e 1 Aumenta al diminuire della varianza di errore Maggiore r tt maggiore precisione dello strumento

STIMA DELL ATTENDIBILITA Metodo del Test-Retest Si somministra il test al tempo T 1 ed al tempo T 2 e si calcola la correlazione tra i punteggi. Questo metodo non necessità di ulteriori specificazioni. Basta saper calcolare la r di Pearson tra due serie di punteggi.

STIMA DELL ATTENDIBILITA Metodo delle Forme Parallele Si somministrano due versioni equivalenti del test (stessa media e stessa dev. st.) al tempo T 1 ed al tempo T 2. La correlazione tra le due forme è una stima dell attendibilità

STIMA DELL ATTENDIBILITA Metodo dello Split-Half Si somministra il test in un unico tempo T 1. Si divide il test a metà e si considerano le due metà come forme parallele (stessa media e stessa dev. st.) La correlazione tra le due metà è una stima dell attendibilità. Va corretta con la formula profetica di Spearman-Brown, dato che la vera lunghezza della scala è doppia rispetto a quella delle due metà.

STIMA DELL ATTENDIBILITA Formula profetica di Spearman-Brown, utilizzabile per prevedere l attendibilità Di un test al variare della sua lunghezza r ntt nr tt ( n 1r ) tt 1 + r ntt attendibilità della forma ipotetica n rapporto tra numero di item della forma ipotetica e numero di item nella versione già esistente del test

STIMA DELL ATTENDIBILITA Con la stessa formula possiamo anche risolvere il caso inverso, cioè stimare quanto dovremmo allungare o accorciare il test per ottenere un attendibilità prefissata: n r r ntt tt ( 1 r ) tt ( 1 r ) ntt

STIMA DELL ATTENDIBILITA ESEMPIO Abbiamo un test composto da 20 item con attendibilità r tt.83 Possiamo stimare l attendibilità del nostro test se aggiungessimo 8 item con caratteristiche simili ai 20 esistenti 28 ) x.83 1.4x.83 r 20 ntt 28 1 + ( 1.4 1.83 ) 1 + 1.83 20 r ntt 1 + nr tt ( n 1r ) tt.87

n STIMA DELL ATTENDIBILITA OPPURE Abbiamo un test composto da 20 item con attendibilità r tt.83 Quanti item dovremmo aggiungere per avere un attendibilità di.90? r r ntt tt ( 1 r ) tt ( 1 r ) ntt.90x(1.83).153 n.83x(1.90).083 1.84 n rapporto tra numero di item della forma ipotetica e numero di item nella versione già esistente del test

STIMA DELL ATTENDIBILITA finali 1.84? 1. iniziali 84 20? 20x1.84 37 Occorrerà aggiungere 17 item (20+1737) per avere un attendibilità di.90

STIMA DELL ATTENDIBILITA Metodo della Coerenza Interna Si somministra il test in un unico tempo T1. Ogni item viene considerato un test a se stante. Si stima (con apposite formule) la correlazione media tra tutti gli item, e si riassume la coerenza degli indicatori tramite l indice α di Cronbach. Questo è spesso il metodo più utilizzato

STIMA DELL ATTENDIBILITA Metodo della coerenza interna Il coefficiente α di Cronbach Concettualmente è il rapporto fra la varianza della scala totale rispetto alla somme delle varianze dei singoli item. Si utilizza per item dicotomici o politomici

STIMA DELL ATTENDIBILITA Metodo della coerenza interna Il coefficiente α di Cronbach Varia fra 0 e 1. Valori superiori a.70 sono considerati buoni. All aumentare del numero degli item, tende ad aumentare avvicinandosi asintoticamente a 1. n 2 n σi 1 α 1 2 n 1 σ X

STIMA DELL ATTENDIBILITA Accordo fra rater Capita di fare ricerche in cui vanno codificati dei comportamenti o delle risposte in alcune categorie Per evitare classificazioni totalmente soggettive si ricorre spesso a più osservatori

STIMA DELL ATTENDIBILITA Accordo fra rater Per valutare il grado di accordo fra i rater si calcola il coefficiente K di Cohen Questo indice tiene conto della percentuale di accordo corretta per la probabilità casuale di accordo.

COEFFICIENTE K DI COHEN E l indice più usato per misurare l accordo tra codificatori o osservatori: varia da 0 (nessun accordo) a 1(accordo perfetto) Si costruisce una matrice k x k (matrice di confusione o di accordo)dove k è il numero delle categorie di codifica e le righe rappresentano il primo codificatore e le colonne il secondo

COEFFICIENTE K DI COHEN Esempio 1 a b c d a 28 1 1 0 30 2 b 1 14 3 2 20 c 2 2 30 1 35 d 1 1 6 7 15 32 18 40 10 100

COEFFICIENTE K DI COHEN P oss k i 1 X X ++ ii dove X ii sono le frequenze lungo la diagonale e X ++ è il totale delle osservazioni P att k i 1 X X i+ 2 ++ X + i dove X +i e X i+ sono i totali di riga e colonna e X ++ è il totale delle osservazioni

COEFFICIENTE K DI COHEN Esempio 28 + 14 + 30 + 7 P oss.79 100 30x32 + 18x20 + 40x35 + 10x15 P.287 att 2 100.79.287 K 1.287.71

COEFFICIENTE K DI COHEN K è un indice riassuntivo che deriva dalla matrice di accordo: K P 1 oss P P P att att dove P oss sono le proporzioni di accordo osservate (diagonale della matrice) e P att sono le poporzioni di accordo dovute al caso

ERRORE STANDARD DI MISURA DEFINIZIONE Stima della deviazione standard dei punteggi osservati intorno al punteggio vero Partendo da Si ottiene con facili passaggi: 2 2 σ V 1 σ E V 1 2 σ σ X 2 X σ E σ X ( 1 r ) tt ERRORE STANDARD DI MISURA

ERRORE STANDARD DI MISURA ESEMPIO Supponiamo di avere un test del quale conosciamo l attendibilità r tt.82 e la 2 varianza σ X 9 Vogliamo conoscere l ERRORE STANDARD DI MISURA del test. Applichiamo la σ E σ X ( 1 r ) tt σ 9 (1.82) 3x.424 E 1.273

USO DELL ERRORE STANDARD Partendo dal punteggio ottenuto da un soggetto ad un test, conoscendo l errore standard del test, possiamo ricavare l intervallo di fiducia all interno del quale cadrà il punteggio vero V del soggetto se si ripetesse il test un numero infinito di volte. Assumiamo che la distribuzione dei punteggi osservati intorno al punteggio vero sia NORMALE e usiamo le proprietà della curva per stimare l intervallo di confidenza al 95% della posizione di V

USO DELL ERRORE STANDARD Dato z X σ E V possiamo scrivere: [ 1.96 < ( X V) / σ < + 1.96]. 95 p E p [ 1.96 σ < ( X V ) < + 1.96 σ ]. 95 E E p [ X 1.96σ < ( V) < X + 1.96σ ]. 95 E E

USO DELL ERRORE STANDARD FORMULA GENERALE Per il calcolo dei limiti dell intervallo di fiducia (o di confidenza) ( X z σ ) < V < ( X + z σ ) + z ( α ) E ( α) E Limite inferiore Limite superiore Dove z α è il valore critico di z per α prefissato

USO DELL ERRORE STANDARD Esempio: Otteniamo un punteggio pari a 108. L errore standard è 1.12. In quale ambito cade il suo punteggio vero con un margine di fiducia del 95%? ( X z σ ) < V < ( X + z σ ) + z ( α ) E ( α) ( 108 1.96 1.12) < V < ( 108 + 1.96 1.12) 105.81 < V < 110.19 E

STIMA DEL PUNTEGGIO VERO Si può anche dimostrare che la correlazione tra il punteggio vero e quello osservato è: σ σ V r XV X r tt Indice di attendibilità

STIMA DEL PUNTEGGIO VERO Utilizzando un approccio in termini di regressione, possiamo STIMARE il punteggio vero con la seguente formula: Vˆ Vˆ X + r tt ( X X ) che equivale a: Vˆ ( 1 r ) X r X tt + tt

STIMA DEL PUNTEGGIO VERO ESEMPIO Se avessimo ottenuto un punteggio X 108 somministrando un test con media 100 e r tt.82, il punteggio stimato applicando la formula Vˆ ( 1 r ) X + r X sarebbe ( 1.82) 100 +.82x108 tt + 18 + 88.56 Vˆ 106.56 tt

Ψ PSICOMETRIA Corso di laurea in Valutazione e Consulenza clinica (classe 34) ESERCIZI SULL ATTENDIBILITA

ESERCIZIO (a) Un ricercatore ha somministrato un test la misura dell ansia composto da 24 item. L attendibilità del test è pari a.80, la media e la deviazione standard nel campione normativo sono pari a 65 e 12 rispettivamente.

ESERCIZIO a) Calcolare il valore dell attendibilità se si togliessero 6 item b) Calcolare il valore dell attendibilità se si aggiungessero 6 item c) Calcolare quanti item simili bisognerebbe aggiungere al test per ottenere r tt.90

ESERCIZIO d) Calcolare la stima del punteggio vero di un soggetto che ha ottenuto un punteggio osservato pari a 61 e) Calcolare l errore standard di misura del test f) Definire l intervallo di fiducia al 95% per il punteggio vero di un soggetto che ha un punteggio osservato di 62

ESERCIZIO soluzione a) Calcolare il valore dell attendibilità se si togliessero 6 item Si applica la formula profetica di Spearman Brown: r ntt 1 + nr tt ( n 1r ) tt n 18 /24.75.75x.80 r ntt 1 + 1 x.80 (.75 ).75

ESERCIZIO soluzione b) Calcolare il valore dell attendibilità se si aggiungessero 6 item Si applica la formula profetica di Spearman Brown: r ntt 1 + nr tt ( n 1r ) tt n 30 /24 1.25 1.25x.80 r ntt 1 + 1 x.80 ( 1.25 ).83

ESERCIZIO soluzione c)calcolare quanti item simili bisognerebbe aggiungere al test per ottenere r tt.90 Si applica la formula inversa: (.80 ) (.90 ).90 1 n.80 1 2.25 n r r ntt tt ( 1 r ) tt ( 1 r ) ( 2.25) x24 54 n. Item finali ntt Gli item da aggiungere sono 30

ESERCIZIO soluzione d) Calcolare la stima del punteggio vero di un soggetto che ha ottenuto un punteggio osservato pari a 61 Si applica la formula: Vˆ ( 1 r ) X r X + tt tt ( 1.80) x65 +.80x61 61. 8 Vˆ

ESERCIZIO soluzione Definire l intervallo di fiducia al 95% per il punteggio vero di un soggetto che ha un punteggio osservato di 62 Si applica la formula: ( X z σ ) < V < ( X σ ) + z ( α ) E ( α ) E Dato che z(. 05 ) 1. 96 e σ 5. E 4 ( 62 1.96x5.4) < V < ( 62 + 1.96x5.4) 51 < V < 73