Disegni di Ricerca e Analisi dei Dati in Psicologia Clinica. Indici di Affidabilità

Transcript

1 Disegni di Ricerca e Analisi dei Dati in Psicologia Clinica Indici di Affidabilità

2 L Attendibilità È il livello in cui una misura è libera da errore di misura È la proporzione di variabilità della misurazione che è effettivamente riferibile a reali differenze tra i soggetti sottoposti a misurazione È il grado in cui misure effettuate su soggetti (pazienti) che non sono cambiati nel tempo risultano stabili sotto diversi punti di vista: -Consistenza interna -Test-retest - Inter-rater - Intra-rater

3 Consistenza Interna È il livello di interrelazione tra gli item In una scala o (sottoscala) unidimensionale, la consistenza interna indica quanto gli item misurano il medesimo costrutto I principali metodi che vengono utilizzati per calcolare la consistenza interna sono i seguenti: -Split-Half -Kuder-Richardson Formula-20 -Alpha di Cronbach -Per IRT si usano indici di fit globale ad esempio gli indici di separazione dei soggetti

4 Split-Half Si fonda su tre Step fondamentali: 1)Divisione in due parti del test: -prima e seconda parte? -divisione random? -divisione pari-dispari? 2) Calcolo del Coefficiente di Pearson fra i punteggi delle due parti 3) Correzione dell affidabilità attraverso la formula profetica di Spearman-Brown

5 Calcolo del Coefficiente r di Pearson r xy = ( x i y i ) x i y i i=1 2 x i i=1 i=1 x i 2 i=1 i=1 y 2 i i=1 i=1 y i 2 è il numero di soggetti o di coppie di osservazione x è il punteggio ottenuto dai vari soggetti alla prima variabile y è il punteggio ottenuto dai vari soggetti alla seconda variabile

6 Formula profetica di Spearman-Brown r tot = 2r pd 1+ r pd r tot indica il valore di correlazione stimato per l intero test r pd indica il valore di correlazione tra i punteggi ottenuti agli item pari (p) e dispari (d).

7 Kuder-Richardson Formula-20 Chiamata solitamente KR-20. È adatta per test in cui vi siano item DICOTOMICI, OMOGEEI e valutabili come GIUSTO-SBAGLIATO. r K ( p q) = 1 K 1 stot KR 20 2 K è il numero di item del test 2 s tot è la variaza dei punteggi dell intero test (p q) è la sommatoria del prodotto, per ogni item, della proporzione di risposte corrette e di risposte sbagliate

8 Alpha di Cronbach La formula fu derivata da Cronbach nel 1951 e fu in seguito più volte modificata. Potrebbe essere inteso come la media di tutti i possibili split half ottenuti come indicato in precedenza. Rispetto alla KR-20 è applicabile anche ad item con più di due alternative. L Alpha di Cronbach ha di fatto sostituito la KR-20 anche nello studio della consistenza interna di strumenti a rispostadicotomica. Un indice collegato per il calcolo della consistenza interna è la Correlazione item-totale

9 Alpha di Cronbach K K i α = 1 = 2 K s 1 1 tot s 2 i K indica il numero degli item K i = 1 2 s tot s 2 i Indica la sommatoria della varianza dei punteggi ottenuti in ogni item. Indica la varianza dei punteggi totali Il valore del coefficiente alpha varia tra 0 e 1.

10 Alpha di Cronbach Standardizzata ( Kr) α = s 1 + ( K 1) r K rappresenta il numero degli item r rappresenta la media di tutti i coefficienti di correlazione di Pearson calcolato tra tutti gli item

11 Correlazione Item-totale È un importante indice di consistenza interna Valuta il valore della correlazione tra il punteggio ottenuto all item i e il totale della scala a cui viene eliminata la risposta ad i È interessante per valutare quanto un item è rappresentativo della scala nella quale è inserito. Varia in un range tra -1 e 1. La formula (con opportuni adattamenti) è uguale a quella del coefficiente r di Pearson.

12 Inter-rater Reliability L inter-rater reliability (affidabilità tra valutatori o anche accordo fra giudici ) misura il grado in cui le valutazioni di due o più giudici (clinici, educatori, operatori, ecc.) siano conformi aldilà del caso. Se prendiamo ad esempio due clinici chiamati a valutare in maniera indipendente la presenza o l assenza in un paziente di un set di elementi diagnostici, sarà importante poter misurare quanto l accordo tra di loro vada aldilà del semplice caso (con due valutatori ci si attenderebbe un accordo casuale del 50%). Al fine di poter misurare l accordo tra i giudici è necessario che: - venga chiarito in maniera inequivocabile l oggetto della valutazione; - i due giudici siano indipendenti nello svolgere la loro valutazione; - venga chiarita in maniera efficace la regola di attribuzione dei punteggi.

13 Inter-rater Reliability: K di Cohen Tra tutti gli indici statistici che misurano l accordo fra giudici il K di Cohen (Cohen, 1968) è senza dubbio il più interessante. Questo indice (che varia tra -1 e 1) consente di ottenere un valore che rappresenta il livello di accordo tra giudici tenendo conto della probabilità di accordo dovuta al caso. Il calcolo dell indice si basa sulla seguente formula: K = A oss A Dove: A oss = umero di Accordi Osservati A att = umero di Accordi Attesi = umero Totale delle osservazioni A att att

14 Inter-rater Reliability: K di Cohen Al fine di poter risolvere la formula presentata occorre ricordare che il numero di accordi attesi (così come avveniva per il calcolo del Chiquadrato!!!) si ottiene moltiplicando i marginali di riga e di colonna tra di loro e dividendo per. Ad esempio in una tabella 2 2 dove due operatori OPa e OPb devono indicare la presenza 1 o l assenza 0 di una serie di sintomi in un paziente si avrà la seguente situazione: OPb 0 OPb 1 OPa 0 AO 0 01 TOT OPa OPa 1 10 AO 1 TOT OPa 1 TOT OPb TOT OPb 0 Dalla tabella delle frequenze osservate è possibile passare a quella delle frequenze attese attraverso le formule seguenti 0 1

15 Inter-rater Reliability: K di Cohen AA 0 = TOT OPa0 TOT OPb0 AA 1 = TOT OPa1 TOT OPb1 ; ; OPb 0 OPb 1 OPa 0 AA 0 01 TOT OPa OPa 1 10 AA 1 TOT OPa 0 TOT OPb TOT OPb 1 0 1

16 Inter-rater Reliability: K di Cohen Dalla prima tabella (frequenze osservate) è possibile ricavare un primo indice detto indice di concordanza (IC) che si ottiene attraverso la seguente formula: IC= AO 0 + AO 1 Dalle informazioni contenute nelle due tabelle è possibile ricavare l indice K che può essere calcolato applicando la seguente formula: K = (AO 0 + AO 1 ) (AA 0 + AA 1 ) (AA 0 + AA 1 ) aturalmente è possibile estendere la precedente formula a casi in cui siano presenti più livelli di risposta (ad esempio 0,1,2).

17 K di Cohen (esercizio) Si calcoli il valore dell indice di concordanza IC e il valore del K di Cohen a partire dalla seguente tabella delle frequenze osservate. Si proceda calcolando i valori attesi. OPb 0 OPb 1 OPa 0 3 2? OPa ????

18 K di Cohen: Interpretazione on si può affermare che esistano linee guida universali per l interpretazione dell indice K come scarso, buono, ottimo. Diversi autori hanno proposto differenti soluzioni. Seppure diverse nella forma tali linee guida appaiono uniformi nella sostanza attribuendo in linea generale le seguenti categorie interpretative: K<0= disaccordo 0<K<.20= accordo molto scarso.20<k<.40(o.45)= accordo scarso.40 (o.45)<k<.60 = accordo discreto.60<k<.75 (o.80) = accordo buono.75 (o.80)<k<1= accordo eccellente

19 Statistica sul Soggetto Singolo: il Test C Il Test C (Von eumann, 1941; Caracciolo, Larcan &Camma, 1986) consente di valutare il livello di inclinazione delle curve nelle singole fasi di un esperimento. Principalmente tale test consente di valutare se il trend di un set di misurazioni sia stazionario o segua una direzione (in aumento o in diminuzione). Il Test C si applica su una serie di misurazioni (almeno 8) condotte su SOGGETTO SIGOLO. Il test misura la probabilità con cui i punti di una serie temporale siano disposti a caso. Se tale probabilità appare essere inferiore ad un valore critico (arbitrariamente fissato) si conclude che esiste un trend significativo.

20 Statistica sul Soggetto Singolo: il Test C Il calcolo del valore C avviene attraverso la seguente formula: C =1 1 i=1 i=1 (x i x i+1 ) 2 2 (x i x ) 2 dove: X i = l osservazione al tempo i; X i+1 = l osservazione al tempo i+1 (successivo); X = valore medio delle osservazioni.

21 Statistica sul Soggetto Singolo: il Test C Al fine di valutare la significatività del valore osservato per il Test C occorre far riferimento alla distribuzione normale attraverso la statistica Z. Al fine di calcolare il punto Z corrispondente al valore di C calcolato occorre prima ricavare l errore standard di C attraverso la seguente formula: ES C = Con = numero di osservazioni. ( 2) ( 1)( +1) Il punto Z è infine ottenibile dividendo i valore di C per il suo errore standard: Z = C ES C Il valore critico di Z con α=0.05 è 1.64, mentre con α=0.01 è Valori di Z calcolato superiori al cut-off stabilito indicano un trend significativo.

22 Il Test C: nota bene Occorre notare che il valore osservato del Test C può essere solo positivo. In altre parole sia che il trend sia crescente o decrescente il valore del test sarà sempre positivo. Ciò porta ad una ulteriore evidenza ossia che sarebbe sbagliato affermare che se il Test C presenta un valore significativo esso non potrebbe essere definito come signifcativamente crescente o significativamente decrescente. onostante ciò, essendo che il test può assumere solo valori positivi, il livello di significatività da individuare (lo Z critico) è quello relativo ad una ipotesi monodirezionale destra piuttosto che bidirezionale. Da un punto di vista interpretativo si può affermare che un trend è significativo oppure no, l analisi grafica può suggerire in forma descrittiva l andamento del trend (che comunque ci si aspetta segua la direzione ipotizzata teoricamente).