Corso di Psicometria Progredito

Transcript

1 Corso di Psicometria Progredito 8.4 Introduzione ai test psicologici Attendibilità di un test Rif. bibliografico: Boncori, L. (2006). I test in psicologia. Capitoli 4-5 Gianmarco Altoè Dipartimento di Pedagogia, Psicologia e Filosofia Università di Cagliari, Anno Accademico

2 Sommario 1 L attendibilità di un test 2 Accordo tra osservatori 3 Stabilità nel tempo 4 Omogeneità degli stimoli

3 L attendibilità (reliability) di un test Un test, come ogni altro strumento di misura, deve essere attendibile. Se un test dichiara di misurare una certa caratteristica, la misura ottenuta applicandolo deve risultare sempre la stessa: chiunque sia l operatore, qualunque sia il momento in cui il test viene somministrato, per ciascun sottoinsieme di stimoli scelto.

4 L attendibilità dal punto di vista metodologico Gli aspetti cruciali relativi alla valutazione dell attendibilità sono: L accordo tra osservatori. Se il test prevede la codifica di domande aperte, l accordo tra gli osservatori deve essere valutato statisticamente e raggiungere livelli soddisfacenti. La stabilità nel tempo. Il test somministrato agli stessi soggetti in due occasioni temporali differenti deve dare gli stessi risultati. L omogeneità (unidimensionalità) degli stimoli. Gli stimoli utilizzati per misurare una determinata caratteristica devono essere omogenei tra loro, in altre parole devono misurare tutti la stessa caratteristica. Oltre a questi aspetti, è fondamentale prestare molta attenzione alla fase di somministrazione di un test. Se tale fase non viene svolta correttamente (tutti i soggetti devono essere nelle stesse condizioni per rispondere), si introducono delle minacce all attendibilità del test.

5 La corretta somministrazione di un test La somministrazione di un test deve garantire che tutti i partecipanti siano posti nelle stesse condizioni per rispondere.... il test è uguale per tutti ;-)

6 Fonti di inattendibilità legate alla somministrazione: fattori che influiscono sull intero processo di testing Situazione emotiva dei rispondenti. Condizioni ambientali del luogo in cui si svolge il test. Caratteristiche personali (età, genere, aspetto fisico, condizioni socioculturali) dei somministratori. Preparazione dei somministratori. Familiarità del somministratore con i rispondenti. Atteggiamento interpersonale del somministratore. Attenzione per il comportamento dei rispondenti. Ansia d esame nei rispondenti. Suggerimento: Approfondire il paragrafo 2 del capitolo 4 del testo di riferimento Boncori, L. (2006) - I test in psicologia.

7 Fonti di inattendibilità legate alla somministrazione: effetto della motivazione e delle istruzioni Motivazione data prima del test. Neutralità delle istruzioni rispetto allo scopo del test. Standardizzazione delle istruzioni. Variazione delle modalità di comunicazione delle istruzioni. Aggiunte di spiegazioni. Ordine delle istruzioni del somministratore. Esecuzione di esempi preliminari da parte dei rispondenti. Suggerimento: Approfondire il paragrafo 2 del capitolo 4 del testo di riferimento Boncori, L. (2006) - I test in psicologia.

8 Fonti di inattendibilità legate alla somministrazione: fattori che influiscono durante la somministrazione del test Attenzione per il comportamento dei rispondenti. Rinforzi alla motivazione. Definizione dei limiti di tempo. Aggiunte di spiegazioni Suggerimento: Approfondire il paragrafo 2 del capitolo 4 del testo di riferimento Boncori, L. (2006) - I test in psicologia.

9 Il grado di accordo tra osservatori Quando un test prevede domande aperte è importante costruire un protocollo per la codifica delle risposte. Le risposte possono essere codificate su scala nominale, ordinale o quantitativa. In fase di validazione di un test, la codifica delle risposte deve essere svolta da due (o più) osservatori. Il grado di accordo tra gli osservatori deve essere valutato attraverso degli opportuni indici statistici e raggiungere un livello soddisfacente... =

10 Indici statistici per valutare il grado di accordo Scala di codifica per le risposte Nominale Ordinale Quantitativa Indice statistico k di Cohen r di Spearman Coefficiente di correlazione intraclasse Un valore di.70 (o superiore) indica, per ciascun indice, un grado di accordo tra osservatori accettabile.

11 Stabilità temporale di un test Un test è stabile nel tempo se, somministrato in due occasioni temporali diverse (test e re-test) agli stessi soggetti, indica gli stessi risultati. Il periodo di tempo tra test e re-test non deve essere troppo breve (i soggetti potrebbero ricordare le risposte date) e nemmeno troppo lungo(la caratteristica misurata dal test potrebbe essere cambiata nei soggetti). Il periodo di tempo ottimale da far trascorrere tra test e re-test dipende dal fenomeno di studio. In genere è consigliato un periodo di giorni.

12 Unidimensionalità del costrutto indagato Supponiamo di aver costruito un test che misuri la depressione. Sono previste 10 domande con risposte chiuse, su scala (ordinale) Likert a sette modalità dove punteggi alti indicano elevati livelli di depressione Supponiamo inoltre di aver previsto, come indicatore riassuntivo della depressione, un punteggio dato dalla somma di tutte le risposte. Problemi da porsi in sede di valutazione dell attendibilità di un test. I singoli item sono sufficientemente correlati tra loro: misurano tutti la stessa caratteristica? Il punteggio riassuntivo può essere considerato un indicatore unidimensionale, o esistono item o raggruppamenti di item che misurano dimensioni diverse rispetto a quella prevista?

13 Valutazione della validità interna: tutti gli item devono misurare lo stesso costrutto Singoli item poco correlati con l insieme degli item previsti per la misurazione del costrutto di interesse potrebbero portare a delle distorsioni nei risultati Singoli item, o gruppi di item, poco correlati con l indice riassuntivo previsto dal test, potrebbero indicare che il costrutto indagato non è unidimensionale e andrebbe scomposto in sotto-dimensioni. Entrambi questi problemi devono essere valutati in modo adeguato, sia dal punto di vista teorico che statistico, al fine di garantire una buona attendibilità di un test. Questo ambito particolare dell attendibilità, in genere viene definito validità interna o coerenza interna di un test.

14 La valutazione della coerenza dei singoli item Ispezionare la matrice di correlazione (l insieme di tutti gli indici di correlazione) tra gli item utilizzati. Se un item presenta un gran numero di correlazioni di piccolo effetto (r <.30) o negative, deve essere valutato attentamente, eventualmente modificato o eliminato. Valutare la correlazione tra ciascun item e la somma di tutti gli altri item (correlazione item-totale). Un grado di coerenza ritenuto generalmente accettabile è una correlazione item-totale uguale o superiore a.35.

15 La valutazione della validità interna del costrutto Uno degli indici più utiizzati per valutare la coerenza interna di un insieme di item è l α di Cronbach. Il calcolo dell indice, insieme ad ulteriori indicatori riguardanti il contributo dei singoli item, è disponibile nella maggior parte dei software statistici. Un valore di riferimento generale che indica un accettabile grado di coerenza interna è.7 (o superiore). Tuttavia l α di Cronbach a parità di grado di coerenza tende a crescere all aumentare del numero di soggetti, e del numero di item. Inoltre i valori di riferimento che indicano un grado di coerenza soddisfacente possono variare a seconda del tipo di test. In conclusione dopo aver calcolato l indice è bene confrontarlo non solo con il valore di.7, ma anche con i valori presenti nella letteratura riguardante il fenomeno di studio. Un grado di coerenza interna non soddisfacente può dipendere da un singolo item (che può essere rimosso) o da più item (in questo caso sarà l intero insieme di item ad essere messo in discussione).