Strumenti di indagine per la valutazione psicologica 2.2 Mettere a punto un test psicologico Davide Massidda davide.massidda@gmail.com Da dove partire C'è davvero bisogno di un nuovo strumento di misura? Analisi della letteratura. Si può validare in italiano uno strumento già esistente ma in lingua straniera (necessaria back-translation). Gli item vengono creati da un pool di esperti. Somministrazione su larga scala del test. Università di Cagliari, a.a. 2013/2014 Lunghezza del test Dipende dal numero di scale (una scala è quella porzione di test volta a misurare un particolare costrutto latente). Aumentando il numero di item di una scala, l'errore accidentale dovrebbe compensarsi, con un conseguente aumento dell'attendibilità. Per uno stesso tratto latente possono esserci molte aree che richiedono approfondimento, con un conseguente aumento degli item. Chiaramente, il questionario non può essere troppo lungo (si rischia di ottenere misure poco attendibili). Analisi dei dati Analisi dei dati mancanti: - Chi omette risposte? - In quali item si osservano omissioni? Valutare possibili differenze nelle risposte sulla base di variabili socio-demografiche o altre variabili critiche per il fenomeno sotto esame. Analisi di affidabilità e validità. Analisi della struttura fattoriale. Analisi delle proprietà degli item (approccio IRT).
Attendibilità di un test Valutare l'attendibilità E(ϵ)=0 x= τ+ϵ cov ( τ,ϵ)=0 Un test è tanto più affidabile quanto più consente di ottenere delle misure esenti da errore. Un test affidabile è un test in cui la componente vera τ predomina nettamente sulla componente erratica ε. Stabilità delle misure Test-retest Forme parallele Consistenza interna a ogni scala: gli item stanno misurando il medesimo costrutto? Split-half Indice α di Cronbach Correlazione item-totale Riduzione degli item Riduzione degli item Nel processo di validazione, talvolta si somministra un test con un numero di item più elevato di quello che si intende andare a inserire nella batteria finale. Solo gli item con le proprietà psicometriche migliori saranno candidati all'inserimento nella versione finale del test. In alcuni casi, il questionario viene addirittura proposto in due versioni: una completa e una ridotta. Esempio di procedura di selezione degli item: 1. si calcola l'indice α di Cronbach della scala; 2. a uno a uno, gli item vengono eliminati singolarmente e ogni volta si ricalcola l'indice α di Cronbach; 3. se l'eliminazione dell'item è associata a un aumento dell'alfa, allora l'item è da buttare.
Lo strumento misura ciò che dovrebbe essere preposto a misurare? L'attendibilità è una condizione necessaria ma non sufficiente per la validità: non basta che uno strumento sia preciso, deve anche misurare ciò per cui è stato costruito. Validità di contenuto Capacità dello strumento di rappresentare accuratamente l universo dei comportamenti legati al costrutto. Risponde alla domanda: la misura prende davvero in esame tutti i comportamenti legati al costrutto in esame? Validità di costrutto Definisce quanto la misura fornita dal test è connessa al costrutto che si propone di misurare. Può essere valutata come: Validità convergente: grado di accordo tra diverse misure dello stesso costrutto ottenute con metodi diversi. Validità discriminante: grado in cui misure di costrutti diversi riescono effettivamente a distinguere i costrutti. Validità di criterio Grado di associazione tra la misura e un concetto (criterio rilevante) in teoria connesso con il costrutto da misurare. Può assumere due forme specifiche: Validità concorrente: misura e criterio valutati in contemporanea (c'è una corrispondenza fra test e comportamento attuale?). Validità predittiva: il criterio viene valutato in un momento successivo (il test è in grado di predire un risultato futuro?).
Analisi della struttura fattoriale Validità di facciata Corrispondenza tra ciò che sembra che il test stia misurando e ciò che effettivamente sta misurando. (Vedi differenza tra item overt e covert). Gli item possono essere raggruppati sulla base del tratto (fattore) latente che si suppone stiano misurando. Tutti gli item che sono espressione di un medesimo fattore latente saranno molto correlati fra loro e poco correlati con altri item. L'analisi fattoriale è una tecnica di riduzione dati: invece di utilizzare i punteggi dei singoli item (che sono tanti), si posso utilizzare i punteggi dei (pochi) fattori di cui essi sono espressione. Esempio di struttura fattoriale Approcci all'analisi fattoriale Ci sono due possibili approcci all'analisi della struttura fattoriale di un test psicologico: Esplorativo Confermativo
Analisi della struttura fattoriale Analisi della struttura fattoriale Analisi fattoriale esplorativa Sapendo che è stato un numero n di fattori latenti ad aver originato i dati, ne si stima il punteggio e si calcola quanto ogni item satura su ogni fattore. Alcuni item avranno forti saturazioni su un tratto, altri item su un altro tratto, altri item su un altro tratto ancora, ecc. Sulla base delle saturazioni, gli item potranno essere raggruppati. Quindi, a partire da come i soggetti hanno risposto agli item, si cerca di dedurre la struttura fattoriale. Analisi fattoriale confermativa Il questionario è stato già in partenza costruito con una certa logica: le risposte a un gruppo di item sono generate da un certo fattore, le risposte a un altro gruppo di item da un altro fattore, e così via. Non dobbiamo scoprire alcuna struttura fattoriale: la conosciamo già! (E ci mancherebbe: il questionario l'abbiamo costruito noi.) Quello che dobbiamo fare è verificare che il nostro modello sia sostenuto dai dati osservati: «Quanto è verosimile che siano proprio questi fattori, organizzati in questo modo, ad aver generato le risposte agli item?» La verità sta nel mezzo Alcune note sull'analisi fattoriale L'approccio migliore non è né quello esplorativo né quello confermativo. Si spezza in due campione: su metà si applica l'analisi esplorativa e sull'altra metà si valida, tramite un'analisi confermativa, il modello individuato (cross-validation). Se il questionario è fatto bene, le due analisi convergeranno verso gli stessi risultati. Il fatto che due analisi diverse, su campioni diversi, diano gli stessi risultati, sarà un'argomentazione molto convincente riguardo la struttura fattoriale del test! L'analisi fattoriale assume che i tratti latenti siano variabili continue. I fattori latenti possono essere assunti come correlati fra loro, ma non necessariamente (questione delicata). Determinare il numero di fattori latenti non è sempre ovvio (approfondimento su www.insular.it/?p=403). Oggi la tendenza è quella di costruire strumenti piccoli e con pochi fattori se non non addirittura unidimensionali.