Caso 1: Estroversione: Il mio tratto di estroversione fa si che io risponda in un certo modo alle domande del test => Analisi fattoriale

Transcript

1 ATTENDIBILITA E VALIDITA DELLA MISURAZIONE (cap 7) Un attributo psicologico e un costrutto, ossia una variabile psicologica latente. Latente (contrario di manifesta) significa che non e ne osservata e ne osservabile direttamente. Per renderla misurabile, e necessario operazionalizzarla. 1- Definizione del costrutto 2- Scomposizione del costrutto in sotto dimensioni 3- Individuazione di indicatori che siano manifestazione di ciascuna dimensione, ad esempio sintomi fisici, comportamentali e cognitivi psicologia, nella maggior parte dei casi, si misurano COSTRUTTI, ossia concetti astratti che indicano un complesso della vita psichica degli individui, non osservabili direttamente ma inferiti a partire da una serie di indicatori empirici osservabili. Gli INDICATORI sono variabili o misure empiriche che indicano il costrutto non osservabile tramite una regola di corrispondenza. Il rapporto tra costrutto e indicatori può essere di due tipi e da questo dipende la denominazione degli indicatori, che si distinguono in formativi e riflettivi. Secondo la teoria classica dei test, un indicatore ideale dovrebbe riflettere un unico costrutto, senza essere influenzato da altri costrutti. Un costrutto deve essere definito da più indicatori. Caso 1: Estroversione: Il mio tratto di estroversione fa si che io risponda in un certo modo alle domande del test => Analisi fattoriale Caso 2: Rischio di morte: La combinazione degli indicatori (ad esempio, livello di colesterolo nel sangue, propensione a correre in macchina e propensione a fare uso di alcol) concorrono a determinare il mio rischio di morte => Analisi in componenti principali Stabilità, accuratezza e precisione Accuratezza: il grado di corrispondenza tra misurazione e costrutto misurato (validità) Precisione e stabilità: il grado di sistematicità e coerenza con cui eseguiamo la misurazione (attendibilità) Se uno strumento di misura è accurato allora è anche stabile e preciso. Non e necessariamente vero il contrario: uno strumento può essere preciso ma non accurato, cosi come stabile ma non accurato. È ATTENDIBILE (o affidabile) lo strumento che fornisce misurazioni tra loro coerenti (se effettuando più misurazioni indipendenti dello stesso costrutto esse risultano tra loro coerenti). L attendibilità è pertanto il

2 grado di accordo tra misurazioni indipendenti del medesimo costrutto. è VALIDO lo strumento di misura che effettivamente misura la proprietà per cui e stato costruito. La validità e pertanto il grado in cui uno strumento misura ciò che dice di misurare. L attendibilità e considerata la base della validità: una misurazione, per essere valida, deve essere anche attendibile. Si dice anche la l attendibilità e il limite massimo della validità: una misurazione non può essere valida più di quanto sia attendibile. Ma attenzione: una misurazione può essere attendibile senza per questo essere necessariamente anche valida. Solitamente si associa l attendibilità all errore CASUALE (accidentale) e la validità all errore SISTEMATICO. L attendibilità e quindi più facilmente rilevabile della validità. L errore accidentale è individuabile attraverso repliche della misurazione sullo stesso soggetto e le variazioni di valore tra le rilevazioni sono dovute all errore accidentale. La validità è di più difficile individuazione dato che l errore sistematico che e alla sua base si presenta costantemente in ogni rilevazione e quindi rende lo stato effettivo della proprietà studiata non conoscibile. L attendibilità corrisponde al grado di fiducia che è lecito riporre in uno strumento, in quanto produce misurazioni coerenti. L attendibilità si riferisce quindi al grado di coerenza tra misurazioni indipendenti della medesima proprietà. È legittimo pretendere anche una stabilità diacronica delle misurazioni, se la proprietà mentale che stiamo cercando di misurare non subisce variazioni sostanziali nel tempo. In base alla teoria classica dei test sappiamo che: X = V + E E, di conseguenza, anche che: Siccome il valore vero V e dato da ripetizioni infinte della misurazione, altro non e che il valore atteso di X: Da cui discende che: Assunti: gli errori casuali non sono in relazione tra loro punteggi osservati ed errori non sono in relazione tra loro L attendibilità è ricavabile come rapporto tra la varianza della parte vera var(v) e la varianza totale del punteggio osservato var(x). Questo rapporto indica in quale misura la variabilità osservata dei punteggi dipende dalle reali variazioni degli stati individuali sulla proprietà misurata dal test, antiche dall errore casuale.

3 Diverse applicazioni dell attendibilità Metodi basati su due applicazioni Test-retest: coerenza diacronica dei punteggi ricavati a partire dal medesimo strumento, applicato al tempo t e t+1 Forme parallele o equivalenti: coerenza sincronica dei punteggi ricavati a partire da due strumenti paralleli, applicati al tempo t Metodi basati su una sola applicazione Split-half: coerenza dei punteggi ricavati dividendo in due il medesimo strumento, applicato al tempo t (consistenza interna dello strumento) Generalizzazione dello split-half: consistenza interna dello strumento valutata attraverso la media delle correlazioni inter-item ricavabili a partire da tutte le possibili divisioni a meta (α di Cronbach, 1951) Accordo tra valutatori: concordanza delle valutazioni espresse da diversi giudici L α di Cronbach di una scala di misura Utilizzato per valutare la consistenza (coerenza) interna di un test. Varia tra 0 e 1. NON fornisce informazioni sulla dimensionalità della scala. Media delle intercorrelazioni tra tutte le possibili divisioni a meta del test. Dipende dalla intercorrelazione degli item e dalla lunghezza della scala (numerosità degli item). FORMULA PROFETICA DI SPEARMAN-BROWN = identifica la relazione tra attendibilità e numero di item. Si utilizza una volta calcolato il valore dell α e stabilita la lunghezza di una scala per stimare l attendibilità di un test di lunghezza diversa oppure per individuare il numero di item che posso aggiungere/eliminare dal test di partenza per ottenere una certa attendibilità prestabilita. Varia tra 0 (min coerenza) a 1 (max coerenza) ma non esiste accordo unanime su quale sia il livello minimo che deve assumere l α. Siccome dipende non solo dalle intercorrelazioni tra gli item ma anche dalla loro numerosità, si deve tenerne conto nella scelta del livello. Attenzione agli item ridondanti (non informativi) => scale gonfiate Le scale gonfiate sono alla base di due problemi: Paradosso dell attenuazione: Incrementare oltre un certo limite la coerenza interna di una scala non aumenta necessariamente la validità di costrutto e anzi, in alcuni casi, finisce per limitarla. Ad esempio, se la maggior coerenza viene ottenuta sovra rappresentando con item ridondanti una dimensione del costrutto a scapito delle altre Dilemma della larghezza della banda: L eccessivo restringimento del contenuto della scala anche se permette di prevedere comportamenti specifici (alta fedeltà) non correla con nient altro di rilevanza psicologica. Al contrario, item troppo generici hanno alto valore predittivo rispetto a costrutti psicologicamente rilevanti, a spese pero di comportamenti specifici (bassa fedeltà).

4 K di Cohen Coefficiente di attendibilità utilizzato quando ci sono due o più valutatori che eseguono la medesima misurazione. Il concetto di base dell attendibilità e basato sul grado di accordo tra questi giudici (o rilevatori). Due osservatori codificano indipendentemente lo stesso flusso di comportamento. Dopo la codifica si costruisce la MATRICE DI CONFUSIONE, che riporta in riga le osservazioni riferibili al primo osservatore e in colonna quelle del secondo. Nella diagonale principale si trovano i casi di accordo (AO) tra i giudici: Nelle celle extra-diagonal si trovano i casi di disaccordo (D) tra i giudici. I totali marginali di riga e di colonna consentono di calcolare l accordo dovuto al caso (AC) L accordo vero e dato da: La formula del K di Cohen: Una volta che abbiamo calcolato l accordo osservato, il disaccordo, l accordo dovuto al caso e, di conseguenza, quello vero, possiamo calcolare il K di Cohen. Per comodità alcune volte si moltiplica il risultato per 100. Validità della misurazione Uno dei momenti più difficili nel processo di sviluppo di una misura e quello dell'interpretazione dei punteggi ottenuti dalla misurazione. La registrazione di una significativa affidabilità rivela solo che lo strumento misura veramente qualcosa ma non da alcuna informazione sulla natura di ciò che si sta misurando. La difficoltà deriva dal fatto che la validazione può essere verificata all'interno di un sistema di relazioni ipotizzate tra il costrutto di interesse e altri costrutti; tali relazioni possono essere di causa, effetto o di correlazione. Le prove di validità implicano la verifica simultanea dell'ipotesi riguardante i costrutti e lo strumento. La validazione di una misura può quindi essere vista come la verifica di una teoria. Il processo di validazione non può essere affrontato prima che non sia stato portato a termine quello di verifica dell'affidabilità. VALIDITÀ DI CONTENUTO E il grado con cui gli item dello strumento costituiscono un campione rappresentativo dell universo dei comportamenti relativi al costrutto. VALIDITÀ DI CRITERIO

5 È il grado di corrispondenza tra la misura e una variabile esterna, diversa dal costrutto originario, che si assume come criterio di riferimento. VALIDITÀ DI COSTRUTTO E il grado con cui la misura del costrutto correla con misure dello stesso costrutto fatte con metodi diversi (CONVERGENTE) e non correla con misure di costrutti diversi fatte con lo stesso o con metodi diversi (DIVERGENTE) VALIDITÀ NOMOLOGICA E il grado con cui il costrutto che vogliamo misurare si inserisce in una serie di relazioni predittive tra costrutti e criteri appositamente definiti. Il costrutto predice ciò che deve predire e non predice ciò che non deve predire, e si inserisce in una rete di relazioni di costrutti affini. VALIDITÀ DI FACCIATA Ha a che vedere con la serietà e l utilità percepita del test da parte dei soggetti cui il test e destinato. Validità di contenuto E il grado con cui gli item dello strumento costituiscono un campione rappresentativo dell universo dei comportamenti relativi al costrutto (Pedon Gnisci). E il grado con cui gli elementi di uno strumento di assessment (valutazione sistematica del comportamento di una persona) sono rilevanti e rappresentativi del costrutto target per un particolare scopo di valutazione (Haynes 1995). La convalida può avvenire solo su un piano puramente LOGICO (alcuni autori parlano di convalida logica) e consiste nella scomposizione analitica del concetto in esame al fine di assicurarsi che tutte le dimensioni siano state ricoperte dagli indicatori selezionati. Alcuni fanno rientrare nella validità di contenuto anche la validità di facciata, ovvero il grado in cui gli item paiono ragionevoli e plausibili indicatori del costrutto. Validità in relazione ad un criterio (predittiva/concorrente) E il grado di corrispondenza tra la misura e una variabile esterna, diversa dal costrutto originario, che si assume come criterio di riferimento. La logica sottostante e la ricerca di una misura, detta criterio, che possa essere considerata una buona approssimazione della variabile di interesse. Il punteggio di un test e utile se consente di stimare o predire il punteggio nella variabile criterio. Due strategie: 1- rapportare il punteggio ottenuto nel test a un criterio esterno (successivo ed indipendente) dalla misura stessa (ad esempio, la valutazione a posteriori del rendimento lavorativo degli individui selezionati). La rilevazione del criterio e posteriore al test, prevede un intervallo tra temporale tra la somministrazione del test e la rilevazione del criterio => VALIDITA PREDITTIVA 2- rapportare il punteggio ottenuto nel test a un criterio rilevato nello stesso momento (ad esempio, l osservazione dei candidati in situazione di interazione). La rilevazione del criterio avviene in modo concomitante alla somministrazione del test, e simultanea al test =>VALIDITA CONCORRENTE)

6 Sono basate sulla correlazione tra i punteggi. Esiste anche la validità POSTDITTIVA, che e quella ad esempio utilizzata in Tribunale per stabilire se l imputato era in possesso al momento del delitto della capacita di intendere e di volere. Fa parte della validità di criterio anche la validità PER GRUPPI NOTI in cui la misura e applicata anche a persone di cui e già nota la posizione sulla proprietà da rilevare. La validità di costrutto Definita come il grado in cui uno strumento misura ciò che dice di misurare, la validità di costrutto è l aspetto della validità che ha ricevuto maggiore attenzione da parte di ricercatori e metodologi, tanto da rappresentare tout court il significato stesso di validità. Si tratta di valutare la rispondenza di un indicatore alle attese teoriche in termini di relazioni con altre variabili. o o Validità CONVERGENTE => grado di accordo tra due misurazioni del medesimo costrutto fatte con metodi diversi Se la misurazione e valida dal punto di vista del costrutto, l accordo tra due misure del medesimo costrutto fatte con metodi differenti deve essere elevata (esempio: due scale di pregiudizio razziale) Validità DISCRIMINANTE => grado di discriminazione tra due misurazioni di costrutti diversi (parte della medesima rete nomologica). Se la misurazione e valida dal punto di vista del costrutto, non vi e correlazione tra la misurazione del costrutto e misurazioni di altri costrutti La validità nomologica La validità della misurazione del costrutto non va limitata solo alle manifestazioni empiriche di quest ultimo, ma deve prendere in considerazione anche le sue relazioni con altri costrutti e/o criteri della rete di relazioni nomologiche in cui e inserito. La validità nomologica e definita come il grado in cui un costrutto si inserisce in una serie di relazioni predittive, positive o negative o nulle tra costrutti e criteri appositamente definiti. La validità di facciata (o esteriore) La misurazione deve sembrare valida dal punto di vista logico e concettuale a un osservatore esterno (esperti ma anche utilizzatori del test). Non si riferisce a ciò che il test effettivamente misura (validità di contenuto) ma a ciò che sembra misurare. La capacita di un test di produrre risultati affidabili, dipende dall atteggiamento di chi lo usa (soggetti ed esperti). La matrice MTMM di Campbell e Fiske Il modo migliore per valutare la validità di costrutto e sviluppare uno studio in cui vengono misurati diversi costrutti con diversi strumenti, al fine di ottenere una matrice multi tratto-multi metodo (MTMM). Campbell e Fiske (1959) hanno suggerito 4 criteri per ispezionare la matrice al fine di valutare validita convergente e discriminante:

7 1- le correlazioni tra misure diverse dello stesso tratto (monotrattoeterometodo) devono essere diverse da zero, sufficientemente grandi e statisticamente significative; 2- tali correlazioni devono essere maggiori di quelle relative a misure diverse di tratti diversi (correlazioni eterotratto- eterometodo); 3- tali correlazioni devono poi essere maggiori delle correlazioni tra misure di diversi tratti ottenute con lo stesso metodo (etero tratto mono metodo); 4- il quarto criterio richiede che vi sia una configurazione analoga tra le correlazioni etero tratto-mono metodo e le correlazioni etero tratto etero metodo.