Caratteristiche di un buon test CARATTERISTICHE FONDAMENTALI: Validità Attendibilità o fedeltà Consenta formulazione diagnosi Quantificazione corretta dei risultati CARATTERISTICHE ACCESSORIE: Adeguatezza ai soggetti da esaminare Facilità d uso ed economicità Aspetti etici Validità di facciata Validità Validità di contenuto Validità rispetto ad un criterio esterno v. concorrente v. predittiva Validità di costrutto 1
Validità di facciata Come appare un test Adeguatezza del materiale-stimolo ai soggetti da esaminare Caratteristica non propriamente metrologica ma importante per due aspetti: a) Realizzazione di un buon rapporto con l utente b) Rafforzamento nell esaminato di un immagine professionale positiva dell esaminatore Validità di contenuto Un test ha una buona validità di contenuto quando gli elementi stimolo di cui si compone producono risposte che siano un campione rappresentativo dell universo di contenuti (o di elementi comportamentali) che il test si propone di esplorare. GLI ITEM DOVREBBERO ESSERE: rappresentativi degli obbiettivi didattici connessi con metodologia didattica connessi con età e scolarità connessi con il tipo di scuola 2
Validità di contenuto Il concetto di validità di contenuto è strettamente connesso con l istanza di generalizzabilità delle misure: una misura è generalizzabile solo se e quando gli stimoli su cui il test si basa possono esser considerati rappresentativi dell universo di stimoli che consentono a quella variabile di evidenziarsi. Verifiche della validità di contenuto Verifica della campionatura degli items e della chiave di correzione Verifica proporzione items afferenti alle diverse aree esplorate Verifica della redazione degli items e delle istruzioni 3
Validità di contenuto Per giudicare la validità di contenuto occorre conoscere: a) cosa vuol misurare il test e per quali soggetti è stato ideato; b) il modello teorico di riferimento; c) la proporzione di item afferenti a ciascuna delle specifiche categorie che compongono la caratteristica che vogliamo rilevare; d) le caratteristiche formali degli item; e) le indicazioni per l assegnazione dei punteggi e come sono motivate; f) la durata dell esame (per stimare il possibile affaticamento di soggetti) Validità rispetto ad un criterio esterno Non si riscontrano differenze sostanziali tra gli effettivi comportamenti o stati psichici del soggetto e le sue risposte al test. Validità concorrente o di utilità diagnostica quando il comportamento viene misurato simultaneamente alla somministrazione del test Validità predittiva o utilità predittiva quando l intervallo tra le due misurazioni è tale che abbia potuto prodursi un qualche cambiamento 4
Validità rispetto ad un criterio esterno I metodi usati per verificare questo tipo di validità sono di due tipi: a) Correlazione tra i risultati nel test e i risultati nella misura criterio (spesso un test affine) b) Misura dell accuratezza della distinzione che il test consente di operare fra categorie di persone diagnosticate rispetto al criterio Predicibilità differenziale Un test può avere differente validità per sottogruppi della popolazione diversamente caratterizzati. Le fonti di differenziazione sono: Appartenenza a gruppi socioculturali Fattori cognitivi e fattori emotivi Tratti della personalità e del comportamento sociale ü Stabilità ü Auto-monitoraggio ü Consapevolezza del Sé ü Identità personale ü Empatia 5
Validità di costrutto " Un costrutto psicologico è un idea teoretica elaborata per spiegare e organizzare alcuni aspetti delle conoscenze esistenti " La validità di costrutto può essere definita come il grado in cui il test misura una dimensione, un tratto che realmente esiste. " Attualmente la validità di costrutto ha assunto un significato inclusivo ed è interpretata da molti autori come la sintesi di tutte le verifiche di validità (Cronbach, 1984, Anastasi, 1986). Validità di costrutto Affinché un test sia valido il costrutto che intende rilevare deve essere: a) chiaro e univocamente individuabile in base ai dati empirici b) distinto da concetti apparentemente simili ma che, secondo il riferimento teorico adottato, non hanno rapporti con il costrutto in esame e quindi dovrebbero essere da questo discriminati 6
Validità di costrutto La strategia di validazione del test deve comprendere i seguenti tre momenti (Cronbach, 1984): 1. Preparazione di item sperimentali derivati dalla definizione del costrutto che si vuol misurare 2. Formulazione di ipotesi operative che consentano di controllare se gli item ideati sono davvero misure di quel tratto psicologico 3. Verifica empirica delle ipotesi e confronto con dati ottenuti da altri studiosi Attendibilità Un buon test dovrebbe fornire misure coerenti e costanti: una misurazione applicata alla stesso oggetto deve dare gli stessi risultati anche quando viene compiuta da persone diverse, in situazioni diverse. Se una misurazione ha buoni requisiti di stabilità nonostante le variazioni accidentali viene detta attendibile 7
Affidabilità Il concetto teorico di attendibilità è stato elaborato nell ambito della teoria dell errore di misurazione : Ogni punteggio è costituito da una componente vera e da una componente d errore. Nella componente di errore si distingue: ERRORI SISTEMATICI ed ERRORI CASUALI Gli studi sull attendibilità si propongono di quantificare gli errori casuali e di ridurne l ampiezza. (gli studi sulla validità si propongono invece di ridurre gli errori sistematici) Metodi per controllare l affidabilità di un test: 1) omogeneità o coerenza interna dell insieme di stimoli che compongono il test; 2) concordanza tra forme parallele di uno stesso test; 3) oggettività delle valutazioni (stimata con l accordo tra operatori -percentuale di accordo) o accordo tra chi interpreta i risultati del test, dà valutazioni, fa diagnosi; 4) stabilità delle reazioni dei soggetti esaminati più volte (test-retest) 8
1) Omogeneità o coerenza interna Le misurazioni psicologiche si basano sulla raccolta di un insieme di item che dovrebbero misurare lo stesso costrutto. Se la correlazione tra due item dello stesso test è debole, si può ipotizzare che la risposta a uno dei due dipenda da fattori estranei alla variabile misurata dal test nel suo insieme. Indici di omogeneità troppo elevati possono derivare da artefici nella costruzione del test che incrementano l attendibilità a scapito della validità. La validità più elevata si ottiene trovando item che correlano fortemente con il costrutto ma poco fra di loro. 2) Equivalenza tra forme parallele Per poter essere attendibili due o più forme parallele di un test devono mostrare elevate intercorrelazioni fra loro, ossia che: a) le distribuzioni dei punteggi veri siano completamente sovrapposte; b) la varianza di ciascuna forma, non interpretabile come varianza vera, sia dovuta soltanto a errori casuali; c) tutte le forme abbiano la stessa correlazione con i punteggi veri. 9
3) Oggettività delle valutazioni e dei valutatori Nei test a scelta multipla la rilevanza delle risposte del soggetto è solo un problema tecnico: gli errori dipendono solo della griglia e dall affaticamento o dall attenzione dell operatore. Correttori addestrati commettono errori nel 3 o 4 % dei protocolli. L accordo tra giudici è una componente dell attendibilità per i test a risposta aperta. L oggettività di valutazione viene misurata con l analisi della varianza, il coefficiente di correlazione o il coefficiente di accordo. 4) Stabilità delle reazioni Le fonti di instabilità da misurare: a) Caratteristiche temporanee e generali del soggetto: ü Stato salute ü Stato affaticamento ü Motivazione al test ü Stato di tensione emotiva ü Fattori casuali campionatura item ü Condizioni ambientali b) Caratteristiche temporanee e specifiche del soggetto: ü Comprensione del compito ü Trucchi o tecniche di manipolazione ü Esperienza pratica ü Fluttuazioni memoria ü Fluttuazioni attenzione, accuratezza e ansia 10
Da tener presente Nessun risultato di test è perfettamente attendibile Un test lungo offre una misura più attendibile di un test breve 11