Altri metodi di costruzione di test. Metodo orientato al criterio, cenni su altri metodi

Transcript

1 Altri metodi di costruzione di test Metodo orientato al criterio, cenni su altri metodi

2 Metodo orientato al criterio Gli item del test vengono selezionati in base alla loro capacità empirica di discriminare fra gruppicriterio. Malati/sani Bocciati/promossi Schizofrenici/depressi Si tratta di un metodo molto empirico e non teorico di costruire un test. Ciò ha alcuni vantaggi, e molti svantaggi. Vantaggio: chiara utilità pratica Svantaggi: validità di costrutto ignota, inutili per la comprensione dei processi psicologici

3 Vediamo meglio i vantaggi Semplicità concettuale del processo di sviluppo della scala. Si selezionano gli item che mostrano punteggi differenti in gruppi-criterio noti. Capacità di rispondere alle esigenze applicative di selezione, diagnosi e orientamento. Molti committenti richiedono indicazioni pratiche precise sui risultati del test, non teorie sui processi. Flessibilità del metodo per costruire test specifici per ogni esigenza. Una volta individuati i gruppi criterio è teoricamente possibile sviluppare test in grado di discriminarli.

4 e gli svantaggi -1 Inattendibilità dei gruppi criterio. È possibile che i test tentino di discriminare gruppi che non sono definiti in modo attendibile, o che non esistono; oppure che la definizione dei gruppi criterio abbia senso solo all interno di una teoria, ma non sia generalizzabile ad altre tradizioni teoriche. Eccessiva specificità del test. Il test è utile solo nelle condizioni per cui è stato sviluppato. Se ad esempio una riforma universitaria radicale muta le condizioni di successo accademico, i test di orientamento sviluppati su un criterio precedentemente valido non sono più utilizzabili. L utilizzo del test in una cultura diversa da quella in cui è stato sviluppato può essere problematico.

5 e gli svantaggi -2 Significato psicologico dei punteggi ignoto. È il difetto più importante di questi test. Non avendo una teoria sulle variabili psicologiche che distinguono due gruppi, la disponibilità di un buon test discriminante non ci aiuta a capire perché sono diversi. Non abbiamo idea di quanti costrutti siano coinvolti nella determinazione di un punteggio (uno, due, cento?). Due punteggi uguali non implicano la presenza dei medesime meccanismi psicologici. Date queste ambiguità, non è possibile costruire nemmeno conoscenza empirica cumulativa utilizzando questi test.

6 Come si costruiscono test orientati al criterio. Il problema più delicato è la definizione del criterio. Due gruppi (malati/sani ) Un punteggio criterio. In ogni caso, il campione su cui si opera deve essere il più grande possibile. Le differenze fra i gruppi criterio devono essere attendibili. es: medie diverse. Allo stesso tempo però, le differenze fra i gruppi criterio devono anche essere grandi. es: correlazione elevata fra appartenenza al gruppo e punteggio ad un item.

7 Gli item La batteria di item iniziale deve essere sufficientemente grande. Gli item non necessariamente devono avere validità di contenuto o validità di facciata. La batteria di item deve essere più grande di quelle usate per il metodo fattoriale o di analisi degli item. Mancando criteri teorici per la scelta degli item, dobbiamo sperare di trovare un numero di item sufficiente a costruire una scala a partire da un numero molto elevato di item. Ciò è meno vero quando gli item hanno una certa validità di facciata o di contenuto.

8 Le analisi statistiche -1 Gruppi come criterio: Differenze medie fra item T-test (un item alla volta) ANOVA univariata (un item alla volta) MANOVA (tutti gli item assieme) Analisi discriminante univariata o multivariata. Relazione fra item e appartenenza al gruppo Opportuni coefficienti di correlazione a seconda di come sono misurati l appartenenza al gruppo e gli item (dicotomico/dicotomico; dicotomico/politomico; ordinale/politomico ) Punteggio come criterio: Relazione fra item e punteggio criterio. Opportuni coefficienti di correlazione. Regressione.

9 Le analisi statistiche -2 Ricordare che l ampiezza dei campioni è cruciale per la potenza statistica. Con molti soggetti, piccole differenze medie e correlazioni deboli possono risultare molto significative. Non si tratta sempre di un vantaggio. Possiamo individuare differenze di scarsa entità pratica o teorica. È opportuno considerare la grandezza delle differenze, e la forza delle relazioni oltre alla loro significatività.

10 Selezione degli item Semplicemente si selezionano gli item che discriminano efficacemente fra i gruppi; o gli item fortemente associati con il punteggiocriterio. A volte è necessario sviluppare il test separatamente per maschi e femmine (o altri gruppi noti: Italia e USA). In genere si tende a comporre il test con gli item discriminativi in entrambe le sottopopolazioni.

11 Controlli Verifica della capacità discriminativa dell intero test. Sommare i punteggi degli item e vedere quanto discriminano fra i gruppi, o quanto predicono il punteggio-criterio. Attendibilità del test risultante. Spesso l attendibilità è bassa, dato che il test può essere multifattoriale. Replica su un diverso campione della capacità discriminativa degli item selezionati.

12 Idealmente È possibile chiarire il significato psicologico del test, ricorrendo all analisi fattoriale. Fattorializzare la scala con test di cui è nota la validità di costrutto, e vedere dove essa si posiziona. Se però il test è multifattoriale, non capiremo comunque nulla. Fattorializzare gli item del test. Si potrebbe capire induttivamente quanti costrutti misura il test. Fattorizzare i singoli item del test con test di cui è nota la validità di costrutto. In questo modo abbiamo l informazione più fine circa i motivi del potere discriminativo degli item.

13 Validità e standardizzazione Come per tutti i test, prima di rendere normativi i risultati è necessario provare la validità di costrutto. Ciò è particolarmente importante per i test validati sul criterio massimizzando la sua capacità discriminativa. In pratica, lo sviluppo di test basandosi sulla discriminabilità del criterio è svantaggioso. Per rendere il test valido bisogna imbarcarsi in un lavoro di gran lunga più lungo e rischioso di quanto richiesto dall approccio basato sull analisi fattoriale o sull analisi degli item.

14 Altri metodi Scale di Guttman. Sviluppate per atteggiamenti e opinioni. Scale di Rasch, e altri metodi noti come Item Response Theory (IRT). Versione più moderna e sofisticata delle scale di Guttman. Scale Thurstone. Usate per gli atteggiamenti. Scale Likert. Molto usate per atteggiamenti e personalità. Differenziale semantico. Usate per atteggiamenti e in generale per valutazioni di qualunque cosa; popolari anche nel marketing.

15 Scale di Guttman o cumulative L obiettivo è avere una serie di item ordinati secondo l estremità dell atteggiamento che esprimono. Es: Sposerei un rom; inviterei a cena un rom; mi siederei accanto ad un rom in un bus; vivrei nella stessa città in cui vivono alcuni rom. In questo modo, la risposta positiva ad un item implica risposta positiva agli item precedenti; la risposta negativa implica risposte negative agli item successivi. Il soggetto ottiene un punteggio corrispondente al livello dell item più estremo cui ha dato risposta positiva.

16 Scale di Guttman o cumulative Si somministra la scala ad un campione e: Punteggio I believe that this country should allow more immigrants in. 1 I would be comfortable with new immigrants moving into my community. 2 It would be fine with me if new immigrants moved onto my block. 3 I would be comfortable if a new immigrant moved next door to me. 4 I would be comfortable if my child dated a new immigrant. 5 I would permit a child of mine to marry an immigrant. 6

17 Svantaggi scale di Guttman Il punteggio è basato sull ordinamento degli item (scale cumulative), quindi si tratta di una misurazione di livello ordinale. Non abbiamo idea della dimensionalità della scala. Con conseguenti problemi di validità di costrutto. L ordinamento degli item non rappresenta bene la teoria psicologica degli atteggiamenti. Che concepisce l atteggiamento come un continuum valutativo di un oggetto, non come un ordinamento di comportamenti o opinioni. Ogni item in una scala di Guttman misura l atteggiamento in un punto specifico del suo continuum. Non è intrinsecamente un difetto, ma è un ulteriore violazione della teoria degli atteggiamenti.

18 Svantaggi scale di Guttman Altri problemi pratici. L ordinamento degli item (o scalogramma ) raramente è perfetto. Non è possibile calcolare l attendibilità intesa come coerenza interna su questi punteggi. Nello sviluppo della scala si seguono delle considerazioni empiriche per selezionare gli item invece che teoriche. Si selezionano gruppi di item che si avvicinano ad una configurazione a scalogramma. Ma sono item rilevanti per il costrutto?

19 Modelli di Rasch e IRT Modello molto complesso, che tenta di raggiungere le proprietà di una scala Guttman utilizzando dei parametri probabilistici. Ha alcune proprietà molto interessanti, che non si accordano con la teoria classica dei test. Si distingue fra un parametro di risposta dovuto al tratto e un parametro dovuto alla difficoltà dell item (non è l errore casuale). I parametri del modello sono indipendenti dalla popolazione. I punteggi della scala possono essere ottenuti con qualunque sottoinsieme di item. Il punteggio della scala è indipendente dalla difficoltà degli item.

20 Svantaggi di Rasch e IRT Il modello assume l unidimensionalità, senza prevedere verifiche dell assunzione. Modelli statistici più recenti sviluppati nel solco della IRT prevedono la multidimensionalità. Non si accorda alla teoria classica dei test. Non è necessariamente uno svantaggio. Non si accorda al modo in cui molte teorie psicologiche concepiscono i propri costrutti. È invece coerente con molte definizioni delle abilità o delle conoscenze. È utilizzabile per i test di abilità e di profitto. Come per le scale Guttman, la selezione degli item è un processo piuttosto empirico. Si seleziona l item che soddisfa le assunzione, ma cosa dice l item?

21 Scale di Thurstone Ogni item di una batteria è valutato da un gruppo di esperti, i quali distribuiscono gli item su una scala a 11 punti. Si tenta di ottenere una scala in cui siano presenti affermazioni che coprono tutto l arco dell atteggiamento, dalle affermazioni più favorevoli alle meno favorevoli.

22 Scale di Thurstone People with AIDS are like my parents (6) Because AIDS is preventable, we should focus our resources on prevention instead of curing (5) People with AIDS deserve what they got. (1) Aids affects us all (10) People with AIDS should be treated just like everybody else. (11) AIDS will never happen to me. (3) It's easy to get AIDS (5) AIDS doesn't have a preference, anyone can get it (9) AIDS is a disease that anyone can get if they are not careful (9) If you have AIDS, you can still lead a normal life (8) AIDS is good because it helps control the population. (2) I can't get AIDS if I'm in a monogamous relationship. (4) Il punteggio dei soggetti è dato dall item più estremo cui hanno aderito, o dalla media degli item cui hanno aderito. Si differenzia dalla scala di Guttman in quanto considera l atteggiamento come continuo e distribuito normalmente. Come per la scala Guttman, ogni item misura una particolare porzione del costrutto.

23 Svantaggi scale di Thurstone Svantaggi pratici. Non sono i soggetti che fanno la scala, ma i giudici esperti : devo avere un campione ampio (2 o 3 per item) e attendibile di giudici esperti. L atteggiamento del giudice muta la valutazione del giudice (orizzonte del rifiuto). Bisogna coprire tutto l arco dell atteggiamento con punteggi da 1 a 11. È difficile trovare un gruppo di giudici che raggiunga un buon accordo su una categorizzazione così complessa. Svantaggi teorici. Gli atteggiamenti non sembrano conformarsi al modello di Thurstone. Il problema è avere un item valido solo per alcuni porzioni del tratto di atteggiamento che si sta studiando.

24 Scale Likert Il soggetto gradua tramite una scala a minimo 5 posizioni il suo grado di adesione ad una serie di item. Il punteggio al test è dato dalla somma degli item. Per questo, le scale Likert vengono anche chiamate scale sommative.

25 Svantaggi delle scale Likert Desiderabilità sociale in agguato. Si è spesso obbligati ad usare item poco estremi, per rendere possibile l occorrenza di ogni tipo di risposta. Si attende una distribuzione normale per ogni item, e item estremi raramente la mostrano. Acquiescenza e stili di risposta. Per evitare l acquiescenza alla direzione dell item si è spesso costretti a prevedere item invertiti. Lo stile di risposta spesso è più difficile da trattare.

26 Differenziale semantico Valutazione di un oggetto o azione tramite una scala graduata bipolare, ancorata a due opposti aggettivi. Per ogni concetto da valutare si utilizzano più scale di differenziale semantico. Buono Cattivo Attivo Passivo Forte Debol e Gli studiosi della classificazione dei concetti distinguono le dimensioni di valutazione, attività e forza. Nella psicologia degli atteggiamenti si è giunti ad identificare il costrutto di atteggiamento con la dimensione valutativa del differenziale semantico. Buono Cattivo Piacevol e Spiacevol e Desiderabil e I ndesiderabil e

27 Svantaggi del differenziale semantico Non ne ha molti come misura di atteggiamento: è flessibile, attendibile e generalmente unidimensionale. È infatti la misura più gettonata come indicatore dell atteggiamento. I problemi sorgono quando utilizziamo aggettivi non adatti al concetto verso cui intendiamo misurare l atteggiamento. Es: valutazioni morali su concetti non ritenuti moralmente rilevanti. Bisogna anche fare attenzione a creare un set di scale realmente unidimensionali. Spesso le scale utilizzate rappresentano in realtà le dimensioni affettiva e cognitiva della valutazione: piacevole-spiacevole; utile-inutile.