metodi di costruzione dei test psicologici

Transcript

1 DIAGNOSTICA PSICOLOGICA lezione! Paola Magnano metodi di costruzione dei test psicologici processo di costruzione in 6 passi 1. determinazione del costrutto da misurare 2. preparazione della prima versione del test 3. prove preliminari del test 4. somministrazione del test 5. selezione degli item 6. versione finale del test 1. determinazione del costrutto è la scelta di cosa si vuole misurare esempio: reciprocità come caratteristica di personalità è un importante meccanismo di regolazione delle interazioni sociali

2 1. determinazione del costrutto definizione chiara del costrutto rassegna dei lavori teorici e delle ricerche principali nel panorama scientifico internazionale che si sono direttamente o indirettamente interessati al costrutto, per comprendere come altri autori hanno affrontato questo problema e se esistono scale di misura già messe a punto definizione chiara del costrutto esempio di definizione di reciprocità : propensione a reagire in maniera equivalente, sulla base di considerazioni di equità, al comportamento di altre persone (reazione comportamentale ispirata a considerazioni di equità) definizione chiara del costrutto due aspetti della reciprocità : vendetta, nel caso che il comportamento dell altra persona sia stato negativo cooperazione, nel caso che il comportamento dell altra persona sia stato positivo definizione chiara del costrutto la reciprocità si applica esclusivamente a relazioni o interazioni interpersonali essa riguarda comportamenti e non stati d animo non si fanno distinzioni tra diversi gradi di conoscenza e intimità non vengono specificati contesti particolari

3 2. preparazione della prima versione del test sviluppare degli item che catturino il significato del costrutto psicologico studio prototipico: discussione approfondita con colleghi (soprattutto per i test cognitivi o di abilità) studio prototipico: coinvolgimento di persone qualunque (per test di personalità o scale di atteggiamento) focus group (5-10 persone) composto da persone cui è destinato il test: viene discusso il concetto di reciprocità, anche attraverso situazioni stimolo. Dall analisi dei contenuti della discussione verranno ricavati suggerimenti per i criteri generatori studio prototipico: coinvolgimento di persone qualunque descrizione prototipica degli elementi salienti: si chiede ad un gruppo di elencare comportamenti, aggettivi, verbi, frasi associati al concetto di reciprocità, dando un tempo limite o un numero limitato di associazioni (es. le prime 10). si accorpano le associazioni in un elenco e si propone l elenco ad un altro gruppo, chiedendo di indicare le affermazioni maggiormente calzanti con il concetto di reciprocità Versione prototipica 33 coppie di aggettivi a polarità opposta, tratte dalle 36 del Differenziale Semantico per la rilevazione dell Immagine di Sé (Di Nuovo, 1990) associazione per ogni polarità di tre qualificatori scelti tra oggetti, personaggi, situazioni vicine al vissuto dei bambini Modalità di risposta il bambino deve attribuire un giudizio di somiglianza tra l aggettivo (Forte come ; Debole come ) e uno dei qualificatori (per ogni item, oltre le tre alternative precodificate, è stata inserita la possibilità di una risposta aperta con la categoria altro)

4 In queste pagine troverai degli aggettivi che possono descrivere le persone. Accanto ad ogni aggettivo sono elencate tre persone o animali o personaggi che potrebbero corrispondere all aggettivo; scegli tra questi tre quello che secondo te corrisponde meglio all aggettivo. Se nessuno dei tre per te va bene, puoi aggiungere la tua idea nella scelta Altro. Leggi con attenzione ogni aggettivo e se qualcosa non ti è chiaro chiedi pure aiuto. Grazie e buon lavoro! FORTE come INDIPENDENTE come AGGRESSIVO come Braccio di Ferro Il lupo Il leone Altro Il gatto Il papà Aladdin Altro Lo squalo La tigre Il coccodrillo Altro Geppetto (Pinocchio) DEBOLE come DIPENDENTE come PACIFICO come Olivia Il coniglio L asino Altro Un cucciolo Un neonato Snoopy con la sua copertina Altro Il pesciolino Nemo L ippopotamo Winnie e i suoi amici Altro Somministrazione dello strumento ad un campione di 123 alunni di scuola elementare, (M=63; F=60), di età compresa tra 7 e 11 anni (M=9.12; D.S.=.97), provenienti da istituti scolastici con caratteristiche socioculturali differenti Selezione, su base empirica, degli aggettivi e dei qualificatori maggiormente discriminanti: da 33 coppie a singoli aggettivi (l elemento della coppia le cui alternative presentavano frequenze meno disperse) da 3 qualificatori ad 1 (quello con frequenza di scelta superiore al 50%; nel caso di frequenze distribuite tra più alternative, la soglia è 40-50%) Nelle pagine che seguono troverai delle immagini associate ad aggettivi che le descrivono. Dovrai indicare quanto ti assomiglia ciascuna di queste immagini, segnando con una crocetta il punteggio da 1 (Per niente) a 5 (Molto). Rispondi senza stare troppo a pensarci, riflettendo su come sei e non come vorresti essere. Se hai qualche dubbio o non ti è chiara qualcosa, chiedi a chi è in classe. Grazie e buon lavoro! FORTE come DIPENDENTE come AGGRESSIVO come Per niente Poco Così e così Abbastanza Molto sviluppare degli item che catturino il significato del costrutto psicologico individuazione dei criteri generatori di item: due componenti, vendetta e cooperazione diversi livelli di distanza sociale rispetto alla quale si mette in atto il comportamento reciprocativo sfera alla quale appartiene il comportamento che genera reciprocità: es., danni o benefici materiali (denaro), relazionali/ sociali (favori, scortesie), psicologici (insulti, complimenti)

5 creazione degli item formulazione in positivo o in negativo? Meglio alternarli per evitare risposte acquiescenti formato di risposta: Likert, dicotomica Meglio Likert modulata su verità/falsità piuttosto che su frequenza per ridurre l errore casuale dovuto ad un diverso concetto di frequente nelle persone creazione degli item si producono un ugual numero di item per ogni criterio se è possibile si incrociano di criteri, producendo un ugual numero di item per ogni combinazione numero degli item: maggiore è il n. degli item, maggiore è l attendibilità, ma la validità tende a diminuire conviene utilizzare almeno 10 item per ogni sottodimensione o componente per la versione pilota conviene produrre il doppio degli item, così da poter selezionare i migliori tempo di compilazione: dovrebbe rientrare tra i 15 e i 30 minuti accorgimenti per la formulazione degli item evitare affermazioni ambigue o interpretabili in più modi es.: Sono una persona aperta non discrimina tra persone con caratteristiche diverse

6 accorgimenti per la formulazione degli item accorgimenti per la formulazione degli item evitare affermazioni su cui quasi tutti (o quasi nessuno) sono d accordo es.: Sono un criminale avrà una frequenza bassa di accordo evitare termini di frequenza nell item (di solito, spesso ) es.: Di solito aiuto gli altri nella scala di risposta c è già la possibilità di modulare l adeguatezza della descrizione accorgimenti per la formulazione degli item accorgimenti per la formulazione degli item evitare le doppie negazioni es.: Non mi piace non rispondere confondono le persone rispetto al vero significato utilizzare un linguaggio chiaro, semplice, diretto es.: Aborrisco il turpiloquio non è comprensibile ad una persona di cultura media

7 accorgimenti per la formulazione degli item utilizzare frasi corte, altrimenti non ne è chiaro il senso es.: Quando mi capita di parlare con altri di problemi sociali tendo a far valere il mio punto di vista indipendentemente dalla bontà delle argomentazioni che mi vengono proposte in alternative alle mie accorgimenti per la formulazione degli item inserire un solo concetto per frase es.: Amo i cani e i gatti non si può prevedere in che modo il soggetto li interpreterà e li peserà nel rispondere accorgimenti per la formulazione degli item accorgimenti per la formulazione degli item fare riferimento a comportamenti specifici e non generali es.: Mi piace l attività intellettuale rischia distorsioni interpretative troppo personali evitare espressioni di valutazione troppo generale es.: La violenza è un fenomeno che dipende dalla società non ci fornisce informazioni sul comportamento più o meno violento della persona

8 accorgimenti per la formulazione degli item 3. prove preliminari del test le affermazioni devono riguardare un comportamento che è pertinente con l esperienza del soggetto es.: Mi piace rilanciare quando partecipo alle aste rifinire la formulazione degli item, eliminando o riformulando quelli che risultano ambigui o di difficile comprensione studio pilota: si indaga la comprensibilità e l ambiguità degli item generati Di seguito sono indicate alcune affermazioni riguardanti la diversità (intesa come diversità di etnia, provenienza geografica, religione, genere, abilità psico-fisiche, orientamento sessuale, età, ) nel tuo luogo di lavoro. Leggi con attenzione queste frasi e rispondi segnando con una crocetta sulla risposta che vuoi dare. Usa la seguente scala di risposta: Molto in Abbastanza in Poco in Poco d accordo Abbastanza Molto d accordo disaccordo disaccordo disaccordo d accordo Ti chiediamo poi di valutare, nella tabella a destra, se queste affermazioni sono più o meno comprensibili. Inserisci una crocetta sotto il valore che ritieni più adeguato Penso di aver subito discriminazioni sul posto di lavoro per motivi di appartenenza etnica, provenienza geografica, religione, genere, abilità psicofisiche, orientamento sessuale, o età. In azienda le assunzioni e le promozioni dei dipendenti seguono procedure obiettive e consolidate, a prescindere da fattori quali appartenenza etnica, provenienza geografica, religione, genere, abilità psicofisiche, orientamento sessuale, o età. In azienda la valutazione del personale si svolge equamente, a prescindere da appartenenza etnica, provenienza geografica, religione, genere, abilità psicofisiche, orientamento sessuale, o età. In azienda le procedure di riduzione del personale Quanto è comprensibile l affermazione? prove preliminari del test rifinire la formulazione degli item, eliminando o riformulando quelli che risultano ambigui o di difficile comprensione si scrivono le istruzioni per la somministrazione, c h e v e n g o n o a c c o m p a g n a t e d a u n a spiegazione orale

9 il testo scritto serve a chiarire eventuali dubbi in corso di compilazione va spiegata la ragione della ricerca, anche se spesso è preferibile dare spiegazioni generiche va spiegata la modalità di risposta e soprattutto la scala di risposta va garantito l anonimato delle persone e la riservatezza delle risposte viene chiesto alle persone di rispondere seriamente e sinceramente al questionario indicare che è preferibile rispondere senza stare troppo a pensarci 4. somministrazione consente di selezionare gli item che manterremo nella versione finale del test è necessario preventivare almeno due somministrazioni prima di giungere alla versione finale del test quante persone? è necessario considerare il rapporto tra n. di item e soggetti: almeno 1 a 3, cioè tre soggetti per ogni item comunque non scendere mai al di sotto dei 100 soggetti: garantisce l affidabilità dell analisi fattoriale quali persone? la scelta dei soggetti deve tener conto delle possibili variabili descrittive e demografiche che possono influenzare le risposte e bilanciarle deve essere pareggiato per genere, di età differenti

10 5. Selezione degli item item che prevedono risposte esatte e sbagliate ci consente di avvicinarci alla versione finale del test è un processo iterativo ed è necessario prevederne almeno due fasi gli item possono essere dicotomici o politomici anche gli item politomici vengono convertiti in dicotomici attribuendo valore 1 se la risposta è giusta e valore 0 se la risposta è sbagliata 50 risposta corretta (errata) 1 (corretta)

11 che informazioni abbiamo? n. delle persone che rispondono correttamente (N p ) e n. delle persone che sbagliano (N q ); possiamo esprimerle anche in percentuale se dividiamo il n. delle persone che rispondono correttamente ad un item per il n. totale di persone avremo la media dell item o indice di difficoltà dell item p = N p / N p = 40 / 100 =.40 indice di difficoltà dell item: varia tra 0 e 1:.50 indica che la metà dei soggetti hanno risposto correttamente e metà hanno sbagliato la distribuzione degli item dicotomici si chiama binomiale questa distribuzione ha media p e varianza p*q, cioè la proporzione di risposte corrette per la proporzione di risposte sbagliate la varianza di un item sarà: N p / N * N q / N quindi si elimineranno gli item che discriminano poco, cioè quelli a cui la maggior parte dei soggetti rispondono correttamente o erroneamente a v re m o l a m a s s i m a i n f o r m a z i o n e discriminativa quando l item assume p =. 50, in quanto la varianza è massima

12 generalmente si considera un intervallo di p all interno del quale selezionare gli item, che è compreso tra.20 e.80: si selezionano gli item ai quali risponde correttamente tra il 20% e l 80% dei soggetti possiamo considerare anche il rapporto tra singolo item e il punteggio totale al test si definisce un indice di discriminazione indice di discriminazione si calcola il punteggio totale al test si dividono i soggetti in due gruppi: soggetti con basso punteggio (b) e soggetti con alto punteggio (a) indice di discriminazione l indice di discriminazione D = p(a) - p(b) la proporzione di risposte corrette nei soggetti con alto punteggio meno la proporzione di risposte corrette nei soggetto con basso punteggio

13 i valori possibile di D sono compresi tra -1 e +1: valori positivi indicano che l item discrimina nel verso corretto (chi risponde correttamente ha un punteggio elevato) valori negativi indicano che l item discrimina al contrario (chi risponde correttamente ha punteggi bassi) anche in questo caso vengono individuate alcune soglie : D >.30 = buona capacità discriminativa.30 < D >.20 = capacità discriminativa intermedia (l item andrebbe modificato) D <.20 = l item va eliminato o riformulato del tutto un ulteriore criterio è rappresentato dalla correlazione tra l item e il punteggio totale del test si definisce un indice di correlazione si considera.25 la soglia minima criteri di selezione secondo IRT la probabilità di produrre una certa risposta all item di un test (es. la soluzione giusta, l accordo con una certa affermazione) dipende da due parametri (Modello di Rasch): 1.legato alla persona (abilità o caratteristica della persona) 2.legato all item (difficoltà o capacità discriminativa)

14 Item Response Theory la risposta che ogni soggetto dà ad un item dipende dal tratto latente (costrutto non osservato ma inferito da indicatori) attraverso questo modello calcoliamo la probabilità che una persona che possiede un certo livello in un tratto latente risponda correttamente ad un item che ha una certa difficoltà la capacità del soggetto è definita come il rapporto tra n. di risposte corrette e n. di risposte errate fornite dal soggetto a tutti gli item la difficoltà degli item è definita da rapporto tra n. di risposte errate e n. di risposte corrette date allo stesso item da tutti i soggetti la probabilità di risposta corretta viene calcolata confrontando i valori dei due parametri se la capacità del soggetto è maggiore della difficoltà dell item, la probabilità di rispondere correttamente è maggiore di 0.5

15 item che non prevedono risposte esatte e sbagliate potere discriminativo di un item: è legato alla dispersione dei punteggi massima dispersione: distribuzione rettangolare Media = 4 D.S. = Media = 4 D.S. = per la media, la regola consiste nel creare un intervallo di fiducia di 1.5 DS dal valore medio teorico X T s T X i X T s T 2.5 X i 5.5

16 indicatori della forma di una distribuzione per la deviazione standard: la massima dispersione possibile è 2 (distribuzione rettangolare) la DS della distribuzione normale è 1 è accettabile una DS compresa tra 1 e 2 asimmetria (skewness) e curtosi (kurtosis) variano tra più e meno infinito (± ) quando assumono valore = 0 indicano una forma della distribuzione normale ci dice quanto la curva è sbilanciata a destra o a sinistra, quindi quanto le frequenze dei punteggi alti o bassi sono più elevate di quanto non dovrebbero essere se la distribuzione fosse normale ci dice quanto i punteggi siano concentrati in un punto particolare della distribuzione oppure quanto essi siano uniformi, sempre rispetto alla distribuzione normale consideriamo una variabile normale quando presenta simmetria e curtosi comprese tra +1 e Asimmetria positiva elevata Curtosi positiva elevata

17 un ulteriore criterio è rappresentato dalla correlazione tra l item e il punteggio totale del test si definisce un indice di correlazione si considera tra.25 e.30 la soglia minima ambiente fisico scelta adattamento soddisfazione preparazione SODDISFAZIONE ACCADEMICA soddisfazione per le relazioni utilità per il futuro soddisfazione generale SODDISFAZIONE Sono soddisfatto/a della preparazione che posso raggiungere in PREPARAZIONE 1 questo corso di laurea UTILITÀ PER IL FUTURO 2 Sono soddisfatto/a di ciò che sto imparando in questo corso di laurea 3 Sono soddisfatto/a del mio modo di studiare 4 Sono soddisfatto/a del mio rendimento agli esami Sono soddisfatto/a poiché la mia formazione sarà utile per trovare 5 una futura occupazione Sono soddisfatto/a perché sento che questo corso di studi sarà utile 6 per il mio lavoro futuro Ciò che mi fanno studiare nel mio corso di laurea è utile ed 7 importante Sono soddisfatto/a poiché questo corso di laurea avrà un effetto 8 positivo sulla mia carriera futura Ciò che sto imparando in questo corso di laurea mi permetterà di 9 svolgere il lavoro che desidero SODDISFAZIONE GENERALE 10 Sono soddisfatto/a del corso di laurea che sto frequentando 11 Sono soddisfatto/a della preparazione dei miei/delle mie docenti Mi sento complessivamente soddisfatto/a della mia esperienza da 12 studente universitario 13 Mi piace ciò che studio 14 Sono molto motivato/a nello studio 15 Mi interessa ciò che studio Credo che il mio corso di laurea abbia più punti di forza che di 16 debolezza SODDISFAZIONE Sono soddisfatto/a del mio modo di relazionarmi ai docenti RELAZIONI I dipendenti dell'università sono in generale molto disponibili Posso dire che con i/le miei/mie colleghi/e ho un buon livello di 19 confidenza 20 La maggior parte dei miei/delle mie docenti è aperta al dialogo 21 Sono soddisfatto/a delle relazioni con i/le miei/mie colleghi/e

18 ADATTAMENTO I corsi disponibili presso questa università corrispondono ai miei interessi So che altri/e studenti di questo corso di laurea hanno interessi accademici che corrispondono ai miei 24 I miei corsi attuali corrispondono a quello che mi aspettavo 25 Tutto sommato, il mio corso di laurea mi si addice Sento che i miei obiettivi formativi possono essere raggiunti attraverso questo corso di studi Le mie esigenze formative sono soddisfatte da questo corso di studi. Sento che le mie aspettative formative trovano riscontro nei contenuti proposti dal mio corso di laurea Sento che sto avanzando verso gli obiettivi universitari che mi ero prefissato/a al momento dell'iscrizione 30 Sono molto partecipe alle attività della vita universitaria SCELTA AMBIENTE FISICO 31 per aver intrapreso questo corso di studi. 32 di aver scelto questo percorso accademico. a tal punto da non aver pensato mai di cambiare corso di 33 studi. 34 Mi sento bene nel corso di studi che ho scelto. perché i miei genitori o altre persone per me importanti 35 condividono la scelta del mio corso di studi 36 Le aule dove svolgiamo i nostri corsi sono confortevoli 37 La mia università è dotata di attrezzature adeguate 38 La biblioteca della mia università è adeguata Raggiungo facilmente la maggior parte delle strutture 39 universitarie 40 Mi piace l'ambiente dell'università La mia Università possiede materiali sufficienti per facilitarmi 41 lo studio ITEM_1 ITEM_7 ITEM_23 N of Cases Minimum 1,000 1,000 1,000 Maximum 5,000 5,000 5,000 Arithmetic Mean 3,061 1,960 3,424 Standard Deviation 0,867 0,880 0,834 Skewness -0,023 0,997 0,030 Kurtosis -0,083 1,503 0,006 1.della preparazione che posso raggiungere in questo corso di laurea Variable Name ITEM_1 Distribution Normal Mean 3,061 SD 0,862 Skewness -0,023 Kurtosis -0,083 Observed Expected 3 7, , , , , , , , ,000

19 7. perché le aule dove svolgiamo i nostri corsi sono confortevoli Observed Expected 23.del mio rendimento agli esami Observed Expected Variable Name Distribution ITEM_7 Normal Mean 1,960 SD 0, , , , ,875 Variable Name Distribution ITEM_23 Normal Mean 3,424 SD 0, , , , , ,444 Skewness 0,997 Kurtosis 1, , ,375 Skewness 0,030 Kurtosis 0, , , , , , ,000 Item Label Mean Standard Deviation Item Total R 1 ITEM_1 3,061 0,862 0,595 2 ITEM_2 2,838 0,873 0,535 3 ITEM_3 3,475 0,892 0,634 4 ITEM_4 3,071 0,913 0,434 5 ITEM_5 3,293 0,890 0,643 6 ITEM_6 3,859 0,910 0,624 7 ITEM_7 1,960 0,875 0,353 8 ITEM_8 3,323 0,776 0,693 9 ITEM_9 3,131 0,849 0, ITEM_10 3,424 0,780 0, ITEM_11 2,424 0,933 0, ITEM_12 2,990 0,810 0, ITEM_13 3,657 0,923 0, ITEM_14 2,030 0,745 0, ITEM_15 3,495 0,833 0, ITEM_16 3,495 0,716 0, ITEM_17 3,384 0,861 0, ITEM_18 3,404 0,974 0, ITEM_19 3,121 0,820 0, ITEM_20 3,566 1,075 0, ITEM_21 2,626 0,928 0, ITEM_22 2,869 0,860 0, ITEM_23 3,424 0,830 0, ITEM_24 3,303 0,822 0, ITEM_25 3,990 0,916 0, ITEM_26 3,182 0,796 0, ITEM_27 3,788 0,807 0, ITEM_28 3,747 0,857 0, ITEM_29 3,111 0,963 0, ITEM_30 3,455 0,856 0, ITEM_31 3,263 0,905 0, ITEM_32 3,566 0,855 0, ITEM_33 3,535 0,957 0, ITEM_34 3,162 0,788 0, ITEM_35 3,667 0,932 0, ITEM_36 3,323 0,919 0, ITEM_37 3,879 0,924 0, ITEM_38 3,121 0,820 0, ITEM_39 2,283 0,888 0, ITEM_40 2,667 0,804 0, ITEM_41 3,111 0,764 0,740