metodi di costruzione dei test psicologici

DIAGNOSTICA PSICOLOGICA lezione! Paola Magnano paola.magnano@unikore.it metodi di costruzione dei test psicologici processo di costruzione in 6 passi 1. determinazione del costrutto da misurare 2. preparazione della prima versione del test 3. prove preliminari del test 4. somministrazione del test 5. selezione degli item 6. versione finale del test 1. determinazione del costrutto è la scelta di cosa si vuole misurare esempio: reciprocità come caratteristica di personalità è un importante meccanismo di regolazione delle interazioni sociali

1. determinazione del costrutto definizione chiara del costrutto rassegna dei lavori teorici e delle ricerche principali nel panorama scientifico internazionale che si sono direttamente o indirettamente interessati al costrutto, per comprendere come altri autori hanno affrontato questo problema e se esistono scale di misura già messe a punto definizione chiara del costrutto esempio di definizione di reciprocità : propensione a reagire in maniera equivalente, sulla base di considerazioni di equità, al comportamento di altre persone (reazione comportamentale ispirata a considerazioni di equità) definizione chiara del costrutto due aspetti della reciprocità : vendetta, nel caso che il comportamento dell altra persona sia stato negativo cooperazione, nel caso che il comportamento dell altra persona sia stato positivo definizione chiara del costrutto la reciprocità si applica esclusivamente a relazioni o interazioni interpersonali essa riguarda comportamenti e non stati d animo non si fanno distinzioni tra diversi gradi di conoscenza e intimità non vengono specificati contesti particolari

2. preparazione della prima versione del test sviluppare degli item che catturino il significato del costrutto psicologico studio prototipico: discussione approfondita con colleghi (soprattutto per i test cognitivi o di abilità) studio prototipico: coinvolgimento di persone qualunque (per test di personalità o scale di atteggiamento) focus group (5-10 persone) composto da persone cui è destinato il test: viene discusso il concetto di reciprocità, anche attraverso situazioni stimolo. Dall analisi dei contenuti della discussione verranno ricavati suggerimenti per i criteri generatori studio prototipico: coinvolgimento di persone qualunque descrizione prototipica degli elementi salienti: si chiede ad un gruppo di elencare comportamenti, aggettivi, verbi, frasi associati al concetto di reciprocità, dando un tempo limite o un numero limitato di associazioni (es. le prime 10). si accorpano le associazioni in un elenco e si propone l elenco ad un altro gruppo, chiedendo di indicare le affermazioni maggiormente calzanti con il concetto di reciprocità Versione prototipica 33 coppie di aggettivi a polarità opposta, tratte dalle 36 del Differenziale Semantico per la rilevazione dell Immagine di Sé (Di Nuovo, 1990) associazione per ogni polarità di tre qualificatori scelti tra oggetti, personaggi, situazioni vicine al vissuto dei bambini Modalità di risposta il bambino deve attribuire un giudizio di somiglianza tra l aggettivo (Forte come ; Debole come ) e uno dei qualificatori (per ogni item, oltre le tre alternative precodificate, è stata inserita la possibilità di una risposta aperta con la categoria altro)

In queste pagine troverai degli aggettivi che possono descrivere le persone. Accanto ad ogni aggettivo sono elencate tre persone o animali o personaggi che potrebbero corrispondere all aggettivo; scegli tra questi tre quello che secondo te corrisponde meglio all aggettivo. Se nessuno dei tre per te va bene, puoi aggiungere la tua idea nella scelta Altro. Leggi con attenzione ogni aggettivo e se qualcosa non ti è chiaro chiedi pure aiuto. Grazie e buon lavoro! FORTE come INDIPENDENTE come AGGRESSIVO come Braccio di Ferro Il lupo Il leone Altro Il gatto Il papà Aladdin Altro Lo squalo La tigre Il coccodrillo Altro Geppetto (Pinocchio) DEBOLE come DIPENDENTE come PACIFICO come Olivia Il coniglio L asino Altro Un cucciolo Un neonato Snoopy con la sua copertina Altro Il pesciolino Nemo L ippopotamo Winnie e i suoi amici Altro Somministrazione dello strumento ad un campione di 123 alunni di scuola elementare, (M=63; F=60), di età compresa tra 7 e 11 anni (M=9.12; D.S.=.97), provenienti da istituti scolastici con caratteristiche socioculturali differenti Selezione, su base empirica, degli aggettivi e dei qualificatori maggiormente discriminanti: da 33 coppie a singoli aggettivi (l elemento della coppia le cui alternative presentavano frequenze meno disperse) da 3 qualificatori ad 1 (quello con frequenza di scelta superiore al 50%; nel caso di frequenze distribuite tra più alternative, la soglia è 40-50%) Nelle pagine che seguono troverai delle immagini associate ad aggettivi che le descrivono. Dovrai indicare quanto ti assomiglia ciascuna di queste immagini, segnando con una crocetta il punteggio da 1 (Per niente) a 5 (Molto). Rispondi senza stare troppo a pensarci, riflettendo su come sei e non come vorresti essere. Se hai qualche dubbio o non ti è chiara qualcosa, chiedi a chi è in classe. Grazie e buon lavoro! FORTE come DIPENDENTE come AGGRESSIVO come Per niente Poco Così e così Abbastanza Molto 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 sviluppare degli item che catturino il significato del costrutto psicologico individuazione dei criteri generatori di item: due componenti, vendetta e cooperazione diversi livelli di distanza sociale rispetto alla quale si mette in atto il comportamento reciprocativo sfera alla quale appartiene il comportamento che genera reciprocità: es., danni o benefici materiali (denaro), relazionali/ sociali (favori, scortesie), psicologici (insulti, complimenti)

creazione degli item formulazione in positivo o in negativo? Meglio alternarli per evitare risposte acquiescenti formato di risposta: Likert, dicotomica Meglio Likert modulata su verità/falsità piuttosto che su frequenza per ridurre l errore casuale dovuto ad un diverso concetto di frequente nelle persone creazione degli item si producono un ugual numero di item per ogni criterio se è possibile si incrociano di criteri, producendo un ugual numero di item per ogni combinazione numero degli item: maggiore è il n. degli item, maggiore è l attendibilità, ma la validità tende a diminuire conviene utilizzare almeno 10 item per ogni sottodimensione o componente per la versione pilota conviene produrre il doppio degli item, così da poter selezionare i migliori tempo di compilazione: dovrebbe rientrare tra i 15 e i 30 minuti accorgimenti per la formulazione degli item evitare affermazioni ambigue o interpretabili in più modi es.: Sono una persona aperta non discrimina tra persone con caratteristiche diverse

accorgimenti per la formulazione degli item accorgimenti per la formulazione degli item evitare affermazioni su cui quasi tutti (o quasi nessuno) sono d accordo es.: Sono un criminale avrà una frequenza bassa di accordo evitare termini di frequenza nell item (di solito, spesso ) es.: Di solito aiuto gli altri nella scala di risposta c è già la possibilità di modulare l adeguatezza della descrizione accorgimenti per la formulazione degli item accorgimenti per la formulazione degli item evitare le doppie negazioni es.: Non mi piace non rispondere confondono le persone rispetto al vero significato utilizzare un linguaggio chiaro, semplice, diretto es.: Aborrisco il turpiloquio non è comprensibile ad una persona di cultura media

accorgimenti per la formulazione degli item utilizzare frasi corte, altrimenti non ne è chiaro il senso es.: Quando mi capita di parlare con altri di problemi sociali tendo a far valere il mio punto di vista indipendentemente dalla bontà delle argomentazioni che mi vengono proposte in alternative alle mie accorgimenti per la formulazione degli item inserire un solo concetto per frase es.: Amo i cani e i gatti non si può prevedere in che modo il soggetto li interpreterà e li peserà nel rispondere accorgimenti per la formulazione degli item accorgimenti per la formulazione degli item fare riferimento a comportamenti specifici e non generali es.: Mi piace l attività intellettuale rischia distorsioni interpretative troppo personali evitare espressioni di valutazione troppo generale es.: La violenza è un fenomeno che dipende dalla società non ci fornisce informazioni sul comportamento più o meno violento della persona

accorgimenti per la formulazione degli item 3. prove preliminari del test le affermazioni devono riguardare un comportamento che è pertinente con l esperienza del soggetto es.: Mi piace rilanciare quando partecipo alle aste rifinire la formulazione degli item, eliminando o riformulando quelli che risultano ambigui o di difficile comprensione studio pilota: si indaga la comprensibilità e l ambiguità degli item generati Di seguito sono indicate alcune affermazioni riguardanti la diversità (intesa come diversità di etnia, provenienza geografica, religione, genere, abilità psico-fisiche, orientamento sessuale, età, ) nel tuo luogo di lavoro. Leggi con attenzione queste frasi e rispondi segnando con una crocetta sulla risposta che vuoi dare. Usa la seguente scala di risposta: 1 2 3 4 5 6 Molto in Abbastanza in Poco in Poco d accordo Abbastanza Molto d accordo disaccordo disaccordo disaccordo d accordo Ti chiediamo poi di valutare, nella tabella a destra, se queste affermazioni sono più o meno comprensibili. Inserisci una crocetta sotto il valore che ritieni più adeguato. 1 2 3 Penso di aver subito discriminazioni sul posto di lavoro per motivi di appartenenza etnica, provenienza geografica, religione, genere, abilità psicofisiche, orientamento sessuale, o età. In azienda le assunzioni e le promozioni dei dipendenti seguono procedure obiettive e consolidate, a prescindere da fattori quali appartenenza etnica, provenienza geografica, religione, genere, abilità psicofisiche, orientamento sessuale, o età. In azienda la valutazione del personale si svolge equamente, a prescindere da appartenenza etnica, provenienza geografica, religione, genere, abilità psicofisiche, orientamento sessuale, o età. In azienda le procedure di riduzione del personale Quanto è comprensibile l affermazione? 1 2 3 4 5 6 1 2 3 4 5 6 7 3. prove preliminari del test rifinire la formulazione degli item, eliminando o riformulando quelli che risultano ambigui o di difficile comprensione si scrivono le istruzioni per la somministrazione, c h e v e n g o n o a c c o m p a g n a t e d a u n a spiegazione orale

il testo scritto serve a chiarire eventuali dubbi in corso di compilazione va spiegata la ragione della ricerca, anche se spesso è preferibile dare spiegazioni generiche va spiegata la modalità di risposta e soprattutto la scala di risposta va garantito l anonimato delle persone e la riservatezza delle risposte viene chiesto alle persone di rispondere seriamente e sinceramente al questionario indicare che è preferibile rispondere senza stare troppo a pensarci 4. somministrazione consente di selezionare gli item che manterremo nella versione finale del test è necessario preventivare almeno due somministrazioni prima di giungere alla versione finale del test quante persone? è necessario considerare il rapporto tra n. di item e soggetti: almeno 1 a 3, cioè tre soggetti per ogni item comunque non scendere mai al di sotto dei 100 soggetti: garantisce l affidabilità dell analisi fattoriale quali persone? la scelta dei soggetti deve tener conto delle possibili variabili descrittive e demografiche che possono influenzare le risposte e bilanciarle deve essere pareggiato per genere, di età differenti

5. Selezione degli item item che prevedono risposte esatte e sbagliate ci consente di avvicinarci alla versione finale del test è un processo iterativo ed è necessario prevederne almeno due fasi gli item possono essere dicotomici o politomici anche gli item politomici vengono convertiti in dicotomici attribuendo valore 1 se la risposta è giusta e valore 0 se la risposta è sbagliata 50 risposta corretta 60 54 40 48 42 30 36 30 20 24 18 10 12 6 0 1 2 3 4 0 0 (errata) 1 (corretta)

che informazioni abbiamo? n. delle persone che rispondono correttamente (N p ) e n. delle persone che sbagliano (N q ); possiamo esprimerle anche in percentuale se dividiamo il n. delle persone che rispondono correttamente ad un item per il n. totale di persone avremo la media dell item o indice di difficoltà dell item p = N p / N p = 40 / 100 =.40 indice di difficoltà dell item: varia tra 0 e 1:.50 indica che la metà dei soggetti hanno risposto correttamente e metà hanno sbagliato la distribuzione degli item dicotomici si chiama binomiale questa distribuzione ha media p e varianza p*q, cioè la proporzione di risposte corrette per la proporzione di risposte sbagliate la varianza di un item sarà: N p / N * N q / N quindi si elimineranno gli item che discriminano poco, cioè quelli a cui la maggior parte dei soggetti rispondono correttamente o erroneamente a v re m o l a m a s s i m a i n f o r m a z i o n e discriminativa quando l item assume p =. 50, in quanto la varianza è massima

generalmente si considera un intervallo di p all interno del quale selezionare gli item, che è compreso tra.20 e.80: si selezionano gli item ai quali risponde correttamente tra il 20% e l 80% dei soggetti possiamo considerare anche il rapporto tra singolo item e il punteggio totale al test si definisce un indice di discriminazione indice di discriminazione si calcola il punteggio totale al test si dividono i soggetti in due gruppi: soggetti con basso punteggio (b) e soggetti con alto punteggio (a) indice di discriminazione l indice di discriminazione D = p(a) - p(b) la proporzione di risposte corrette nei soggetti con alto punteggio meno la proporzione di risposte corrette nei soggetto con basso punteggio

i valori possibile di D sono compresi tra -1 e +1: valori positivi indicano che l item discrimina nel verso corretto (chi risponde correttamente ha un punteggio elevato) valori negativi indicano che l item discrimina al contrario (chi risponde correttamente ha punteggi bassi) anche in questo caso vengono individuate alcune soglie : D >.30 = buona capacità discriminativa.30 < D >.20 = capacità discriminativa intermedia (l item andrebbe modificato) D <.20 = l item va eliminato o riformulato del tutto un ulteriore criterio è rappresentato dalla correlazione tra l item e il punteggio totale del test si definisce un indice di correlazione si considera.25 la soglia minima criteri di selezione secondo IRT la probabilità di produrre una certa risposta all item di un test (es. la soluzione giusta, l accordo con una certa affermazione) dipende da due parametri (Modello di Rasch): 1.legato alla persona (abilità o caratteristica della persona) 2.legato all item (difficoltà o capacità discriminativa)

Item Response Theory la risposta che ogni soggetto dà ad un item dipende dal tratto latente (costrutto non osservato ma inferito da indicatori) attraverso questo modello calcoliamo la probabilità che una persona che possiede un certo livello in un tratto latente risponda correttamente ad un item che ha una certa difficoltà la capacità del soggetto è definita come il rapporto tra n. di risposte corrette e n. di risposte errate fornite dal soggetto a tutti gli item la difficoltà degli item è definita da rapporto tra n. di risposte errate e n. di risposte corrette date allo stesso item da tutti i soggetti la probabilità di risposta corretta viene calcolata confrontando i valori dei due parametri se la capacità del soggetto è maggiore della difficoltà dell item, la probabilità di rispondere correttamente è maggiore di 0.5

item che non prevedono risposte esatte e sbagliate potere discriminativo di un item: è legato alla dispersione dei punteggi massima dispersione: distribuzione rettangolare 100 90 80 70 60 50 40 30 20 10 0 Media = 4 D.S. = 2 1 2 3 4 5 6 7 100 90 80 70 60 50 40 30 20 10 0 Media = 4 D.S. = 1 1 2 3 4 5 6 7 per la media, la regola consiste nel creare un intervallo di fiducia di 1.5 DS dal valore medio teorico X T - 1.5 s T X i X T + 1.5 s T 2.5 X i 5.5

indicatori della forma di una distribuzione per la deviazione standard: la massima dispersione possibile è 2 (distribuzione rettangolare) la DS della distribuzione normale è 1 è accettabile una DS compresa tra 1 e 2 asimmetria (skewness) e curtosi (kurtosis) variano tra più e meno infinito (± ) quando assumono valore = 0 indicano una forma della distribuzione normale ci dice quanto la curva è sbilanciata a destra o a sinistra, quindi quanto le frequenze dei punteggi alti o bassi sono più elevate di quanto non dovrebbero essere se la distribuzione fosse normale ci dice quanto i punteggi siano concentrati in un punto particolare della distribuzione oppure quanto essi siano uniformi, sempre rispetto alla distribuzione normale consideriamo una variabile normale quando presenta simmetria e curtosi comprese tra +1 e -1 100 90 Asimmetria positiva elevata 100 90 Curtosi positiva elevata 80 80 70 70 60 60 50 50 40 40 30 30 20 20 10 10 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7

un ulteriore criterio è rappresentato dalla correlazione tra l item e il punteggio totale del test si definisce un indice di correlazione si considera tra.25 e.30 la soglia minima ambiente fisico scelta adattamento soddisfazione preparazione SODDISFAZIONE ACCADEMICA soddisfazione per le relazioni utilità per il futuro soddisfazione generale SODDISFAZIONE Sono soddisfatto/a della preparazione che posso raggiungere in PREPARAZIONE 1 questo corso di laurea UTILITÀ PER IL FUTURO 2 Sono soddisfatto/a di ciò che sto imparando in questo corso di laurea 3 Sono soddisfatto/a del mio modo di studiare 4 Sono soddisfatto/a del mio rendimento agli esami Sono soddisfatto/a poiché la mia formazione sarà utile per trovare 5 una futura occupazione Sono soddisfatto/a perché sento che questo corso di studi sarà utile 6 per il mio lavoro futuro Ciò che mi fanno studiare nel mio corso di laurea è utile ed 7 importante Sono soddisfatto/a poiché questo corso di laurea avrà un effetto 8 positivo sulla mia carriera futura Ciò che sto imparando in questo corso di laurea mi permetterà di 9 svolgere il lavoro che desidero SODDISFAZIONE GENERALE 10 Sono soddisfatto/a del corso di laurea che sto frequentando 11 Sono soddisfatto/a della preparazione dei miei/delle mie docenti Mi sento complessivamente soddisfatto/a della mia esperienza da 12 studente universitario 13 Mi piace ciò che studio 14 Sono molto motivato/a nello studio 15 Mi interessa ciò che studio Credo che il mio corso di laurea abbia più punti di forza che di 16 debolezza SODDISFAZIONE Sono soddisfatto/a del mio modo di relazionarmi ai docenti RELAZIONI 17 18 I dipendenti dell'università sono in generale molto disponibili Posso dire che con i/le miei/mie colleghi/e ho un buon livello di 19 confidenza 20 La maggior parte dei miei/delle mie docenti è aperta al dialogo 21 Sono soddisfatto/a delle relazioni con i/le miei/mie colleghi/e

ADATTAMENTO 22 23 I corsi disponibili presso questa università corrispondono ai miei interessi So che altri/e studenti di questo corso di laurea hanno interessi accademici che corrispondono ai miei 24 I miei corsi attuali corrispondono a quello che mi aspettavo 25 Tutto sommato, il mio corso di laurea mi si addice. 26 27 28 29 Sento che i miei obiettivi formativi possono essere raggiunti attraverso questo corso di studi Le mie esigenze formative sono soddisfatte da questo corso di studi. Sento che le mie aspettative formative trovano riscontro nei contenuti proposti dal mio corso di laurea Sento che sto avanzando verso gli obiettivi universitari che mi ero prefissato/a al momento dell'iscrizione 30 Sono molto partecipe alle attività della vita universitaria SCELTA AMBIENTE FISICO 31 per aver intrapreso questo corso di studi. 32 di aver scelto questo percorso accademico. a tal punto da non aver pensato mai di cambiare corso di 33 studi. 34 Mi sento bene nel corso di studi che ho scelto. perché i miei genitori o altre persone per me importanti 35 condividono la scelta del mio corso di studi 36 Le aule dove svolgiamo i nostri corsi sono confortevoli 37 La mia università è dotata di attrezzature adeguate 38 La biblioteca della mia università è adeguata Raggiungo facilmente la maggior parte delle strutture 39 universitarie 40 Mi piace l'ambiente dell'università La mia Università possiede materiali sufficienti per facilitarmi 41 lo studio ITEM_1 ITEM_7 ITEM_23 N of Cases 99 99 99 Minimum 1,000 1,000 1,000 Maximum 5,000 5,000 5,000 Arithmetic Mean 3,061 1,960 3,424 Standard Deviation 0,867 0,880 0,834 Skewness -0,023 0,997 0,030 Kurtosis -0,083 1,503 0,006 1.della preparazione che posso raggiungere in questo corso di laurea Variable Name ITEM_1 Distribution Normal Mean 3,061 SD 0,862 Skewness -0,023 Kurtosis -0,083 Observed Expected 3 7,120 21 8,638 0 13,610 0 17,359 46 17,924 0 14,982 25 10,138 4 9,230 99 99,000

7. perché le aule dove svolgiamo i nostri corsi sono confortevoli Observed Expected 23.del mio rendimento agli esami Observed Expected Variable Name Distribution ITEM_7 Normal Mean 1,960 SD 0,875 32 13,509 0 12,359 0 16,470 45 17,875 Variable Name Distribution ITEM_23 Normal Mean 3,424 SD 0,830 10 6,938 0 8,932 0 14,285 46 18,191 0 18,444 Skewness 0,997 Kurtosis 1,503 0 15,801 0 11,375 Skewness 0,030 Kurtosis 0,006 33 14,890 0 9,571 22 11,610 10 7,749 99 99,000 99 99,000 Item Label Mean Standard Deviation Item Total R 1 ITEM_1 3,061 0,862 0,595 2 ITEM_2 2,838 0,873 0,535 3 ITEM_3 3,475 0,892 0,634 4 ITEM_4 3,071 0,913 0,434 5 ITEM_5 3,293 0,890 0,643 6 ITEM_6 3,859 0,910 0,624 7 ITEM_7 1,960 0,875 0,353 8 ITEM_8 3,323 0,776 0,693 9 ITEM_9 3,131 0,849 0,611 10 ITEM_10 3,424 0,780 0,576 11 ITEM_11 2,424 0,933 0,524 12 ITEM_12 2,990 0,810 0,228 13 ITEM_13 3,657 0,923 0,694 14 ITEM_14 2,030 0,745 0,428 15 ITEM_15 3,495 0,833 0,495 16 ITEM_16 3,495 0,716 0,704 17 ITEM_17 3,384 0,861 0,682 18 ITEM_18 3,404 0,974 0,450 19 ITEM_19 3,121 0,820 0,662 20 ITEM_20 3,566 1,075 0,535 21 ITEM_21 2,626 0,928 0,598 22 ITEM_22 2,869 0,860 0,304 23 ITEM_23 3,424 0,830 0,450 24 ITEM_24 3,303 0,822 0,701 25 ITEM_25 3,990 0,916 0,677 26 ITEM_26 3,182 0,796 0,417 27 ITEM_27 3,788 0,807 0,611 28 ITEM_28 3,747 0,857 0,667 29 ITEM_29 3,111 0,963 0,379 30 ITEM_30 3,455 0,856 0,585 31 ITEM_31 3,263 0,905 0,607 32 ITEM_32 3,566 0,855 0,626 33 ITEM_33 3,535 0,957 0,516 34 ITEM_34 3,162 0,788 0,666 35 ITEM_35 3,667 0,932 0,429 36 ITEM_36 3,323 0,919 0,451 37 ITEM_37 3,879 0,924 0,559 38 ITEM_38 3,121 0,820 0,747 39 ITEM_39 2,283 0,888 0,538 40 ITEM_40 2,667 0,804 0,566 41 ITEM_41 3,111 0,764 0,740