dimensionalità di un test

Transcript

1 DIAGNOSTICA PSICOLOGICA lezione! Paola Magnano dimensionalità di un test analisi fattoriale TEST SULLA RECIPROCITÀ 1.sottodimensione: vendicatività 2.sottodimensione: cooperazione è una tecnica che si applica quando gli indicatori sono riflettivi gli item sono quindi il riflesso osservabile di un costrutto latente cioè la ragione per cui rispondiamo in un certo modo ad un item dipende dalle nostre caratteristiche personali

2 analisi fattoriale serve per identificare i fattori latenti (dimensioni, tratti, componenti) che spiegano le correlazioni tra variabili osservate (indicatori o item) è necessario scegliere la tecnica specifica da utilizzare (solitamente si usa l analisi delle componenti principali - PCA) il n. di fattori da estrarre il tipo di rotazione fattoriale da eseguire a che serve la rotazione? consente una migliore interpretazione dei risultati, rendendo gli item il più possibile correlati con un fattore e il meno possibile correlati con gli altri fattori rotazione ortogonale: quando si ipotizza che i fattori estratti non siano correlati tra di loro rotazione obliqua: quando i fattori estratti sono correlati tra di loro con l analisi fattoriale: si scartano gli item che hanno una bassa correlazione con i fattori si può modificare il n. di fattori ipotizzati teoricamente la procedura viene ripetuta finché la soluzione fattoriale non è soddisfacente

3 come si leggono i risultati di un analisi fattoriale? percentuale di varianza spiegata complessivamente: rende ragione della correlazione tra gli item e ci consente di identificare il numero delle dimensioni latenti come si leggono i risultati di un analisi fattoriale? le saturazioni fattoriali di ogni item con le dimensioni ci daranno indicazioni su come gli item tendono a raggrupparsi attraverso la correlazione tra le dimensioni possiamo decidere se ruotarle ortogonalmente od obliquamente struttura ipotetica del test sulla reciprocità vendicatività RECIPROCITÀ cooperazione TEST SULLA RECIPROCITÀ 70 item della versione pilota 50 item dopo dopo la selezione sulla base delle caratteristiche degli item come arrivare a 28 (14 per vendicatività, 14 per cooperazione) per la versione finale? item 1 item 14 item 15 item 28

4 quanti fattori estrarre? 2 (cooperazione e vendicatività) che tipo di rotazione? obliqua (ipotizziamo che i due fattori siano sottodimensioni di una dimensione più generale, quindi siano correlati tra di loro) come si procede: si controllano le saturazioni degli item su ciascun fattore (la correlazione) la situazione ideale è che la maggior parte degli item che riguardano la vendicatività saturino su un fattore e quelli che riguardano la cooperazione saturino su un altro fattore criteri: soglia di saturazione minima a 0.40 confronto tra saturazione sul fattore pertinente e saturazione su quello non pertinente (deve essere almeno il doppio) scegliere quelli che hanno il valore di saturazione più alto ambiente fisico scelta adattamento soddisfazione preparazione SODDISFAZIONE ACCADEMICA soddisfazione per le relazioni utilità per il futuro soddisfazione generale

5 ITEM_1 0,852 0,055-0,068-0,092-0,210 ITEM_2 0,792 0,078-0,032-0,211 0,050 ITEM_24 0,777-0,023 0,094 0,011 0,084 ITEM_9 0,766-0,007 0,005-0,060 0,125 ITEM_3 0,726 0,067-0,123 0,084-0,029 ITEM_8 0,726 0,126-0,058 0,091-0,012 ITEM_41 0,694 0,134 0,232 0,025-0,199 ITEM_13 0,658-0,160-0,022 0,317 0,065 ITEM_5 0,624 0,256-0,207 0,169-0,037 ITEM_19 0,605 0,125 0,084 0,082-0,013 ITEM_31 0,605-0,241 0,374 0,047-0,035 ITEM_16 0,575 0,131 0,135 0,132 0,039 ITEM_40 0,571 0,348 0,097-0,146-0,189 ITEM_38 0,533 0,174 0,123 0,215 0,057 ITEM_6 0,526-0,136-0,169 0,454 0,121 ITEM_7 0,069 0,81-0,092-0,095-0,012 ITEM_14 0,125 0,755-0,101-0,040 0,179 ITEM_11 0,031 0,678 0,006 0,181 0,154 ITEM_39 0,200 0,613 0,128-0,042 0,128 ITEM_21 0,221 0,505 0,166 0,095 0,024 ITEM_18-0,035-0,048 0,870 0,035 0,002 ITEM_33 0,038-0,089 0,783 0,151-0,021 ITEM_22 0,046 0,068 0,630-0,191 0,124 ITEM_36-0,077 0,269 0,550 0,008 0,423 ITEM_32 0,031-0,030 0,054 0,807 0,077 ITEM_30-0,007 0,128-0,064 0,788-0,009 ITEM_25 0,226-0,066-0,054 0,739 0,148 ITEM_23-0,128 0,085 0,138 0,659-0,225 ITEM_37 0,005-0,026 0,129 0,655 0,177 ITEM_15-0,042 0,215-0,032 0,650-0,193 ITEM_27 0,259-0,198 0,074 0,572 0,240 ITEM_28 0,376-0,207 0,042 0,527 0,333 ITEM_29-0,032 0,300 0,103 0,109 0,633 ITEM_12-0,137 0,163 0,281 0,013 0,529 ITEM_4 0,028 0,233 0,416 0,195-0,463 ITEM_20 0,340-0,094-0,087 0,385 0,332 ITEM_26 0,041 0,423 0,121 0,191-0,205 ITEM_10 0,150 0,388 0,207 0,256-0,196 ITEM_17 0,136 0,130 0,393 0,383 0,127 ITEM_35 0,189-0,097 0,305 0,217-0,066 ITEM_34 0,489 0,095 0,212 0,164-0,049 Percent of Total Variance Explained ,047 9,417 8,622 13,778 4,694 ITEM_1 della preparazione che posso raggiungere in questo corso di laurea 0,852 ITEM_2 perché la mia formazione sarà utile per trovare una futura occupazione 0,792 ITEM_24 perché questo corso di laurea avrà un effetto positivo sulla mia carriera futura 0,777 ITEM_9 perché sento che questo corso di studi sarà utile per il mio lavoro futuro 0,766 ITEM_3 del corso di laurea che sto frequentando 0,726 ITEM_8 di ciò che sto imparando in questo corso di laurea 0,726 ITEM_41 perché sento che le mie aspettative formative trovano riscontro nei contenuti proposti dal mio 0,694 corso di laurea ITEM_13 per aver scelto questo percorso accademico 0,658 ITEM_5 perché i corsi disponibili presso questa università corrispondono ai miei interessi 0,624 ITEM_19 perché miei corsi attuali corrispondono a quello che mi aspettavo 0,605 ITEM_31 perché ciò che sto imparando in questo corso di laurea mi permetterà di svolgere il lavoro che desidero 0,605 ITEM_16 perché ciò che mi fanno studiare nel mio corso di laurea è utile ed importante 0,575 ITEM_40 perché credo che il mio corso di laurea abbia più punti di forza che di debolezza 0,571 ITEM_38 perché le mie esigenze formative sono soddisfatte da questo corso di studi 0,533 ITEM_6 per aver intrapreso questo corso di studi 0,526 ITEM_34 perché sento che i miei obiettivi formativi possono essere raggiunti attraverso questo corso di 0,489 studi ITEM_7 perché le aule dove svolgiamo i nostri corsi sono confortevoli 0,81 ITEM_14 perché la mia università è dotata di attrezzature adeguate 0,755 ITEM_11 ITEM_39 perché i dipendenti dell'università sono in generale molto disponibili perché la mia Università possiede materiali sufficienti per facilitarmi lo studio 0,678 0,613 ITEM_21 perché la biblioteca della mia università è adeguata 0,505 ITEM_26 perché la maggior parte dei miei docenti è aperta al dialogo 0,423

6 ITEM_18 perché posso dire che con i/le miei/mie colleghi/e ho un buon livello di confidenza 0,87 ITEM_33 delle relazioni con i/le miei/mie colleghi/e 0,783 ITEM_22 perché sono molto partecipe alle attività della vita universitaria 0,63 ITEM_36 perché mi piace l'ambiente dell'università 0,55 ITEM_4 del mio modo di relazionarmi ai docenti 0,416 ITEM_32 perché sono molto motivato/a nello studio 0,807 ITEM_30 perché sento che sto avanzando verso gli obiettivi universitari che mi ero prefissato/a al momento dell'iscrizione 0,788 ITEM_25 perché mi piace ciò che studio 0,739 ITEM_23 del mio rendimento agli esami 0,659 ITEM_37 perché mi interessa ciò che studio 0,655 ITEM_15 del mio modo di studiare 0,65 ITEM_27 perché, tutto sommato, il mio corso di laurea mi si addice 0,572 ITEM_28 perché mi sento bene nel corso di studi che ho scelto 0,527 ITEM_29 perché raggiungo facilmente la maggior parte delle strutture universitarie 0,633 ITEM_10 della preparazione dei miei docenti 0,15 0,388 0,207 0,256-0,196 ITEM_12 perché so che altri/e studenti/esse di questo corso di laurea hanno interessi accademici che corrispondono ai miei 0,529 ITEM_4 del mio modo di relazionarmi ai docenti -0,463 ITEM_17 ITEM_35 della mia esperienza da studente universitario perché i miei genitori o altre persone per me importanti condividono la scelta del mio corso di studi 0,136 0,13 0,393 0,383 0,127 0,189-0,097 0,305 0,217-0,066

7 attendibilità di un test è l accordo tra tentativi indipendenti di misurare lo stesso concetto teorico data la presenza di un inevitabile errore di misurazione, un buon test deve comunque consentire un grado sufficiente di affidabilità nella misura v x = v v + v e Dove: v x = variabilità del punteggio osservato v v = variabilità reale, o vera v e = variabilità dovuta all errore La variabilità vera dipende dalla maggiore o minore capacità del soggetto di rispondere effettuando la prestazione richiesta, o di riferire dei suoi stati interni. L errore può dipendere da varie cause, relative: alla fase di costruzione del test (stimoli non ben graduati, o ambigui) a quella di somministrazione: non comprensione degli stimoli presentati; non comprensione delle istruzioni; distrazione al momento della risposta; scarsa motivazione a cercare di dare la risposta migliore o più efficiente; incapacità di riferire ciò che effettivamente si pensa e/o si prova; deliberata tendenza all inganno.

8 attendibilità o reliability l accuratezza e precisione con cui la variabile è misurata riducendo per quanto è possibile gli errori di misurazione Nei termini della variabilità di errore della prestazione al test, l attendibilità (r xx ) può essere definita come la proporzione di variazione vera rispetto a quella totale, che include anche quella di errore:! r xx = v v / (v v + v e ) r xx = v v / v x se consideriamo come indicatori delle variazioni la varianza osservata del test (s x 2 ) e quella vera (s v 2 ), la formula diventa:! r xx = s v 2 / s x 2 ed essendo la varianza vera ciò che resta togliendo dalla varianza totale quella di errore, l attendibilità può essere stimata a partire dalla varianza di errore s e 2 : r xx = 1 (s e 2 / s x 2 ) metodi per la stima dell attendibilità Attendibilità fra i valutatori (interscorers reliability) Ripetizione (Test-retest) Forme parallele Divisione a metà (Split-half)

9 Attendibilità fra i valutatori (interscorers reliability) consiste nel far valutare gli stessi protocolli da più persone e correlare i punteggi assegnati più è alta la correlazione meno incide l errore di misurazione dovuto allo scoring Attendibilità tramite ripetizione (Test-retest) verifica la stabilità temporale dei risultati bisogna somministrare lo stesso strumento agli stessi soggetti in due occasioni ad una certa distanza di tempo la distanza temporale non deve essere troppo ridotta, altrimenti le persone possono ricordare le prove, ma neanche troppo lunga altrimenti intervengono variazioni dovute ad effetti di cambiamento Attendibilità tramite forme parallele si usa quando non è possibile la ripetizione a distanza dello stesso test si producono due forme analoghe (parallele) dello stesso test, per contenuti, lunghezza e difficoltà si somministrano le forme parallele agli stessi soggetti Attendibilità tramite Split-half è u n m e t o d o c h e r i c h i e d e u n u n i c a somministrazione consiste nel dividere a metà il test e verificare se misurano la stessa cosa se il test è graduato per difficoltà, gli item devono essere selezionati in modo da garantire un uguale livello di difficoltà (pari-dispari; odd-even)

10 Attendibilità tramite Split-half si mettono in relazione la somma dei punteggi degli item pari e la somma dei punteggi degli item dispari questo coefficiente di correlazione viene definito coefficiente di equivalenza tuttavia poiché il coefficiente è calcolato su metà degli item è necessario apportare una correzione che rapporti il valore ottenuto alla effettiva lunghezza del test la correzione viene effettuata mediante la formula di Spearman-Brown, che stima il coefficiente che si otterrebbe con un test di diversa lunghezza (se la lunghezza va raddoppiata, n=2): r nxx = (n x r xx ) / [ 1 + (n-1) r xx ] r nxx = (n x r xx ) / [ 1 + (n-1) r xx ] ad esempio se otteniamo un coefficiente di 0.70 in un test di 15 item possiamo calcolarci quale valore di attendibilità avrebbe la forma completa di 30 item r nxx = (2 x 0.70) / [ 1 + (2-1) 0.70] = 0.82 sintetizzando in questi tre metodi l ipotesi è che se l errore di misurazione è basso (o comunque gli errori si annullano a vicenda in molteplici somministrazioni), la somiglianza tra le due prestazioni dovrebbe essere elevata un indice di attendibilità elevato (superiore a 0.80) testimonia che l errore dovuto a fattori spuri o casuali è limitato un valore inferiore a 0.60 segnala che l errore è eccessivo perché il test sia affidabile

11 consistenza interna consiste nel calcolare quanto i diversi item che compongono il test siano omogenei tra di loro e con il punteggio totale l errore in questo caso consisterebbe nel fatto che alcuni item non corrispondono a quello che misurano gli altri item del test indice alpha di Cronbach confronta la somma delle varianze di tutti gli item con la varianza totale il presupposto è che la varianza del test corrisponderebbe alla somma delle varianze degli item che lo compongono se non ci fosse correlazione tra di essi questo dimostrerebbe una scarsa omogeneità interna la soglia di accettabilità è compresa tra 0.70 e 0.60 indice alpha di Cronbach α = [ k / (k - 1) ] x { 1 - [(Σs j 2 ) / s x 2 )]} α = indice di Cronbach k = numero degli item che compongono il test s j 2 = varianza dei singoli item s x 2 = varianza dell intero test Analogo scopo hanno le formule di Kuder- Richardson, diverse a secondo che gli item che compongono il test siano: 1) a risposta dicotomica: (sì/no; vero/falso; superato/non superato); 2) con punteggio quantitativo.

12 Se gli item che compongono il test sono a risposta dicotomica, la formula è Nel caso di punteggi quantitativi la formula è: Le diverse tecniche di valutazione dell attendibilità rispondono a scopi differenti: se si devono fare più somministrazioni nel tempo è più importante che il test garantisca un elevata stabilità, in altri casi è più importante la coerenza interna, l attendibilità tra valutatori è sempre importante quando il test ha una modalità di scoring non automatica, ma prevede certe opzioni tra cui chi valuta il test deve scegliere in altri ancora interessa sapere quali item sono più importanti di altri nel contribuire al punteggio del test. validità di un test

13 validità precisione con cui il test misura ciò che ha lo scopo di misurare mentre l attendibilità si riferisce a come lo strumento misura, la validità si riferisce a cosa lo strumento misura tipi di validità Validità di facciata (face validity) Validità di contenuto Validità di costrutto Validità esterna concorrente discriminante predittiva validità di facciata la struttura del test e gli item che lo compongono devono apparire motivanti e significativi, sia nella forma che nel contenuto va ricercata nel corso della costruzione del test, per rendere il test gradevole, comprensibile e pertinente all oggetto di valutazione validità di contenuto riguarda la pertinenza con l argomento da valutare (abilità del soggetto, caratteristica di personalità) anche questa si ottiene nel corso della costruzione del test, che viene sottoposto preliminarmente ad un gruppo di giudici esperti ai quali viene chiesto di valutare per ciascun item comprensibilità, gradevolezza, pertinenza

14 validità di contenuto comprensibilità, gradevolezza, pertinenza sono valutati su scale dicotomiche oppure si scale a livelli (es. da 0 a 10): gli item che ottengono valutazioni positive al di sotto del 75% oppure che ottengono medie di valutazione particolarmente basse vengono riformulati (se il problema riguarda comprensibilità e gradevolezza) oppure sostituiti (se la valutazione riguarda la pertinenza) validità di contenuto per test tradotti da altre lingue gli item vengono prima tradotti, poi fatti ritradurre in lingua originale partendo dalla traduzione in italiano da un madrelingua (backtranslation) il giudizio degli esperti riguarderà anche la comprensibilità della traduzione definitiva validità di costrutto ogni test misura un costrutto teorico, quindi i vari item devono corrispondere alla teoria di riferimento il punteggio ottenuto deve essere un indicatore di questo costrutto se non vi è la corrispondenza tra punteggi ottenuti e costrutto teorico, i punteggi non sarebbero interpretabili validità di costrutto la validazione di un test serve a verificare se davvero gli indicatori prescelti rappresentano la variabile latente che costituisce il costrutto

15 validità di costrutto validità di costrutto QUALI SONO I MODI PER VERIFICARLA??? analisi fattoriale esplorativa + item analysis analisi fattoriale confermativa: parte da una struttura ipotizzata e valuta il fit, cioè la corrispondenza tra la struttura ipotetica e i dati realmente ottenuti validità esterna validità esterna relazione che i punteggi ottenuti dal test hanno con altre variabili che fungono da criterio mette in relazione il costrutto da misurare con costrutti paralleli che si suppone debbano covariare con ciò che il test misura se un test valuta funzioni che si modificano con lo sviluppo (percezione visiva, memoria) criterio = età ci si aspetta che i punteggi aumentino all aumentare dell età

16 validità esterna metodo concorrente il test viene correlato con una misura di un altra variabile utilizzata contemporaneamente nello stesso gruppo di soggetti test di ansia misura di attivazione psicofisiologica un altra misura dell ansia già validata validità esterna metodo predittivo il test viene correlato con un criterio che sarà valutabile in un secondo momento test sui prerequisiti della lettura misura della capacità di lettura dopo un periodo di apprendimento ci si aspetta che chi aveva punteggi più elevati al test sviluppi migliori abilità di lettura validità esterna metodo discriminante il test viene utilizzato in gruppi diversi di soggetti in uno solo dei quali è presente il costrutto che intendiamo misurare: questo gruppo dovrebbe differenziarsi significativamente dagli altri test di depressione somministrato a gruppi di ansiosi, psicotici e depressi validità esterna metodo discriminante viene utilizzato contemporaneamente con gli stessi soggetti un altro test che misura un costrutto opposto test sull intelligenza emotiva test sull alessitimia