L analisi fattoriale nella costruzione dei test

Transcript

1 L analisi fattoriale nella costruzione dei test

2 Vantaggi del metodo Rispetto ad altri metodi per costruire test, le procedure basate sull AF permettono di individuare punteggi chiaramente interpretabili dal punto di vista teorico. Questo perché la AF ha una stretta parentela con la teoria classica dei test. Altri metodi più empirici non permettono di comprendere il perché delle differenze fra i punteggi. Test sviluppati con buone AF permettono di interpretare il punteggio di ogni soggetto come il suo livello sul costrutto indagato

3 Dimensionalità In genere, si utilizza l analisi fattoriale per costruire test unifattoriali Ad ogni punteggio corrisponde un solo costrutto. Il punteggio è univocamente interpretabile. Vi sono però degli inventari o batterie che includono più test, ognuno di essi unifattoriale. Tali fattori vengono spesso indagati tramite un analisi congiunta di tutte le misure della batteria, ed una successiva rotazione dei fattori emersi. Si spera ogni fattore corrisponda al costrutto atteso.

4 Come ottenere un test unifattoriale Un modo è quello di sviluppare uno strumento che intenda misurare un unico costrutto. L analisi fattoriale degli item andrà alla ricerca di un unico fattore. Ma ricordiamo che il primo fattore è spesso inquinato da metodo ed errore. È spesso più utile includere nell inventario vari costrutti. L analisi fattoriale degli item, seguita da rotazione avrà il compito di confermare la presenza dei fattori. Questa procedura sembra più efficiente di quella basata su distinte analisi unifattoriali

5 Gli item Campionamento o creazione degli item: La batteria iniziale di item deve coprire in modo opportuno ognuno dei costrutti teorici da testare. Bisogna avere in mente di ottenere un test finale per ogni costrutto di circa 5-20 item (indicativamente). All inizio abbondare con gli item. Alcuni item si riveleranno inadatti Considerare una batteria di partenza con un numero di item doppio per ogni costrutto rispetto alla lunghezza desiderata per il test finale.

6 Caratteristiche degli item Riflettere attentamente sulla scala di risposta da prevedere. Molti test usano scale dicotomiche. A volte ciò è ovvio e necessario: risposte giusto-sbagliato Altre volte è una scelta arbitraria che limita la finezza dell informazione utilizzabile. Le scale di risposta a intervalli equivalenti, con minimo 5 posizioni, dovrebbero venire privilegiate. Bisogna tenere però conto di alcuni fattori. Difficoltà d uso della scala di risposta Considerare l età e le capacità cognitive dei soggetti. Adeguatezza teorica della scala di risposta rispetto alle caratteristiche del costrutto.

7 Caratteristiche degli item Considerare il potere discriminativo degli item Item troppo facili o difficili non sono utili. Per item dicotomici, la difficoltà può essere espressa tramite la probabilità p di osservare una risposta giusta. Per item politomici, bisogna avere distribuzioni non troppo distorte. Oltre alla difficoltà, bisogna considerare la desiderabilità sociale. Ciò è particolarmente importante Nei test di personalità Nelle misure di sintomi Nell indagine di comportamenti devianti In ogni strumento usato a fini di selezione

8 Campionamento dei soggetti Numerosità Più grande è un campione, e meglio è. Purtroppo abbiamo sempre pochi soldi, poco tempo, né soldi né tempo. Idealmente dobbiamo considerare 5 soggetti per item Per test lunghi, possiamo accettare 3 soggetti per item. Caratteristiche del campione Se il sesso è considerato una variabile importante per determinare la dimensionalità o i punteggi del test, considerare due campioni differenziati per genere. La rappresentatività non è un problema cruciale. È invece importante la variabilità del campione.

9 L analisi Utilizzare la matrice di correlazione adatta al tipo di item impiegati. Individuare il numero di fattori teoricamente sottostante alla batteria. Ruotare i fattori in modo opportuno. Rotazione obliqua: Più generale, spesso teoricamente più sensata, ma praticamente più complessa da interpretare. Rotazione ortogonale: Caso particolare, forte assunzione teorica (a volte non sostenibile); più semplice interpretare fattori fra loro indipendenti. A volte è saggio, sebbene poco elegante, provare entrambe le rotazioni.

10 Selezione degli item Un buon item deve: Saturare nel fattore atteso Mostrare una saturazione elevata (indicativamente >.30). Essere fattorialmente puro. Comportarsi allo stesso modo in diversi sottocampioni di interesse. Gli item che non mostrano tali caratteristiche vanno: Buttati (spesso) Riconvertiti (a volte)

11 Selezione degli item - Problemi Saturazioni doppie, o triple Spesso l item va buttato: è confuso Saturazioni troppo basse L item è estraneo ai fattori estratti: si butta L item satura parecchio, ma dove non dovrebbe. Se l item è teoricamente coerente con la dimensione su cui inaspettatamente satura, riconvertirlo. Se non riusciamo a spiegarci il motivo della saturazione inattesa, l item si butta.

12 Selezione degli item - Problemi L item si comporta in modo diverso attraverso sottocampioni (es: sesso). In genere è più comodo avere un test composto in modo identico per sottopopolazioni diverse. Se misuro l intelligenza, perché dovrei avere test diversi per maschi e femmine? A volte però è necessario preparare versioni diverse del test, tarate specificamente su alcune sotto-popolazioni. Non posso utilizzare lo stesso test di intelligenza per gli analfabeti e gli alfabetizzati.

13 Dopo aver individuato una buona struttura fattoriale Non si passa subito alla standardizzazione. Prima bisogna compiere alcuni passaggi di controllo della bontà della soluzione fattoriale raggiunta. Attendibilità di ogni test Replica della struttura fattoriale su campioni indipendenti. Validazione dei fattori.

14 Attendibilità Dopo aver ottenuto una soddisfacente soluzione fattoriale, occorre controllare l attendibilità di ognuno dei test considerati. Se ogni fattore è sufficientemente forte, le attendibilità saranno in genere soddisfacenti. Un fattore forte suggerisce buona coerenza interna. Al contrario, una buona attendibilità di un test non garantisce la sua unifattorialità. L attendibilità risente però del numero di item del test. Fattori composti da pochi item, sebbene forti, spesso mostreranno scarsa attendibilità.

15 Replica dei risultati Come in ogni tecnica statistica, i risultati dell analisi fattoriale dipendono in parte dalle caratteristiche del campione. Il rischio è di raffinare la modellare la struttura fattoriale sulle caratteristiche del campione. L obiettivo però è ottenere una struttura dei test applicabile a nuovi campioni. Come minimo va controllata la replicabilità fra maschi e femmine. Non è male anche tentare una replica attraverso diverse fasce di età. Molti test sono di provenienza anglosassone: va controllata la replicabilità della struttura nel paese in cui si sta adattando il test.

16 Validità di costrutto L AF ci informa sul numero di cose misurate, e sulla coerenza e precisione con cui le abbiamo misurate. Non ci informa sul senso dei costrutti testati. Va provata la validità (di costrutto e predittiva) dei test sviluppati tramite AF. Validità di costrutto: posizionare i nuovi test in uno spazio di costrutti noti. Tale indagine può essere condotta tramite AF. Validità predittiva: fondamentale nei test diagnostici e di orientamento. Può essere indagata tramite ANOVA, regressione

17 Standardizzazione Nella standardizzazione sono fondamentali: L ampiezza del campione normativo. La sua rappresentatività. Teoricamente è necessario avere chiaro il tipo di individui cui è destinato il test. A volte è sufficiente un unico insieme di norme, valide per la popolazione generale. A volte è necessario sviluppare norme diverse per differenti sottopopolazioni.

18 Analisi degli item nella costruzione dei test

19 Cos è Si basa sulla raccolta di una batteria di item, che deve mostrare una forte correlazione con il totale del test. Pregi Si tratta di una procedura più semplice per costruire un test, rispetto all AF. Si basa sulla raccolta di una batteria di item, che deve mostrare una forte correlazione con il totale del test. Si tratta quindi di un procedimento che tende a produrre test attendibili. Svantaggi l elevata attendibilità non garantisce purezza fattoriale, né validità di costrutto.

20 Item e campione Item Per il campionamento degli item, vale quanto detto per l AF. Nell analisi degli item, visto che non li fattorizziamo, è necessaria maggiore cura nella creazione e scelta di item teoricamente puri (misure di un unico costrutto). Soggetti. La statistica utilizzata, la correlazione, è meno esigente quanto a numerosità rispetto alla AF. Questo è un grande vantaggio qualora si disponga di piccoli campioni. Ciò però non significa che l analisi degli item elimina tutti i problemi insiti nell avere a che fare con piccoli campioni.

21 Conclusioni L analisi fattoriale è un metodo più sicuro, informativo ed efficace per la costruzione di test. Se i campioni sono piccoli, può convenire rivolgersi all analisi degli item. Un buon compromesso è dato dall applicazione successiva di analisi degli item e dell analisi fattoriale. L analisi degli item permette di sfrondare gli item sicuramente poco attendibili L analisi fattoriale è adatta a controllare e raffinare la dimensionalità degli item selezionati. Bisognerebbe comunque applicare l analisi fattoriale anche su un campione indipendente rispetto a quello usato per l analisi degli item.