Analisi Fattoriale. La soluzione fattoriale ed il modello ACP Scelta del numero dei fattori

Transcript

1 Analisi Fattoriale La soluzione fattoriale ed il modello ACP Scelta del numero dei fattori A M D Marcello Gallucci Milano-Bicocca 1 Lezione: 1 XVI X

2 I passaggi fondamentali 1) Scelta del modello fattoriale 2) Scelta del numero di fattori 3) Rotazione della struttura fattoriale 4) Selezione delle variabili 5) Interpretazione dei fattori 6) Punteggi fattoriali 2

3 Modelli di estrazione dei fattori Forma del modello decisa dall algoritmo AF Esploratoria Analisi Componenti Principali Analisi Fattori Comuni Accorpamento di Variabili I differenti tipi di analisi fattoriale esploratoria si differenziano Confermatoria in base alla logica con Modelli cui estraggono LISREL i fattori Forma del modello decisa dai noi Verifica di un modello teorico 3

4 Analisi delle componenti principali La ACP (PCA) produce componenti, mentre la AFC produce fattori. I processi della ACP e della AFC sono simili, tranne che a) nella preparazione della matrice di correlazioni osservate per l estrazione b) nella teoria sottostante Matematicamente, la differenza tra ACP e AFC è nella varianza che viene analizzata: - nella ACP viene analizzata tutta la varianza osservata nelle variabili - nella AFC viene analizzata solo la varianza condivisa (stimata tramite regressione); Non si considera la varianza non condivisa (unica di ciascuna variabile). Teoricamente, la differenza tra ACP e AFC è nella ragione per cui le variabili sono associate in un fattore o in una componente: - Di solito si ritiene che i fattori causino le variabili il costrutto sottostante (il fattore) è ciò che produce i punteggi nelle variabili (AFC). - Le componenti sono semplici aggregati di variabili correlate (ACP) 4

5 ACP vs. AFC La ACP considera tutta la varianza delle variabili e la divide in varianza comune (spiegata dai fattori considerati) and varianza unica (errore o residua) La AFC prima stima la varianza condivisa e distingue tra varianza comune tra le variabili (covarianza) e varianza di errore. Analizza solo la prima e la divide in varianza comune (spiegata dai fattori considerati) e varianza specifica. 5

6 Il problema della comunalità iniziale nella AFC Per calcolare la varianza spiegata e quella di errore, dobbiamo prima sapere quanto è la varianza spiegabile Ma per sapere quanto è la varianza spiegabile, dobbiamo sapere quanto è la varianza spiegata e quella di errore Ciò crea un circolo vizioso che va risolto stimando precedentemente una quantità plausibile di varianza spiegabile ed iterando il procedimento di calcolo dei fattori finché tale quantità soddisfa alcuni criteri Ogni algoritmo di calcolo (minimi quadrati, massima verosimiglianza, ecc.) usa un criterio diverso Noi vediamo la logica sottostante 6

7 Comunalità iniziale Ma se tutta la varianza di un item non è inclusa nell analisi, la matrice di correlazione iniziale non potrà avere 1 sulla diagonale Varianza totale item= comunalità iniziale nella ACP Correlazioni Matrice di correlazione a1 a2 a3 a4 a1 Correlazione di Pearson * Sig. (2-code) N a2 Correlazione di Pearson **.231* Sig. (2-code) N a3 Correlazione di Pearson ** 1.588** Sig. (2-code) N a4 Correlazione di Pearson.242*.231*.588** 1 Sig. (2-code) N *. La correlazione è significativa al livello 0,05 (2-code). **. La correlazione è significativa al livello 0,01 (2-code). 7

8 Comunalità iniziale Dovremmo stimare la quantità di varianza spiegabile ( che sarà poi divisa in spiegata ed errore) Varianza spiegabile dell item= comunalità iniziale nella AFC Correlazioni Matrice di correlazione a1 a2 a3 a4 a1 Correlazione di Pearson? * Sig. (2-code) N a2 Correlazione di Pearson.084? 1.514**.231* Sig. (2-code) N a3 Correlazione di Pearson ** 1?.588** Sig. (2-code) N a4 Correlazione di Pearson.242*.231*.588** 1? Sig. (2-code) N *. La correlazione è significativa al livello 0,05 (2-code). **. La correlazione è significativa al livello 0,01 (2-code). 8

9 Stima iniziale della comunalità Se la parte spiegabile di varianza di un item deve essere comune agli items e ai fattori, sicuramente non potrà essere più piccola della parte di varianza che l item condivide con gli altri items Varianza non condivisa con nessun item= unica Varianza condivisa con items e fattori= spiegata v1 v4 F1 v2 v5 Varianza condivisa con altri items v3 Varianza condivisa non spiegata=varianza di errore 9

10 Stima iniziale della comunalità La varianza condivisa con tutti gli altri items è una buona stima della varianza spiegabile Dunque possiamo usare tale stima al posto degli 1 nella matrice di correlazione v4 v5 v3 v1 v2 Varianza condivisa con altri items 10

11 R 2 multiplo Quanto è tale varianza? Dallo studio della regressione sapremo che la varianza condivisa da un insieme di variabili indipendenti ed una dipendente è dato dall R 2 della regressione v1 v4 v2 v5 R 2 ottenuto facendo una regressione con v5 come dipendente, e tutti gli altri items come variabili indipendenti v3 11

12 R 2 come comunalità iniziale Ripetendo tale stima per tutti gli items, abbiamo una stima iniziale delle varianze spiegabili per ogni item Varianza spiegabile dell item= comunalità iniziale nella AFC Correlazioni Matrice di correlazione a1 a2 a3 a4 a1 Correlazione di Pearson 1 2 R * a1 Sig. (2-code) N a2 Correlazione di Pearson.084? 1 2 R.514**.231* a2 Sig. (2-code) N a3 Correlazione di Pearson ** ** R Sig. (2-code) a N a4 Correlazione di Pearson.242*.231*.588** 1 2 R Sig. (2-code) a N *. La correlazione è significativa al livello 0,05 (2-code). **. La correlazione è significativa al livello 0,01 (2-code). 12

13 Passi successivi della AFC A questo punto i vari metodi di AFC: estraggono i fattori calcolano le nuove comunalità sulla base dei fattori estratti riestraggono i fattori sulla base della matrice con le nuove comunalità fin quando il criterio stabilito (ad es., minimo errore, massima verosimiglianza) è soddisfatto 13

14 Analisi delle componenti principali L ACP estrae inizialmente tanti fattori quante sono le variabili osservate L estrazione iniziale spiega il 100% della varianza degli items e di ogni item (diversamente dalla AFC ) Tale soluzione non è soddisfacente, in quanto non rappresenta una soluzione efficiente e parsimoniosa Useremo dei metodi per decidere quanti fattori tenere che bastano a rappresentare in maniera efficiente le relazioni fra variabili 14

15 Analisi delle componenti principali Nell analisi delle componenti principali (ACP) i fattori sono formati come combinazione lineare (somma pesata) degli items Il primo fattore estratto è la combinazione lineare degli items che massimizza la varianza spiegata F1 av 1 F1v1 av2f1v2... a i vjf1 vj I valori sono calcolati affinché siano massimizzati 15

16 Analisi delle componenti principali Nell analisi delle componenti principali (ACP) i fattori sono formati come combinazione lineare degli items Il secondo fattore estratto è la combinazione lineare degli items che massimizza la varianza non spiegata (ortogonale) dal primo F 2 rf 2 Gialla rf 2 Blue F1 av 1 F1v1 av2f1v2... a F1 i vjf1 F2 av 1 F 2v1 av2f 2v2... a i vjf 3 vj vj I valori sono calcolati affinché siano massimizzati, sotto il vincolo che F1 e F2 siano ortogonali 16

17 Analisi delle componenti principali I valori degli items nella combinazione fattoriale sono le correlazioni tra fattori e items F 2 rf 2 Gialla F1 av 1 F1v1 av2f1v2... a i vjf1 F2 av 1 F 2v1 av2f 2v2... a i vjf 3 vj vj rf 2 Blue F1 17

18 Numero di Fattori v1 v2 v3 F i L algoritmo della ACP che estrae i fattori dalla matrice di correlazione di partenza, estrae tanti fattori quante sono le variabili (cioè tutti i fattori possibili) Matrice di componenti a Componente Metodo estrazione: analisi componenti principali. a. 3 componenti estratti 1.717v1.609v2.592v3 F1i av F1v1 av2f1v2 av3f1 1 v F2i av F 2v1 av2f 2v2 av3f 2 1 v F3i av F 3v1 av2f 3v2 av3f 3 1 v F i 2.022v1.659v2.705v3 Esempio 3 items F i 3.697v1.441v 2.390v3 18

19 Estrazione iniziale v1 v2 v3 Estraendo tanti fattori quanti items (variabili osservate), spieghiamo tutta la varianza Matrice di componenti a Componente Metodo estrazione: analisi componenti principali. a. 3 componenti estratti 1 La comunalità è 1, cioè i tre fattori spiegano il 100% di ogni item Somma dei quadrati per riga Componente Somma dei quadrati per colonna Autovalori iniziali Varianza totale spiegata Pesi dei fattori non ruotati Totale % di varianza % cumulata Totale % di varianza % cumulata Metodo di estrazione: Analisi componenti principali. La varianza spiegata è il 100% 19

20 Estrazione iniziale Tutta la varianza di un item e di tutti i J items è rappresentata dai J fattori Quadrati delle saturazioni fattoriali Varianze condivise Autovalori var( F1 ) i var( F2 var( F3 i i ) )

21 Estrazione iniziale Tutta la varianza di un item e di tutti i J items è rappresentata dai J fattori Quadrati delle saturazioni fattoriali Varianze condivise Autovalori var( F1 ) i var( F2 var( F3 i i ) ) La varianza spiegata è il 100% La comunalità è 1, cioè i tre fattori spiegano il 100% di ogni item 21

22 Analisi delle componenti principali L ACP estrae inizialmente tanti fattori quante sono le variabili osservate L estrazione iniziale spiega il 100% della varianza degli items e di ogni item Tale soluzione non è soddisfacente, in quanto non rappresenta una soluzione efficiente e parsimoniosa Useremo dei metodi per decidere quanti fattori tenere che bastano a rappresentare in maniera efficiente le relazioni fra variabili 22

23 Modello Fattoriale dell ACP Variabilità catturata (spiegata) Fattore 1 Fattore 2 AF Variabilità osservata V1 V2 V3 V4 V5 V6 Variabilità non condivisa unicità unicità unicità unicità unicità unicità 23

24 Esempio con 2 fattori In questo esempio consideriamo due fattori Componente Autovalori iniziali Varianza totale spiegata Totale % di varianza % cumulata Totale % di varianza % cumulata Metodo di estrazione: Analisi componenti principali. Pesi dei fattori non ruotati Dunque il 60% di varianza è unico agli items Spieghiamo il 40% con due fattori, uno che spiega il 25 e l altro il 14 24

25 Esempio con 2 fattori Saturazioni sui due fattori v11 v12 v13 v14 v15 v16 v17 v18 v19 v20 Matrice di componenti a Componente Metodo estrazione: analisi componenti principali. a. 2 componenti estratti Le saturazioni ci indicano le correlazioni tra items e fattori La comunalità ci dice quanta parte dell item è condivisa con i fattori. Il resto sarà unicità degli items Unicità= =.735 Unicità= =

26 Modello Fattoriale dell ACP Variabilità catturata (spiegata) Fattore 1 Fattore 2 AF Variabilità osservata V11 V12 V13 V14 V15 V20 Variabilità non condivisa.735 unicità unicità unicità unicità

27 Varianza e comunalità Nell ACP la comunalità iniziale è 1 (100%) Dunque si assume che tutta la varianza di ogni item può essere spiegata Anche se poi ne spiegheremo solo una parte Varianza spiegabile v1 Scherzoso v2 Estroverso v3 Espansivo v4 Divertente v5 Colorito v13 Diligente v14 Previdente v15 Sereno v17 Stabile Comunalità Iniziale Estrazione Metodo di estrazione: Analisi componenti principali. Varianza spiegata Per ogni item 27

28 Varianza e comunalità Nell ACP la comunalità iniziale è 1 (100%) Dunque si assume che tutta la varianza di ogni item può essere spiegata Anche se poi ne spiegheremo solo una parte Varianza spiegabile v4 v3 v5 v3 v1 v2 Per item v2 (ad esempio) 28

29 Varianza e comunalità Nell ACP la comunalità iniziale è 1 (100%) Dunque si assume che tutta la varianza di ogni item può essere spiegata Anche se poi ne spiegheremo solo una parte Varianza spiegata v4 v3 F1 v2 F2 v3 v1 v2 Per item v2 (ad esempio) 29

30 ACP vs AFC Modello teorico ACP Componente 1 Entrambi modelli riflessivi ma.. AFC Fattore 1 Funzionale «Causale» V1 V2 V3 V1 V2 V3 v1, v2, v3 sono una funzione della (aggregati dalla) componente v1, v2, v3 sono «causate» dal fattore 30

31 ACP vs AFC Decomposizione della varianza di ogni item ACP AFC Comune F1 v3 v2 Unica F1 v3 v2 v2 v2 Errore 31

32 ACP vs AFC Comunalità ACP AFC Iniziale v3 F1 v2 Finale v3 F1 v2 Errore 32

33 Esempio con 2 fattori (ACP vs. AFC) ACP AFC 33

34 I passaggi fondamentali 1) Scelta del modello fattoriale 2) Scelta del numero di fattori 3) Rotazione della struttura fattoriale 4) Selezione delle variabili 5) Interpretazione dei fattori 6) Punteggi fattoriali 34

35 Decidere il numero di fattori Esistono diversi metodi per decidere quanti fattori/componenti tenere Non esiste un criterio oggettivo (ad es., algoritmo) che determina in maniera inequivocabile ed assoluta il numero dei fattori da scegliere Perché? I fattori rappresentano un modello della realtà e diversi modelli possono essere plausibili Alcuni sono più plausibili, altri sono meno plausibili, ed altri ancora sono non plausibili C è un elemento soggettivo nella decisione Soggettivo NON significa arbitrario 35

36 Metodi principali Autovalore maggiore di 1 (Kaiser-Guttman, mineigen) Scree-Test (Cattell) Analisi Parallela (Horn) Interpretabilità dei fattori 36

37 Criterio Mineigen (Autovalore > 1) Ricordiamo che autovalore = varianza spiegata dal fattore Componente Autovalori iniziali Varianza totale spiegata Totale % di varianza % cumulata Totale % di varianza % cumulata Metodo di estrazione: Analisi componenti principali. Pesi dei fattori non ruotati Ogni variabile spiega se stessa, dunque spiega 1 (variabili standardizzate) Dunque un fattore che spiega meno di 1, spiega meno di una variabile Usare fattori che spiegano meno di 1 non è efficiente (sarebbe più efficiente usare una variabile osservata) Criterio detto Mineigen o di Kaiser-Guttman 37

38 Esempi 38

39 Esempi Componente Autovalori iniziali Varianza totale spiegata Totale % di varianza % cumulata Totale % di varianza % cumulata Metodo di estrazione: Analisi componenti principali. Pesi dei fattori non ruotati 39

40 Componente Esempi Autovalori iniziali Varianza totale spiegata Totale % di varianza % cumulata Totale % di varianza % cumulata Pesi dei fattori non ruotati 40

41 Problemi Tende a sovrastimare il numero di fattori (tipicamente intorno ad 1/3 delle variabili) E più utile considerarlo come indicatore del numero massimo di fattori da considerare (con buon senso ) Qual è la differenza tra un autovalore di 1.01 ed uno di 0.99? (ma questo vale per qualsiasi soglia) E l opzione di default di SPSS eppure è il criterio più debole tra quello che considereremo sconsigliato 41

42 Scree-test I fattori sono estratti in sequenza, secondo la loro capacità di spiegare varianza Componente Autovalori iniziali Varianza totale spiegata Pesi dei fattori non ruotati Totale % di varianza % cumulata Totale % di varianza % cumulata Metodo di estrazione: Analisi componenti principali. Vi sarà un punto in questa sequenza dopo il quale aggiungere fattori non cambia molto la capacità di spiegare varianza 42

43 Scree-test Attraverso il grafico degli autovalori, è possibile stimare tale punto Grafico decrescente degli autovalori 2.5 Quale è quel punto (numero di fattori) oltre il quale i fattori iniziano a spiegare di più degli altri? 2.0 Autovalore Tracciamo una retta partendo dagli autovalori più bassi Numero componente 43

44 Scree-test Attraverso il grafico degli autovalori, è possibile stimare tale punto Grafico decrescente degli autovalori Teniamo 3 componenti Autovalore I fattori sopra a questa retta spiegano una quota più importante di varianza rispetto a quelli sulla retta Tracciamo una retta partendo dagli autovalori più bassi Numero componente 44

45 Scree-test e Autovalore>1 Con gli stessi dati, il criterio Autovalore>1 suggerisce la presenza di 5 componenti Componente Autovalori iniziali Varianza totale spiegata Pesi dei fattori non ruotati Totale % di varianza % cumulata Totale % di varianza % cumulata Metodo di estrazione: Analisi componenti principali. Il criterio scree-test è preferibile, purchè i fattori tenuti abbiano autovalori>1 45

46 Un altro esempio PCA su 10 item Componente Autovalori iniziali Varianza totale spiegata Pesi dei fattori non ruotati Totale % di varianza % cumulata Totale % di varianza % cumulata Metodo di estrazione: Analisi componenti principali. Il criterio Mineigen suggerisce la presenza di 2 componenti 46

47 Scree-test anche scree test suggerisce 2 componenti. Grafico decrescente degli autovalori Teniamo i fattori sopra tale retta Autovalore Tracciamo una retta partendo dagli autovalori più bassi Numero componente 47

48 Esempi: 1 Componente Autovalori iniziali Varianza totale spiegata Totale % di varianza % cumulata Totale % di varianza % cumulata Pesi dei fattori non ruotati 48

49 Esempi Grafico decrescente degli autovalori A u to v a lo r e Numero componente 49

50 Esempi 50

51 Esempi Grafico decrescente degli autovalori A utovalore Numero componente 51

52 Esempi - 3 Varianza totale spiegata Componente Autovalori iniziali Totale % di varianza % cumulata Totale % di varianza % cumulata Metodo di estrazione: Analisi componenti principali. Pesi dei fattori non ruotati 52

53 Esempi Grafico decrescente degli autovalori A u tovalo re Numero componente 53

54 Scree-test Migliore tra i metodi semplici Necessita di esperienza, buon occhio e conoscenza teorica Meglio se usato insieme a considerazioni teoriche Focus sul cambiamento di pendenza (salto degli autovalori) Tende a suggerire un numero corretto di fattori Logica: i raggruppamenti principali tendono ad emergere in maniera distinta dai raggruppamenti secondari I raggruppamenti principali tendono ad essere più affidabili rispetto a quelli secondari (segnale vs. rumore) 54

55 Scree-test Problemi Metodo soggettivo Può indicare più soluzioni plausibili Necessita di esperienza, buon occhio e conoscenza teorica Indicazioni chiare sono meno probabili con campioni piccoli e con un rapporto più basso tra variabili e fattori estratti 55

56 Analisi parallela (Horn, 1965) Proprietà desiderabile: la soluzione fattoriale prescelta deve essere non casuale (random) Non vogliamo considerare dei fattori che emergono casualmente Vogliamo considerare fattori che sono validi Condizione minima di validità: i fattori devono spiegare più varianza rispetto a fattori costruiti in modo casuale a partire dai dati disponibili La logica: Non siamo interessati a considerare un fattore che spiega meno varianza di un fattore emerso casualmente 56

57 Analisi parallela (Horn, 1965) SPSS non prevede questo metodo (si può implementare con il linguaggio sintassi) La procedura: 1. Generare dati casuali con stesso numero di soggetti e variabili dei dati veri 2. Estrarre gli autovalori dalla matrice di dati generati casualmente 3. Ripetere le operazioni (1) (2) almeno 100 volte, registrando ogni volta gli autovalori di tutti i fattori estratti 4. Calcolare autovalori medi e 95 percentile per tutti i fattori estratti 5. Condurre l analisi fattoriale sui dati veri 6. Confrontare gli autovalori dei dati casuali e quelli dei dati veri 7. Scegliere i fattori che spiegano più varianza del fattore corrispondente estratto dai dati casuali (usando la media o il 95 percentile) 8. Condurre l analisi fattoriale estraendo il numero di fattori così identificato Routine anche disponibile online a 57

58 Esempio - Scree test? Grafico decrescente degli autovalori 8 6 A u to v a lo re Numero componente

59 Esempio Mineigen? 59

60 Esempio Analisi Parallela PARALLEL ANALYSIS:Principal Components Specifications for this Run: Ncases 875; Nvars 51; Ndatsets 100; Percent 95 Random Data Eigenvalues Root Means Prcntyle

61 Esempio analisi parallela? Autovalori dai dati casuali: 61

62 L analisi parallela risente della numerosità campionaria: più casi = autovalori casuali più bassi. Specifications for this Run: Ncases 875 Nvars 51 Ndatsets 100 Percent 95 Specifications for this Run: Ncases 500 Nvars 51 Ndatsets 100 Percent 95 Random Data Eigenvalues Root Means Prcntyle Random Data Eigenvalues Root Means Prcntyle

63 Il ruolo della numerosità campionaria Specifications for this Run: Ncases 300 Nvars 51 Ndatsets 100 Percent 95 Random Data Eigenvalues Root Means Prcntyle Specifications for this Run: Ncases 150 Nvars 51 Ndatsets 100 Percent 95 Random Data Eigenvalues Root Means Prcntyle

64 Il ruolo della numerosità campionaria Più piccolo è il campione, maggiore deve essere l autovalore per essere considerato non casuale Per un campione che tende ad infinito, gli autovalori di controllo saranno uguali a 1 64

65 Analisi parallela (Horn, 1965) E considerato il migliore dei criteri avanzati Però anche in questo caso non sempre coincide con la soluzione migliore Identifica i fattori che spiegano più varianza, rispetto a fattori presi a caso E influenzato dalla numerosità campionaria Utilizzo diffuso negli ultimi anni 65

66 Cosa fare quindi? Mineigein e il peggiore AP e Scree-test sono migliori Non c e un metodo infallibile E essenziale conoscere la teoria relativa ai dati che si esaminano La teoria ci puo aiutare a scegliere la soluzione migliore Ci sono casi semplici e casi complessi Nei casi complessi, e meglio usare piu metodi L esperienza e fondamentale 66

67 Soluzione ridotta Qualunque sia il criterio per scegliere il numero di fattori, tenere un numero di fattori ridotti comporta un aumento dell efficienza ma una perdita di capacità di rappresentazione di tutta la varianza Se tutti i fattori spiegano tutta la varianza v4 F1 v1 v2 v3 F2 v2 Un numero ridotto perderà un po di capacità di spiegazione ma catturerà gli aspetti principali v3 Lo scopo è di cercare di ottenere un buon equilibrio tra semplicità e rappresentatività (modello parsimonioso) 67