Analisi fattoriale. Capitolo 9

Transcript

1 Capitolo 9 Analisi fattoriale In generale la correlazione tra due variabili aleatorie X 1 e X 2 può risultare dall associazione di entrambe con una terza variabile F. A tale proposito si è già introdotto il concetto di correlazione parziale quale misura dell associazione tra X 1 e X 2 al netto dell effetto lineare di F su ciascuna di esse. Se r X1 X 2 F ha un valore prossimo allo 0, allora F spiega quasi completamente la relazione tra X 1 e X 2 (ammesso che r X1 X 2 abbia un valore significativamente diverso da 0). A livello multivariato, partendo da una variabile aleatoria X k-dimensionale, se esiste un insieme F di variabili (il meno numeroso possibile) tale che tutte le correlazioni parziali tra gli elementi di X per determinati valori degli elementi di F sono significativamente nulle, allora gli elementi di F spiegano completamente l interdipendenza tra gli elementi di X. L incorrelazione condizionata è una condizione necessaria affinché l insieme F di variabili condizionanti offra una spiegazione adeguata della correlazione tra le componenti della X. L obiettivo dell analisi fattoriale è quello di spiegare l interdipendenza esistente all interno di un insieme numeroso di variabili tramite un numero esiguo di fattori non osservabili sottostanti, incorrelati tra loro. In questo senso l analisi fattoriale costituisce un superamento dell analisi delle componenti principali in quanto, piuttosto che nella semplice trasformazione sintetica delle variabili osservate, consiste nella stima di un modello che riproduca la struttura della covarianza tra le stesse. Lo studio della relazione tra k variabili tramite m fattori comuni a tutte le variabili e k fattori specifici di ciascuna variabile si è sviluppato a partire dalle idee di Galton (1898) e K. Pearson e grazie alle prime applicazioni in ambito psicometrico (C. Spearman, 1904). Più tardi con il calcolo delle stime di massima verosimiglianza dei fattori (D.N. Lawley, 1940), la metodologia fu completamente formalizzata 123

2 124 A. Pollice - Statistica Multivariata dal punto di vista inferenziale. Nell analisi fattoriale ciascuna variabile viene espressa come funzione lineare di un certo numero m di fattori comuni, responsabili della correlazione con le altre variabili, e di un solo fattore specifico, responsabile della variabilità della variabile stessa X j = µ j + λ j1 F λ jm F m + U j j = 1,..., k (9.1) Questo modello somiglia solo apparentemente a quello di regressione multipla, infatti i fattori F 1,..., F k non sono osservabili: tutto ciò che giace a destra dell uguaglianza è dunque incognito. 9.1 Il modello fattoriale Sia X una variabile aleatoria k-dimensionale con vettore di medie e matrice di varianze e covarianze rispettivamente µ e Σ. Si consideri il seguente modello X = µ + ΛF + U (9.2) dove Λ è una matrice k m di costanti dette pesi fattoriali o factor loadings, F è il vettore aleatorio m-dimensionale dei fattori comuni ed U quello k-dimensionale dei fattori specifici, sui quali vengano fatte le seguenti assunzioni: (i) E(F) = o (9.3) (ii) Cov(F) = E(FF ) = I m (9.4) (iii) E(U) = o (9.5) (iv) Cov(U) = E(UU ) = Ψ = diag(ψ 1,..., ψ k ) (9.6) (v) E(FU ) = O (9.7) Si assume dunque che i fattori comuni abbiano media zero, varianza unitaria e siano tra loro incorrelati, mentre i fattori specifici abbiano media zero, varianza ψ j con j = 1,..., k, e siano incorrelati tra loro e con i fattori comuni. Osservando la (9.2) si può notare come in questo modello, poiché i fattori specifici sono tra loro incorrelati, l interdipendenza tra le variabili sia completamente spiegata dai fattori comuni. Si suole assumere per comodità che µ = o, il che corrisponde a considerare le variabili X j come ottenute dagli scarti dalle medie µ j per j = 1,..., k. In tal caso X = ΛF + U (9.8)

3 Cap. 9: Analisi fattoriale 125 ovvero, indicando con λ j la j-esima riga della matrice Λ, X j = λ j F + U j = m λ jh F h + U j j = 1,..., k (9.9) h=1 La varianza di ciascuna delle componenti di X è pertanto data da Var(X j ) = m λ 2 jh + ψ j (9.10) h=1 dove la quantità m h=1 λ2 jh = c j denominata comunalità della j-esima variabile corrisponde alla quota della varianza di X j spiegata dai fattori comuni, per j = 1,..., k. Di conseguenza ψ j è la parte residua della varianza di X j non spiegata dai fattori comuni, ed è denominata specificità di X j. Inoltre, nell ipotesi che le componenti di X abbiano media nulla, la covarianza tra X j ed X l è data da E(X j X l ) = E[(λ j F + U j )(λ l F + U l ) ] = λ j E(FF ) λ l + λ j E(FU l ) + E(U j F ) λ l + E(U ju l ) = =I m =O =O =O = λ j λ l (9.11) Quindi, se è valido il modello fattoriale, la covarianza tra X j ed X l è completamente spiegata dai fattori comuni. Complessivamente si ha Σ = E(XX ) = E[(ΛF + U)(ΛF + U) ] = Λ E(FF ) Λ + Λ E(FU ) =I m =O + E(UF ) =O Λ + E(UU ) =Ψ = ΛΛ + Ψ (9.12) ed inoltre i pesi fattoriali coincidono con le covarianze tra i fattori e le variabili Cov(X, F) = E(XF ) = E[(ΛF + U)F ] = Λ (9.13) Si noti inoltre che il modello fattoriale risulta equivariante per cambiamenti di scala delle osservazioni. Infatti se A è una matrice diagonale di costanti ed X = AX, si ha da cui risulta X = AX = AΛF + AU (9.14) Cov(X ) = AΣA = AΛΛ A + AΨA = Λ X Λ X + Ψ X (9.15)

4 126 A. Pollice - Statistica Multivariata In particolare se A = [diag(σ 1,..., σ k )] 1 gli elementi del vettore X sono variabili standardizzate, quindi la matrice di varianze e covarianze di X corrisponde alla matrice di correlazione R di X. Nel modello dell analisi fattoriale la matrice Λ non risulta univocamente definita. Tale matrice non è infatti identificabile poiché non esiste una soluzione unica alla determinazione dei pesi fattoriali. Se infatti si opera una rotazione ortogonale dei fattori tramite la matrice ortonormale Q di ordine m, si ottiene X = Λ QQ F + U (9.16) =I m Nell espressione precedente Q F sono i fattori ruotati ortogonalmente, mentre ΛQ sono i pesi fattoriali dei fattori ruotati. In questo caso si ha dunque Σ = ΛΛ + Ψ = ΛQQ Λ + Ψ = Λ Λ + Ψ (9.17) Alle stesse matrici Σ e Ψ possono corrispondere diverse matrici di punteggi fattoriali. La matrice Λ è pertanto determinata a meno della moltiplicazione a destra per una matrice ortonormale. Il problema della non identificabilità di Λ viene generalmente risolto imponendo dei vincoli alla rotazione. Tra i vincoli più diffusi vi è quello che consiste nell imporre che la matrice Λ Ψ 1 Λ sia diagonale con gli elementi ordinati in modo decrescente Λ Ψ 1 Λ = diag(b 1,..., b m ) con b 1 > > b m (9.18) Considerazioni riconducibili all impostazione bayesiana portano alla definizione di questo vincolo. Infatti se X N k (o, Σ) e la distribuzione a priori dei fattori è F N m (o, I m ), allora la distribuzione di X condizionata ad F è X F N k (ΛF, Ψ), mentre la distribuzione a posteriori di F è data da F X N m ( Λ Σ 1 X, [Λ Ψ 1 Λ + I m ] 1) (9.19) Quindi nel caso in cui Λ Ψ 1 Λ sia diagonale, gli elementi del vettore F sono condizionalmente indipendenti. La condizione di diagonalità della matrice Λ Ψ 1 Λ introduce m(m 1)/2 vincoli alla stima degli mk pesi fattoriali e delle k specificità. Il numero totale dei parametri da stimare diviene dunque km + k m(m 1)/2. Affinché la soluzione a tale problema sia ben determinata, il numero di elementi distinti di Σ deve essere maggiore o uguale a quello dei parametri da stimare, ovvero k(k + 1)/2 km + k m(m 1)/2. Due vincoli, alternativi a quello già presentato, per garantire l identificabilità di Λ, consistono nel pretendere che la matrice Λ Ψ 1 Λ sia triangolare superiore oppure che Λ [diag(σ 1,..., σ k )] 1 Λ sia diagonale.

5 Cap. 9: Analisi fattoriale Stima del modello Metodo dei fattori principali Quello di Thompson (1934) o dei fattori principali è un metodo di stima non parametrico, che non richiede alcuna assunzione distributiva sulla variabile k-dimensionale X. I parametri incogniti del modello fattoriale sono µ, Σ, Λ e Ψ. Si osservino n replicazioni indipendenti X 1,..., X n della variabile X tramite le quali si calcolino medie, varianze e covarianze campionarie rappresentate dalle matrici X = ( X1,..., X k ) ed S 2. Indicando con S j la radice quadrata della varianza campionaria di X j per j = 1,..., k, si ottiene la seguente espressione per le osservazioni campionarie standardizzate, la cui matrice di varianze e covarianze campionaria coincide con la matrice di correlazione campionaria R delle X ij Y ij = X ij X j S j i = 1,..., n j = 1,..., k (9.20) Il metodo dei fattori principali procede iterativamente secondo i seguenti punti (i) Si calcolano le stime iniziali delle comunalità c j per j = 1,..., k. Due metodi utili a tale scopo consistono nel considerare il quadrato del coefficiente di correlazione multipla, ovvero il maggiore dei coefficienti di correlazione semplice tra ciascuna variabile e le altre k 1; (ii) Successivamente viene calcolata una matrice di correlazione ridotta (R Ψ) sostituendo le comunalità stimate agli elementi (unitari) sulla diagonale di R. Tale matrice può essere diagonalizzata poiché è sempre definita positiva e a rango pieno k, R Ψ = AΓA (9.21) dove Γ e A sono rispettivamente la matrice diagonale degli autovalori e la matrice degli autovettori normalizzati (ortonormale) di R Ψ. (iii) Considerando che R Ψ = ΛΛ (9.22) dette Γ 1 e A 1 rispettivamente la matrice diagonale dei primi m autovalori di R Ψ (supposti strettamente positivi) e quella degli autovettori corrispondenti, si ricava la seguente espressione dello stimatore della matrice dei pesi fattoriali ˆΛ = A 1 Γ (9.23)

6 128 A. Pollice - Statistica Multivariata Si noti che considerando le variabili standardizzate si ha diag(σ 1,..., σ k ) = I k, quindi, essendo A 1 ortonormale, ˆΛ diag(σ 1,..., σ k )ˆΛ = ˆΛ ˆΛ = Γ A 1A 1 Γ = Γ Γ (9.24) ed essendo Γ 1 diagonale, il terzo vincolo per l identificabilità di Λ è soddisfatto; (iv) Posto che ˆλ jh è l elemento generico della matrice ˆΛ per j = 1,..., k e h = 1,..., m, le stime delle k comunalità sono date da ĉ j = m ˆλ 2 jh j = 1,..., k (9.25) h=1 Il procedimento illustrato viene ripetuto iterativamente partendo dalle nuove stime delle comunalità, finché l algoritmo non converge, in altri termini finchè due successive determinazioni delle matrici ˆΛ e ˆΨ non risultano somiglianti. La matrice ˆR = ˆΛˆΛ contiene le correlazioni riprodotte dai fattori comuni, mentre R ˆR è la matrice delle differenze tra le correlazioni campionarie e quelle riprodotte. Tanto più piccoli sono i suoi elementi, tanto meglio i fattori comuni riproducono la matrice osservata Metodo della massima verosimiglianza Se si assume la normalità della X, è noto come il massimo della funzione di logverosimiglianza rispetto a µ sia dato da l( X, Σ) = nk 2 ln 2π n 2 ln Σ n 2 tr(σ 1 S) (9.26) e sostituendo Σ = ΛΛ + Ψ la logverosimiglianza può essere espressa in funzione dei parametri incogniti del modello fattoriale per ottenerne le stime vincolate alla condizione Λ Ψ 1 Λ = diag(b 1,..., b m ) con b 1 > > b m l(λ, Ψ) = n 2 ln ΛΛ + Ψ n 2 tr[(λλ + Ψ) 1 S] (9.27) Derivando l espressione precedente rispetto a Λ e Ψ e ponendo le derivate uguali a zero, si ottengono, dopo qualche passaggio, le due condizioni { ˆΛ(Im + ˆΛ ˆΨ 1 ˆΛ) = S ˆΨ 1 ˆΛ ˆΨ = diag(s ˆΛˆΛ ) (9.28)

7 Cap. 9: Analisi fattoriale 129 Il sistema (9.28) non ammette una soluzione analitica essendo composto da due equazioni matriciali implicite in ˆΛ e ˆΨ. E necessario pertanto l uso di procedimenti iterativi che talvolta possono presentare problemi di convergenza (Lawley, 1947). Un procedimento efficiente articolato in due passi (Joreskog, 1967) parte in modo analogo al metodo dei fattori principali, con la considerazione di una stima iniziale ˆΨ 0 delle specificità. (i) Al primo passo, dette Θ ed Ω rispettivamente la matrice diagonale 1/2 1/2 degli m autovalori maggiori di ˆΨ 0 S ˆΨ 0 disposti in ordine decrescente e la matrice degli autovettori corrispondenti, si ottiene ˆΨ 1/2 1/2 0 S ˆΨ 0 = ΩΘΩ (9.29) e ponendo S = ˆΛ 0 ˆΛ 0 + ˆΨ 0 nella relazione precedente, dopo qualche passaggio si ottiene ˆΛ 0 = ˆΨ 1/2 0 Ω(Θ I m ) 1/2 (9.30) (ii) Il secondo passo prevede la determinazione del vettore ˆΨ 1 che massimizza l(ˆλ 0, Ψ) rispetto a Ψ. Il procedimento continua iterativamente sino alla convergenza. Tra gli inconvenienti di questo metodo vi è il fatto che può talvolta portare a soluzioni inammissibili (ad esempio ˆΨ < O) e che le soluzioni derivanti dalla sua applicazione non sono di facile interpretazione dal punto di vista fenomenico. D altra parte le stime di massima verosimiglianza dei parametri del modello fattoriale godono di diverse proprietà. La stima della varianza della j-esima variabile ottenuta tramite le stime di pesi fattoriali e specificità equivale alla varianza campionaria della j-esima variabile m ˆλ 2 jh + ˆψ j = Sj 2 j = 1,..., k (9.31) h=1 Inoltre il metodo della massima verosimiglianza produce stime invarianti rispetto a cambiamenti di scala delle osservazioni. Le stime di Λ e Ψ restano immutate sia che si operi sulla matrice S di varianze e covarianze campionarie, che sulla matrice di corrlelazione R. Le proprietà asintotiche godute in generale dagli stimatori di massima verosimiglianza consentono di fare inferenza sul numero m di fattori comuni da considerare (test del rapporto di verosimiglianze generalizzato; O. Vitali, 1993).

8 130 A. Pollice - Statistica Multivariata I risultati ottenuti tramite il metodo della massima verosimiglianza possono essere ricavati sia con un metodo basato sull analisi delle correlazioni canoniche tra X ed F (C.R. Rao, 1955; F. Delvecchio, 1992) che minimizzando la correlazione parziale tra le variabili (W.G. Howe, 1955; D.F. Morrison, 1967). 9.3 Rotazione dei fattori Obiettivo dell analisi fattoriale è l individuazione delle dimensioni fondamentali di un fenomeno descritto da k variabili. In altri termini l analisi fattoriale cerca di verificare se e in che misura ciascuna delle k variabili costituisce una ripetizione della descrizione operata dalle k 1 rimanenti, e se è possibile sostituire con la stessa efficacia un numero m k di fattori non osservati. Dal punto di vista metodologico ciò corrisponde a stimare i fattori comuni (quelli specifici si ottengono per differenza) e la matrice delle correlazioni tra fattori e variabili. Ma come si è già detto la scomposizione della matrice di varianze e covarianze Σ secondo il modello fattoriale non è unica, infatti per qualsiasi matrice ortonormale Q vale la (9.17), da cui si deduce come diverse matrici di pesi fattoriali spieghino la stessa quota di varianza. Esistono un infinità di trasformazioni ortogonali che portano alla medesima quota di variabilità delle variabili spiegata dai fattori. La rotazione dei fattori consiste proprio nell identificazione dei fattori estratti in termini delle variabili originarie, ovvero nello scegliere una delle possibili trasformazioni ortogonali della matrice dei pesi fattoriali. I criteri a disposizione a tale scopo riguardano la semplicità della matrice Λ (Thurstone, 1947), ovvero la vicinanza dei suoi elementi ai valori 0 e 1. Infatti quanto più ciò si verifica tanto più semplice risulta l interpretazione dei fattori comuni in termini delle variabili. In altre parole l identificazione dei fattori risulta semplificata se ciascuno di essi è fortemete correlato con un numero limitato di variabili (ed è poco correlato con le altre). A seconda che i fattori ruotati risultino o meno incorrelati si distingue tra metodi di rotazione ortogonale e obliqua dei fattori. Rotazione ortogonale: metodo Quartimax (J. Neuhaus e C. Wringley,1954) La matrice Λ delle covarianze tra variabili e fattori è modificata in modo che sia massima la varianza dei quadrati dei pesi fattoriali (misura della semplicità di Λ) subordinatamente alla condizione che

9 Cap. 9: Analisi fattoriale 131 siano costanti le comunalità delle variabili max V Q = max 1 m [ k km h=1 j=1 λ4 jh 1 m ] 2 k km h=1 j=1 λ2 jh c 2 j = m h=1 λ2 jh = c j = 1,..., k (9.32) Lasciando inalterata la varianza delle righe, la matrice Λ è semplificata in modo tale che le covarianze tra i quadrati di elementi appartenenti a righe diverse di Λ siano massime. Il metodo Quartimax, amplificando la differenziazione tra le righe di Λ, opera una semplificazione all interno delle stesse e tende ad individuare delle soluzioni fattoriali in cui ciascuna variabile è legata a pochi fattori, rendendo più agevole l attribuzione dei fattori comuni alle variabili. La rotazione simultanea di tutti i fattori presenta grosse difficoltà di ordine matematico e computazionale, vengono quindi utilizzate delle procedure iterative che fanno ruotare un fattore alla volta. Rotazione ortogonale: metodo Varimax (H.F. Kaiser,1958) Il metodo Varimax tende piuttosto che a semplificare le righe di Λ (come il Quartimax), a semplificarne le colonne. E questo il metodo più comunemente accettato poiché pone maggiore enfasi nella semplificazione della struttura dei fattori in termini delle variabili e non viceversa. Consente di amplificare le correlazioni più alte di ciascun fattore e di ridurre quelle più basse, agevolandone l interpretazione. La varianza dei quadrati dei coefficienti λ jh è massimizzata per colonna anziché per riga max V V = max [ m 1 ( k h=1 k j=1 λ4 jh 1 ) ] 2 k k j=1 λ2 jh c 2 j = (9.33) m h=1 λ2 jh = c j = 1,..., k Rotazione obliqua: metodo Oblimax La massimizzazione del metodo quatrimax è equivalente alla condizione max V O = max k m j=1 h=1 λ4 jh k m j=1 h=1 λ2 jh (9.34) Utilizzando tale condizione in assenza del vincolo sulla costanza delle comunalità prima e dopo la rotazione, si ottengono delle soluzioni fattoriali con fattori non ortogonali.

10 132 A. Pollice - Statistica Multivariata 9.4 Stima dei punteggi fattoriali Si definiscono punteggi fattoriali i valori assunti dai fattori comuni (variabili non osservabili) in corrispondenza delle osservazioni campionarie. Nell ipotesi di partenza che µ, Λ e Ψ siano noti o vengano stimati preliminarmente (la stima simultanea di tutti i parametri è un problema sovradimensionato), tali punteggi possono essere stimati in due modi. Stimatore di Bartlett La matrice n m dei punteggi fattoriali F viene considerata un parametro incognito (anche se ha in effetti natura casuale). Sia F i una sua riga di m elementi. Poiché è X i F i N k (µ + ΛF i, Ψ) (9.35) allora la funzione di logverosimiglianza calcolata tramite un unica osservazione k-dimensionale X i è data per i = 1,..., n da l(f i ) = k 2 ln(2π) 1 2 ln Ψ 1 2 (X i µ ΛF i ) Ψ 1 (X i µ ΛF i ) = da cui risulta = k 2 ln(2π) 1 ln Ψ (9.36) [(X i µ) Ψ 1 (X i µ) 2(X i µ) Ψ 1 ΛF i + F i Λ Ψ 1 ΛF i ] l(f i ) F i = Λ Ψ 1 (X i µ) Λ Ψ 1 Λ ˆF i = 0 (9.37) ed infine ˆF i = (Λ Ψ 1 Λ) 1 Λ Ψ 1 (X i µ) (9.38) L espressione così ottenuta è uno stimatore corretto dei punteggi fattoriali. Stimatore di Thompson - metodo bayesiano Sia per i = 1,..., n con vettore di medie ( Xi F i ( Xi E F i ) N k+m (9.39) ) = ( µ o ) (9.40)

11 Cap. 9: Analisi fattoriale 133 e matrice di varianze e covarianze [( ) Xi µ ((Xi E µ), F ) ] i = F i ( E[(Xi µ)(x = i µ) ] E[(X i µ)f i ] ) E[F i (X i µ) ] E(F F = ) ( ΛΛ = ) + Ψ Λ Λ I m (9.41) Come in tutti i metodi di impostazione bayesiana le inferenze sui parametri (considerati variabili aleatorie) vengono condotte condizionatamete ai dati osservati. Poiché è F i X i N m con E(F i X i ) = Λ (ΛΛ + Ψ) 1 (X i µ) (9.42) si considera come stimatore di F i proprio ˆF i = E(F i X i ), il valore atteso della distribuzione a posteriori. Lo stimatore di Thompson pur essendo distorto è associato a un errore medio di previsione E[( ˆF F)( ˆF F) ] inferiore a quello associato allo stimatore di Bartlett (è in altri termini più accurato). I due stimatori portano comunque a valori simili.