Analisi delle componenti principali

Transcript

1 Analisi delle componenti principali Serve a rappresentare un fenomeno k-dimensionale tramite un numero inferiore o uguale a k di variabili incorrelate, ottenute trasformando le variabili osservate Consiste nell individuare delle combinazioni lineari delle variabili osservate, che siano incorrelate tra loro ed abbiano varianza massima La versione attuale della teoria delle componenti principali è dovuta ad H. Hotelling (1933) A. Pollice - Statistica Multivariata

2 Dell universo campionario k-dimensionale X si osservino n osservazioni indipendenti X = x 11. x 1k. x n1 x nk Media e varianza campionarie X = X u n /n, S = (X u n X ) (X u n X )/n

3 Si vuole determinare il vettore a 1 tale che abbia varianza massima e 1 = Xa 1 Var(e 1 ) = a 1 Sa 1

4 Problema di massimo vincolato { maxa1 a 1 Sa 1 a 1 a 1 = 1 Funzione lagrangiana (a 1, λ) = a 1 Sa 1 λ(a 1 a 1 1) Sistema per la soluzione del problema di massimo vincolato a 1 (a 1, λ) = 2Sa 1 2λa 1 = o λ (a 1, λ) = a 1 a 1 1 = 0

5 a 1 corrisponde all autovettore di norma unitaria associato ad un autovalore λ della matrice S La varianza che si vuole massimizzare è data da Var(e 1 ) = a 1 Sa 1 = λa 1 a 1 = λ La prima componente principale e 1 = Xa 1 è definita dall autovettore a 1 associato al più grande degli autovalori di S, indicato con λ 1

6 Seconda componente principale e 2 = Xa 2 Si aggiunge la condizione di incorrelazione con e 1 : problema di massimo vincolato max a2 a 2 Sa 2 a 2 a 2 = 1 a 2 Sa 1 = 0 Funzione lagrangiana (a 2, λ, ν) = a 2 Sa 2 λ(a 2 a 2 1) νa 2 Sa 1

7 Sistema per la soluzione del problema di massimo vincolato a 2 (a 2, λ, ν) = 2Sa 2 2λa 2 νsa 1 = o λ (a 2, λ, ν) = a 2 a 2 1 = 0 ν (a 2, λ, ν) = a 2 Sa 1 = 0 Con qualche passaggio algebrico la prima equazione del sistema si riduce all equazione caratteristica Sa 2 = λa 2 a 2 è l autovettore di norma unitaria associato ad uno degli autovalori della matrice S

8 Var(e 2 ) = a 2 Sa 2 = λa 2 a 2 = λ implica che l autovalore che definisce la seconda componente principale coincide con il secondo più grande autovalore di S indicato con λ 2 E possibile definire un numero di componenti principali pari al rango k della matrice S e 1 = Xa 1,..., e k = Xa k

9 Varianze delle componenti principali Var(e 1 ) = λ 1 Var(e k ) = λ k La somma delle varianze delle componenti principali è uguale alla somma delle varianze campionarie delle variabili originarie. k j=1 Var(e j ) = tr(s) = k j=1 Var(X j )

10 Assunzione di normalità della popolazione X abbia distribuzione normale k-dimensionale con E(X) = µ e Cov(X) = Σ la matrice di varianze e covarianze campionarie S coincide con lo stimatore di massima verosimiglianza di Σ proprietà di invarianza degli stimatori di massima verosimiglianza: ˆθ è stimatore di massima verosimiglianza di θ e φ è una trasformazione biunivoca, allora φ(ˆθ) è stimatore di massima verosimiglianza di φ(θ)

11 una trasformazione biunivoca di S è data da { Sa1 = λ 1 a 1 a 1 a 1 = 1 λ 1 ed a 1 sono stimatori di massima verosimiglianza dei parametri λ 1 ed ã 1, definiti dalla stessa trasformazione biunivoca di Σ { Σã1 = λ 1 ã 1 ã 1ã1 = 1 Nel caso in cui la matrice Σ abbia degli autovalori uguali, gli stimatori di massima verosimiglianza degli autovalori multipli sono dati dalle medie aritmetiche dei corrispondenti autovalori campionari

12 Distribuzione campionaria asintotica di autovalori e autovettori X abbia distribuzione N k (µ, Σ) e Σ sia dotata di k autovalori distinti lim n λ j N λ j, 2 λ 2 j n j = 1,..., k gli autovalori λ 1,..., λ k sono asintoticamente indipendenti

13 lim n a j N k ã j, λ j k h( j)=1 λ h ( λ j λ h ) 2ãhã h j = 1,..., k

14 Problemi applicativi Unità di misura: un cambiamento di scala nei dati modifica la matrice di varianze e covarianze campionarie con i suoi autovalori e autovettori l ACP è influenzata dalla dimensione dei dati e dalle unità di misura in cui sono espressi

15 Variabili standardizzate: la matrice di varianze e covarianze campionarie di Y = (Y 1,..., Y k ) coincide con la matrice R dei coefficienti di correlazione campionari di X = (X 1,..., X k ) Y 1 = X 1 u n X 1 S1 2,..., Y k = X k u n X k Sk 2 L ACP viene condotta calcolando gli autovalori e autovettori della matrice R

16 Interpretazione delle componenti principali La j-esima componente principale ha la forma e j = a 1j X a kj X k a hj è il peso della variabile X h nella determinazione della componente j-esima La covarianza campionaria tra la j-esima componente principale e la h-esima variabile X h è Cov(e j, X h ) = = λ j a hj

17 Il coefficiente di correlazione campionario tra e j e X h misura la quota della variabilità di X h spiegata dalla j-esima componente principale r ej X h = Cov(e j, X h ) Var(e j )Sh 2 = a hj λ j S 2 h Essendo le e j incorrelate, la quota di variabilità di X h spiegata da un insieme G di componenti principali è misurata dalla somma r ej X h j G

18 Scelta del numero di componenti principali I q = λ λ q λ λ k L indice misura la quota di varianza totale spiegata dalle prime q componenti principali: il numero ottimale di componenti q è il più piccolo valore per cui I q > I, dove I è la frazione della varianza totale che si vuole sia spiegata dalle componenti principali (spesso I 0, 9) Si escludono le componenti associate ad autovalori inferiori alla media aritmetica degli autovalori di S

19 Scree graph vengono rappresentati i punti (j, λ j ) per j = 1,..., k uniti da segmenti: Si sceglie il valore di q tale che l andamento del grafico sia decrescente a sinistra di q e pressoché costante o debolmente decrescente alla sua destra Se con γ si indica un numero piccolo a piacere si può verificare il sistema di ipotesi H 0 : λ q λ k = γ λ λ k H 1 : λ q λ k > γ λ λ k tramite la statistica test asintoticamente normale U = λ q λ k λ λ k

20 Test di isotropia { H0 : λ q+1 = = λ k = λ H 1 : gli autovalori sono diversi Nell applicazione di questo test si comincia considerando q = 0 e si procede aumentando q sinchè H 0 non viene accettata La funzione test è costruita tramite il criterio del rapporto di verosimiglianze generalizzato 2 ln ( L( X, ˆΣ ) L( X, S) ) = = n (k q) ln λ k j=q+1 ln λ j e si distribuisce asintoticamente come una χ 2 con m = (k q + 2)(k q 1)/2 gradi di libertà.