Principal Component Analysis (PCA)

Transcript

1 Principal Component Analysis (PCA) Come evidenziare l informazione contenuta nei dati S. Marsili-Libelli: Calibrazione di Modelli Dinamici pag.

2 Perche PCA? E un semplice metodo non-parametrico per estrarre informazione rilevante da un insieme di dati confuso (ridondante + rumoroso). Riesce a eliminare la ridondanza dell informazione nei dati, rappresentata dall autocorrelazione Geometricamente l obiettivo della PCA è presentare i dati nel riferimento che evidenza maggiormente la loro struttura (Cambio di riferimento) pag.

3 Correlazione e ridondanza di informazione Consideriamo una serie di dati bidimensionali, come in figura x x Calcolando R per questi dati si ha Matrice di covarianza σ ρ C ρ σ Matrice di correlazione R : r i, j C C i,i i, j C j, j. R La correlazione fra x e x è circa del %. Ciò significa che il % dell informazione di x è contenuta anche in x Ridondanza pag. 3

4 Standardizzazione dei dati Generalmente si preferisce svolgere la PCA su dati standardizzati Media nulla Varianza unitaria E σ ( x) ( x) x I dati standardizzati si ottengono come x x σ Ovviamente per i dati standardizzati la matrice di Covarianza coincide con la matrice di correlazione C R ( x) C( z) z ( x) R( z) C( z) pag. 4

5 Esempio di dati correlati Consideriamo il sistema di due variabili dipendenti (a parte il rumore ε) x( k) ε ( k) ε k, ε k x k.4 x k ε k ( ) ( ) ( ) x z 4 ( ) ( ) x x pag. 5

6 Matrici di covarianza e correlazione Dati originali (x) C x.96.4 Dati standardizzati (z).4.5 R x C z R z Autovettori di C x Autovalori di C x Autovettori di R x,r z Autovalori di R x,r z W C λ.7 λ.4 W r λ.8 λ.98 pag. 6

7 Riassumendo: su quali dati lavoriamo. Dataset X Eliminazione del valor medio x i X X i,..., p i i Standardizzazione x i * X i X σ i i Calcolo della matrice di covarianza C x x n p p C R Calcolo della matrice di correlazione R i, j C C i,i i, j C i, j,..., p j, j pag. 7

8 Nota sulla standardizzazione La PCA viene normalmente eseguita sulla matrice di Covarianza I dati sono depurati dalla media (PCA su dati a media nulla) Se le componenti dei dati hanno ordini di grandezza molto diversi si può ricorrere alla standardizzazione PCA su dati a media nulla e varianza unitaria La matrice di Covarianza coincide con quella di Correlazione C R Le PCA eseguite su C o su R sono radicalmente diverse perché i rispettivi autovalori e autovalori sono diversi e non ottenibili mediante trasformazione ortonormale Infatti la standardizzazione non è una trasformazione ortogonale Conclusione: Se le componenti di x sono molto diverse è conveniente la PCA su R, tenendo comunque presente che essa sarà diversa da quella ottenuta su C pag. 8

9 Rappresentazione grafica della covarianza n Dato un insieme di dati X R si calcola la matrice di covarianza C C x n X X Si calcolano gli autovettori e gli autovalori λ Fra di essi valgono le relazioni di similitudine C W L W L W C W x x W [ ] con L λ λ x x x + x x Mediante autovalori ed autovettori si può scrivere l equazione parametrica dell ellisse che racchiude il 95% dei dati..96 λ.96 ϕ pag. 9 x cosϕ λ sinϕ Gli autovettori danno le direzioni degli assi dell ellisse e gli autovettori la loro lunghezza (,π )

10 Direzioni principali in funzione della covarianza ν Massima varianza { x,x} { v,v } riferimento originale riferimento che massimizza la var ianza ( autovalori Minima varianza ) ν.96 σ.96 σ x.96 σ.96 σ Guardando in questa direzione si ha la massima risoluzione su v x Guardando in questa direzione si ha la massima risoluzione su v pag.

11 Probabilità congiunta e outliers L ellisse di covarianza indica la regione di 95% di confidenza della distribuzione congiunta delle due variabili. I campioni esterni sono outliers. Perciò permette di evitare le false accettazioni di campioni che sarebbero entro la fascia di confidenza se si considera ciascuna variabile separatamente. x Si vede che il punto rosso è fuori solo se si considera la regione di confidenza bidimensionale - x pag.

12 PCA migliore visualizzazione Il cambio di riferimento può essere visto come un cambio di punto di vista che massimizza l informazione visibile nei dati x x z z pag.

13 Vantaggi della PCA Le PCA forniscono una spiegazione alternativa della variabilità osservata con il pregio di descrivere il fenomeno oggetto di studio mediante dimensioni fra loro non correlate e ordinate in termini della loro importanza nella spiegazione Questo permette (con maggiore o minore successo nei vari casi) di : interpretare il fenomeno attraverso il nuovo significato assunto dalle componenti principali che non sono state scartate ridurre il numero di variabili da considerare, scartando le ultime componenti principali, che contribuiscono poco alla variabilità osservata pag. 3

14 Covarianza fra i dati x x ε.995x Alta covarianza +.5ε ε, ε x x Bassa covarianza ε.5x +.95ε ε, ε x x x x pag. 4

15 Rappresentazione grafica della correlazione Si può ricavare la matrice di correlazione normalizzando le varianze o calcolando la matrice di covarianza sui dati standardizzati R i, j C C j, j Si ha la matrice simmetrica che nel caso x è del tipo Con autovettori e autovalori W R r i,i i, j C r λ + r λ r x x L equazione dell ellisse di correlazione, centrata nell origine è - - λ λ ( r,) λ ( ),r cosϕ λ sinϕ pag. 5

16 Rappresentazione grafica della correlazione x λ λ (,.6) x λ λ (,.3) R.6 x W.77 λ.4 r λ.6 + r Uguali autovettori R.3 x W.77 λ.7 r λ.3 + r pag. 6

17 Esempi di ellissi di correlazione Correlazione Ridondanza di informazione bassa media alta. R W λ r.75 λ + r.5..5 R W λ r.5 λ + r.5. R W λ r.5 λ + r.75 pag. 7

18 Obiettivi della PCA L obiettivo primario della PCA è determinare la base di riferimento più significativa per rappresentare i dati e filtrare il rumore nella speranza che questa nuova base filtri il rumore e riveli strutture prima invisibili PCA è una trasformazione lineare dei dati che:. Minimizza la ridondanza misurata dalla covarianza. Massimizza l informazione, misurata dalla varianza. Le Principal Components (PC) sono nuove variabili che hanno le seguenti proprietà:. Ogni PC è una combinazione lineare delle variabili originali. Le PC sono fra di loro ortogonali, ovvero sono mutuamente incorrelate, sopprimendo l informazione ridondante pag. 8

19 Idea base della PCA Dataset: insieme di n misure ciascuna composta da p attributi x p attributi x x... xp x x... x p n misure x R xn xn... xnp n p L intuizione di PCA è di trovare una combinazione lineare delle m coordinate dei dati in modo da esprimerli in un nuovo riferimento tale che: Ogni variabile (attributo) sia indipendente da tutti gli altri L insieme degli attributi sia ordinato secondo la loro importanza relativa pag. 9

20 Caratteristiche della PCA PCA è una trasformazione lineare ortonormale dei dati X al fine di ottenere due risultati: Feature Selection: classificare le caratteristiche importanti dei dati X, secondo la loro importanza PCA evidenzia il contenuto informativo mediante una trasformazione lineare delle coordinate di riferimento dei dati (attributi dei dati) Dimension Reduction: quantificare la perdita di informazione derivante dall eventuale riduzione della dimensionalità dei dati X. PCA quantifica la percentuale di informazione nelle varie componente ordinate per importanza, in modo da conoscere la perdita di informazione per ciascuna componente esclusa dalla riduzione pag.

21 Risultato fondamentale della PCA Se l obiettivo primario è l eliminazione della ridondanza Se la ridondanza è espressa dalle correlazioni Allora la PCA consiste nella diagonalizzazione della matrice di covarianza PCA consiste dunque in una trasformazione lineare dalle variabili originali ad altre che esprimono la stessa informazione ma sono fra loro incorrelate (Componenti Principali) La trasformazione cercata è la similitudine W fra la matrice di correlazione e la matrice diagonale degli autovalori, tale che L Z diag X W ( σ, σ σ ),..., p W C W W è : W W pag.

22 PCA come ricerca delle direzioni privilegiate z z Z W X x x z z x x x + x z + x + x x z + x x Direzione di massima varianza di x, escluso x x z i p j x j ji Direzione di massima varianza di x PCA consiste dunque nella ricerca di direzioni privilegiate che massimizzano la variazioni dei dati ed eliminano le correlazioni pag.

23 PCA in sintesi C Dataset X Matrice di covarianza n W... p ( X X ) ( X X )... p λ > λ >... > p p... pp λ p Matrice degli autovettori ordinata secondo autovalori decrescenti La matrice W formata dagli autovettori ordinati per autovalori decrescenti indicano le direzioni di massima varianza. La similitudine fra C e L è data da W. Nota che essendo ortonormale W W - C W L W L W C W La matrice L (diagonale) degli riporta i valori delle varianze nel nuovo riferimento PCA ( L diag σ, σ σ ),..., La trasformazione dei dati X nelle componenti principali Z è Z X W X p Z W pag. 3

24 Ogni pesce può essere definito dalle sue misure di lunghezza ed larghezza Un semplice esempio breadth length Riportando in grafico i dati degli individui del branco di pesci, si ottiene Domanda: Esiste una relazione fra le due misure? Domanda : Esiste un singolo parametro per definire la taglia di ciascun pesce? pag. 4

25 PCA sui dati dei pesci Scegliamo dei nuovi assi centrati nell insieme dei dati Poi ruotiamo gli assi per disporli lungo la direzione principale dei dati Possiamo allora definire una nuova variabile: size length + breadth Ma dato che length e breadth non sono ugualmente importanti (vedi grafico) esse dovranno essere pesate diversamente, perciò size v length + v breadth I pesi v e v sono gli autovettori della matrice di correlazione Risultato: si è ottenuta una riduzione della dimensione dei dati pag. 5

26 Cosa si perde nella riduzione Dato che length e breadth sono chiaramente molto correlate, la matrice di correlazione è molto allungata e dunque gli autovalori sono molto diversi. Supponiamo che essi valgano λ.75 e λ.5 nel riferimento originale l ellisse sarà Dopo la rotazione dovuta al cambio di riferimento sarà data dall orientamento degli autovettori e dalla grandezza degli autovalori Se si ritiene solamente la variabile size si conserva solamente 87.5% della variabilità originale. Infatti λ λ + λ % breadth breadth length size length size pag. 6

27 PCA in Matlab Le funzioni PCA sono contenute nella Statistics oolbox Si può effettuare la PCA partendo dai dati (X) o dalla matrice di covarianza (C) dai dati: [W,score,L] princomp(x) W è la matrice degli autovettori, detta matrice dei Loadings E ordinata per autovalori decrescenti Scores sono le osservazioni Z trasformate delle X nel riferimento PCA L sono gli autovalori, ordinati in ordine decrescente dalla matrice di covarianza: [W,L,expl] pcacov(c) W è la matrice degli autovettori E ordinata per autovalori decrescenti L sono gli autovalori, ordinati in ordine decrescente expl è un vettore che contiene la percentuale di varianza spiegata da ciascuna componente principale (la somma fa ) pag. 7

28 Un esempio: Employee Satisfaction Un sondaggio fra 947 impiegati di una grande azienda ha rilevato i seguenti parametri di soddisfazione Lavoro (SJ) Formazione (SJ) Condizioni di lavoro (SWC) Assicurazione medica (SMC) Assicurazione Dentistica (SDC) Il sondaggio ha prodotto la seguente matrice di correlazione..45 R pag. 8

29 Un esempio: Employee Satisfaction Si ricava la matrice delle PCA ordinata per autovalori decrescenti W Verifica: la somma dei quadrati degli elementi di ciascuna colonna somma a L La prima PC spiega il 47.3% della varianza totale λ 5 i i [ ] λ.473 pag. 9

30 Varianza spiegata e scree plot perc. var. expl. cum.var.expl. Perc. Variance eigenvalues scree plot grafico degli autovalori ordinati in senso decrescente λ i eigenvalues pag. 3

31 Un esempio: Employee Satisfaction La prima PC z si ottiene come z.44 SJ SJ SWC SMC +.4 SDC essendo i pesi tutti positivi e dello stesso ordine, z si può interpretare come un indice di soddisfazione generale La seconda PC z è z.443 SJ +.9 SJ +.38 SWC.53 SMC.586 SDC dato che le prime tre variabili sono associate positivamente a fattori di soddisfazione del lavoro, mentre gli ultimi due sono associati all assistenza medica e sono negativi, z può essere vista come un contrasto fra la soddisfazione del lavoro e l insoddisfazione dell assistenza medica. pag. 3

32 Il Biplot come visualizzazione dei contributi Per visualizzare in che misura ogni variabile originaria contribuisce alle PC, si plottano le componenti dei loadings delle prime colonne della matrice W, corrispondenti alle prime PC, le più importanti PC Si possono anche avere biplot tridimensionali La sintassi del comando Matlab è biplot(coefs,..., 'Scores', scores, 'ObsLabels', obslabs) dove coefs sono le prime o 3 colonne di W, Scores sono i dati trasformati (se presenti) e ObsLabels sono le etichette che identificano ciascuna variabile SDC SMC SJ SJ SWC PC pag. 3

33 Analisi di un episodio di torbidità FUin [NU] FUout [NU] [ C] Q p [l/sec] Floc. [ppm] Q [m 3 /sec] ime (h) Superamento della soglia di pag. 33

34 Biplot come zone di influenza delle PC PC Plant flo emp. FUout FU in Floc dos River flo PC In questo caso si nota che le componenti FUin e Floc dos contribuiscono fortemente a PC e quasi niente a PC. Al contrario Plant flo e emp sono molto rappresentate in PC e PC3 PC PC PC3 PC Biplot indica quanto ciascuna variabile contribuisca a ciascuna PC. Si ottiene plottando i loadings (componenti degli autovettori) nel piano di due PC si ha un idea di Il Biplot più comune è quello PC/PC Plant flo emp. FUout FUin Floc dos River flo PC pag. 34

35 PCA con Covarianza o Correlazione? Le PCA ottenute nei due casi sono molto diverse e non facilmente riconducibili l una all altra perché i loro autovalori e autovettori non sono legati da una semplice relazione Covarianza Riflette le reali proporzioni fra variabili E sensibile alle unità di misura, enfatizzando l importanza delle variabili più grandi Correlazione Indipendenti dalle unità di misura operando su dati standardizzati I risultati di diverse analisi sono comparabili Esempio: Supponendo di effettuare una PCA su misure di lunghezza (x ) e peso (x ), a seconda che x sia espresso in cm (a) o in mm (b), mentre x è sempre espresso in grammi, si ha nei due casi una PCA molto diversa. Nel secondo caso la dominanza di x è totale 8 44 C a C b z z ( a ) ( b ).77 x.998 x +.77 x +.55 x pag. 35

36 Come ridurre l ordine della PCA Ci si basa sulla quantità di varianza spiegata: si trattengono le componenti che forniscono una varianza totale spiegata fra il 7% e il 9% Ovviamente si arrotonda all intero più vicino Alternativamente (o insieme) si taglia all autovalore un po inferiore ad Nel caso di matrice di correlazione si taglia.5 intorno a λ.7 Nel caso di matrice di covarianza si taglia intorno a circa.7 della media degli autovalori Perc. Variance eigenvalues.7 λ j p j eigenvalues λ λ min.7 λ j. 7 p j pag. 36

37 Esempio di dati correlati Dati di qualità dell acqua del fiume Arno Centralina di Rosano 5-7 Settembre 4 DO % DO% ph empo (h) Le tre variabili seguono tutte il ritmo circadiano, pilotato dalla luce solare. La correlazione fra di esse è evidente. L ossigeno disciolto è il più pronto, seguito dalla temperatura a h e dal ph a 3 h di ritardo. L aumento del ph è dovuto al consumo di CO a seguito della fotosintesi ph ( C) pag. 37

38 Correlazioni e autovalori ph Perc. Variance.5 DO% ph 3 DO% 3 eigenvalues 3 eigenvalues La forte correlazione fra le prime due cariabili, fa sì che PC spieghi circa 83% della variabilità totale. Analogamente il primo autovalore è dominante rispetto agli altri due. pag. 38

39 Meglio l analisi di correlazione PC C PC dati λ λ.66 λ ph PC DO% PC L analisi di covarianza tende ad enfatizzare le dipendenze fra le variabili ed a mantenere solo la prima. L analisi di correlazione evidenzia il legame delle tre, pur mantenendo il carattere dominante di DO% PC λ.567 λ.359 λ PC -.5. R PC R ph DO%.5 PC pag. 39

40 Biplot proiettato sulle tre PC (cov) ph.5.5 PC 3 PC 3 DO% PC PC.5 PC ph DO% PC pag. 4

41 PC Biplot proiettato sulle tre PC (corr) DO% PC.8 PC PC PC ph DO% ph PC pag. 4

42 est di consistenza Le componenti principali non avendo un significato immediato devono essere spiegate con statistiche di sintesi: Hotelling s Z L Z X W L W coglie la variazione delle componenti all interno del modello di riferimento (spazio delle PC) Statistica Q Q X misura la variazione non considerata dal modello (spazio ortogonale alle PC) ( I WW ) X X pag. 4

43 La statistica Hotelling E un estensione multivariabile della statistica Student t. Data una matrice di misure X R n p e W la loro matrice di covarianza, la statistica Hotelling è data da X Inoltre, volendola usare come limite di accettabilità (hypothesis testing) si può definire un valore limite di in funzione della statistica F di cui rappresenta una realizzazione lim Dove n è il numero di misure e p le variabili di ciascuna misura, mentre α è il limite di confidenza fissato (generalmente α.5, corrispondente ad una confidenza del 95%) W X ( n ) α p n p F n p,p pag. 43

44 Andamento della statistica F Esempio: Il valore limite di al 95% per un campione di n 8 misure di p 8 variabili ciascuna è 8 α.95 x finv(.95,8,8-8) x 3.77 F 6 4 Ciò significa che si può osservare per puro caso un valore di F superiore a solamente nel 5% dei casi In questo caso il lim sarebbe ( 8 ) n-p 8 lim p pag. 44

45 Applicazione del ai dati di qualità L indice Hotelling s è lo stesso sia per i dati originali che per quelli standardizzati Ovviamente l indice per ogni dato è inferiore a lim perché sono gli stessi dati usati per determinare le PC Dati standard. Dati tal quali lim Misure pag. 45

46 Riduzione della dimensionalità Se alcune PC non sono molto importanti (vedi scree plot) si può ridurre la dimensionalità dell analisi trattenendo solamente le prime a < p PC La matrice di trasformazione è la sotto matrice di W che ritiene i primi a autovettori W... p a... p La trasformazione PCA ridotta diviene a a pa p a p p pp n a Za X Wa R ovvero i dati X vengono proiettati nelle prime a componenti di Z W a... p... p a a... pa R n a pag. 46

47 Decomposizione parziale La PCA ridotta contiene solo le prime due componenti (vedi scree plot) che comunque spiegano 83% della variabilità totale. Perc. Variance.5 X 3 eigenvalues x x a x x a x eigenvalues a Misure pag. 47

48 Ricostruzione da PCA ridotta La ricostruzione delle variabili originali dalla PCA ridotta contiene ovviamente degli errori Se la mappa inversa completa era nel caso ridotto sarà Z W La matrice E contiene gli errori di ricostruzione X X Z W X Z W + a a a a a E n X Z a W a a + E p a p p n modello ridotto residui Matlab: [residuals,reconstructed]pcares(x,a); pag. 48

49 Ricostruzione da PCA completa Ricostruzione con a 3 X Z W DO% stand ph stand stand pag. 49

50 Ricostruzione da PCA ridotta Ricostruzione con a X Z W + a a E DO% stand ph stand. stand pag. 5

51 Ricostruzione da PCA ridotta Ricostruzione con a X Z W + a a E DO% stand ph stand. stand pag. 5

52 pag. 5 La statistica Q Valuta l importanza delle PC escluse dall analisi Ha significato solo quando si esegue una riduzione (a < p) Il valore limite della statistica Q per il quantile c α -α èdato da ( ) 3 o p a i 3 3 p a i p a i i h o o o lim 3 h h h c h Q i i o ϑ ϑ ϑ λ ϑ λ ϑ λ ϑ ϑ ϑ ϑ ϑ ϑ α