Analisi in Componenti Principali

Transcript

1 Analisi in Componenti Principali ( Esempio sul dataset Cars ) (azzurro = teoria) Introduzione Si effettuano p rilevazioni statistiche su n unità. Ciascuna unità può essere visualizzata con un punto di R p (le cui coordinate sono i risultati delle rilevazioni relative a tale unità). Esempio con tre variabili: 1

2 Notazioni: siano x 1,..., x p p vettori di dimensione n contenenti i risultati delle rilevazioni (variabili); sia X la matrice (n,p) che ha come colonne i vettori x 1,..., x p ; sia x( i) il vettore di lunghezza p contenente i valori delle p rilevazioni dell'i-esima unità (riga i-esima di X). matrice X x( 1)... x( i)... x( n) x 1 x 2... x p Problema: Come studiare una nube di punti di R p se p>3? Come ridurre la dimensione dello spazio in modo da "perdere" il minor numero di informazioni possibili? ovvero: Come sostituire alle p variabili di partenza un numero q, inferiore a p, di nuove variabili (dette componenti principali CP ) combinazioni lineari delle variabili originali in modo che queste q variabili rappresentino il più "fedelmente" possibile le p variabili iniziali? Traccia : Si centrano i dati nel baricentro e si effettua una rotazione degli assi in modo che la varianza delle proiezioni della nuvola degli n punti sul primo nuovo asse sia massima, che quella sul secondo nuovo asse sia massima una volta fissato il primo asse, e così via. Si trova che una base ortonormale per i nuovi assi che soddisfa le condizioni precedenti è quella formata dagli autovettori associati agli autovalori della matrice delle correlazioni (o covarianze) di X; indicheremo tale base con (u 1,..., x p ). Proiettando i punti di R p sullo spazio generato da (u 1,..., x q ), con q <p, si trova la "miglior" approssimazione della nuvola in uno spazio di dimensione q. 2

3 Esempio sul dataset cars I dati che esamineremo sono tratti da H.V. Henderson & P.F. Velleman, Building Multiple Regression Models Interactively, Biometrics, 1981, pag I dati riguardano : modello nazione di fabbricazione consumo (litro/km) peso (in kg) rapporto di trasmissione al ponte potenza (in HP) cilindrata (in cm3) numero cilindri ripresa (sec./1 miglio da fermo) 3

4 Dati esaminati (file cars.xls): C N C D P I R A O R O L I Z N I T I N P T I S P V E N U R O I O U E E N D M E B P N M S _ Z R _ S S O E O O R A A C A 1 Buick Estate Wagon U.S Ford Country Squire Wagon U.S Chevy Malibu Wagon U.S Chrysler LeBaron Wagon U.S Chevette U.S Toyota Corona Japan Datsun 510 Japan Dodge Omni U.S Audi 5000 Germany Volvo 240 GL Sweden Saab 99 GLE Sweden Peugeot 694 SL France Buick Century Special U.S Mercury Zephyr U.S Dodge Aspen U.S AMC Concord D/L U.S Chevy Caprice Classic U.S Ford LTD U.S Mercury Grand Marquis U.S Dodge St Regis U.S Ford Mustang 4 U.S Ford Mustang Ghia U.S Mazda GLC Japan Dodge Colt Japan AMC Spirit U.S VW Scirocco Germany Honda Accord LX Japan Buick Skylark U.S Chevy Citation U.S Olds Omega U.S Pontiac Phoenix U.S Plymouth Horizon U.S Datsun 210 Japan Fiat Strada Italy VW Dasher Germany Datsun 810 Japan BMW 320i Germany VW Rabbit Germany

5 Statistiche elementari: Libellé Effectif Poids Moyenne Ecart-type Minimum Maximum consumo peso rapportot potenza cilindrata ncilindri ripresa nazione Effectif % / Total % / Expr. U.S Japan Germany Sweden France Italy Total É possibile notare che la maggior parte delle auto analizzate viene fabbricata negli Stati Uniti. Analisi bivariata: 5

6 Dal grafico sono evidenti le correlazioni tra consumo, peso, potenza, cilindrata e il numero cilindri. La variabile ripresa risulta essere meno correlata con le altre. Matrice di correlazione: Matrice des corrélations consumo peso rapporto potenza cilindrat ncilindri ripresa t a consumo 1.00 peso rapportot potenza cilindrata ncilindri ripresa Matrice des valeurs-tests consumo peso rapporto potenza cilindrat ncilindri ripresa t a consumo peso rapportot potenza cilindrata ncilindri ripresa Utilizzando la matrice dei valori Test si osserva che la variabile ripresa é meno correlata con le altre variabili. Cambiamento di coordinate Traslazione dell'origine nel baricentro Sia = ( 1,..., p ) il baricentro della nuvola. Sia Y la matrice dei punti centrati nel baricentro: Y = X - 1 n1 '. La matrice di varianza/covarianza di X e di Y è Y' Y. Per ottenere un'analisi indipendente dall'unità di misura di ciascuna variabile, i dati della matrice Y, oltre che centrati, vanno anche "standardizzati", ponendo: y i =. In questo caso la matrice = Y' Y è la matrice di correlazione. 6

7 Rotazione degli assi Viene effettuata quella rotazione tale che: la maggior intensità della dispersione dei punti coincida con la direzione del primo asse; lungo la direzione del secondo asse vi sia una dispersione maggiore di tutti i successivi, e così via. Esempio con due variabili Proiezione dei punti su un vettore Se v è un vettore di R p, v = (v 1,..., v p ), di lunghezza 1 (cioè v i 2 = 1) allora: - y( i)' v è la "lunghezza" della proiezione di y( i) sulla retta che ha la direzione di v - Y v è il vettore contenente le n proiezioni. Nuovi assi Come nuovo sistema di coordinate consideriamo la base ortonormale costituita dagli autovettori u 1,...,u p della matrice associati agli autovalori 1... p. Indichiamo con c j = Y u j il vettore delle proiezioni degli n punti y( i) sull'asse u j ; Questa base ha i requisiti voluti, infatti: i. 2 (c j) = j la varianza dei punti proiettati "lungo" il j-esimo vettore u j è uguale al j- esimo autovalore j ii. (c i, c j ) = 0 i vettori delle proiezioni dei punti sugli u 1,...,u p sono a due a due non correlati iii. Se v R p, v' v = 1 a. 2 (c 2 1) = sup v { (Y v) } la varianza dei punti proiettati "lungo" u 1 è la più grande fra le varianze dei punti proiettati "lungo" un generico vettore di R p b. 2 (c j) = sup v { Y v t.c. Y v è non correlato con c 1,..., c j-1 } la varianza dei punti proiettati lungo u j è la più grande fra le varianze dei punti proiettati lungo un generico vettore non correlato con c 1,..., c j-1 7

8 Autovalori della matrice di correlazione Tableau des valeurs propres Trace de la matrice: Numéro Valeur propre Pourcent age Pourcent age cumulé Intervalles laplaciens d'anderson (seuil: 0.95) Numéro Borne inférieur e Valeur propre Borne supérieu re IC Autovalori 95% Autovalore Ordine Autovalore Borne inférieure Valeur propre Borne supérieure Le prime due componenti spiegano l 88% della varianza presente nei dati. Possiamo ridurre il problema originale da 7 a 2 variabili con solamente il 22% di variabilitá non spiegata. 8

9 Autovettori Anciens axes unitaires Libellé de la Axe 1 Axe 2 Axe 3 Axe 4 Axe 5 variable consumo peso rapportot potenza cilindrata ncilindri ripresa Gli autovettori u j vengono detti assi principali (o assi fattoriali) della nuvola. Il vettore c j viene detto j-esima componente principale (o fattore principale) ed è determinata in modo univoco a meno del segno se j è un autovalore semplice. Le componenti principali c j possono essere interpretate come nuove variabili, essendo combinazioni lineari delle variabili di partenza. Ad esempio il valore della j-esima componente principale per la i-esima unità è: c j ( i) = y 1 ( i) u 1j + y 2 ( i) u 2j y p ( i) u pj Come già osservato le componenti principali c 1,..., c p hanno le seguenti proprietà: hanno media 0 hanno varianza 1,..., p decrescente, 1... p sono tra loro a due a due non correlate Fedeltà della rappresentazione in uno spazio di dimensione minore. La dispersione della nuvola attorno al baricentro, detta anche inerzia, è: I = x( i) - 2 = y( i) 2 = (y( i). u j ) 2 = 2 (c j) = j = traccia ( ) Se si rimpiazza la nuvola di punti y( i) con la sua proiezione nel sottospazio generato da (u 1,...,u q ), con q<p, la dispersione della nuvola proiettata è q. Se questa somma è grande in rapporto a q p si può dire che la proiezione è una buona rappresentazione della nuvola. 9

10 Più precisamente: si chiama fedeltà di una proiezione il rapporto fra la dispersione della nuvola proiettata e la dispersione della nuvola originale. Per quanto visto precedentemente, lo spazio generato da (u 1,...,u q ) è lo spazio di dimensione q più fedele possibile. La fedeltà della proiezione su tale spazio è: cioè il rapporto dell'inerzia nello spazio di dimensione minore rispetto all'inerzia originale. Per avere una rappresentazione piana delle proiezioni dei punti nello spazio generato da (u 1,...,u q ) in genere si proiettano i punti (c 1 ( i), c j ( i)), con j = 2,...,q. Tali rappresentazioni sono anche chiamate carte degli individui. (Proiezione degli individui) Carta degli individui carta degli individui sul primo piano fattoriale (perc.var. 88%) con indicata la nazione di fabbricazione 10

11 Dalle tabelle seguenti si puó osservare che é forte la rappresentazione nella prima CP della nazione di fabbricazione. Valeurs-Tests des modalités illustratives Libellé Effectif Poids absolu Distance à l'origine nazione U.S Japan Germany Sweden France Italy Axe 1 Axe 2 Axe 3 Axe 4 Axe 5 COORDONNEES, CONTRIBUTIONS ET COSINUS CARRES DES INDIVIDUS AXES 1 A INDIVIDUS COORDONNEES CONTRIBUTIONS COSINUS CARRES IDENTIFICATEUR P.REL DISTO Buick Estate Wagon Ford Country Squire Wago Chevy Malibu Wagon Chrysler LeBaron Wagon Chevette Toyota Corona Datsun Dodge Omni Audi Volvo 240 GL Saab 99 GLE Peugeot 694 SL Buick Century Special Mercury Zephyr Dodge Aspen AMC Concord D/L Chevy Caprice Classic Ford LTD Mercury Grand Marquis Dodge St Regis Ford Mustang Ford Mustang Ghia Mazda GLC Dodge Colt AMC Spirit VW Scirocco Honda Accord LX Buick Skylark Chevy Citation Olds Omega Pontiac Phoenix Plymouth Horizon Datsun Fiat Strada VW Dasher Datsun BMW 320i VW Rabbit

12 Correlazione fra le variabili e le componenti principali Supponiamo, per semplicità, di lavorare con variabili "standardizzate". La correlazione fra la variabile i-esima e la componente principale j-esima è: Consideriamo la matrice P = U ( ) 1/2 : (y i,c j ) = u ij j u 1 1 u u p p u ij j Nella colonna j-esima si può leggere quali variabili sono meglio correlate con la j-esima componente principale e quindi quali sono meglio rappresentate sul j-esimo asse principale. Nella riga i-esima si può leggere su quali assi principali è meglio rappresentata la i-esima variabile. Corrélations des variables actives avec les facteurs Libellé de la variable Axe 1 Axe 2 Axe 3 Axe 4 Axe 5 consumo peso rapportot potenza cilindrata ncilindri ripresa Commento: lettura per colonne: sul primo asse fattoriale sono ben rappresentate le variabili peso, potenza, cilindrata e numero cilindri (orientamento negativo per l'algoritmo utilizzato) e in misura minore le variabili consumo e drive ratio (orientamento positivo). sul secondo asse fattoriale è ben rappresentata la variabile ripresa (orientamento negativo) sul terzo asse la variabile rapporto di trasmissione al ponte, sul quarto il numero dei cilindri. 12

13 lettura per righe: il consumo, il peso, la potenza, la cilindrata e il numero cilindri sono meglio rappresentati sul primo asse la ripresa sul secondo il drive ratio sul terzo. Correlazione fra due variabili Indicando con p i una riga della matrice P precedente, la correlazione fra la variabile h-esima e la variabile k-esima sarà: (y h, y k ) = p h ' p k cioè il prodotto scalare fra le due righe di P. Disegnando i punti p ij = ( u i1 1, u ij j ), con j = 2,...,p si ottengono le cosiddette carte delle variabili (o cerchio delle correlazioni) che visualizzano la correlazione fra le variabili e le componenti principali 1 e j. Attraverso tali grafici (in particolare se j = 2) si può in qualche modo anche interpretare la correlazione fra le variabili, essendo p hj ' p hj una approssimazione di p h ' p k. L'analisi comparata delle carte degli individui e delle carte dei caratteri permette una descrizione delle rilevazioni statistiche considerate. Carta delle variabili o cerchio delle correlazioni 13

14 Commento: Essendo l'analisi in componenti normalizzate, le coordinate dei punti nella carta dei caratteri sono inferiori a 1 in valore assoluto; in effetti i punti sono a distanza 1 dall'origine in R 7 e l'operazione di proiezione non può che diminuire le distanze. Peso, potenza, cilindrata, numero cilindri e Consumo si trovano da uno stesso lato del primo asse fattoriale (e sono ben rappresentate su questo come visto precedentemente); una tale disposizione traduce il fatto che tali variabili sono in effetti ben correlate positivamente fra loro: se per un auto una variabile assume un valore elevato, tutte le altre assumono un valore elevato. drive ratio si trova ben rappresentavo dall'altro lato del primo perché correlato negativamente con le variabili precedenti. Questa caratteristica di numerosi dati sperimentali di avere molte variabili ben rappresentate sul primo asse viene detto fattore di scala. Qui il fattore di scala oppone le auto "grosse" dalle auto "medie". La ripresa si trova sul secondo asse (ed è ben rappresentata su questo come visto precedentemente) e ha in effetti una correlazione bassa con tutte le altre variabili e pertanto é rappresentata su un asse ortogonale alle precedenti. 14

15 Carta degli individui sul primo piano fattoriale La dimensione del cerchio é proporzionale al consumo (litri per km), mentre i colori rappresentano le nazioni secondo il grafico precedente. Commento: - dall'esame dei dati si osserva che: l'orientamento negativo del primo asse fattoriale corrisponde a valori alti di peso, cilindrata, numero cilindri e potenza e a valori alti di consumo (l/km) e drive-ratio (e queste variabili sono ben rappresentate su tale asse); l'orientamento negativo del secondo asse corrisponde a valori alti per la ripresa (e questa variabile è ben rappresentata su tale asse) - dall'esame complessivo della carta delle auto suddivise per nazione si può concludere che: le auto tedesche, italiane e giapponesi sono caratterizzate complessivamente da valori bassi per peso, cilindrata, numero cilindri e potenza e consumo e drive-ratio; in particolare un'auto giapponese pur avendo bassi valori per le variabili precedenti ha la ripresa massima e ciò è evidenziato dalla sua posizione in basso a destra; le auto statunitensi sono per lo più posizionate (ma non totalmente) sull'orientamento negativo del primo asse mentre si distribuiscono più o meno uniformemente rispetto al secondo: questo corrisponde a valori medio-alti per le variabili peso, cilindrata, numero cilindri e potenza e medio-alti per consumo e drive-ratio e a valori sia alti che bassi per la variabile ripresa. 15