62 CAPITOLO 3. STATISTICA DESCRITTIVA

Transcript

1 62 CAPITOLO 3. STATISTICA DESCRITTIVA Raccogliamo su una popolazione di n individui i dati relativi a m caratteri (variabili) e riportiamoli in una matrice, dove le righe (n) sono relative ad individui diversi e le colonne (m) sono relative a caratteri diversi. x 11 x 12 x 1m x 21 x 22 x 2m X := (3.11)... x n1 x n2 x nm La costruzione della matrice ha senso, ovviamente, quando prendiamo in considerazione solo variabili numeriche. Esempi. Peso, altezza, età di un gruppo di persone; peso, dimensioni, porosità di un campione di laterizi, etc... È evidente che per ciascuna variabile (ovvero, per ogni colonna j) ha senso calcolare la media, la varianza e la deviazione standard: µ j := x j = 1 n n x ij ; σ 2 j := V ar[x j ] = 1 n 1 n (x ij µ j ) 2 ; := Std[x j ] = V ar[x j ], Se indichiamo con X h la variabile corrispondente all h esima colonna della matrice (3.11), possiamo definire la covarianza fra due caratteri qualunque (diciamo il j esimo e l l esimo): Cov[X j, X l ] := 1 La definizione implica ovviamente che Qundi, ad esempio (x ij µ j )(x il µ l ). Cov[X j, X j ] = V ar[x j ]. c 11 := Cov[X 1, X 1 ] = V ar[x 1 ] = 1 e per la simmetria della covarianza, i.e. Cov[X j, X l ] = Cov[X l, X j ] (x i1 µ 1 ) 2

2 3.3. CAMPIONI MULTIVARIATI, PCA E CLUSTERING 63 avremo, ad esempio c 12 := Cov[X 1, X 2 ] = c 21 = 1 (x i1 µ 1 )(x i2 µ 2 ). La matrice costruita con le covarianze c ij è dunque una matrice (k k), simmetrica, dove sulla diagonale compaiono le varianze dei caratteri in esame: c jj = Cov[X j, X j ] = V ar[x j, X j ]. c 11 c 12 c 1k c 12 c 22 c 2k... c k1 c k2 x kk (3.12) La matrice dei dati X può essere riportata ad una versione standardizzata, in modo da rendere le variabili adimensionali e a media nulla: x ij y ij := x ij x j, dove è la deviazione standard della variabile j esima. La matrice Y sostituisce la X e i dati standardizzati Y J sostituiscono i dati reali X j, j = 1, 2,..., k. Verifichiamo che gli Y J abbiano media nulla e varianza unitaria: Ȳ j := 1 n y ij = 1 n σ 2 j = V ar[y j ] := 1 poiché Ȳj = 0. Avremo quindi x ij µ j = 1 n ( x ij (y ij Ȳj) 2 = 1 n µ j ) y 2 ij = 0. V ar[y j ] = 1 y 2 ij = 1 (x ij µ j ) 2 σ 2 j = 1 ()σ 2 j (x ij µ j ) 2 = ()σ2 j ()σ 2 j = 1. Dalla matrice dei dati standardizzati Y, possiamo costruire la matrice di covarianza Cov[Y h, Y l ], che risulterà essere una matrice quadrata e simmetrica di dimensioni k k (k è il numero di variabili misurate sugli n individui). Esempio

3 64 CAPITOLO 3. STATISTICA DESCRITTIVA Consideriamo una matrice di covarianza per le variabili standardizzate Y h (h è l h simo carattere, h=1,2,...,k.), vettori di dimensione n, pari al numero di individui del campione: C Y := Cov[Y h, Y m ], h, m = 1, 2,..., k. Se indichiamo con Y (e con Y t la sua trasposta) la matrice (n k) dei dati standardizzati, e quindi a media nulla, è facile verificare che C Y = 1 Y t Y. Costruiamo, a titolo di esempio, una matrice C Y ad hoc, una matrice di piccole dimensioni (3 3), che abbia un paio di autovalori grandi: C Y = (3.13) Utilizzando Matlab, con l istruzione eig(c Y ), otteniamo gli autovalori di C Y : eig(c Y ) = (9, 7, 1), con due autovalori molto maggiori del terzo. Cerchiamo adesso una matrice U, ortogonale, che faccia passare dalle variabili standardizzate, ma fra loro correlate, Y (matrice n k), alla matrice di variabili Z, delle stesse dimensioni, ma di variabili standardizzate e incorrelate. Cerchiamo quindi di trovare delle combinazioni lineari delle Y che producano delle nuove variabili Z incorrelate: Z = Y U Z t = U t Y t. (3.14) Le nuove variabili Z, in quanto combinazione lineare delle variabili standardizzate Y hanno ancora media nulla. La matrice di covarianza per i vettori Z l, l = 1, 2,..., k, è ancora esprimibile come Abbiamo quindi, usando la (3.14): C Z := Cov[Z i, Z j ] = 1 Zt Z. C Z = 1 Zt Z = 1 Zt Y U = 1 U t Y t Y U = U t C Y U. (3.15) Consideriamo la seguente matrice ortogonale: U = (3.16)

4 3.3. CAMPIONI MULTIVARIATI, PCA E CLUSTERING 65 U è stata ottenuta come prodotto di due matrici di rotazione attorno a due assi non ortogonali (vedere gli angoli di Eulero). U = U 1 U 2 dove e U 1 = = U 2 = Osserviamo che, sempre utilizzando Matlab, = det U = 1. Se diagonalizziamo C Y, otteniamo: C Z = U t C Y U = (3.17) Possiamo adesso vedere come risulta la composizione diz in termini delle Y. La matrice dei dati standardizzati e incorrelati Z si ottiene dalla matrice dei dati standardizzati Y per mezzo del prodotto con la matrice ortogonale U: Z = Y U Vediamo che tipo di matrice di dati può generare una matrice di covarianza 3 3 e consideriamo una matrice di dati 2 3, ovvero una matrice dove sono rilevati tre caratteri diversi su due individui: z 11 z 12 z 13 Z = z 21 z 22 z 23

5 66 CAPITOLO 3. STATISTICA DESCRITTIVA Analogamente per la matrice Y avremo y 11 y 12 y 13 Y = y 21 y 22 y 23 Per effettuare il calcolo Y U con più semplicità possiamo scrivere U, definita in (3.16), come u 11 u 12 u 13 U = u 21 u 22 u 23 u 31 u 32 u 33 La variabile Z 1 è quella che ha varianza più grande (9) e corrisponde alla prima colonna della matrice Z: Z 1 = z 11 z 21 Calcolando esplicitamente z 11 = u 11 y 11 + u 21 y 12 + u 31 y 13 che, riassunta in termini vettoriali dà: z 21 = u 11 y 21 + u 21 y 22 + u 31 y 23 Z 1 = u 11 Y 1 + u 21 Y 2 + u 31 Y 3 = 0.5Y Y 2. Procedendo in modo del tutto analogo per abbiamo Z 2 = Z 2 = u 12 Y 1 + u 22 Y 2 + u 32 Y 3 = 0.75Y Y 2 0.5Y 3. z 12 z 22