f Z z 1,...,z n 1 2 n/2 exp 1 2 z z n 2.

Transcript

1 Riassuto sulle gaussiae ui-dimesioali Nel caso uidimesioale, abbiamo defiito la gaussiaa caoica N0,1 e la gaussiaa geerica N, descrivedo esplicitamete le loro desità di probabilità. Si verifica co u po di calcoli che e soo media e variaza. Tra le varie proprietà c è che Z N0,1 X : Z N, e viceversa, data X N,, esiste Z N0,1 (data da Z : X ) tale che X Z. Quidi, ua volta defiita la gaussiaa caoica tramite la sua desità, avremmo potuto defiire le gaussiae geeriche dicedo che erao le v.a. X della forma X Z. Gaussiae multi-dimesioali Nel caso multidimesioale, la defiizioe di gaussiaa caoica è abbastaza aturale: u vettore Z Z 1,...,Z si dice gaussiao caoico se le sue margiali Z 1,...,Z soo gaussiae caoiche idipedeti. Questo equivale a chiedere che la desità cogiuta f Z z 1,...,z di Z sia il prodotto delle desità margiali, quidi f Z z 1,...,z 1 / exp 1 z 1... z. Ivece la defiizioe di gaussiaa geerica è più laboriosa. U modo veloce di risolvere questa difficoltà è di defiire le gaussiae geeriche X i più dimesioi come tutti i vettori aleatori X X 1,...,X k che si ottegoo da gaussiae caoiche Z Z 1,...,Z tramite operazioi affii: X AZ dove A è ua matrice k e 1,..., k è u vettore dato. Affermiamo, seza dimostrazioe (si deve usare il teorema di cambio di variabile egli itegrali multipli), che se la matrice k k è ivertibile, allora X ha desità cogiuta Q AA T f X x 1,...,x k 1 k/ detq exp 1 Q1 x,x.

2 Si potrebbe partire da questa formula come defiizioe, ma col difetto che essa vale solo el caso i cui Q sia ivertibile. Si verifichi, a titolo di esempio, che la desità uidimesioale di ua N, è u caso particolare di questa espressioe più complessa. Se Q o è ivertibile, pur avedo seso i cocetto di v.a. gaussiaa (defiita come trasformazioe affie di ua caoica), essa o ha desità, i quato ha distribuzioe cocetrata su u sottospazio vettoriale di R strettamete più piccolo di R stesso. La fuzioe caratteristica ivece ha la forma e i Q,, dove iterviee solo Q e o la sua iversa. Quidi è sempre defiita, ache se Q o è ivertibile. Q è la matrice di covariaza Dato u vettore aleatorio X X 1,...,X k (ache o gaussiao), si chiama matrice di covariaza di X la matrice k k, che idicheremo co Q, di compoeti Q ij CovX i,x j EX i ix j j dove 1,..., k è il vettore dei valori medi: i EX i. Per u vettore aleatorio co diswtribuzioe qualsiasi, le gradezze medie e Q catturao alcue caratteristiche ma o tutte. Ivece, per u vettore gaussiao, essere descrivoo iteramete la distribuzioe. Chiariamo questo fatto a partire dalla defiizioe data sopra di vettore gaussiao: ua trasformazioe affie di u vettore gaussiao caoico, cioè X AZ. Per compoeti, questo sigifica X i A ij Z j i. Della gaussiaa caoica Z usiamo il fatto che EZ j 0, VarZ j 1, CovZ j,z j 1 per i i, CovZ j,z j 0 per i i. Vale allora: EX i E A ij Z j i A ij EZ j i i VarX i Var VarA ij Z j A ij A ij Z j i Var A ij Z j VarZ j A ij AA T i,i

3 CovX i,x i Cov A ij Z j, A i j Z j j 1 A ij A i j CovZ j,z j j 1 A ij A i j AA T i,i Abbiamo quidi verificato che, ella defiizioe X AZ, è il vettore dei valori medi e Q AA T è la matrice di covariaza. Abbiamo detto sopra che, oti e Q, la distribuzioe del vettore gaussiao è idetificata. Questo si capisce facedo riferimeto alla desità di probabilità, che è espressa solo tramite essi. Ci chiediamo però, cosa rilevate per alcue coisderazioi pratiche (es. di simulazioe): dati e Q, come ricostruiamo A i modo che valga X AZco Z caoico? Questo può essere molto utile per geerare u campioe preveiete da ua gaussiaa di media e covariaza assegata: se troviamo A, basta geerare u campioe gaussiao caoico (per la qual cosa basta geerare u vettore di campioi gaussiai caoici idipedeti) ed applicare la trasformazioe affie. Per calcolare, data Q, ua matrice A tale che Q AA T, basta usare i comadi: require(mgcv) A - mroot(q) Provare ad esempio co Q - B%*%t(B) dove B-matrix(ruif(80),10,8) verificado alla fie che A%*%t(A) è uguale a Q. Osserviamo però che la ricostruzioe di A data Q o è uivoca: se A verifica Q AA T, allora per ogi matrice quadrata U tale che UU T I (dette matrici uitarie o di rotazioe) vale che pure AU verifica AUAU T AUU T A T AA T Q. Questo o deve stupire ituitivamete: predere la matrice AU al posto di A sigifica usare la rappresetazioe X AUZ, dove però ache UZ è caoico (la rotazioe di ua gaussiaa simmetrica è ua gaussiaa simmetrica). Si può dimostrare che date A e B che risolvoo etrambe il problema Q AA T, Q BB T, esiste ua rotazioe U tale che B AU, cioè A e B differiscoo per ua rotazioe (u cambio di coordiate). Questi ragioameti soo alla base ache delle rotazioi el metodo dell aalisi fattoriale. Aggiugiamo ifie che la matrice di correlazioe è ivece defiita ij CovX i,x j VarX ivarx j. Essa o compare ella desità gaussiaa o ella defiizioe di gaussiaa. Però è utile per ricooscere il legame tra le compoeti, libero dal problema dell uità di misura. La correlazioe tra due v.a. ifatti è sempre compresa tra -1 e 1. Segaliamo ifie che, metre per ua coppia di v.a. qualsiasi l idipedeza implica covariaza (e quidi correlazioe) ulla ma il voceversa o vale i geerale, ivece per ua coppia gaussiaa

4 l idipedeza è equivalete a covariaza (e quidi correlazioe) ulla. Esempio: caso -dimesioale La matrice di covariaza i questo caso ha la forma Q X CovX,Y CovX,Y Y X X Y X Y Y quidi Q 1 1 X Y X Y Y X Y X Y X X X Y X Y 1 Y. Pertato x y Q 1 x y 1 1 x X y Y xy X Y ed essedo detq 1 X Y, troviamo ifie fx,y 1 X Y 1 exp 1 1 x X y Y xy X Y. Isiemi di livello di ua gaussiaa multi-dimesioale Limitiamoci a ragioare sul caso i cui Q è ivertibile. Gli isiemi di livello della desità soo gli ellissoidi Q 1 x,x r al variare di r 0. Vediamoe i dettaglio la ragioe, i modo da capire meglio ache il ruolo degli autovettori ed autovalori di Q. Seza restrizioe, ragioiamo el caso 0, altrimeti basta ripetere le cosiderazioi sostituedo all origie degli assi cartesiai. Affermiamo che la superficie Q 1 x,x r è u ellissoide. Ifatti Q è ua matrice simmetrica defiita positiva. Per u oto teorema, esiste (almeo) ua base ortoormale di R, che idichiamo co e 1,...,e, fatta di autovettori di Q: Qe i i e i. Suppoiamo ordiati i modo decrescete gli autovalori i :

5 1.... Se gli autovalori soo diversi tra loro, la base e 1,...,e è uica, altrimeti o. Riscrivedo Q ella base e 1,...,e, essa diveta ua matrice diagoale, co elemeti 1,,..., sulla diagoale. Automaticamete, ragioameti aaloghi valgoo per Q 1 : si dimostra facilmete che Q 1 e i 1 i e i (ell ipotesi che Q sia ivertibile, gli autovalori o possoo essere ulli), quidi Q 1, ella base e 1,...,e, diveta ua matrice diagoale co elemeti 1,,..., sulla diagoale. Pertato, dette y y 1,...,y le coordiate ella base e 1,...,e, l equazioe Q 1 x,x a si scrive y 1 1 y... y r. Questa è l equazioe di u ellisse avete come assi pricipali gli assi cartesiai, e come ampiezze lugo tali assi i valori i. Ad esempio, l ellisse ha la forma della figura 1. x 5 y 4 1 y x Ellisse di equazioe x 5 y 4 1. Ricordiamo però di aver eseguito u cambio di base: pertato, elle coordiate origiarie x x 1,...,x gli isiemi di livello di f soo ellissoidi co assi dati dagli autovettori di Q, ed ampiezza lugo gli assi data dalle radici quadrate dei corrispodeti autovalori. Osserviamo ifie che se estraiamo u campioe sperimetale da X, i puti sperimetali formerao più o meo ua uvoletta ellissoidale simile agli ellissoidi di Q. Quidi Q è legato alla geometria dei dati sperimetali. Naturalmete questo permette ache di stimare Q a partire da tali dati. Spiegazioe del metodo PCA Media e covariaza descrivoo quidi, el caso gaussiao, la geometria della desità di probabilità. Se immagiiamo di estrarre a caso u cetiaio di valori da ua tale gaussiaa, i valori sperimetali si troverao causalmete distribuiti secodo la desità, quidi più cocetrati dove f è più grade e viceversa. Quidi i valori sperimetali formerao ua sorta di uvola vagamete ellissoidale, i cui la forma elissoidale segue gli ellissoidi descritti sopra (e cetrati i, o ell origie). Questa è la base logica dietro il metodo delle Compoeti Pricipali (Pricipal

6 Compoet Aalysis, PCA). Dato u campioe sperimetale x 1,...,x N di umerosità N, fatto di puti di R, si immagia che esso sia geerato (almeo approssimativamete) da ua gaussiaa ad dimesioi; si calcola la covariaza empirica Q a partire dal campioe sperimetale e si ipotizza che sia ua buoa approssimazioe della covariaza teorica Q della gaussiaa; si calcolao autovettori ed autovalori di Q (che diremo empirici ), e 1,..., e, 1,...,, che si immagiao essere ua buoa approssimazioe di quelli teorici di Q. Questo, iazi tutto, chiarisce cosa fa il SW per realizzare il grafico descritto ella prima lezioe: calcola Q e e esegue l aalisi spettrale. Se ora ci mettiao ella base e 1,..., e, gli ellissoidi soo riferiti agli assi cartesiai. Il SW visualizza il piao e 1, e e la proiezioe su esso dei dati e degli assi coordiati origiari. Si oti che gli autovalori di e 1, e soo i più gradi, cioè e 1, e soo gli assi più lughi degli ellissoidi. Come abbiamo detto ella prima lezioe, questa è i u certo seso la miglior visualizzazioe dei dati. E il puto di vista secodo cui essi appaioo più distiguibili. Riapriamo R e rieseguiamo le operazioi delle prima lezioe. Aggiugiamo però u po di aalisi. Eseguiamo sum marypca. Questo forisce l importaza delle compoeti e 1,..., e. Nella prima riga viee data la deviazioe stadard dei dati rispetto a ciascua compoete. Si può dimostrare che il loro quadrati, cioè la variaza dei dati rispetto alle compoeti, soo uguali agli autovalori: i è la variaza dei dati letti secodo (cioè proiettati lugo) l asse e i. Naturale quidi che le deviazioi stadard riportare dal SW siao i ordie decrescete. La secoda riga riporta la proporzioe di variaza spiegata da ciascua compoete e 1,..., e. Ad esempio, , la proporzioe della prima compoete, è il rapporto tra la variaza della prima compoete e la somma delle variaze di tutte le compoeti. La terza riga cumula questi valori. Questo serve a verificare ad occhio la proporzioe di variaza spiegata dalle prime k compoeti (es. dalle prime due). I questo esempio, le prime due, e 1, e, cotegoo l 84% della variabilità complessiva. U buo idice della loro rilevaza e del fatto che o si commette troppo errore a trascurare la raffigurazioe rispetto alle altre compoeti. Osserviamo ora che il metodo PCA è efficace se accade quato vediamo i questo esempio, cioè che le prime, poche, compoeti cotegoo quasi tutta la variaza. Altrimeti sigificherebbe che gli ellissoidi soo quasi delle sfere, el qual caso o servoo rotazioi e diversi puti di vista: comuque vediamo i dati, essi soo disposti abbastaza sfericamete (quidi il metodo è iutile). Esame della correlazioe tra gli idicatori E iteressate esemiare la matrice Q direttamete, col SW. Eseguedo Q covib si carica ella tabella Q la matrice di covariaza empirica dei dati, che poi si può leggere scrivedo semplicemete Q. Gli elemeti sulla diagoale soo le variaze degli idicatori, pari ad 1 i questo esempio perche abbiamo stadardizzato i dati all iizio. Gli altri umeri idicao la maggior o mior relazioe tra le variabili, ed il sego della relazioe. Si può ache visualizzare il risultato col comado (u po oioso): filled.cotour(q, color terrai.colors,

7 plot.title title(mai Correlatio Matrix, xlab idicatore, ylab idicatore ), plot.axes { axis(1, seq(1, 15, by 5)) axis(, seq(1, 15, by 5)) }, key.title title(mai covar ), key.axes axis(4, seq(-1, 1, by 0.))). Coviee, come sempre, avere questi comadi salvati su u file di riferimeto. Previsioe co le compoeti pricipali? Nel caso D, trovare le compoeti pricipali somiglia ad effettuare la regressioe lieare. Si pesi ad ua uvola di puti el piao. Se la uvola è abbastaza ellissoidale, l asse pricipale dell ellissoide - che si trova col metodo PCA - è ache la retta di regressioe, cioè la retta che passa più vicia ai dati. Quado si possiede la retta di regressioe tra dati X ed Y, la si può usare per prevedere i valori di Y i corrispodeza a valori di X acora o sperimetati. I realtà questa corrispodeza tra PCA e regressioe o è completameta vera. Ifatti l usuale regressioe lieare utilizza come criterio di viciaza tra dati e retta la distaza i verticale tra questi. Ivece PCA è più geometrico, legato quidi alla distaza euclidea (perpedicolare alla retta, per così dire). I più di due dimesioi, l ituizioe geometrica è meo ovvia e o l approfodiamo. Però il metodo Factor aalysis descritto el seguito è i u certo seso ua risposta (se pur teorica) a questa domada.