4. Matrici e Minimi Quadrati Matrici e sistemi di equazioni di lineari Formulazione matriciale del metodo dei minimi quadrati Regressione polinomiale Regressione non lineare Cross-validazione e overfitting Regressione lineare multipla (MLR)
Sistemi Lineari e Matrici Un sistema lineare è un insieme di n equazioni lineari in n incognite È noto che le incognite possono essere determinate con semplicità utilizzando il formalismo matriciale a x b y k c x d y g a c b x d y k g A x k x A -1 k Il sistema quindi ammette soluzione, cioè è invertibile, se la matrice A ammetta la sua inversa quindi se det(a) Quindi se tutte le equazioni sono linearmente indipendenti una rispetto all altra 2
Formalismo matriciale y i a x i b y 1 y n a b esempio: n= 2 senza errori di misura 1 Y 1x2 K 1x2 X 2x2 K 1x2 Y 1x2 X 2x2 Y 1xn K 1x2 X 2xn 1 1 x 1 x n X -1 è detta matrice inversa di X 1 a b c d X 2x2 Inversamente proporzionale al determinante Se due righe o colonne sono proporzionali o combinazione lineare delle altre il determinante della matrice è e la matrice inversa diverge! Problema della co-linearità nella soluzione dei problemi lineari. 1 d det X b det X c det X a det X 3
In presenza di errori di misura x y i a x i b e i y 1 y n a b 1 x n e 1 e n 1 1 Y 1xn K 1x2 X 2xn E 1xn In presenza di errori di misura ci sono n righe indipendenti con n>2 La soluzione minimi quadrati, in cui cioè la norma del vettore E 1xn si ottiene, formalmente come nel caso precedente scambiando l operazione di inversione con quella di pseudo-inversione o inversa generalizzata (teorema di Gauss-Markov) esempio: n= 2 con er rori di misura Y 1xn K 1x2 X 2xn E 1xn ; min E 1xn K 1x2 Y 1xn X nx2 4
Matrice Pseudo-inversa a.k.a. inversa generalizzata o inversa di Moore Definita attraverso le relazioni di Moore: Calcolo pratico: X X X X X X X X X X * X X X X * X X Esiste se det X T X. Pinv(x) in Matlab PseudoInverse[x] in Mathematica X X T X 1 X T 5
Regressione Polinomiale Una relazione funzionale polinomiale può essere scritta in forma matriciale. Il problema ai minimi quadrati si può risolvere applicando il teorema di Gauss-Markov Polinomio di grado n; n+1 parametri; m>n+1 misure sperimentali y a a 1 x a 2 x 2 a n x n 1 1 x y 1 y m a a 1 a 1 x m n e 1 e m n n x 1 x m Y 1xm K 1xn 1 X N 1xm E 1xm min E 1xm K 1xn 1 Y 1xm X mxn 1 6
Regressione non-lineare Se la funzione f(x) non permette l applicazione della regressione matriciale il problema ai minimi quadrati ammette una soluzione numerica. y f x;k 1,,k m e Algoritmi iterativi che generalizzano la soluzione al problema f(x)=. Metodo di Newton o della tangente Metodo iterativo che procede, da un punto iniziale, verso la soluzione Sensibile al punto di partenza, false convergenze verso punti di minimo. xi+1 a ²x xi f(xi) ²x=f(xi)/tan(a) = f(xi)/f'(xi) x i 1 x i f x i df dx x i 7
Generalizzazione alla soluzione di sistema di equazioni non lineari Algoritmo di Newton-Rhapson y 1 f x 1,k 1,,k n y n f x n,k 1,,k n k i 1 k i J 1 k i fk i y dove J ij f i k j La soluzione passa attraverso l inversione dello Jacobiano (J ij ) 8
Minimi quadrati non-lineari Algoritmo di Ben-Israel y 1 f x 1,k 1,,k n e 1 y m f x n,k 1,,k n e m k i 1 k i J k i fk i y dove J ij f i k j Versione ottimizzata: algoritmo di Levenberg-Marquardt 9
Modello lineare o non-lineare? Il problema della validazione Quale è la migliore funzione che descrive i dati sperimentali? Quella che consente di predirre con errore minimo le variabili che non sono state usate per costruire il modello. L operazione che consente di stimare questo errore si chiama crossvalidation. Esempio: consideriamo i seguenti dati in cui si ha: y=f(x)+e Quale è la migliore funzione che descrive la relazione tra y e x? y x 1
Esempi di soluzione lineare Moderatamente non lineare Altamente non lineare 11
Il metodo del test L insieme dei dati viene diviso in due Il modello viene determinato su un sottoinsieme dei dati (insieme di calibrazione training set) L errore viene valutato sull altro sottoinsieme (insieme di test test set) La stima dell errore di predizione dell insieme di test è significativa della capacità di generalizzazione del modello. Cioè della sua applicabilità a dati non utilizzati per la calibrazione. Quindi all utilizzo del modello nel mondo reale per stimare grandezze incognite. 12
Stimatori della prestazione della regressione PRESS- Predicted Sum of Squares PRESS RMSEC - Root Mean Square error of calibration i y LS i y 2 i RMSEC PRESS N RMSECV - Root Mean Square error of Cross-Validation Per un modello che include k campioni non inclusi nel modello stesso RMSECV k PRESS k N 13
Applicazione del metodo del test I dati segnati in rosso sono il test set. Il modello è calcolato sui restanti dati (punti blù). L errore sui dati di test è valutato come RMSECV RMSECV=2.4 RMSECV=.9 RMSECV=2.2 14
Discussione Il metodo migliore è quello moderatamente non lineare (quadratico) Il metodo lineare ha un errore grande sia in calibrazione che in test Il metodo fortemente non lineare ha un errore di calibrazione nullo ma un errore di test elevato. Tale modello è troppo specializzato nel descrivere i dati di calibrazione e non è in grado di generalizzare cioè di trattare adeguatamente i dati non usati per la calibrazione. Tale effetto si chiama overfitting ed è tipico nel caso di modelli fortemente non lineari. Inciso: dati n punti questi sono fittati perfettamente da un polinomio di ordine n 15
Considerazioni sul metodo del test-set Il metodo è molto semplice ma richiede insiemi di dati numerosi. La selezione degli insiemi non è semplice in generale va fatta in maniera casuale ma bisogna evitare di sbilanciare i due insiemi È bene controllare che i due insiemi abbiano la stessa varianza e la stessa media Se i due insiemi sono disgiunti si possono verificare fenomeni di overfitting apparente Inciso: a parte casi semplici, in genere i modelli falliscono nelle estensioni analitiche cioè nella predizione di misure fuori del range considerato per la calibrazione. 16
Leave-One-Out cross-validation Nel caso di insiemi numerosi di dati il metodo del test set si può utilizzare senza problemi, ma quando il numero di dati diventa esiguo è necessario ricorrere ad altre strategie per la scelta della funzione e per la stima dell errore. Il metodo più utilizzato in tal senso è il leave-one-out Letteralmente lasciane uno fuori Il metodo consiste nel ridurre a 1 il contenuto dell insieme di test, e nel valutare l errore di predizione rispetto al dato eliminato. Eliminando consecutivamente tutti i dati e facendo la media degli errori ottenuti si ottiene una stima robusta dell errore di predizione del modello funzionale. Passo i-esimo: Escludere il dato i Calcolare la regressione sugli n-1 dati Valutare l errore di predizione rispetto al dato i-esimo Immagazzinare il valore in i L errore finale di predizione è la 17 media degli i
LOO modello lineare RMSECV=2.12 18
LOO modello moderatamente non lineare (quadratico) RMSECV=.96 19
LOO modello altamente non lineare RMSECV=3.33 2
Confronto test - LOO LOO fornisce una stima migliore dell errore di predizione rispetto al test set la cui stima dell errore è inattendibile. LOO sfrutta al massimo l intero set di dati. Ovviamente LOO è il metodo del test set con insieme di validazione di ampiezza minima. Per insiemi di grandi dimensioni LOO è dispendioso dal punti di vista del calcolo. Può essere ammorbidito considerando più insiemi di k dati. 21
Sistemi Lineari e matrici di dati In un sistema lineare, ogni equazione definisce una funzione di più variabili. Nella scienza analitica i sistemi lineari consentono di estrarre informazioni da metodi di misura non specifici, cioè nei quali il risultato della misura non è funzione solo di una grandezza ma di più grandezze caratterizzanti un campione. Quando però si considerano dati sperimentali bisogna tenere conto di tre fattori: Errori di misura Dipendenza da più grandezze rispetto a quelle considerate Limiti della relazione lineare Tutto ciò fa si che ad esempio la risposta di una misura (y) rispetto a due variabili (x 1, x 2 ) si possa scrivere come: y k 1 x 1 k 2 x 2 e Il termine e contiene i tre fattori sopra elencati 22
Sistemi lineari e matrici di dati Dato un metodo di misura come il precedente per la misura delle grandezze x 1 e x 2 è necessario almeno disporre di un altro metodo di misura ma con coefficienti differenti y 1 k 1 x 1 k 2 x 2 e 1 y 2 w 1 x 1 w 2 x 2 e 2 Si noti che in assenza dei termini e il sistema sarebbe deterministico, e due equazioni sarebbero il massimo necessario per ricavare due variabili Nel senso che ogni altra equazione sarebbe necessariamente combinazione lineare delle prime due La presenza dei termini e fa si che il problema della determinazione di x 1 e x 2 sia un problema statistico simile al problema della regressione e quindi risolvibile con il metodo dei minimi quadrati In particolare, si possono avere più equazioni che termini incognite anzi maggiore è il numero di equazioni minore è l errore di stima 23
Osservabili selettivi e non selettivi Le quantità osservabili possono essere, rispetto alle variabili da misurare, selettivi o non selettivi Selettivi: L osservabile dipende in maniera dominante da una variabile Non selettivi: l osservabile dipende da più variabili Gli osservabili non selettivi sono gli oggetti della analisi multivariata coefficiente Osservabile specifico coefficiente Osservabile Non selettivo variabili variabili z k j C j z k i C i i 24
Osservabili non selettivi Esempio: Spettri ottici L assorbimento ad una data frequenza dipende dalla concentrazione di più specie Gas cromatogrammi L intensità di una riga può risultare dalla concentrazione di più composti con tempi di eluizione simili Sensori chimici La risposta di una sensore è data dalla combinazione di più sostanze a seconda della loro concentrazione e della loro affinità con il sensore stesso. 25
Parametri importanti dei metodi analitici: la sensibilità e la risoluzione Dato un metodo analitico, si definisce sensibilità il rapporto tra la variazione del risultato del metodo e la corrispondente variazione della variabile misurata. Tale quantità corrisponde alla seguente derivata: S Y X La risoluzione indica la quantità minima misurabile della variabile considerata, essa è generata dall errore di misura ed è definita da: R X Y S Y Y S X Y X X Y X X Y S X 26 X X X X
Spazio delle variabili e spazio degli osservabili: caso di osservabili selettivi Y 1 ax 1 bx 2 Spazio delle variabili Y 2 cx 1 dx 2 X 2 Se I due osservabili sono i X 1 Osservabile 2 K a c b d 1 1 Osservabile 1 Correlazione=1-det(K)= 27
Spazio delle variabili e spazio degli osservabili: caso di osservabili non selettivi Correlazione parziale osservabile 2 <C<1 a b K c d a, b, c, d Osservabile 1 X 2 X 1 Correlazione totale C=1 K a b c d a d b c 28
Multiple Linear Regression Dati n osservabili ognuno dipendente da m variabili e caratterizzato da errore di misura nel senso esteso del termine, le m variabili possono essere statisticamente stimate utilizzando il metodo dei minimi quadrati. Ovviamente dovranno essere rispettate le 4 condizioni del metodo dei minimi quadrati: 1 L errore su y è molto maggiore dell errore su x 2 Y è distribuita normalmente 3 Gli eventi osservati sono indipendenti 4 Le misure hanno varianza uguale 29
q Multiple Linear Regression k q q k n Y = X * B + E n n k = n osservabili n =n misure q= n variabili misurabili Y=XB+E 3
Multiple Linear Regression Come nel caso dei minimi quadrati monovariati, si identificano due fasi: Calibrazione: misurando gli osservabili Y relativi a variabili note X si determina la matrice B Utilizzo: conoscendo la matrice B si ricavano le migliori stime per le quantità X dalle misure degli osservabili Y Calibrazione: Noti X e Y la migliore stima per B è data dal teorema di Gauss-Markov: B MLR X Y Se X è di rango massimo si può calcolare la pseudoinversa come: B MLR X T X 1 X T Y Significa imporre che ogni osservabile sia indipendente dagli altri 31
Significato della MLR La soluzione del teorema di Gauss-Markov è detta anche estimatore BLUE (best linear unbiased estimator) cioè è lo stimatore di varianza minima In pratica B MLR massimizza la correlazione tra X e Y Geometricamente la soluzione trovata corrisponde ad una proiezione ortogonale di Y in un sottospazio di X. Y MLR X B MLR X X T X 1 X T Y Y è una matrice di proiezione ortogonale in un sottospazio di X e Y Y LS 32
Utilizzo pratico In pratica conviene imporre la dipendenza lineare tra le grandezze da misurare e gli osservabili ipotizzando un errore distribuito normalmente X Y B e La soluzione minimi quadrati è quindi data da: X MLR Y B MLR E la matrice B MLR viene stimata dalla seguente: B MLR Y X 33
Limitazioni della MLR La Pseudoinversa può essere risolta agevolmente nel caso in cui il rango di X sia massimo e quindi gli osservabili siano indipendenti Questa condizione non è sempre vera: In una riga spettrale, tutte le frequenze della riga sono verosimilmente formate dalle stesse variabili con coefficienti pressochè simili Nel caso in cui il rango non sia massimo siamo nella condizione di avere osservabili fortemente correlati, questo grossi errori nel calcolo della pseudoinversa che portano ad errori di stima delle variabili non accettabili se la correlazione è troppo elevata. In questi casi bisogna trovare un metodo che riduca la correlazione tra gli osservabili. Bisogna in pratica trovare delle nuove variabili dipendenti (funzione degli osservabili) che non siano soggette alla eccessiva correlazione. 34
Esempio misura di clorofilla ed antociani in una popolazione di pesche con spettroscopia Vis-NIR Spettri (Y) Clorofilla e Antociani (X) 1.8.25 1.6 1.4.2 1.2.15 1.8 ANTOCIANI.1 TextEnd.6.4.5.2 5 1 15 1 1.5 2 2.5 3 3.5 4 4.5 CLOROFILLA 35
Definizione di MLR Dati suddivisi in due insiemi: calibrazione e validazione Ipotesi: le grandezze X sono calcolabili come combinazione lineare dei valori spettrali Y più un errore che distribuito normalmente. X Y B e La stima LS di X è quindi: X MLR Y B MLR E la matrice B MLR è data da: B MLR Y X 36
risultati Coefficienti matrice B 1 5-5 -1 5 1 15.4.2 -.2 -.4 -.6 5 1 15 37
risultati Confronto Y LS ed Y Scatter plot: ascissa: valore vero; ordinata: valore stimato 4.5 calibrazione 8 validazione 4 6 clorofilla 3.5 3 2.5 4 2 2 2 2.5 3 3.5 4 4.5 2 4 6 8.25.4 antociani.2.15.1.5.3.2.1.5.1.15.2.25.1.2.3.4 38
5. L Analisi delle Componenti Principali (PCA) Analisi della Varianza PCA e diagonalizzazione della matrice di covarianza Scores e Loadings Sviluppo di matrici e residui Applicazioni all analisi delle immagini Applicazione alla regressione multivariata: Principal Components Regression (PCR)
Lo spazio degli osservabili Ogni misurazioni multivariata è rappresentata da un vettore in uno spazio a N dimensioni N è pari alla dimensione del vettore che esprime la osservazione La distribuzione statistica dei punti (vettori) definisce le proprietà dell intero set di dati. Per ogni grandezza multivariata rappresentabile in uno spazio vettoriale a dimensione N possiamo definre una PDF multivariata. Corollario di grande importanza: osservazioni che descrivono campioni simili sono rappresentate da punti vicini Relazione quindi tra distanza reciproca e similitudine tra campioni (Ipotesi base della pattern recognition) variabler 2 S={S 1,,S n } variable 1 4
Statistica descrittiva multivariata Come per una distribuzione univariata possiamo definire i descrittori fondamentali: Media scalare vettore Varianza scalare matrice (matrice di covarianza). La distribuzione normale definita per una variabile univariata conserva la sua importanza nella statisica multivariata 41
La matrice di covarianza La varianza di una distribuzione univariata definisce la ampiezza della distribuzione stessa, in pratica il range di valori della variabile che hanno una probabilità reale di essere osservati In pratica il 99% della probabilità si ottiene in un range ampio 3 attorno al valore medio. Poiché la normale è simmetrica attorno al valore medio i punti di isoprobabilità sono 2 a distanza uguale dalla media In una distribuzione multivariata la matrice di covarianza definisce l ampiezza della PDF e definisce il grado di correlazione tra le variabili stesse Il luogo dei punti di isoprobabilità è una ellisse ottenuta come forma quadratica avente come matrice la matrice di covarianza Esponente della PDF multivariata La matrice di covarianza può essere stimata dai dati come: cov(xy)=x T y. 42
Colinearità In un problema MLR la soluzione, stima della variabili x, si ottiene invertendo (meglio pseudoinvertendo) la matrice degli osservabili y Tale operazione è possibile se il rango della matrice y è massimo cioè se il numero di colonne linearmente indipendenti coincide con il numero di colonne della matrice. Cioè se tutte gli osservabili sono linearmente indipendenti tra di loro Se esiste una parziale dipendenza, cioè se i coefficienti della combinazione lineare sono rigorosamente non nulli, l inversione numerica della matrice comporta grossi errori di calcolo Questo effetto si chiama colinearità 43
Esempio di colinearità In uno spettro ottico le righe spettrali coprono un intervallo di lunghezze d onda, tale intervallo è generalmente coperto da più canali spettrali, di modo che più variabili concorrono a formare una riga spettrale. Se la riga è proporzionale ad una caratteristica del campione (es. concentrazione di glucosio) tutti i canali spettrali relativi alla riga saranno in egual modo proporzionali alla caratteristica del campione, quindi le relative variabili (colonne nella matrice dei dati) risulteranno colineari Sono colineari le variabili che dipendono quantitativamente da caratteristiche del campione Spettro NIR di frutti.12 Variabili colineari.1.8.1.6.8 Absorbance.4.2 TextEnd Absorbance.6.4 TextEnd -.2 -.4 -.6 1 15 2 25 Wavelenght [nm].2 184 186 188 19 192 194 Wavelenght [nm] 44
Colinearità e matrice di covarianza La colinearità si esprime attraverso la matrice di covarianza. In caso di colinearità i termini non diagonali della matrice di covarianza sono diversi da zero. Rimuovere la colinearità quindi significa ridurre la matrice di covarianza in forma diagonale introducendo delle nuove variabili latenti. La tecnica della analisi delle componenti principali consente, tra le altre cose, di ottenere questo risultato. 45
Esempio di matrici di covarianza e luoghi di punti isoprobabili Ci sono tre esempi notevoli di matrici di covarianza in termini di correlazione tra le variabili. Come esempio usiamo uina distribuzione bivariata 2 Variabili scorrelate Varianze diverse Variabili scorrelate Varianze uguale x xy xy y Variabili correlate Varianze diverse 46
PDF multivariata e matrice di covarianza La normale multivariata ha senso solo se la matrice di covarianza descrive grandezze correlate tra loro, cioè se la matrice è non diagonale. Infatti per due grandezze (x e y) tra loro non correlate ed indipendenti la probabilità di osservare contemporaneamente il valore di x e di y è semplicemente il prodotto delle due distribuzioni univariate: Px,y Px Py 47
La matrice di covarianza in forma canonica La matrice di covarianza può essere scritta in forma diagonale con un adeguato cambiamento del sistema di riferimento. Tale sistema di riferimento corrisponde agli autovettori della matrice di covarianza, cioè agli principali dell ellisse costruita come forma quadratica dalla matrice di covarianza stessa. Tale operazione rende le variabili scorrelate e la PDF prodotto di PDF univariate. D altro canto le nuove variabili non sono più degli osservabili fisici (oggetto di misurazioni) ma sono combinazioni lineari di queste. Le nuove variabili prendono il nome di Componenti Principali e l insieme di procedure di calcolo e interpretazione delle componenti principali si chiama analisi delle componenti principali (PCA) a x 2 2b xy c y 2 x y a b x b c y 48 1 u 2 2 w 2 u w 1 u o 2 w
Dimensioni del data set Se le variabili di un fenomento multivariato hanno un certo grado di correlazione allora i vettori rappresentativi del fenomeno tenderanno ad occupare solo una porzione dello spazio degli osservabili. Quindi una veriabile di dimensione N riempie uno spazio di dimensione minore Example: linear sensors Spazio delle variabili indipendenti s 1 k 11 g 1 k 12 g 2 s 2 k 21 g 1 k 22 g 2 Gas 2 Sensori specifici k 12 =k 21 = Sensori non specifici ma diversi K 11 ; k 12 ; k 22 ; k 22 diversi Gas 1 Non specifi ed uguali Sensor 2 Sensor 2 Sensor 2 Sensor 1 Sensor 1 C= Dim=2 C> and <1 Dim intermedia Sensor 1 C=1 Dim=1 49
Principal Component Analysis Lo scopo della PCA è la rappresentazione di un insieme di dati con matrice di covarianza non diagonale e di dimensione N in uno spazio di dimensione minore di N in cui gli stessi dati siano rappresentati da una matrice di covarianza diagonale. La diagonalizzazione si ottiene con una rotazione delle coordinate nella base degli autovettori (componenti principali) Ad ogni autovettore è associato un autovalore a cui corrisponde la varianza della componente principale associata. Se le variabili originarie erano parzialmente correlate tra loro alcuni autovalori avranno un valore trascurabile. In pratica gli autovettori corrispondenti possono essere trascurati e limitare la rappresentazione solo agli autovettori con glu autovalori più grandi. Poiché la matrice di covarianza nella base delle componenti principali è diagonale la varianza totale è la somma delle varianze delle singole componenti principali. 5
PCA e proiezione La PCA è uno dei possibili modelli che danno luogo alla riduzione delle dimensioni, in pratica si tratta di una proiezione ortogonale dallo spazio originale allo spazio delle componenti principali i cui autovalori associati siano quelli di valore maggiore. s W x 51
PCA PCA è un metodo detto del secondo ordine poiché sia le nuove coordinate che il criterio per la riduzione delle dimensioni si basano unicamente sulle proprietà della matrice di covarianza La varianza è detta momento secondo dei una distribuzione ed è proporzionale al quadrato della variabile Momento primo: media; secondo: varianza; terzo: skewness;.. Quindi la PCA si basa sulla ipotesi che la variabile x sia distribuita normalmente La media è in genere resa nulla e quindi tutta l informazione statistica è contenuta nella matrice di covarianza Solo in questo caso le singole componenti principali saranno indipendenti e la probabilità multivariata diventa il prodotto delle probabilità univariate Nel caso contrario si ottiene unicamente lo scorrelazione delle componenti principali 52
PCA, autovalori ed autovettori Le componenti principali della matrice X sono gli autovettori (P) della matrice X T X. La matrice X risulta decomposta nel prodotto dei P (loadings) e delle coordinate dei patterns originali nella base degli P (scores): X=TP T Le coordinate delle righe della matrice X nella base delle componenti principali si calcolano come: T=XP Gli autovalori sono proporzionali alla varianza dei dati lungo la direzione principale identificata dall autovettore corrispondente 53
Interpretazione geometrica della PCA Spazio osservabili Spazio comp. Princ. Ellisse della matrice di covarianza variabile 2 PCA pc 2 T T T 1 o 2 X T X x xy xy y variabile 1 X T X P T T X P;X T P T pc 1 Spazio ridotto T 1 X P 1 E pc 1 2 1 Riduzione delle dimensioni autovalore 1 pc1 2 pc2 Confronto autovalori: una PC ha un contenuto di informazione maggiore rispetto all altra 54
PCA: scores e loadings Le nuove coordinate dei vettori corrispondenti alle osservazioni (le righe della matrice x) nella base delle componenti principali prendono il nome di scores I coefficienti delle combinazioni lineari che definiscono le componenti principali sono detti loadings Il loading quindi fornisce una misura del contributo di ogni osservabile alle componenti principali I loadings sono anche rappresentabili come scores in quanto sono la proiezione degli assi originali nel sottospazio identificato dalla componenti principali, quindi scores e loadings possono essere graficati insieme s 2.8 Biplot: (o) normalized scores, (+) loads 2 pc 2.6 pc 1 s 1 PC 2 (1.3%).4.2 -.2 111 9 8 7 12 3 4 3 6 4 5 1 5 s 3 loadings -.4 13 6 55 -.6 12 -.4 -.3 -.2 -.1.1.2.3 PC 1 (85.9%).4.5.6
PCA matrix Decomposition PCA Può essere considerata come la scomposizione della matrice X nella base delle componenti principali. M X = 1 st PC 2 nd PC M th PC score loading M score loading M score loading * + + + * * M N N Limitare la scomposizione alla componente p (p<m) significa reiettare una parte dei dati T X nm S np L pm Residual 56
PCA, correlazione e rumore Il rumore è un termine aggiuntivo stocastico proprio di ogni grandezza osservabile. Il rumore è il termine che rende statistica l operazione di misura. Date N variabili il rumore che affetta ognuna di esse è scorrelato rispetto al rumore che affetta le altre. Le componenti principali descrivono le direzioni di massima correlazione tra I dati, per cui le PC di ordine più elevato sono orientate verso le direzioni di massima correlazione e quelle di ordine inferiore verso le direzioni di scarsa correlazione Limitare la decomposizione alle componenti principali di ordine più elevato significa quindi trattenere le direzioni di massima correlazione e rimuovere quelle non correlate, nella parte non correlata c è sicuramente il rumore La PCA quindi è un metodo per ridurre la quantità di rumore in un set di dati multivariati. esempio: spettroscopia, GC, 57
Esempio di rimozione del rumore: Reflectance Anisotropy Spectroscopy di superfici organiche ordinate PC1 PC1-3 Original Spectra X residuo 58
Esempio: 3 SnO2 sensori for 2 gas G f /G i CO NO 2.25482.63354.77832 1...93899.2718.39692 2...4341.23361.79543 5...97185.43353 -.21311 1.. -.1816 -.5386 -.73648..1 -.28579.23183 -.36593..2 -.25167 -.28831-2.4367. 1. -1.696 -.7537-3.865. 5..57521.2172.16777 5..1 -.1389.132-2.1376 5. 5. -.6879 -.2719 -.9852 1. 1..523.22771.2198 1. 1. NO2 [ppm] 5 4.5 4 3.5 3 2.5 2 1.5 1.5 1 2 3 4 5 6 7 8 9 1 CO [ppm] 59
PCA score plot Scores Plot 1.5 1,.5 8 1 CO 1, NO 2.5 5,5 1,1 PC 2 (18.11%) 7 1 12 3 9 2 5,.1 -.5-1 1,1 11 6 5,.1 4 1, -1.5-4 -3-2 -1 1 2 3 PC 1 (77.25%) 6
PCA bi-plot 1 Biplot: (o) normalized scores, (+) loads 2 1.5 8 PC 2 (18.11%) 1 12 3 9 2 7 11 6 4 3 5 1 -.5 -.8 -.6 -.4 -.2.2.4.6.8 PC 1 (77.25%) 61
Sensor 1 vs sensor 2.7.6 CO.5.4 sensor 2.3.2.1 -.1-2 NO 2-1.5-1 -.5.5 sensor 1 62
Residual of PCA representation (leverage) x i a s 1 b s 2 n s n x i pca a pc 1 b pc 2 residual Scores Plot x 1-3 4 Scores Plot 1.5 1 3.5 3 8 1.5 8 Q Residual 2.5 2 1.5 1 PC 2 (18.11%) -.5-1 7-1.5-4 -3-2 -1 1 2 3 PC 1 (77.25%) 1 11 6 5 4 12 3 9 2 1.5 2 1 PC 2 (18.11%) -1-2 7 1-4 2 9 312 11 4 6-2 5 PC 1 (77.25%) 2 63 4
Procedura PCR DATI X cal PCA PC & Y cal X cal Y cal X Y MLR X vall Y vall CALIBRAZIONE B VALIDAZIONE Errore= Y val - Y est Y est = X val * B 64
Algoritmo PCR Y = X * B Original problem PCA X P T = T * + E Y = T P T * * B PCR 65
Algoritmo PCR X T X P T E T X P X T P T 1 N Y X B T T Q T T P T B T B T P Q T Y X P P T B T B T X T X B T P 1 P T 1 X T B T P 1 P T X T Y P T T Y P 1 T T Y 66
Esempio: Spettri NIR di frutta secca Supponiamo di aver raccolto 36 spettri NIR di frutta secca e di voler realizzare un modello per la misura del contenuto di umidità e di acidità totale. Ogni spettro è formato da 88 variabili corrispondenti ai canali spettrali nell intervallo 1.1-2.5 µm. Per ogni specie di frutta sono stati misurati umidità ed acidità con metodi di riferimento. Vogliamo quindi realizzare il seguente modello che dallo spettro X ci consente di ricavare i due parametri Y. E necessario quindi stimare il parametro K Y 1x 2 X 1x 88 K 88x 2 67
Inciso sugli spettri Spesso gli spettri ottici, in particolare quelli NIR, sono affetti da drift in lunghezza d onda detto baseline drift La baseline può essere eliminato derivando numericamente lo spettro Un altro metodo, sempre basato sulla derivata. è la normalizzazione di Savitzky-Golay.1 1 Absorbance.9.8.7.6.5 Absorbance.8.6.4.2.4 -.2.3 -.4.2 1 15 2 25 Wavelenght [nm] -.6 1 15 2 68 25 Wavelenght [nm]
Matrice X e matrice di covarianza samples 5 1 15 2 TextEnd absorbances.1.8.6.4.2 Colinearità elevata I blocchi di elevata correlazione (+ e -) corrispondono alle righe spettrali Colonne colorate nella matrice di assorbanza covarianza 25 1 3 -.2 1.8 35 -.4 1 2 3 4 5 6 7 8 Wavelenght [nm] 2 3.6.4 Spectral Channels 4 5 TextEnd.2 -.2 6 -.4 7 -.6 8 -.8 1 2 3 4 5 6 7 8 Spectral Channels 69
Calcolo della PCA Riduciamo gli spettri a media nulla in modo che se l ipotesi di distribuzione normale è soddisfatta, tutta l informazione è contenuta nella matrice di covarianza. Calcolo di autovettori ed autovalori 45 Eigenvalue vs. Principal Component Eigenvalue 4 35 3 25 2 15 1 5 5 1 15 2 25 3 35 4 Principal Component I primi 3 autovalori hanno un valore considerevolmente diverso da zero. Gli 88 spettri, vettori in uno spazio a dimensione 88, sono in buona parte confinati in un sottospazio a dimensione 3. 7
Autovalori e varianza 5 eigenvalue 5 explained variance [%] 11 total variance [%] 4 4 1 9 3 3 8 2 2 7 6 1 1 5 2 4 2 4 4 2 4 PC PC PC 71
1 1st SCORE 8 6 4 2-2 -4-6 -8-1 1 2 SAMPLES 3 4.5 Scores e loadings 1 2nd SCORE 8 6 4 2-2 -4-6 -8-1 1 2 SAMPLES 3 4.4.3 3 3rd SCORE 2 1-1 -2-3 -4-5 -6-7 1 2 SAMPLES 3 4.4.3.2.3.2.1.2.1 Loadiings.1 -.1 -.2 -.1 -.2 Canali spettrali Spettro originale -.1 -.2 5 1.1.8.6.4.2 -.2 -.4 -.6 1 15 2 25 -.3 -.4 5 1.1.8.6.4.2 -.2 -.4 -.6 1 15 2 25 -.3 -.4 5 1.1.8.6.4.2 -.2 -.4 -.6 1 15 2 25 72
Scores plot 1 8 6 4 25 29 26 27 3 28 14 Scores Plot 21 19 2 23 24 22 3 2 1 31 32 36 29 27 34 33 25 26 3 28 35 Scores Plot 7 8 9 12 1 2 1 5 6 4 3 11 19 21 2 22 23 24 PC 2 (43.12%) 2-2 -4 33 32 35 16 17 13 15 18 5 3 1 6 2 4 PC 3 ( 8.4%) -1-2 -3-4 -6-8 31 34 36 8 1 9 712 11-5 -6 14 15 13 16 17 18-1 -1-8 -6-4 -2 2 4 6 8 1 PC 1 (46.1%) -7-1 -8-6 -4-2 2 4 6 8 1 PC 1 (46.1%) 73
Decomposizione e residui Prima PC Seconda PC Terza PC.12.1.8.6.4.12.1.8.6.4.12.1.8.6.4.2.2.2 -.2 -.2 -.2 -.4 -.4 -.4.15 -.6 1 2 3 4 5 6 7 8 9 3 x 1-3 -.6 1 2 3 4 5 6 7 8 9 Residui -.6 1 2 3 4 5 6 7 8 9 2.5 x 1-3.1 2 2 1.5.5 1 1.5 -.5-1 -1 -.5-2 -1.5-2 -.1 1 2 3 4 5 6 7 8 9-3 1 2 3 4 5 6 7 8 9-2.5 1 2 3 4 5 6 7 8 9 74
Calcolo della Principal Components Regression (PCR) Separiamo il set di dati in due: 26 per il calcolo del modello PC cal, Y cal 1 per la valutazione dell errore PC val, Y val Dal modello si calcola la matrice di regressione B pcr Y cal X cal B T B T P 1 T T Y cal Si calcola poi la stima sul set di validazione (e per confronto anche su quello di calibrazione) Si valuta RMSEC ed RMSECV r stimay cal X cal B T stimay val X val B T 75
Esempio risultati calibrazione test 4.5 4 3.5 3 2.5.75 5 x 1-3 2 2 2.5 3 3.5 4 4.5 5 x 1-3 3.5 3 2.5.72 4 x 1-3 2 2 2.2 2.4 2.6 2.8 3 3.2 3.4 3.6 3.8 4 x 1-3.7.7.65.68.6.66.55.58.6.62.64.66.68.7.72.74.64.64.65.66.67.68.69.7.71.72 RMSEC acidità =3.1 1-4 RMSEC umidità =.13 RMSECV acidità =5.9 1-4 RMSECV umidità =.19 76
Applicazione alla analisi delle immagini Un immagine digitalizzata può essere considerata come una matrice NxM nel caso di immagine a scala di grigio (bianco nero) o NxMx3 (nel caso di immagine a colori) Considerando una immagine in una scala di tonalità la possiamo considerare come una matrice ed applicare la PCA Più avanti considereremo le strutture 3dimensionali di dati. La decomposizione PCA può mettere in evidenza alcune strutture peculiari dell immagine permettendo quindi di studiare le caratteristiche dell immagine stessa. 77
PCA: Application to Image Analysis (example 1: I) STM image of Sapphyrin molecules growth as a Langmuir-Blodgett film onto a gold substrate. 2 4 6 8 1 12 14 2 4 6 8 1 12 14 16 18 2 22 Au grains Sapphyrins 78
PCA: Application to Image Analysis (example 1: II) X S T 1 L X S T 1 1:1 L X S T 1:1 1:15 L 1:15 79
PCA: Application to Image Analysis (example 1: III) The residuals of the expansion at the tenth PC put in evidence the sapphyrine film only. 2 4 6 8 T X S 1:1 L 1:1 1 12 14 2 4 6 8 1 12 14 16 18 2 22 8
PCA: Application to Image Analysis (example 2: I) Caravaggio Deposition 81
PCA: Application to Image Analysis (example 2: II) T X S 1:1 L 1:1 T X S 1:1 L 1:1 82
6. Partial Least Squares (PLS) Partial Least Squares PLS toolbox di MATLAB
Da PCR a PLS approccio geometrico Nella PCR la soluzione del problema della regressione passa attraverso la decomposizione della matrice dei dati nella matrice delle componenti principali Le componenti principali sono le direzioni, nello spazio delle variabili di X, che massimizzano la varianza e generano una base nella quale I dati di X risultano non correlati Nella PCR le componenti principali diventano le nuove variabili (non correlate) della regressione che così diventa più facilmente risolvibile. Nella PLS anche la matrice Y viene decomposta in componenti principali e le componenti principali di X vengono ruotate nella direzione di massima correlazione rispetto alle componenti principali di Y Scopo della PLS è determinare delle variabili latenti, simili alle componenti principali che massimizzano la varianza di entrambe le matrici 84
PLS e PCR PLS funziona meglio di PCR perchè le variabili latenti sono scelte massimizzando la correlazione con le PC della matrice Y Le componenti principali sono le direzioni di massima varianza, queste direzioni non dipendono dallo scopo (matrice Y) ma sono determinate univocamente dalla matrice X Le componenti principali quindi non sono di per se significative per la costruzione di un modello che stima Y, agevola solo la MLR eliminando la correlazione tra le variabili. 85
PLS calcolo variabili latenti X = T * P T + E Y = U * Q T + F Le componenti principali sono determinate massimizzando la correlazione tra T e U e la loro varianza max corr 2 U,T,var U var T 86
Overfitting in PLS PLS è soggetta ad overfitting Il numero di variabili latenti deve essere ottimizzato in un processo di crossvalidation L overfitting è dato dal fatto data la variabile latente k la variabile k+1 è ottenuta fittando il sottospazio di dimensione k+1, poichè le variabili latenti non sono ortogonali tra loro, non c è limite alla possibilità di fittare esattamente i dati di calibrazione con un numero N di variabili latenti. La cross-validation fissa il numerodi variabili latenti la cui accuratezza è stimata sul set di validazione. Normalmente tale valore è più grande rispetto all errore ottenuto dal modello sui dati di calibrazione Tali errori sono quantificati dalle grandezze RMSEC Root Mean Square Error in Calibration RMSECV Root Mean Square Error of Calibration in Validation 87
Algoritmo PLS Modello PCA per X e Y X T P T E Y U Q T F Determinazione delle variabili latenti max corr 2 T,U,var U var T T X P X X T U U Y Q Y Y T T Costruzione del modello: matrice di regressione B Y X B T B T X T X B T P 1 T T U Q T 1 X T Y 88
Matlab PLS toolbox modlgui Dati: 4 sensori TSMR, per la misura di ottano e toluene 89
Esempio modlgui ottano toluene 9