6. Partial Least Squares (PLS)

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "6. Partial Least Squares (PLS)"

Ortensia Ferraro
6 anni fa
Visualizzazioni

1 & C. Di Natale: (PLS) Partial Least Squares PLS toolbox di MATLAB 1 Da PCR a PLS approccio geometrico Nella PCR la soluzione del problema della regressione passa attraverso la decomposizione della matrice dei dati nella matrice delle componenti principali Le componenti principali sono le direzioni, nello spazio delle variabili di X, che massimizzano la varianza e generano una base nella quale I dati di X risultano non correlati Nella PCR le componenti principali diventano le nuove variabili (non correlate) della regressione che così diventa più facilmente risolvibile. Nella PLS anche la matrice Y viene decomposta in componenti principali e le componenti principali di X vengono ruotate nella direzione di massima correlazione rispetto alle componenti principali di Y Scopo della PLS è determinare delle variabili latenti, simili alle componenti principali che massimizzano la varianza di entrambe le matrici 2 1

2 & C. Di Natale: PLS e PCR PLS funziona meglio di PCR perchè le variabili latenti sono scelte massimizzando la correlazione con le PC della matrice Y Le componenti principali sono le direzioni di massima varianza, queste direzioni non dipendono dallo scopo (matrice Y) ma sono determinate univocamente dalla matrice X Le componenti principali quindi non sono di per se significative per la costruzione di un modello che stima Y, agevola solo la MLR eliminando la correlazione tra le variabili. 3 PLS calcolo variabili latenti X = T * P T + E Y = U * Q T + F Le componenti principali sono determinate massimizzando la correlazione tra T e U e la loro varianza max corr 2 ( U,T),var( U) var( T) [ ] 4 2

3 & C. Di Natale: Overfitting in PLS PLS è soggetta ad overfitting Il numero di variabili latenti deve essere ottimizzato in un processo di crossvalidation; L overfitting si può giustificare osservando che all aumentare del numero delle variabili latenti il modello tende a seguire sempre meglio i dati, utilizzando anche quella parte dei matrice X affetta da rumore. La cross-validation fissa il numero di variabili latenti la cui accuratezza è stimata sul set di validazione. Normalmente tale valore è più grande rispetto all errore ottenuto dal modello sui dati di calibrazione Tali errori sono quantificati dalle grandezze: RMSEC Root Mean Square Error in Calibration RMSECV Root Mean Square Error of Calibration in Validation 5 PLS and PCR Both method require a validation phase A Leave one out Cross Validation is the best approach is the dataset is not so big. Validation phase permits to determine a prediction error sum of squares (PRESS) Tracking a PRESS versus the number of component is possible to find the optimum number of component to use (minimum of error). 6 3

4 & C. Di Natale: PLS and PCR: overfitting problem Optimal Choice Over fitted model Validation PRESS training N Components 7 PRESS, RMSPEC and RMSPECV 8 4

5 & C. Di Natale: Example: number of octane

6 & C. Di Natale: Ordinary Least Square

7 & C. Di Natale:

8 & C. Di Natale:

9 & C. Di Natale:

10 & C. Di Natale: In this case there is not significance difference between OLS, PCR and PLS. 19 Algoritmo PLS Modello PCA per X e Y T T X = T P + E Y = U Q + F Determinazione delle variabili latenti ( ) ( ) ( ) corr T U U T 2 max,, var var = = = = T T X P X X U T U Y Q Y Y T Costruzione del modello: matrice di regressione B ( ) T T T 1 T Y = X B B = X X X Y * T Y E X B R + = + B = P T U Q T 1 T T 20 10

11 & C. Di Natale: Matlab PLS toolbox modlgui Dati: 4 sensori TSMR, per la misura di ottano e toluene 21 Esempio modlgui ottano toluene 22 11

Documenti analoghi

4. Matrici e Minimi Quadrati

4. Matrici e Minimi Quadrati & C. Di Natale: Matrici e sistemi di equazioni di lineari Formulazione matriciale del metodo dei minimi quadrati Regressione polinomiale Regressione non lineare Cross-validazione e overfitting Regressione