Regressione con componenti principali (PCR) Strumenti quantitativi per la gestione

Transcript

1 Regressione con componenti principali (PCR) Strumenti quantitativi per la gestione Emanuele Taufer Dati Hitters Eliminare le righe con dati mancanti PCR Variabili nell oggetto creato da pcr() Coefficienti delle variabili nella PCR Pesi dei primi due fattori Punteggi fattoriali CP1 e CP2 Plot dei punteggi fattoriali Summary Individuare il numero di componenti da usare PCR con 6 CP Previsione Individuare solo alcuni sottoinsiemi delle previsioni Plot previsto osservato Regressione con PLS Individuare il numero di PLS da usare Variabili nell oggetto creato da plsr() Riferimenti bibliografici Dati Hitters Un data frame con 322 osservazioni su giocatori della major league di baseball con 20 variabili Obbiettivo: per il campionato di baseball USA, prevedere il salario per un giocatore nel 1987 sulla base delle statistiche per giocatore nella stagione precedente 1. AtBat: Number of times at bat in Hits: Number of hits in HmRun: Number of home runs in Runs: Number of runs in RBI: Number of runs batted in Walks: Number of walks in Years: Number of years in the major leagues 8. CAtBat: Number of times at bat during his career 9. CHits: Number of hits during his career 10. CHmRun: Number of home runs during his career 11. CRuns: Number of runs during his career 12. CRBI: Number of runs batted in during his career 13. CWalks: Number of walks during his career file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 1/13

2 14. League: A factor with levels A and N indicating player s league at the end of Division: A factor with levels E and W indicating player s division at the end of PutOuts: Number of put outs in Assists: Number of assists in Errors: Number of errors in Salary: 1987 annual salary on opening day in thousands of dollars 20. NewLeague: A factor with levels A and N indicating player s league at the beginning of 1987 library(islr) data(hitters) head(hitters) AtBat Hits HmRun Runs RBI Walks Years CAtBat CHits Andy Allanson Alan Ashby Alvin Davis Andre Dawson Andres Galarraga Alfredo Griffin CHmRun CRuns CRBI CWalks League Division PutOuts Assists Andy Allanson A E Alan Ashby N W Alvin Davis A W Andre Dawson N E Andres Galarraga N E Alfredo Griffin A W Errors Salary NewLeague Andy Allanson 20 NA A Alan Ashby N Alvin Davis A Andre Dawson N Andres Galarraga N Alfredo Griffin A Eliminare le righe con dati mancanti missing< is.na(hitters) apply(missing, 2, sum) AtBat Hits HmRun Runs RBI Walks Years CAtBat CHits CHmRun CRuns CRBI CWalks League Division PutOuts Assists Errors Salary NewLeague Hitters< Hitters[complete.cases(Hitters),] ## elimino le righe con "NA" head(hitters) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 2/13

3 AtBat Hits HmRun Runs RBI Walks Years CAtBat CHits Alan Ashby Alvin Davis Andre Dawson Andres Galarraga Alfredo Griffin Al Newman CHmRun CRuns CRBI CWalks League Division PutOuts Assists Alan Ashby N W Alvin Davis A W Andre Dawson N E Andres Galarraga N E Alfredo Griffin A W Al Newman N E Errors Salary NewLeague Alan Ashby N Alvin Davis A Andre Dawson N Andres Galarraga N Alfredo Griffin A Al Newman A dim(hitters) [1] PCR La regressione con le CP può esser fatta utilizzando la funzione pcr() della libreria pls library(pls) set.seed(2) pcr.fit=pcr(salary~., data=hitters, scale=true, validation ="CV") La sintassi di pcr() è simile a quella di lm() L opzione scale=true standardizza i predittori prima di calcolare le CP L opzione validation=cv produce una cross validazione 10 fold sui risultati per determinare il numero ottimale di CP da usare Variabili nell oggetto creato da pcr() names(pcr.fit) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 3/13

4 [1] "coefficients" "scores" "loadings" "Yloadings" [5] "projection" "Xmeans" "Ymeans" "fitted.values" [9] "residuals" "Xvar" "Xtotvar" "fit.time" [13] "ncomp" "method" "scale" "validation" [17] "call" "terms" "model" Coefficienti delle variabili nella PCR coeff< as.data.frame(pcr.fit$coefficients) coeff[,1:2] Salary.1 comps Salary.2 comps AtBat Hits HmRun Runs RBI Walks Years CAtBat CHits CHmRun CRuns CRBI CWalks LeagueN DivisionW PutOuts Assists Errors NewLeagueN Pesi dei primi due fattori pcr.fit$loadings[,1:2] file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 4/13

5 Comp 1 Comp 2 AtBat Hits HmRun Runs RBI Walks Years CAtBat CHits CHmRun CRuns CRBI CWalks LeagueN DivisionW PutOuts Assists Errors NewLeagueN Punteggi fattoriali CP1 e CP2 pcr.fit$scores[1:20,1:2] Comp 1 Comp 2 Alan Ashby Alvin Davis Andre Dawson Andres Galarraga Alfredo Griffin Al Newman Argenis Salazar Andres Thomas Andre Thornton Alan Trammell Alex Trevino Andy VanSlyke Alan Wiggins Bill Almon Buddy Bell Buddy Biancalana Bruce Bochy Barry Bonds Bobby Bonilla Bob Brenly Plot dei punteggi fattoriali Plotta solo alcuni dati, es. righe a:b file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 5/13

6 a< 10 b< 30 plot(pcr.fit$scores[a:b,1],pcr.fit$scores[a:b,2], xlab="prima CP",ylab="Seconda CP") text(pcr.fit$scores[a:b,1],pcr.fit$scores[a:b,2], row.names(hitters[a:b,]), pos=4, ce x=1) Summary summary(pcr.fit) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 6/13

7 Data: X dimension: Y dimension: Fit method: svdpc Number of components considered: 19 VALIDATION: RMSEP Cross validated using 10 random segments. (Intercept) 1 comps 2 comps 3 comps 4 comps 5 comps 6 comps CV adjcv comps 8 comps 9 comps 10 comps 11 comps 12 comps 13 comps CV adjcv comps 15 comps 16 comps 17 comps 18 comps 19 comps CV adjcv TRAINING: % variance explained 1 comps 2 comps 3 comps 4 comps 5 comps 6 comps 7 comps X Salary comps 9 comps 10 comps 11 comps 12 comps 13 comps 14 comps X Salary comps 16 comps 17 comps 18 comps 19 comps X Salary I risultati della cross validazione sono espressi come la radice dello MSE (RMSEP). Ci sono due stime cross validazione: cv è la stima ordinaria della cross validazione adjcv è una stima corretta per ridurre il bias nella stima di CV Individuare il numero di componenti da usare validationplot(pcr.fit, val.type="msep") file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 7/13

8 PCR con 6 CP pcr.fit=pcr(salary~., data=hitters, scale=true, ncomp=6) summary(pcr.fit) Data: X dimension: Y dimension: Fit method: svdpc Number of components considered: 6 TRAINING: % variance explained 1 comps 2 comps 3 comps 4 comps 5 comps 6 comps X Salary Previsione Se si preferisce, è possibile usare la funzione predict() per ottenere le previsoni del modello file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 8/13

9 pcr.pred< predict(pcr.fit) pcr.pred< as.data.frame(pcr.pred) # è preferibile costruire un data.frame con le previs ioni pcr.pred< cbind(hitters$salary,pcr.pred) head(pcr.pred) Hitters$Salary Salary.1 comps Salary.2 comps Alan Ashby Alvin Davis Andre Dawson Andres Galarraga Alfredo Griffin Al Newman Salary.3 comps Salary.4 comps Salary.5 comps Alan Ashby Alvin Davis Andre Dawson Andres Galarraga Alfredo Griffin Al Newman Salary.6 comps Alan Ashby Alvin Davis Andre Dawson Andres Galarraga Alfredo Griffin Al Newman Individuare solo alcuni sottoinsiemi delle previsioni pcr.pred[50:70, c(1,7)] file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 9/13

10 Hitters$Salary Salary.6 comps Don Baylor Daryl Boston Darnell Coles Dave Concepcion Doug DeCinces Darrell Evans Dwight Evans Damaso Garcia Dan Gladden Dave Henderson Donnie Hill Davey Lopes Don Mattingly Dale Murphy Dwayne Murphy Dave Parker Dan Pasqua Darrell Porter Dick Schofield Don Slaught Darryl Strawberry Plot previsto osservato plot(hitters$salary,pcr.pred[,7],main="pcr con 6 componenti",xlab="osservato",ylab="pre visto",col="red") file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 10/13

11 Regressione con PLS La regressione con i PLS può esser fatta utilizzando la funzione plsr() della libreria pls set.seed(1) pls.fit=pcr(salary~., data=hitters, scale=true, validation ="CV") summary(pls.fit) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 11/13

12 Data: X dimension: Y dimension: Fit method: svdpc Number of components considered: 19 VALIDATION: RMSEP Cross validated using 10 random segments. (Intercept) 1 comps 2 comps 3 comps 4 comps 5 comps 6 comps CV adjcv comps 8 comps 9 comps 10 comps 11 comps 12 comps 13 comps CV adjcv comps 15 comps 16 comps 17 comps 18 comps 19 comps CV adjcv TRAINING: % variance explained 1 comps 2 comps 3 comps 4 comps 5 comps 6 comps 7 comps X Salary comps 9 comps 10 comps 11 comps 12 comps 13 comps 14 comps X Salary comps 16 comps 17 comps 18 comps 19 comps X Salary La sintassi di plsr() è simile a quella di lm() L opzione scale=true standardizza i predittori prima di calcolare i PLS L opzione validation=cv produce una cross validazione 10 fold sui risultati per determinare il numero ottimale di PLS da usare Individuare il numero di PLS da usare validationplot(pls.fit, val.type="msep") file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 12/13

13 Variabili nell oggetto creato da plsr() names(pls.fit) [1] "coefficients" "scores" "loadings" "Yloadings" [5] "projection" "Xmeans" "Ymeans" "fitted.values" [9] "residuals" "Xvar" "Xtotvar" "fit.time" [13] "ncomp" "method" "scale" "validation" [17] "call" "terms" "model" Riferimenti bibliografici An Introduction to Statistical Learning, with applications in R. (Springer, 2013) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/l6_ _PCR.html 13/13