Validazione dei modelli Strumenti quantitativi per la gestione

Transcript

1 Validazione dei modelli Strumenti quantitativi per la gestione Emanuele Taufer Validazione dei modelli Il data set Auto I dati Il problema analizzato Validation set approach Diagramma a dispersione Test set e training set Regressione lineare semplice RLS: Test MSE Regressione quadratica Rq: Test MSE Regressione cubica Rc: Test MSE Regressione KNN Input nella funzione knn.reg.1() Calcolare le previsioni con KNN Plot Test MSE e training MSE Plot degli MSE Confronto test MSE Validazione dei modelli In questo esempio consideriamo il data set Auto e: adattiamo un modello di regressione lineare adattiamo una regressione polinomiale adattiamo una regressione KNN (nonparametrica) compariamo i modelli attraverso il calcolo del test MSE Il data set Auto In questo data set vi sono alcuni valori mancanti indicati con?. Nella lettura del file specifichiamo che? indica un valore mancante ( NA ) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 1/17

2 Auto< read.csv(" str(auto) ## 'data.frame': 397 obs. of 9 variables: ## $ mpg : num ## $ cylinders : int ## $ displacement: num ## $ horsepower : int ## $ weight : int ## $ acceleration: num ## $ year : int ## $ origin : int ## $ name : Factor w/ 304 levels "amc ambassador brougham",..: I dati Nel data.frame eliminiamo le righe con i valori mancanti attraverso la funzione complete.cases che crea un vettore logico (T,F,T...) con F in corrispondenza di una riga con uno o più valori mancanti Auto< Auto[complete.cases(Auto),] ## elimino le righe con "NA" head(auto) ## mpg cylinders displacement horsepower weight acceleration year origin ## ## ## ## ## ## ## name ## 1 chevrolet chevelle malibu ## 2 buick skylark 320 ## 3 plymouth satellite ## 4 amc rebel sst ## 5 ford torino ## 6 ford galaxie 500 nrow(auto) ## [1] 392 Il problema analizzato file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 2/17

3 Poiché l obiettivo di questa esercitazione è l applicazione di tecniche di scelta dei modelli, consideriamo un solo predittore: questo ci permetterà di visualizzare i risultati. Proviamo a prevedere il consumo (mpg) in funzione della potenza del motore (horsepower) L obiettivo è dunque stimare f nel modello Stimiamo f attraverso diversi modelli: 1. regressione lineare semplice, quadratica e cubica (modello parametrico) 2. regressione KNN (non parametrico) Validation set approach Per validare i modelli utilizzeremo il cd validation set approach, in cui una parte dei dati a disposizione è messa da parte e utilizzata come test set. Il test MSE calcolato dai dati test sarà utilizzato per scegliere K nella regressione KNN comparare i diversi modelli stimati Diagramma a dispersione plot(auto$horsepower,auto$mpg) mpg = f(horsepower) + ε file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 3/17

4 Test set e training set Il dataset è composto da 392 unità. Suddividiamo casualmente il dataset in due parti: il training set il test set unità unità Individuiamo le unità del training set con la funzione sample(). Il vettore train definito sotto contiene le posizioni selezionate set.seed(1) train=sample(392,292) train file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 4/17

5 [1] [18] [35] [52] [69] [86] [103] [120] [137] [154] [171] [188] [205] [222] [239] [256] [273] [290] Costruiamo i due data set, test e training, utilizzando i risultati del campionamento: Auto.test< Auto[ train,] nrow(auto.test) [1] 100 Auto.train< Auto[train,] nrow(auto.train) [1] 292 Regressione lineare semplice rls< lm(mpg~horsepower, data=auto.train) summary(rls) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 5/17

6 Call: lm(formula = mpg ~ horsepower, data = Auto.train) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e 16 *** horsepower <2e 16 *** Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 290 degrees of freedom Multiple R squared: , Adjusted R squared: F statistic: on 1 and 290 DF, p value: < 2.2e 16 plot(auto$horsepower,auto$mpg) abline(rls,col="red",lwd=2) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 6/17

7 RLS: Test MSE Il calcolo del test MSE può essere fatto molto semplicemente definendo la media delle differenze al quadrato tra i valori di mpg nel test set e la loro previsione in base al modello rls test.mse.rls< mean((auto.test$mpg predict(rls,auto.test))^2) test.mse.rls [1] Regressione quadratica rq< lm(mpg~poly(horsepower,2), data=auto.train) summary(rq) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 7/17

8 Call: lm(formula = mpg ~ poly(horsepower, 2), data = Auto.train) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e 16 *** poly(horsepower, 2) < 2e 16 *** poly(horsepower, 2) e 15 *** Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 289 degrees of freedom Multiple R squared: , Adjusted R squared: F statistic: on 2 and 289 DF, p value: < 2.2e 16 plot(auto$horsepower,auto$mpg) lines(sort(auto$horsepower),predict(rq,auto)[order(auto$horsepower)],col="red",lwd=2) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 8/17

9 Rq: Test MSE test.mse.rq< mean((auto.test$mpg predict(rq,auto.test))^2) test.mse.rq [1] Regressione cubica rc< lm(mpg~poly(horsepower,3), data=auto.train) summary(rc) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 9/17

10 Call: lm(formula = mpg ~ poly(horsepower, 3), data = Auto.train) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e 16 *** poly(horsepower, 3) <2e 16 *** poly(horsepower, 3) e 15 *** poly(horsepower, 3) Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 288 degrees of freedom Multiple R squared: , Adjusted R squared: F statistic: on 3 and 288 DF, p value: < 2.2e 16 plot(auto$horsepower,auto$mpg) lines(sort(auto$horsepower),predict(rc,auto)[order(auto$horsepower)],col="red",lwd=2) file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 10/17

11 Rc: Test MSE test.mse.rc< mean((auto.test$mpg predict(rc,auto.test))^2) test.mse.rc ## [1] Regressione KNN Per adattare una regressione KNN ai dati è necessario costruire una funzione ad hoc. La funzione knn.reg.1() disponibile nel file KNNR.r è appropriata per il caso di un solo regressore e automaticamente produce le previsioni per il vettore di dati x.test dato l input x.train e l output y.train. E possibile specificare una lista (o anche solo uno) di valori di K da considerare file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 11/17

12 Per indicare ad R dove trovare la funzione knn.reg.1(), copiare il file KNNR.r nella directory di lavoro di R e richiamarlo con la funzione source() knn.reg.1 < function(klist,x.train,y.train,x.test) # Regressione k nearest neighbors # # klist è la lista dei valori K da usare # x.train, y.train: il training set (indipendente dipendente) # x.test: il test set # Output: una matrice di valori previsti per il test set (una colonna per ogni K in kl ist) source("knnr.r") Input nella funzione knn.reg.1() In questo caso, la funzione knn.reg.1(), ci chiede di fornire come input i dati separati in variabile dipendente indipendente, test e training. x.train< Auto.train$horsepower y.train< Auto.train$mpg x.test< Auto.test$horsepower y.test< Auto.test$mpg Calcolare le previsioni con KNN Con il codice seguente calcoliamo le previsioni del modello KNN per valori di K da 1 a 60 ( klist=seq(60) ): y.pred.train contiene i valori previsti per il training set y.pred.test contiene i valori previsti per il test set klist< seq(60) # testiamo i risultati per k=1,2, y.pred.train< knn.reg.1(klist,x.train,y.train,x.train) y.pred.test< knn.reg.1(klist,x.train,y.train,x.test) Plot file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 12/17

13 plot(auto.train$horsepower,auto.train$mpg) lines(sort(auto.train$horsepower),knn.reg.1(292,x.train,y.train,x.train)[order(auto.trai n$horsepower)],col=1,lwd=2) lines(sort(auto.train$horsepower),knn.reg.1(50,x.train,y.train,x.train)[order(auto.trai n$horsepower)],col=2,lwd=2) lines(sort(auto.train$horsepower),knn.reg.1(10,x.train,y.train,x.train)[order(auto.trai n$horsepower)],col=3,lwd=2) lines(sort(auto.train$horsepower),knn.reg.1(1,x.train,y.train,x.train)[order(auto.train$h orsepower)],col=4,lwd=2) legend("topright",legend=c('k=292','k=50','k=10','k=1'),text.col=seq(4), lty=1, col=se q(4)) Test MSE e training MSE mse.train < apply((y.pred.train y.train)^2, 2, mean) mse.test < apply((y.pred.test y.test)^2, 2, mean) MSE.table< data.frame("k"=klist, "test MSE"=mse.test,"training MSE"=mse.train) knitr::kable(mse.table) K test.mse training.mse file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 13/17

14 file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 14/17

15 file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 15/17

16 Plot degli MSE Riportiamo in un grafico i valori di MSE ottenuti. Dalla tavola precedente notiamo che il valore di test MSE più basso corrisponde al caso K = 10. Tuttavia per un intervallo di valori K piuttosto ampio questo rimane molto basso. Il valore K = 50 produce una adattamento molto più smussato rispetto al caso K = 10 plot(mse.train, type='l', xlab='k', ylab='mse', col=1, lwd=2) lines(mse.test, col=2, lwd=2) legend("bottomright",legend=c('train','test'),text.col=seq(2), lty=1, col=seq(2)) Confronto test MSE file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 16/17

17 1. RLS: test MSE = RQ: test MSE = RC: test MSE = K = KNN, : test MSE = K = KNN, : test MSE = file:///c:/users/emanuele.taufer/dropbox/3%20sqg/labs/validation.html 17/17