Bagging e Foreste Casuali con R

Transcript

1 Bagging e Foreste Casuali con R Emanuele Taufer file:///c:/users/emanuele.taufer/google%20drive/2%20corsi/3%20sqg/labs/l8-bagging-fc.html#(10) 1/10

2 Bagging e Foreste casuali con R Utilizziamo ancora una volta il dataset Hitters della libreria ISLR per illustrare come implementare le tecniche descritte con R. Il data set contiene in totale 20 variabili. Per fare Bagging e costruire Foreste casuali è necessaria la libreria randomforest. library(randomforest) library(islr) data(hitters) Hitters<-Hitters[complete.cases(Hitters),] file:///c:/users/emanuele.taufer/google%20drive/2%20corsi/3%20sqg/labs/l8-bagging-fc.html#(10) 2/10

3 Bagging Bagging è un caso speciale di una foresta casuale dove m = p. La funzione randomforest() dalla libreria randomforest può essere usata per costruire un modello bagged oppure una foresta casuale. set.seed (1) bag.hitters=randomforest(salary~.,data=hitters, mtry=19, importance =TRUE, ntree=2000) mtry=19: si specifica di utilizzare tutti i 19 predittori del dataset ad ogni split degli alberi (nel caso di foresta casuale ridurremo il numero di predittori da considerare) importance=true : si chiede di costruire le misure d influenza delle variabili ntree=2000: numero di campioni bootstrap ( B) file:///c:/users/emanuele.taufer/google%20drive/2%20corsi/3%20sqg/labs/l8-bagging-fc.html#(10) 3/10

4 Output bag.hitters ## ## Call: ## randomforest(formula = Salary ~., data = Hitters, mtry = 19, importance = TRUE ## Type of random forest: regression ## Number of trees: 2000 ## No. of variables tried at each split: 19 ## ## Mean of squared residuals: ## % Var explained: file:///c:/users/emanuele.taufer/google%20drive/2%20corsi/3%20sqg/labs/l8-bagging-fc.html#(10) 4/10

5 Foresta casuale Per far crescere una foresta casuale si procede nello stesso modo eccetto che si utilizza un valore di mtry inferiore a p. Per impostazione predefinita, randomforest() usa: p/3 variabili per le foreste di alberi di regressione p variabili per le foreste di alberi di classificazione. In questo caso specifichiamo direttamente mtry = 6. set.seed (1) rf.hitters =randomforest(salary~.,data=hitters, ntree=2000, mtry=6, importance =TRUE) file:///c:/users/emanuele.taufer/google%20drive/2%20corsi/3%20sqg/labs/l8-bagging-fc.html#(10) 5/10

6 Output rf.hitters ## ## Call: ## randomforest(formula = Salary ~., data = Hitters, ntree = 2000, mtry = 6, impo ## Type of random forest: regression ## Number of trees: 2000 ## No. of variables tried at each split: 6 ## ## Mean of squared residuals: ## % Var explained: file:///c:/users/emanuele.taufer/google%20drive/2%20corsi/3%20sqg/labs/l8-bagging-fc.html#(10) 6/10

7 Statistiche d influenza R riporta due misure d influenza: una basata sul decremento medio nella precisione delle previsioni nel campione OOB quando una certa variabile è esclusa dal modello. un altra basata sull incemento della purezza del nodo che risulta dallo split con una certa variabile. Nel caso di alberi di regressione, la purezza del nodo è misurata con RSS (RSS diminuisce all aumentare della purezza); per gli alberi di classificazione si usa l indice di Gini. importance(rf.hitters) ## %IncMSE IncNodePurity ## AtBat ## Hits ## HmRun ## Runs ## RBI ## Walks ## Years ## CAtBat ## CHits ## CHmRun ## CRuns ## CRBI ## CWalks ## League ## Division ## PutOuts ## Assists ## Errors ## NewLeague file:///c:/users/emanuele.taufer/google%20drive/2%20corsi/3%20sqg/labs/l8-bagging-fc.html#(10) 7/10

8 Grafico Utilizzare la funzione varimpplot() per riportare graficamente le variabili d influenza. varimpplot(rf.hitters,pch=19,cex=1.5,col="blue",lwd=2) file:///c:/users/emanuele.taufer/google%20drive/2%20corsi/3%20sqg/labs/l8-bagging-fc.html#(10) 8/10

9 Previsione con le foreste casuali Per fare previsioni dato un insieme di predittori, possiamo usare la funzione predict() Proviamo a confrontare il salario effettivo con quello previsto dal modello per cinque giocatori presi a caso: 1. Selezioniamo 5 giocatori casualmente (osserviamo solo alcune variabili) set.seed(5) R.players<-Hitters[sample(nrow(Hitters),5),] R.players[,c(2,7,19)] ## Hits Years Salary ## -Dave Concepcion ## -Mike Young ## -Tim Hulett ## -Dave Winfield ## -Brook Jacoby file:///c:/users/emanuele.taufer/google%20drive/2%20corsi/3%20sqg/labs/l8-bagging-fc.html#(10) 9/10

10 2. Facciamo la previsione (definiamo l oggetto contenente i risultati direttamente come variabile del data.frame R.players) R.players$Pred.Salary<-predict(rf.Hitters,R.players) 3. Compariamo i valori R.players[,c(2,7,19,21)] ## Hits Years Salary Pred.Salary ## -Dave Concepcion ## -Mike Young ## -Tim Hulett ## -Dave Winfield ## -Brook Jacoby file:///c:/users/emanuele.taufer/google%20drive/2%20corsi/3%20sqg/labs/l8-bagging-fc.html#(10) 10/10