Data Base and Data Mining Group of Politecnico di Torino Tutti i diritti riservati. Business Intelligence per i Big Data

Transcript

1 D B M G Data Base and Data Mining Grup f Plitecnic di Trin Tutti i diritti riservati Business Intelligence per i Big Data Esercitazine di labratri n. 7 L biettiv dell esercitazine è il seguente: - Applicare algritmi di data mining per la classificazine al fine di analizzare dati reali mediante l utilizz dell applicazine RapidMiner. Dati strutturati Il dataset denminat Users (Users.xls) è dispnibile sul sit del crs ( Ess raccglie dati anagrafici e lavrativi relativi a circa 1000 persne cntattate da un azienda per prprgli l iscrizine ad un lr servizi. Per tali utenti è nt se, dp essere stati cntattati, si sn iscritti al servizi prpst ppure n (valre del camp Respnse). La campagna di prmzine del servizi cntinua e il persnale della cmpagnia deve decidere chi, tra un elenc di circa persne nn ancra cntattate (Classificatin\Prspects.xls), ptrebbe essere interessat al servizi. Idealmente, per massimizzare gli incassi e minimizzare le spese, vrremm cntattare tutte e sl che persne interessate al servizi spnsrizzat. La lista cmpleta degli attributi dei dataset a dispsizine (Users.xls e Prspescts.xls) è riprtata di seguit. (1) Age (2) Wrkclass (3) Educatin recrd (4) Marital status (5) Occupatin (6) Relatinship (7) Race (8) Sex (9) Hurs per week (10) Native cuntry (11) Respnse. Si ricrda che quest camp assume il valre null per le persne presenti in Prspects.xls

2 Obiettiv Identificazine ptenziali utenti interessati ad un determinat servizi prmss in una campagna di marketing Gli analisti della cmpagnia vglin decidere quali persne cntattare e quali n per prprgli il servizi attualmente in prmzine. Cme pssiam rislvere il prblema? In quest labratri vedrem cme usare la classificazine per predire quali utenti è megli cntattare e chi n durante la campagna di marketing. Quali sn gli attributi predittivi? Qual è l attribut da predire? A tale scp, gli analisti decidn di utilizzare inizialmente un alber di decisine. Si ricrda che il prblema della classificazine è cmpst da due parti: generazine del mdell (sui dati di training) e applicazine del mdell (sui dati per cui l etichetta di classe è ignta). Passi per rislvere il prblema e sua implementazine in RapidMiner: 1. Cme prim pass è necessari creare un prcess che crea il mdell di classificazine Caricare i dati presenti in Users.xls usand l peratre Read Excel. Usare anche in quest cas il Wizard per imprtare in md crrett i dati. Specificare qual è l attribut di classe (attribut da predire) usand l peratre Set Rle. Assegnare il rul label all attribut di classe.

3 Applicare l algritm per la generazine del mdell di classificazine. In quest cas usiam l alber di decisine che è implementat dall peratre Decisin Tree. Frnire in ingress all peratre i dati e settare i parametri (maximal depth e minimal gain cme riprtat nella slide successiva). Cllegare l utput md che cntiene il mdell all uscita (res) del prcess. Prvare ad eseguire il prcess e analizzare le caratteristiche del mdell (alber generat). Quale attribut è cnsiderat dall algritm il più selettiv al fine di predire la classe di un nuv dat di test? Qual è l altezza dell alber di decisine generat? Trvare un esempi di partizinament pur all intern dell alber di decisine generat. Analizzare l impatt del minimal gain (cnsiderand il gain rati cme criteri di splitting) e del maximal depth sulle caratteristiche dell alber di decisine generat. Trnare all alber di decisine e mdificare il prcess in md da salvare su file il mdell generat. Per svlgere tale perazine usare l peratre Write Mdel cllegand al su ingress l utput dell peratre Decisin Tree (selezinare cme utput quell che cntiene il mdell). Indicare tramite il parametr mdel file di Write Mdel in quale file salvare il mdell.

4 2. Ora che abbiam creat il mdell di classificazine dbbiam applicarl ai dati presenti in Prspects.xls (utenti nn ancra cntattati) per decidere chi di lr cntattare. Applicand il mdell generat prima gni persna presente in Prspects sarà assegnata ad una delle due classi pssibili: interessat (respnse = Psitive)/nn interessat (respnse = Negative) Caricare i dati presenti in Prspects.xls usand l peratre Read Excel. Usare anche in quest cas il Wizard per imprtare in md crrett i dati Caricare il mdell usand l peratre Read Mdel. Usare cme file l stess file usat prima per salvare il mdell Applicare il mdell ai clienti Prspects.xls usand l peratre Apply Mdel che ha due ingressi: il mdell e i dati (senza etichetta) da classificare Visualizzare le predizini effettuate dal mdell generat visualizzand l utput di Apply Mdel (l utput che si chiama lab è quell che ci interessa). Cme nterete i dati sn gli stessi frniti in ingress ma ra è presente un nuv attribut (predictin(respnse)) che cntiene la predizine effettuata dal mdell di classificazine per gni utente. Vi sn inltre altri due attributi che stiman la prbabilità di appartenenza di gni utente alla classe Psitive e Negative, rispettivamente.

5 Per decidere se l algritm che abbiam usat va bene ppure n dbbiam validare in qualche md i risultati. Vist che per le persne presenti in Prspects la classe reale (Respnse) nn è nta nn pssiam usare quei dati per validare la qualità del mdell. Per validare il mdell dbbiam usare i dati di training e un apprcci tip la crss-validatin su tali dati per stimare l accuratezza, la precisine e il richiam del mdell generat. Per fare questa perazine in RapidMiner pssiam usare un peratre appsit. Passi per la validazine dei mdelli di classificazine basata su Crss-Validatin I passi base per valutare la qualità di un classificatre tramite RapidMiner sn i seguenti: Caricare i dati di training (Users.xls) e impstare cme sempre l etichetta di classe (cn Set rle). Inserire nel fluss del prcess l peratre X-Validatin. Tale peratre, tramite i sui parametri, permette di specificare se si vule eseguire una validazine bassa su crss-validatin ppure sull apprcci leave-ne-ut (utilizzabile sl quand si hann pchi dati). Nel cas della scelta della crss-validatin si deve specificare quanti fld si devn creare (più fld = maggire affidabilità del risultat ma tempi più lunghi). In input si frnisce il dataset di training e cme uscita si selezina quella che si chiama ave (la prima) che restituisce sstanzialmente le statistiche sulla qualità del mdell validat (accuratezza, precisine, richiam, ecc.). X-Validatin è un peratre cmpless che richiede di specificare al su intern due sttprcessi: un relativ alla fase di cstruzine del mdell e un relativ alla fase si applicazine e validazine. Cliccare due vlte sull peratre X-Validatin e eseguire le seguenti perazini: Inserire nella parte sinistra (area Training) l algritm di classificazine che si vule valutare (cminciare cn il Decisin Tree). Cllegare il cnnettre tra dell area di training cn l ingress tra dell algritm di classificazine e l uscita md cn il cnnettre md dell area (sempre l area di training). Inserire nella parte destra (area Testing) prima un peratre Apply mdel (frnendgli in ingress il valre di md e tes) e pi in cascata l peratre Perfrmance (Classificatin). Cllegare l uscita lab di Apply mdel cn l ingress lab di Perfrmance (Classificatin). Per ciò che riguarda l peratre Perfrmance (Classificatin) impstare i parametri indicand quali misure analizzare. Nel nstr cas indichiam l accuratezza cme main criterin

6 perché vgliam al mment valutare tale misura. Cnnettere l uscita per di Perfrmance (Classificatin) al cnnettre ave dell area di test. Eseguire il prcess e analizzare i risultati ttenuti. In particlare analizzare cn attenzine la matrice di cnfusine generata per capire cme si cmprta il classificatre nn sl in generale ma anche sulle single classi. Prvare ad applicare, ltre a Decisin Tree, anche i classificatri K-NN e Naive Bayes (mantenend la cnfigurazine standard). Decidere qual è l algritm più accurat tra Decisin Tree, K-NN e Naive Bayes. Disabilitare tempraneamente l peratre Decisin Tree (cliccand cl tast destr sull peratre e eliminand il segn di spunta a lat di Enable Operatr ). Sstituire l peratre Decisin Tree cn Naïve Bayes prima e cn K-NN successivamente. Cnfrntare le perfrmance di K-NN e Naïve Bayes, in termini di accuratezza media, precisine e richiam, analizzand le rispettive matrici di cnfusine. Per il classificatre K-NN, variare i valri del parametr K usand il menu sul lat destr nella Design perspective.

7 Per analizzare la matrice di crrelazine assciata al dataset in esame trnare al prcess principale (click sul pulsante Prcess ), disabilitare tempraneamente l peratre Validatin (cliccand cl tast destr sull peratre e eliminand il segn di spunta a lat di Enable Operatr ), inserire l peratre Crrelatin Matrix in cda al prcess e visualizzare la rispettiva matrice cllegand il plug-in del blcc denminat mat al plug-in Result sulla destra della finestra del prcess principale. Il prcess csì generat sarà analg al seguente: Trnand al Results perspective, per rdinare le crrelazini trvate tra cppie di attributi in rdine decrescente selezinare la Pairwise Table e cliccare sul camp Crrelatin della tabella visualizzata per rdinare le cppie in maniera decrescente. Alla luce dei risultati ttenuti, l iptesi d indipendenza Naïve risulta valida per il dataset? Qual è la cppia di attributi maggirmente crrelati?