Corso di Elementi di Data Mining. Prova Pratica Prototipo - Prof. M. Romanazzi

Transcript

1 1 Università Ca Foscari di Venezia Corso di Elementi di Data Mining Prova Pratica Prototipo - Prof. M. Romanazzi 18 Aprile 2014 Cognome e Nome Matricola Punteggio totale (teorico): 30/30 (3 punti per ogni domanda). Punteggio minimo per la sufficienza: 18/30. Non è ammessa la consultazione di libri o appunti. Risposte e risultati devono essere riportati sul testo del compito, negli spazi accanto ai quadratini. Indica l opzione per la prova orale nello spazio sottostante. Default: prova orale, sì. Opzione prova orale No Sì

2 2 Esercizio 1 Il data set GM contiene i dati di 804 vetture General Motors prodotte nel 2005, in ottime condizioni e con meno di un anno di vita alla data della rilevazione. Le variabili sono 12 e la loro descrizione è riportata nella Tabella 1. La funzione per caricare in R i dati è > GM <- read.csv(" dec=",") > str(gm) data.frame : 804 obs. of 12 variables: $ Price : num $ Mileage : int $ Make : Factor w/ 6 levels "Buick","Cadillac",..: $ Model : Factor w/ 32 levels "9-2X AWD","9_3",..: $ Trim : Factor w/ 47 levels "Aero Conv 2D",..: $ Type : Factor w/ 5 levels "Convertible",..: $ Cylinder: int $ Liter : num $ Doors : int $ Cruise : int $ Sound : int $ Leather : int > head(gm) Price Mileage Make Model Trim Type Cylinder Liter Doors Cruise Buick Century Sedan 4D Sedan Buick Century Sedan 4D Sedan Buick Century Sedan 4D Sedan Buick Century Sedan 4D Sedan Buick Century Sedan 4D Sedan Buick Century Sedan 4D Sedan Sound Leather > N <- dim(gm)[1] Estrai un campione casuale di n = 200 unità dal data set usando come seme il numero di matricola. > set.seed(141593) > n <- 200 > uni_camp <- sample(1:n, n) > camp_gm <- GM[uni_camp,] > str(camp_gm) data.frame : 200 obs. of 12 variables: $ Price : num $ Mileage : int $ Make : Factor w/ 6 levels "Buick","Cadillac",..: $ Model : Factor w/ 32 levels "9-2X AWD","9_3",..:

3 3 $ Trim : Factor w/ 47 levels "Aero Conv 2D",..: $ Type : Factor w/ 5 levels "Convertible",..: $ Cylinder: int $ Liter : num $ Doors : int $ Cruise : int $ Sound : int $ Leather : int > attach(camp_gm) The following object(s) are masked from camp_gm (position 3) : Cruise, Cylinder, Doors, Leather, Liter, Make, Mileage, Model, Price, Sound, Trim, Type 1. Quante automobili hanno tutti e tre gli accessori (cambio automatico, stereo migliorato, interni in pelle)? > # Il prodotto Cruise*Sound*Leather è pari a 0 se e solo se... > # è pari a 1 se e solo se... > tab01 <- table(cruise*sound*leather) # freq. assolute > tab > tab01[1] # n. vetture senza accessori > tab01[2] # n. vetture con tutti gli accessori 1 62 > 100*tab01[2]/sum(tab01) # freq. % 1 31 Nome della variabile Price Mileage Make Model Trim Type Cylinder Liter Doors Cruise Sound Leather Descrizione Prezzo (dollari) N. di miglia percorse Produttore (Buick, Cadillac, ecc.) Modello (ignora) Versione del modello (ignora) Tipo di vettura (Convertible, Coupe, ecc.) N. di cilindri Capacità del motore (1 liter = 61 cc) N. di porte Dummy cambio automatico (1: Sì) Dummy stereo migliorato (1: Sì) Dummy interni in pelle (1: Sì) Tabella 1: Descrizione delle variabili.

4 4 Le vetture aventi tutti e tre gli accessori sono 62, 31% del totale. 2. Il prezzo delle automobili dipende dal produttore? E il numero di miglia percorse? Giustifica dettagliatamente. > table(make) # controlliamo le numerosità delle distr. subordinate Make Buick Cadillac Chevrolet Pontiac SAAB Saturn > # Visualizziamo le distr. sub. Price Make, boxplot con opzione notch > boxplot(price ~ Make, notch=true) > # prezzo mediano significativamente più alto per SAAB, Cadillac > # rispetto agli altri marchi > boxplot(mileage ~ Make, notch=true) > # differenze tra chilometraggi mediani non significative > # Ripetiamo l analisi con tabella di contingenza > marchi <- rep("altri", n) > marchi[make == "SAAB"] <- "SAAB" > marchi[make == "Cadillac"] <- "Cadillac" > cl_prezzo <- cut(price, breaks=quantile(price), include.lowest=true) > tab_prezzoxmarchio <- table(marchi, cl_prezzo) > summary(tab_prezzoxmarchio) Number of cases in table: 200 Number of factors: 2 Test for independence of all factors: Chisq = , df = 6, p-value = 3.169e-26 > # test chi-q. di indipendenza altamente significativo Buick Cadillac Chevrolet Pontiac SAAB Saturn Buick Cadillac Chevrolet Pontiac SAAB Saturn Figura 1: Dati vetture GM. Relazioni Make -> Price, Make -> Mileage. Il numero di miglia percorse non dipende dal produttore, il prezzo sì. E evidente una specializzazione dei marchi in vetture di fascia alta (Cadillac), medio-alta (SAAB), bassa e medio-bassa (gli altri marchi). Il grado di sovrapposizione è molto limitato.

5 5 3. E possibile prevedere il prezzo dell automobile, usando l informazione fornita dalle altre variabili? Qual è il ruolo delle variabili di stratificazione? (Suggerimento: usa i risultati del quesito precedente.) > table(doors) # Doors ha solo due valori distinti Doors > table(cylinder) # Cylinder ha solo tre valori distinti Cylinder > # Valutiamo la correlazione lineare di Price con le altre variabili numeriche > cor_prezzo <- cor(price, data.frame(mileage, Cylinder, Liter)) > cor_prezzo Mileage Cylinder Liter [1,] > # Usiamo colori diversi per distinguere SAAB e Cadillac dagli altri modelli > colore <- rep("black", n) > colore[marchi == "SAAB"] <- "green" > colore[marchi == "Cadillac"] <- "red" > plot(mileage, Price, pch=20, col=colore) > # Il grafico conferma che Price non dipende da Mileage > plot(cylinder, Price, pch=20, col=colore) > plot(liter, Price, pch=20, col=colore) > # Liter, insieme con Make, o meglio, marchi è un previsore abbastanza preciso > cor(liter[marchi == "Altri"], Price[marchi == "Altri"]) # corr circa 0.89 [1] > cor(liter[marchi!= "Altri"], Price[marchi!= "Altri"]) # corr circa 0.68 [1] La variabile Liter (cioè la capacità e dunque la potenza del motore), combinata con Make (o meglio, la sua versione semplificata, marchi), fornisce un previsore abbastanza accurato. Se marchi = Altri, si suggerisce un modello previsionale lineare. Se marchi Altri, si può usare ancora un modello lineare. Oppure più semplicemente, se marchi == SAAB (Cadillac) si può usare come previsione il corrispondente prezzo medio. Tra le variabili categoriali di stratificazione, marchi (variante compressa di Make) gioca un ruolo importante. Esercizio 2 Il data set eudemo contiene alcuni indicatori demografici delle nazioni dell Unione Europea più Islanda, Liechtenstein, Norvegia, Svizzera, Montenegro, Croazia, Macedonia, Turchia per un totale di n = 35 unità. La prima riga contiene inoltre i dati riepilogativi dell intera UE 27. Le variabili sono 13 e la loro descrizione è riportata nella Tabella 2 (fonte: EUROSTAT, estrazione 14/10/2012; i dati sono riferiti al 2009). La funzione per caricare i dati in R è > eudemo <- read.csv2(" > str(eudemo) data.frame : 36 obs. of 14 variables: $ Country: Factor w/ 36 levels "Austria","Belgium",..: $ Eu27 : int

6 Mileage Price Liter Price Figura 2: Dati vetture GM. Diagrammi di dispersione Mileage, Price e Liter, Price. $ Code : Factor w/ 36 levels "Au","Be","Bu",..: $ Npop : int $ Natv : num $ Totv : num $ Migr : num $ Birth : num $ Fert : num $ Women : num $ Old : num $ Dep : num $ Lifef : num $ Lifem : num > head(eudemo) Country Eu27 Code Npop Natv Totv Migr Birth Fert Women Old 1 EU (27 countries) 0 Eu Belgium 1 Be Bulgaria 1 Bu Czech Republic 1 Cz Denmark 1 De Germany 1 Ge Dep Lifef Lifem Escludi dall analisi la prima riga del data set (riepilogo UE) e la variabile Npop.

7 7 Nome della variabile Country Eu27 Code Npop Natv, Totv Migr Birth Fert Women Old Dep Lifef, Lifem Descrizione Nazione Dummy appartenenza EU (1: Sì) Codice identificazione due caratteri N. abitanti Tasso di crescita naturale e totale saldo migratorio totale Tasso di natalità Tasso di fertilità N. di donne per 100 uomini N. abitanti con 65 anni o più per 100 abitanti N. abitanti con 65 anni o più per 100 abitanti in età lavorativa (15-64 anni) Speranza di vita alla nascita (anni) per donne e uomini, rispettivamente Tabella 2: Demografia dell Europa. > eudemo1 <- eudemo[-1, -4] > n1 <- dim(eudemo1)[1] > row.names(eudemo1) <- eudemo1[,3] > summary(eudemo1[,-(1:3)]) Natv Totv Migr Birth Min. : Min. : Min. : Min. : st Qu.: st Qu.: st Qu.: st Qu.:10.25 Median : Median : Median : Median :11.30 Mean : Mean : Mean : Mean : rd Qu.: rd Qu.: rd Qu.: rd Qu.:11.90 Max. : Max. : Max. : Max. :17.40 Fert Women Old Dep Min. :1.310 Min. : 97.1 Min. : 6.80 Min. : st Qu.: st Qu.: st Qu.: st Qu.:19.60 Median :1.530 Median :103.5 Median :16.30 Median :23.80 Mean :1.634 Mean :104.5 Mean :15.38 Mean : rd Qu.: rd Qu.: rd Qu.: rd Qu.:25.30 Max. :2.230 Max. :117.1 Max. :20.40 Max. :30.90 Lifef Lifem Min. :76.70 Min. : st Qu.: st Qu.:72.60 Median :82.70 Median :77.30 Mean :81.56 Mean : rd Qu.: rd Qu.:78.45 Max. :85.00 Max. : Ricava le componenti principali dei dati standardizzati. Qual è il coefficiente di compressione delle prime due e delle prime tre componenti? > covm <- cov(eudemo1[,-(1:3)]) > diag(covm) # varianze molto diverse Natv Totv Migr Birth Fert Women Old Dep Lifef Lifem

8 8 > corm <- cor(eudemo1[,-(1:3)]) > round(corm, 2) Natv Totv Migr Birth Fert Women Old Dep Lifef Lifem Natv Totv Migr Birth Fert Women Old Dep Lifef Lifem > cp <- princomp(eudemo1[,-(1:3)], cor=true) > summary(cp) Importance of components: Comp.1 Comp.2 Comp.3 Comp.4 Comp.5 Standard deviation Proportion of Variance Cumulative Proportion Comp.6 Comp.7 Comp.8 Comp.9 Standard deviation Proportion of Variance Cumulative Proportion Comp.10 Standard deviation e-03 Proportion of Variance e-06 Cumulative Proportion e+00 > # Le prime 2 componenti assorbono il 76.2% della varianza totale, > # le prime 3 l 88.6%. 2. Proponi un interpretazione delle prime due componenti principali e della mappa delle nazioni europee da loro disegnata. Qual è la posizione dell Italia? Qual è la posizione delle nazioni non-ue? > # Interpretazione delle componenti basata sulle correlazioni > # con le variabili osservate > round(cor(eudemo1[,-(1:3)], cp$scores[,1:5]), 2) Comp.1 Comp.2 Comp.3 Comp.4 Comp.5 Natv Totv Migr Birth Fert Women Old Dep Lifef Lifem

9 9 > # La prima componente è praticamente coincidente col tasso di crescita > # naturale (Natv, corr = -0.98). Altre correlazioni importanti con > # Birth (-0.86), Fert (-0.78), Women (0.75), Old (0.76). > # Nel complesso PC1 esprime una contrapposizione tra fattori collegati alla > # dinamica naturale della popolazione (Birth, Fert, Natv) e fattori > # che misurano la composizione per genere (Women) e per età(old). > # Sul polo positivo troveremo nazioni con alte % di anziani e donne, > # su quello negativo nazioni con alti tassi di crescita naturale. > # La seconda componente è linearmente associata a Lifef, Lifem > # (corr = 0.82, 0.79) e Migr (0.70). Nel complesso, PC2 riassume > # la speranza di vita e il saldo migratorio totale. Sul polo positivo > # troveremo nazioni con valori elevati della speranza di vita > # e del saldo migratorio. > plot(cp$scores[,1], cp$scores[,2], pch=20, ylim=c(-3.5, 3.5), xlab="cp1", ylab="cp2", main="d > text(cp$scores[,1], cp$scores[,2], labels=eudemo1$code, pos=3, cex=0.7, + col="red") > abline(v=0, h=0, lty="dashed") > # L Italia si trova nel terzo quadrante (cp1 > 0 e cp2 > 0), > # confermando alto grado di invecchiamento della popolazione e > # basso tasso di crescita naturale e, congiuntamente, alti valori > # della speranza di vita e del saldo migratorio. > # Le nazioni non-ue hanno posizioni differenziate. Turchia, Islanda, > # Macedonia e Montenegro si trovano nel terzo quadrante, con un tasso > # di crescita naturale più alto delle altre nazioni e un saldo > # migratorio più basso. La Turchia può essere considerata un caso > # "anomalo" rispetto alle altre nazioni del campione. Viceversa, > # Svizzera (Sz) e Norvegia (No) (secondo quadrante) hanno un profilo > # demografico simile a quello delle nazioni UE. Esercizio 3 Considera ancora i dati demografici dell Esercizio Calcola le distanze euclidee tra le nazioni europee usando i dati standardizzati. Trova le nazioni rispettivamente più vicina all Italia e più lontana, insieme con le distanze corrispondenti. > d_eucl <- dist(scale(eudemo1[,-(1:3)])) > d_it <- as.matrix(d_eucl)[11,] # riga 11 della matrice di distanze, Italia > c(min(d_it[d_it > 0]), max(d_it)) [1] Nazione più vicina: Grecia (1.73); più lontana: Turchia (9.63). Il risultato è confermato dal diagramma di dispersione delle prime due CP, nonostante l approssimazione. 2. Ricava il dendrogramma delle nazioni europee usando il metodo del legame medio. Quanti gruppi si ottengono fissando un livello di taglio uguale alla mediana delle distanze euclidee? > dendro <- hclust(d_eucl, method="average") > plot(dendro, xlab="nazioni", ylab="distanza Euclidea", main="dati Demografici Europa", hang=- > taglio <- median(d_eucl) > taglio [1] > rect.hclust(dendro, h=taglio) > eudemo1[eudemo1$natv > 8,]

10 10 Dati Demografici Europa CP Tu Ir Ic No Lc Lu Sw Cy Fr Uk Ne Be Sp De Ma Sl Cz Mn Sk Mc Sz Fi Pl Gr Au It Po Ro Cr Es Bu Li Ge Hu La CP1 Figura 3: Dati demografici. Scatter plot CP1, CP2. Country Eu27 Code Natv Totv Migr Birth Fert Women Old Dep Lifef Lifem Ir Ireland 1 Ir Ic Iceland 2 Ic Tu Turkey 2 Tu > colmeans(eudemo1[,-(1:3)]) Natv Totv Migr Birth Fert Women Old Dep Lifef Lifem Vengono individuati 4 gruppi, dei quali a) uno contiene la sola Turchia, b) uno contiene Islanda e Irlanda. Dei due gruppi principali, uno contiene le nazioni dell est europeo di più recente adesione (Romania, Bulgaria, Ungheria, Estonia, Lettonia, Lituania, Polonia, Rep. Slovacca) e nazioni dell ex Jugoslavia (Croazia, Montenegro, Macedonia), l altro contiene le restanti nazioni. I primi due gruppi a), b) e c) sono da interpretarsi come nazioni singole o gruppi di nazioni con caratteristiche demografiche particolari. Irlanda, Islanda e Turchia hanno valori eccezionalmente elevati del tasso di crescita naturale.

11 11 Dati Demografici Europa Ge It Sp Gr Au Po Lu Sz No Fr Sw Uk Be Fi De Ne Cy Lc Ma Cz Sl Ro Bu Hu Cr Es La Li Mn Mc Pl Sk Tu Ir Ic Distanza Euclidea Nazioni Legame Medio Figura 4: Dati demografici. Dendrogramma. 3. Fornisci un interpretazione dei gruppi trovati al punto precedente. Qual è la corrispondente misura di bontà? > gruppi <- cutree(dendro, h=taglio) # etichette dei gruppi > n_gruppi <- table(gruppi) # numerosità dei gruppi > # 1: gruppo nazioni di più antica appartenenza UE > # 2: gruppo nazioni di recente adesione UE o non UE > # 3: Irlanda + Islanda; 4: Turchia > medie_gruppi <- by(scale(eudemo1[,-(1:3)]), gruppi, colmeans) # prototipi dei gruppi > # Misura d bontà: traccia(b)/traccia(t) > # B: matr. codevianza between (= T - W), W: matr. codevianza within > # T: matr. codevianza totale > # Data la standardizzazione, T = (n - 1)*R e traccia(t) = (n - 1)*traccia(R) > dati_st <- scale(eudemo1[,-(1:3)]) # dati standardizzati > T <- (n1-1)*cov(dati_st) > W1 <- (n_gruppi[1]-1)*cov(dati_st[gruppi == 1,]) # codev. gruppo 1 > W2 <- (n_gruppi[2]-1)*cov(dati_st[gruppi == 2,]) # codev. gruppo 2 > W3 <- (n_gruppi[3]-1)*cov(dati_st[gruppi == 3,]) # codev. gruppo 3

12 12 > W <- W1 + W2 + W3 > indice <- sum(diag(t - W))/sum(diag(T)) # > plot(cp$scores[,1], cp$scores[,2], pch=gruppi, ylim=c(-3.5, 3.5), xlab="cp1", ylab="cp2", mai > text(cp$scores[,1], cp$scores[,2], labels=eudemo1$code, pos=3, cex=0.7, + col="red") > abline(v=0, h=0, lty="dashed") Dati Demografici Europa CP Tu Ir Ic Lu No Lc Cy Mn Sw Fr Uk Ne Mc Sz Be Sp Sl Fi De Ma Cz Sk Gr Pl It Ge Au Po Cr Hu Es Bu Ro Li La CP1 Figura 5: Dati demografici. Scatter plot CP1, CP2 con etichette dei gruppi. Il confronto dei prototipi fornisce le caratteristiche dei gruppi, in media. Essi mostrano ovvie differenze delle variabili demografiche. La misura di bontà, circa 59%, non è elevatissima e rivela eterogeneità interna ai gruppi (del resto chiaramente documentata dal dendrogramma). Utile la rappresentazione dei gruppi sul piano delle prime due CP. Il gruppo 1 (con la sola eccezione della Rep. Ceca) appartiene al primo e secondo quadrante. Il gruppo 2 appartiene al terzo e quarto. Sono evidenti i sottogruppi interni (ad es.: Italia, Germania, Grecia, Austria, Portogallo nel primo quadrante). Esercizio 4 Il data set chaeto contiene i dati di un campione di n = 74 esemplari di Chaetocnema (una specie di coleotteri) appartenenti a tre varietà diverse, Chaetocnema Concinna, indicata con A, Chaetocnema Heikertingeri, indicata con B, Chaetocnema Heptapotamica, indicata con C. Su ogni esemplare sono rilevate, oltre alla varietà di appartenenza, i valori di p = 6 variabili numeriche

13 13 V 1, V 2, V 3, V 4, V 5, V 6. Abbiamo stimato la funzione di classificazione usando il metodo degli alberi decisionali (algoritmo CART). Il diagramma sottostante visualizza i risultati. CART: Chaetocnema Data V6< 93.5 B 0/30/0 V1>=159 A 21/1/0 C 0/0/22 Figura 6: Dati Chaetocnema. Albero di classificazione. 1. Ricava dal diagramma la matrice di confusione e la stima della probabilità totale di errore. > conf_m <- matrix(c(21, 0, 0, 1, 30, 0, 0, 0, 22), nrow=3, ncol=3, byrow=true, dimnames = list > n <- sum(conf_m) > err <- 1 - sum(diag(conf_m))/n 2. A quale varietà viene attribuito un Chaetocnema con V 1 = 131 e V 6 = 102? Gruppo C. 3. (Quesito aggiuntivo) Si possono visualizzare i domini di attribuzione delle tre varietà sul piano cartesiano? > chaeto <- read.table(" header=true) > colore <- rep("black", dim(chaeto)[1]) > colore[chaeto[,1] == "B"] <- "red"

14 14 > colore[chaeto[,1] == "C"] <- "green" > plot(chaeto$v1, chaeto$v6, col=colore, pch=20, xlab="v1", ylab="v6", + main="dati CHAETOCNEMA", sub="domini di attribuzione CART") > lines(c(min(chaeto$v1),max(chaeto$v1)), c(93.5,93.5), type="l", lty="dashed") > lines(c(159, 159), c(93.5, max(chaeto$v6)), type="l", lty="dashed") > text(c(230, 130, 130), c(120, 80, 120), label=c("a", "B", "C"), cex=1.5) > points(131, 102, type="p", pch="*", cex=1.5) # punto da classificare Dati CHAETOCNEMA Domini di attribuzione CART V1 V6 A B C * Figura 7: Dati Chaetocnema. Visualizzazione domini attribuzione CART. Sì, perchè il classificatore considera solo 2 variabili, V1 e V6.