Indice. 1 Introduzione ai modelli lineari 2. 2 Dataset 3. 3 Il Modello 8. 4 In pratica Peso e percorrenza... 12

Transcript

1 Indice 1 Introduzione ai modelli lineari 2 2 Dataset 3 3 Il Modello 8 4 In pratica Peso e percorrenza 12 1

2 Capitolo 1 Introduzione ai modelli lineari Quando si analizzano dei dati, spesso si vuole scoprire se esiste una particolare relazione tra essi A volte, in particolare, si vuole scoprire se una o più variabili in gioco dipendono dalle altre: y = f(x 1,, x p ; β), dove β sono dei parametri incogniti Se questa relazione fosse esatta non ci sarebbe nulla da studiare In realtà succede che y = f(x 1,, x p ; β) + ɛ In questa parte del corso studieremo la più semplice funzione f ovvero una funzione lineare nei parametri: y = β 0 + β 1 x + ɛ Perché la più semplice? 1 E facilmente interpretabile 2 E semplice da utilizzare 2

3 Capitolo 2 Dataset Iniziamo a vedere come si utilizza un modello di questo tipo su un dataset reale con l utilizzo del software R Per prima cosa dobbiamo caricare il dataset che utilizzeremo: autodat che potete trovare su Apriamo il file e vediamo che nella prima ci sono un file di questo si carica su R attraverso il comando > auto = readtable("autodat", header = TRUE) L oggetto auto è un data-frame e contiene le seguenti variabili: > names(auto) [1] "marca" "alimentazione" "aspirazione" "carrozzeria" [5] "trazione" "posizmotore" "distassi" "lunghezza" [9] "larghezza" "altezza" "peso" "cilindrata" [13] "compressione" "HP" "girimax" "percorrurbana" [17] "percorrstrada" "Ncilindri" per caricare ognuna di esse in memoria con il proprio nome dobbiamo utilizzare il comando: > attach(auto) 3

4 Potrebbe essere interessante stabilire se esiste una relazione tra la percorrenza urbana, il numero di kilometri che si fanno con un litro di carburante, e per esempio il peso Infatti possiamo immaginare che a parità di condizioni una pacchina più pesante consumi più di un altra più leggera Questo possiamo vederlo graficamente mettendo su un piano cartesiano le due variabili: sull ascissa mettiamo il peso e sull ordinata la percorrenza urbana, che d ora in poi chiamerò semplicemente percorrenza > plot(peso, percorrurbana) percorrurbana peso Figura 21: La percorrenza in funzione del peso 4

5 Ogni punto del grafico corrisponde ad una macchina Dal grafico si vede subito che aumentando il peso diminuisce la percorrenza Notiamo che c è un gruppo di punti che si discosta notevolmente dala parte restante del dataset In particolare questi punti hanno una percorrenza più alta e quindi un consumo più basso Questo può dipendere dal fatto che quel gruppo di macchine ha caratteristiche diverse rispetto alle altre Per scoprirlo possiamo estrarre quei punti singolarmente Per fare ciò possiamo utilizzare la funzione interattiva identify che permette di conoscere a quale riga del dataset corrisponde il punto semplicemente cliccandoci sopra con il mouse > plot(peso, percorrurbana) > v = identify(peso, percorrurbana) > v [1] A questo punto clicchiamo i punti che ci interessano e quando abbiamo finito clicchiamo con il pulsante destro sulla finestra grafica e scegliamo stop Vediamo per esempio che > alimentazione[v] [1] diesel diesel Levels: benz diesel Ovvero entrambe le macchine sono alimentate a diesel, che ha, come è noto, un consumo più basso rispetto alle macchine a benzina Ma è possibile anche fare grafici più sofisticati con R, in questo modo si ha un idea più chiara del dataset: 5

6 > plot(peso, percorrurbana, type = "n", ylab = "percorrenza urbana (km/litro)", + xlab = "peso") > d <- alimentazione == "benz" > points(peso[d], percorrurbana[d], col = 2, pch = 2) > points(peso[!d], percorrurbana[!d], col = 3, pch = 3) > legend(1550, 20, pch = c(2, 3), col = c(2, 3), legend = c("benzina", + "diesel")) percorrenza urbana (km/litro) benzina diesel peso Figura 22: La percorrenza in funzione del peso, differenze di alimentazione 6

7 in questo modo distinguiamo anche le macchine alimentate a benzina con le diesel E molto interessante confrontare anche più variabili insieme: > M = cbind(percorrurbana, cilindrata, Ncilindri, peso) > pairs(m, col = ifelse(d, 2, 3), pch = ifelse(d, 2, 3)) percorrurbana cilindrata Ncilindri peso Figura 23: Grafici incrociati 7

8 Capitolo 3 Il Modello Torniamo al nostro modello Immagiamo di avere un campione di n unità (per esempio n macchine) di cui sono disponibili per ogni unità alcune caratteristiche (la perccorrenza, il peso, etc) Siano x e y due caratteristiche, noi vogliamo studiare come si comporta la caratteristica y al variare di x Come già detto, l ipotesi più semplice che si può fare è quella di un modello lineare y = β 0 + β 1 x + ɛ, con β 0 e β 1 parametri incogniti Da un punto vista grafico y = β 0 + β 1 x è una retta con intercetta β 0 e coefficiente angolare β 1, il termine aggiuntivo ɛ è un errore In questo schema il nostro scopo è trovare la retta più vicina ai dati ovvero i valori β 0 e β 1 migliori Ma che vuol dire più vicina? E migliore in che senso? Per precisare meglio questi concetti 8

9 abbiamo bisogno di un struttura matematica più rigorosa Poniamo y 1 = β 0 + β 1 x 1 + ɛ 1 y i = β 0 + β 1 x i + ɛ i y n = β 0 + β 1 x n + ɛ n O meglio utilizzando una relazione matriciale: y = Xβ + ɛ dove y = y 1 y i X = 1 x 1 1 x i β = β 0 β 1 ɛ = ɛ 1 ɛ i y n 1 x n ɛ n Ora se poniamo ˆβ una stima di β, si ha per ogni x i che ŷ i = ˆβ 0 + ˆβ 1 x i e quindi ŷ = X ˆβ è la retta stimata Ora vogliamo minimizzare l errore che commettiamo approssimando i dati y i con i valori stimati ŷ i : a questo scopo per ogni i poniamo e i = y i ŷ i I valori e i vengono chiamati residui e rappresentano l errore commeso per ogni unità Abbiamo però bisogno di un errore globale che sintetizzi tutti gli errori contemporaneamente Ci sono vari modi per definire questo errore, il più utilizzato è sicuramente questo: n n D(β) = e 2 i = [y i β 0 + β 1 x i ] 2 i=1 i=1 9

10 La funzione D viene spesso chiamata devianza Per trovare il β migliore, come promesso all inizio, dobbiamo minimizzare questa funzione Questo è quello che si chiama criterio dei minimi quadrati Per andare avanti bisogna però fare alcune ipotesi sugli errori ɛ i, le ipotesi classiche sono quelle chiamate di omoschedasticità: E(ɛ i ) = 0 i = 1,, n V ar(ɛ i ) = σ 2 i = 1,, n Cov(ɛ i, ɛ j ) = 0 i, j = 1,, n i j Minimizzando la funzione D(β) otteniamo che ˆβ = ( X t X ) 1 X t y Utilizzando il valore trovato possiamo ottenere anche una stima del parametro incognito σ 2 : s 2 = D( ˆβ) n 2 s = D( ˆβ) n 2 Queste formule che avviamo costruito in un caso particolarmente semplice del modello lineare valgono in realtà più in generale Infatti possiamo immaginare che la variabili non dipenda da una sola caratteristica x ma da un certo numero di caratteristiche: x 1,, x p 1 : y = β 0 + β 1 x β p 1 x p 1 La formulazione del modello diventa a questo punto: y 1 = β 0 + β 1 x β p 1 x ip 1 + ɛ 1 y i = β 0 + β 1 x i1 + + β p 1 x ip 1 + ɛ i y n = β 0 + β 1 x n1 + + β p 1 x np 1 + ɛ n 10

11 Ma sempre nella forma matriciale y = Xβ + ɛ dove però a differenza di prima X = 1 x 11 x 1p 1 1 x i1 x ip 1 β = β 0 β 1 1 x n1 x np 1 β p 1 Il metodo dei minimi quadrati porta quindi a ˆβ = ( X t X ) 1 X t y da cui s 2 = D( ˆβ) n p s = D( ˆβ) n p 11

12 Capitolo 4 In pratica Analizziamo quindi il nostro dataset delle auto utilizzando il modello appena introdotto 41 Peso e percorrenza Possiamo a questo punto studiare la relazione tra peso e percorrenza Poniamo percorrenza = β 0 + β 1 peso + ɛ Per costruire tutte le stime che ci occorrono basta un solo semplice comando in R: lm > fit = lm(percorrurbana ~ peso) > fit Call: lm(formula = percorrurbana ~ peso) Coefficients: (Intercept) peso

13 Il nome lm sta per linear model e come vedete restituisce i coefficienti stimati: ˆβ0 (Intercept) e ˆβ 1 peso Ma il comando lm fa molto di più! Per ottenere una lista di tutti gli oggetti che restituisce dobbiamo dare > names(fit) [1] "coefficients" "residuals" "effects" "rank" [5] "fittedvalues" "assign" "qr" "dfresidual" [9] "xlevels" "call" "terms" "model" Tra le cose che restituisce lm troviamo i coefficienti stimati (coefficients), i residui (residuals), i valori stimati ŷ (fittedvalues) Graficamente il risultato è quello dato dalla figura 51 13

14 > plot(peso, percorrurbana) > abline(reg = fit, col = 2) percorrurbana peso Figura 41: Retta di regrssione e residui 14

15 In realtà informazioni più significative possono essere ricavate utilizzando il comando summary: > summary(fit) Call: lm(formula = percorrurbana ~ peso) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std Error t value Pr(> t ) (Intercept) <2e-16 *** peso <2e-16 *** --- Signif codes: 0 *** 0001 ** 001 * Residual standard error: 1826 on 201 degrees of freedom Multiple R-Squared: 05748, Adjusted R-squared: F-statistic: 2717 on 1 and 201 DF, p-value: < 22e-16 Ma analizziamo meglio l output di summary Per prima cosa salviamolo e vediamo le informazione che contiene: > sfit = summary(fit) > names(sfit) [1] "call" "terms" "residuals" "coefficients" [5] "aliased" "sigma" "df" "rsquared" [9] "adjrsquared" "fstatistic" "covunscaled" 15

16 Partiamo dall inizio La prima cosa che vediamo è la formula del modello (Call) Poi ci sono delle informazioni sui residui (Residuals) come il minimo il massimo e quartili Il vettore di tutti i residui può essere ricavato in vari modi: > fit$residuals > sfit$residuals > residuals(fit) > residuals(sfit) Notiamo (dalla mediana e dai quartili) che i residui non sono simmetrici rispetto allo 0 Questo probabilmente dipende dal fatto che stiamo considerando contemporaneamente sia macchine a benzina che diesel Poi troviamo una tabella con i coefficienti stimati e altre utili informazioni (Coefficients) Prendiamo ad esempio la seconda riga: > sfit$coef[2, ] Estimate Std Error t value Pr(> t ) e e e e-39 Essa si riferisce al coefficiente della variabile peso, ovvero β 1 Il primo valore è la sua stima ( ˆβ 1 ), il secondo è il suo errore standard e il terzo il rapporto fra questi due che corrisponde al valore t oss del test di ipotesi β 1 = 0 Più questo valore è alto più è bassa la probabiltà di sbagliare rifiutando l ipotesi che β 1 = 0 (sotto l ipotesi aggiuntiva di normalità degli errori) Un altro indice di ciò è dato dalla P ( X > t ) (con X va normale standard) ovvero il quarto valore: in questo caso è un numero molto vicino a 0 che vuol dire che β 1 0 La componente peso è quindi significativa per il modello (sempre nel caso di normalità) Il valore Residual standard error è il valore che per noi è dato da σ e degrees of freedom è il valore n p della formula che corrisponde al numero di gradi di libertà della variabile Chi-quadro che se ne ricava (osserviamo che nel nostro caso p = 2) Per ottenere questi valori basta digitare 16

17 > sfit$sigma [1] > sfit$df[2] [1] 201 Nel summary troviamo anche il Multiple R-Squared calcolato attraverso la formula: R 2 = 1 (yi ŷ i ) 2 ( y i y i ) 2 = ( ŷ i y i ) 2 ( y i y i ) 2 = varianzione spiegata varianzione totale Il valore R 2 viene chiamato coefficiente di determinazione e indica la quota di variabilità che siamo riusciti ad interpretare utilizzando il modello Questo è un valore tra 0 e 1; nel nostro caso è 057 che indica un discreto grado di accostamento tra dati osservati e interpolati Per ricavare questo valore dobbiamo scrivere > sfit$rsquared [1] Notiamo che R 2 = ρ 2 = s2 xy s 2 xs 2 y ma i due fattori hano significati diversi: il primo è un indice della bontà di adattamento mentre il secondo (la correlazione al quadrato) è un indice di dipendenza tra x e y L ultima informazione che troviamo nel summary è la statistica F : F-statistic: questa verrà spiegata in seguito Osserviamo che anche se ad una prima analisi abbiamo dei risultati confortanti guardando meglio il grafico si vede che c è un intero gruppo di dati (le macchine diesel) che si discostano notevolmente dalla retta; possiamo quindi, almeno ad una prima analisi distinguere le due situazioni creando due modelli differenti 17

18 > fitb = lm(percorrurbana[d] ~ peso[d]) > fitd = lm(percorrurbana[!d] ~ peso[!d]) > plot(peso, percorrurbana, type = "n", ylab = "percorrenza urbana (km/litro)", + xlab = "peso") > points(peso[d], percorrurbana[d], col = 2, pch = 2) > points(peso[!d], percorrurbana[!d], col = 3, pch = 3) > legend(45, 20, pch = c(2, 3), col = c(2, 3), legend = c("benzina", + "diesel")) > abline(reg = fitb, col = 2, lty = 2) > abline(reg = fitd, col = 3, lty = 4) percorrenza urbana (km/litro) peso 18

19 In questo caso però notiamo che per valori estremi del peso nelle macchine a benzina il modello lineare non sembra funzionare bene 19