Variabili tutte osservabili: regressione Si parla di regressione quando si ha a disposizione un campione sperimentale di numerosità n della forma X 1

Transcript

1 Modelli lineari Come motivazione di ciò che stiamo per fare, pensiamo ai dati indicatori_benessere.txt. Quando li abbiamo esaminati nella lezione 1 tramite la rappresentazione nel piano delle componenti principali, abbiamo estratto come tipo di informazione il possibile legame tra certe regioni, somiglianze e differenze tra regioni; lo scopo era quindi esaminare gli esemplari del campione. In questa lezione invece ci poniamo un problema duale: esaminare le variabili del file indicatori_benessere.txt, i loro legami, le loro somiglianze. La specificità di quel campione non interessa più, esso serve solo a mettere in evidenza legami tra variabili. Un modello, in generale, è composto da due set di variabili: Y j risposte, osservabili (output, variabili dipendenti) X i predittori, fattori (input, variabili indipendenti, explanatory variables) Riassumiamo graficamente la relazione causa effetto così: Y j X i o meglio indicando le diverse frecce tra le diverse variabili. Se ad esempio c è una risposta e due fattori, possiamo anche scrivere: Y X 1 X mentre se c è un fattore e due risposte: Y 1 Y X In un modello lineare si suppone che la risposta sia legata ai fattori da una relazione affine a meno di errore : Y 0 1 X 1 p X p # dove i coefficienti 0, 1,, p descrivono quanto ciascun fattore pesa sulla risposta. Il coefficiente 0 è anche detto intercetta, mentre nel caso particolare p 1 il coefficiente 1 è anche detto pendenza p 1. Il rumore è ipotizzato a media nulla, o se si preferisce la sua media è stata inclusa nell intercetta. Se ci sono più risposte, il modello lineare ha la forma Y X 1 p1 X p 1 Y q 0q 1q X 1 pq X p q Variabili tutte osservabili: regressione Si parla di regressione quando si ha a disposizione un campione sperimentale di numerosità n della forma

2 x 1 1 x 1 p xn 1 xn p y n 1 p cioè tale che ogni elemento x i x i y i del campione contiene sia i valori dei fattori sia della risposta (se ci sono più variabili di risposta, si trattano separatamente). Si effettua una regressione lineare quando si ipotizza che il campione sia descritto da un modello lineare della forma ( ref: mod lin ) e si cercano i coefficienti 0, 1,, p, oltre che la varianza dell errore. Ad esempio, riguardo ai dati indicatori_benessere.txt, ci si può chiedere se ci sia una relazione lineare tra X tasso di disoccupazione e Yspese per alimentari/spese totali. Intuitivamente queste due variabili dovrebbero essere legate. Se si prova, si trova un buon risultato. La regressione permette di trovare una formula con cui si possono prevedere i valori della risposta relativamente a nuovi valori dei fattori. Chi volesse indagare sul commercio di una zona italiana, basta che disponga dei dati relativi alla disoccupazione di quella zona per avere una prima stima delle spese alimentari rispetto alle totali. A parte la previsione, ha senso eseguire una regressione anche solo per analizzare il legame tra diverse variabili. Se il modello di regressione risulta accurato, riteniamo che i fattori X i spieghino bene la risposta Y. Riteniamo che Y sia influenzata in grande misura dai fattori X i. Questi sono alcuni dei significati intuitivi che attribuiamo ad una buona regressione. L accuratezza del modello è misurata da alcuni indicatori che descriveremo al momento opportuno (p-value, R, ed altri, forniti dal software). Naturalmente l esistenza di un legame tra due variabili era già stato esaminato col concetto di correlazione, X,Y. In un certo senso, se ci interessa solo sapere se sue variabili sono legate, X,Y può essere sufficiente ed è sicuramente la prima informazione da avere. Tuttavia, eseguendo l analisi di regressione, in particolare osservando i residui, si acquisiscono nuove informazioni sul legame tra le due variabili. Inoltre, se ci sono in gioco più di due variabili, gli elementi della matrice di correlazione colgono i legami a due a due, ma servono particolari analisi multidimensionali per capire se ci sono legami più complessi che coinvolgono inscindibilmente più di due variabili. Uno degli strumenti è PCA, su cui torneremo da questo nuovo punto di vista. Un altro strumento è la regressione multipla. Ad esemipio, nel caso dei dati indicatori_benessere.txt, ci si può chiedere se la mortalità infantile sia spiegabile tramite il tasso di disoccupazione ed il numero di posti letto in istituti di cura (che descrive sommariamente il livello del servizio sanitario). Purtroppo si vede dalla regressione multipla che questo non accade: il risultato è modesto, c è qualcos altro tra le spiegazioni di un alto o basso tasso di mortalità infantile, che non rientra nelle variabili esaminate dal nostro file. Standardizzazione nella regressione Il coefficiente di correlazione, X,Y è legato alla regressione lineare (detta semplice nel caso p 1): Calcolando CovX,Y si vede subito che Y 0 1 X.

3 1 CovX,Y X X,Y Y X cioè il peso 1 che X ha su Y è proporzionale a X,Y. Se poi si standardizza X (cosidetta standardizzazione parziale del modello), cioè si riscrive il modello nella forma Y 0 1 X X X con X il nuovo coefficiente 1 vale 1 X 1 X,Y Y. Se infine si standardizza anche Y (cosidetta standardizzazione totale del modello), cioè si riscrive il modello nella forma Y Y Y 0 1 X X X con X Y Y e Y, il nuovo coefficiente 1 vale 1 X,Y. In altre parole, se si standardizzano entrambe le variabili, cosa che abbiamo fatto inizialmente sui dati del file indicatori_benessere.txt, il peso 1 della X standardizzata sulla Y standardizzata è proprio il coefficiente di correlazione X,Y. Variabili un po osservabili ed un po nascoste: analisi fattoriale Abbiamo visto sopra che la regressione si usa quando i dati sperimentali contengono informazioni sia sui fattori X i sia sulle risposte Y j. In altri casi si dispone solamente di osservazioni eseguite per le variabili Y j : 1 q yn 1 yn q dove si intende che le variabili Y j devono essere più d una, per aver senso porre il problema. Ci si chiede però ugualmente se per caso non valga un qualche modello lineare, con opportuni fattori X i di cui però non possediamo dati, osservazioni sperimentali. Anzi, in certi esempi applicativi, le risposte Y j sono proprio le osservazioni che possiamo effettuare sulle grandezze X i non misurabili direttamente. Le Y j sono le variabili misurabili, mentre le X i sono le variabili nascoste. Pensando all esempio indicatori_benessere.txt, ci possiamo chiedere: per caso, non è che le cinque variabili misurate (posti letto, ecc.) sono in realtà manifestazioni di una o due variabili nascoste, non misurate, forse più concettuali, come il benessere (potenziale singola variabile esplicativa), oppure le due variabili benessere economico e bontà del servizio sanitario (potenziale coppia di variabili esplicative)?

4 Regressione: stimatori di j e Y Avendo un campione di numerosità n: x 1 1 x 1 p xn 1 xn p y n si introducono i vettori e le matrici y, X y n 1 x 1 1 x 1 p, 1 xn 1 xn p 0 1 p così che i dati dovrebbero essere legati dalla relazione y X. Si cerca col metodo dei minimi quadrati: è il valore di che risolve min y X. Si deve calcolare il gradiente (rispetto a ) della funzione f y X, che vale f X T X X T y; posto uguale a zero, f 0, di trova X T X 1 X T y, che si rivela essere proprio il punto di minimo in quanto f è convessa. Trovato, si può anche calcolare il valore stimato di y, che chiamiamo y: y X XX T X 1 X T y. Riassumendo: X T X 1 X T y y Hy dove H : XX T X 1 X T. Il software calcola. Media e deviazione degli stimatori Consideriamo X come data, non aleatoria. Però y è aleatorio essendo aleatorio. Quindi X T X 1 X T X X T X 1 X T. Da qui si vede che la media di è (quindi è uno stimatore non distorto), la matrice di covarianza di è Q XT X 1 X T X T X 1 X T T XX T 1. Da qui si possono calcolare gli intervalli di confidenza per i parametri del modello. Anche y Hy è aleatorio:

5 y HX HX HX ed ha media y HX XX T X 1 X T X X y e matrice di covarianza Q y HXHX T XX T. Da qui si trovano gli intervalli di confidenza per i valori predetti. Residui Il dato i-esimo è della forma x i 1,,x i p,y i ; se 0, 1,, p sono le stime dei coefficienti, il residuo del dato i-esimo è i y i y i y i 0 1 x i 1 p x i p. Si può anche riscrivere vettorialmente: y y 1 Hy. Plottare i residui può essere utile per rendersi conto dell errore che si commette usando una retta per descrivere i dati. Se i residui hanno una forma disordinata, essi sono ragionevolmente degli errori casuali, ma se hanno un pattern preciso, ciò è indicazione del fatto che la retta non cattura la vera struttura dei dati. Conviene plottare i residui in ordinata mettendo in ascissa non il numero d ordine del campione (che non ha un particolare significato) ma il valore della y: così si vede ad esempio se i residui sono troppo grandi o con un segno ben definito in corrispondenza delle y grandi o viceversa ecc. Il software usa ogni tanto i residui standardizzati i. Bontà del fit Un modo per valutare la bontà del fit con un singolo numero è quello di usare la grandezza (chiamata ad es. multiple R squared) R 1 i y i y detta coefficiente di determinazione o percentuale della varianza spiegata. R è vicino ad 1, ovvero i y i y è vicino a zero, quando la varianza degli errori dopo l uso del modello è molto minore della varianza di partenza dei valori y i ; in altre parole, se il modello è stato in grado di dare una spiegazione della variabilità dei valori y i. Con un po di calcoli che tralasciamo, si dimostra che nella regressione semplice, vale R X,Y dove X,Y è il coefficiente di correlazione. Questo fornisce un altra interpretazione di

6 queste grandezze. Leverage Ricordando H XX T X 1 X T, il numero h i : H ii, i indice del dato i-esimo è detto leverage del dato i-esimo. Interessa in quanto si verifica che Var i 1 h i dove : Var i. Quindi, h i 0 implica Var i, ovvero il dato i-esimo ha un potere di costrizione molto elevato. E quindi una misura dell influenza di ciascun dato. Ad esempio, se (in due dimensioni) i dati sono disposti secondo una nuvola circolare più un dato esterno un po lontano, la nuvola di per sè ha poco potere di identificazione della retta di regressione, così il dato esterno diventa estremamente determinante. In genere un elevato leverage è causato dalla posizione un po estrema rispetto alla X. I dati con elevato leverage vanno osservati con attenzione: potrebbero essere molto importanti, così come da separare dagli altri. La matematica può solo metterli in evidenza. Cook s distance La distanza di Cook del dato i-esimo è D i : y yi p dove y sono le uscite stimate, y i sono quelle stimate senza l uso del dato i-esimo, p è l ordine della regressione multipla. Per definizione, la distanza di Cook del dato i-esimo è una misura dell influenza di quel dato sul risultato del fit. Vale anche D i 1 p r i h i 1 h i (da cui la possibilità di visualizzare le isolinee di D in un grafico residui-leverage). Pertanto, elevato D i nasce da una concomitanza di elevato residuo ed elevato leverage. Anche questo spiega come il leverage sia una misura dell influenza di un dato sul fit. Un dato che, oltre a far leva - a causa della sua posizione estrema - ha anche un grosso residuo, è davvero anomalo rispetto al gruppo: è fuori in tutti i sensi.