La regressione lineare. Rappresentazione analitica delle distribuzioni

Transcript

1 La regressione lineare Rappresentazione analitica delle distribuzioni

2 Richiamiamo il concetto di dipendenza tra le distribuzioni di due caratteri X e Y. Ricordiamo che abbiamo definito dipendenza perfetta la relazione y=f(x) che fa corrispondere ad ogni valore x un unico valore y. Nel caso di dipendenza perfetta di Y da X, la funzione y=f(x) rappresenta completamente la distribuzione doppia (e lo stesso accade per la funzione x=f(y) nel caso di dipendenza perfetta di X da Y). Nella statistica, però, è assai raro osservare una distribuzione doppia nella quale un carattere dipende perfettamente dall altro, ma noi possiamo associare ancora alla distribuzione doppia una funzione y=f(x) che rappresenta la distribuzione doppia osservata soltanto parzialmente. In questo caso la funzione y=f(x) può evidenziare sia il fatto che le variazioni del carattere Y sono dovute in parte alle variazioni del carattere X, sia il fatto che i due caratteri Y e X variano congiuntamente.

3 Noi diciamo che la funzione y=f(x) costituisce un modello della distribuzione doppia osservata e tale modello si definisce modello di regressione. Curiosità: il termine regressione introdotto da F. Galton nella seconda metà del secolo XIX. Galton, nello studiare la relazione fra la statura di un gruppo di padri e quella dei loro figli maschi, riscontrò che le stature dei figli si avvicinavano più di quelle dei padri alla loro statura media, ossia che le stature, nel passare da una generazione alla successiva, tendevano a regredire verso la media. Da allora i modelli di questo tipo hanno preso il nome di modelli di regressione anche quando sono usati per studiare fenomeni del tutto diversi da quelli studiati da Galton. Per essere un modello di una distribuzione doppia osservata, la funzione y=f(x) deve essere tale che l insieme dei punti (x 1, f(x 1 )), (x 2, f(x 2 )),, (x n, f(x n )) che rappresenta la distribuzione doppia generata dal modello, ossia la distribuzione doppia teorica, sia il più vicino all insieme di punti che rappresenta la distribuzione doppia osservata (x 1, y 1 ), (x 2, y 2 ),, (x n, y n )

4 Occorre quindi trovare un modo per misurare la distanza tra la distribuzione teorica e quella osservata. Una possibilità è quella di considerare lo scostamento medio complessivo per distribuzioni unitarie o di frequenza Tale scostamento è maggiore di zero ma non ha limite superiore. Allora si fa ricorso ad uno scostamento, o ad un accostamento, relativo, dividendo tale valore per il suo massimo.

5 Quando associamo ad una stessa distribuzione doppia osservata più modelli y=f 1 (x), y=f 2 (x),, y=f n (x) possiamo chiederci quale di essi sia il migliore. Ovviamente è il migliore quel modello che si discosta meno dalla distribuzione doppia osservata, ossia quello per il quale è minore lo scostamento medio complessivo. Si può dimostrare che lo scostamento relativo può essere scritto anche come ne consegue che l accostamento relativo non è altro che il quadrato del rapporto di correlazione di Pearson

6 Quindi nello scostamento è importante la differenza fra la varianza della distribuzione totale secondo il carattere Y e la varianza delle medie aritmetiche y h delle distribuzioni parziali, secondo il carattere Y, corrispondenti alle varie modalità x h del carattere X. Quest ultima varianza rappresenta la variabilità del carattere Y che è spiegata dal modello y=f(x). Pertanto la differenza fra la varianza della distribuzione totale e la varianza spiegata dal modello può essere definita come varianza residua ed è data dal quadrato dello scostamento complessivo. Il metodo per minimizzare la differenza tra la varianza della distribuzione totale e quella spiegata dal modello, cioè per avere la minore varianza residua possibile, dipende dal tipo di scostamento che abbiamo scelto e si chiama metodo dei minimi quadrati.

7 Con questo metodo otteniamo la stima della retta di regressione che ha la forma: dove il rapporto tra la covarianza tra X e Y e la varianza di X è il coefficiente angolare della retta detto anche coefficiente di regressione di y a x che fornisce l aumento che subisce sulla retta di regressione la variabile dipendente quando la variabile indipendente aumenta di 1. Definendo si ottiene:

8 Definendo si ottiene Invertendo la x e la y si può ottenere il modello di regressione della dipendenza di X da Y. Entrambe le rette passano per il punto medio delle due distribuzioni cioè passano per il baricentro

9 Esempio: ricordiamo l esempio già visto in precedenza di 40 intervistati secondo il livello della propria felicità e quella della felicità dei coetanei. Di questo esempio avevamo calcolato il baricentro B. Se disegnamo le rette di regressione, della x rispetto a y e della y rispetto a x, otteniamo la figura che rappresenta le due linee che attraversano i punti della distribuzione doppia e passano entrambe per il baricentro. Le linee di regressione

10 Le equazioni delle rette di regressione assumono una forma più semplice se facciamo riferimento agli scarti delle distribuzioni dalle rispettive medie aritmetiche, cioè se ci poniamo nel sistema cartesiano di riferimento ottenuto traslando il sistema iniziale di assi nel baricentro B = (x, y) della distribuzione doppia osservata. Indicando con ε x e ε y le coordinate del nuovo sistema di assi, la traslazione è perciò la seguente

11 Ricordando che l equazione della retta di regressione diventa: dove il coefficiente di regressione può essere scritto sia come rapporto tra covarianza e e varianza, sia usando gli scarti per scrivere queste due quantità. Infine, se invece di usare gli scarti, passiamo ad una vera e propria standardizzazione, cioè dividiamo gli scarti per lo scostamento quadratico medio, le equazioni diventano:

12 Esempio: Ricaviamo le equazioni delle rette di regressione per la distribuzione, secondo la statura e il peso, degli alunni delle scuole del Lazio, di 8 anni nel Utilizziamo i calcoli già fatti in precedenza e ricordiamo che la media della statura era 133,2cm e quella del peso 33,1kg. Questi due valori sono rappresentati nel baricentro della distribuzione (il punto B) Le linee di regressione

13 Proprietà delle rette di regressione 1. i coefficienti di regressione sono legati dalla relazione 2. i coefficienti di regressione, la covarianza, il coefficiente di correlazione lineare e gli scostamenti quadratici medi sono legati dalle relazioni Da qui si deduce che se la covarianza, e quindi r, è nulla, tutti i coefficienti sono nulli. In questo caso le rette di regressione nel piano xy hanno le equazioni y = y e x = x e quindi sono parallele agli assi e si incontrano nel baricentro. Infatti, se vi è connessione nulla fra i due caratteri quantitativi X e Y di una distribuzione doppia, fra essi vi è anche indifferenza. Quindi è r = 0 e le rette di regressione sono quelle raffigurate nella figura.

14 Proprietà delle rette di regressione 3. I coefficienti di regressione, se sono entrambi diversi da zero, hanno lo stesso segno che è quello delle covarianza o del coefficiente di correlazione lineare. 4. La media geometrica dei due coefficienti di regressione è il coefficiente di correlazione lineare 5. Poiché allora anche 6. Se i punti che rappresentano la distribuzione doppia sono allineati, le due rette di regressione sono sovrapposte ed è r 2 =1 e viceversa.

15 Proprietà delle rette di regressione 7. Dalla proprietà 6 segue che se è r 2 1 ossia se è r 2 <1 e quindi b y /x b x /y <1, le due rette di regressione sono distinte (e incidenti nel baricentro). 8. r 2 è l accostamento relativo di ciascuna delle due rette di regressione alla distribuzione doppia. Perciò, quanto più grande è r 2, tanto migliore è la descrizione della distribuzione doppia osservata effettuata da ogni retta di regressione. Quindi possiamo assumere r 2 come misura della bontà di adattamento di ciascuna delle rette di regressione ai valori osservati. 9. r 2 è l indice di miglioramento che si ottiene interpolando la distribuzione doppia con una retta qualunque anziché con una retta parallela all asse x o y a seconda della variabile che si assume come indipendente.

16 Esempio: Torniamo alla distribuzione degli alunni del Lazio. La descrizione che danno le due rette della distribuzione doppia osservata subisce un consistente miglioramento, pari al 38% (r 2 =0,38), nel passaggio dalla retta parallela all asse delle ascisse a quella di regressione Le linee di regressione

17 Proprietà delle rette di regressione Per introdurre un ultima proprietà consideriamo la varianza della y scritta come Questa è la cosiddetta varianza totale della y Poi consideriamo la varianza di regressione lineare e infine quella residua Vale la seguente proprietà di scomposizione della varianza totale Cioè: la varianza della y si può scomporre in una varianza spiegata dal modello di regressione e in una parte residua di varianza non spiegata.

18 Proprietà delle rette di regressione Questa proprietà permette ancora una volta di collegarci ad r. Ciò significa che quanto più la varianza V L è vicina alla varianza totale, tanto più r 2 è grande e viceversa. Perciò r 2 indica quanto della varianza totale è spiegato dalla relazione lineare fra y ed x. Se r 2 =1, tutti i punti sono sulla retta ed è determinato il valore di y quando si conosce quello di x (e viceversa). Se r 2 =0, le due rette di regressione sono invece parallele agli assi e dal valore che assume una variabile non può dirsi nulla su quello assunto dall altra. Nei casi intermedi si può determinare, con le equazioni delle rette di regressione, il valore di y da quello di x col grado di approssimazione dato dal valore dell indice di determinazione r 2. Comprendiamo perciò il motivo per il quale si dà ad r 2 il nome di indice di determinazione di un carattere rispetto all altro.

19 Esempio: Nei casi delle due distribuzioni doppie esaminate in precedenza, abbiamo avuto rispettivamente r 2 =0,56 2 =0,31 e r 2 =0,62 2 =0,38. Quindi la relazione lineare posta fra il carattere «livello della propria felicità» e il carattere «livello della felicità dei coetanei» spiega il 31% della variabilità di ciascuno dei due caratteri. Invece nella seconda distribuzione doppia, quella della distribuzione per altezza e peso degli alunni del Lazio, la relazione lineare posta fra il carattere statura e il carattere peso spiega il 38% della variabilità di ciascuno dei due caratteri.

20 La regressione multipla. Quanto visto si può estendere al caso di una variabile Y dipendente da più variabili indipendenti X i : Y=β0+β1X βmxm+ε Questa formulazione del modello di regressione mette in luce il fatto che si vuole studiare la dipendenza di Y da alcune variabili a meno di un fattore di errore che, come spesso accade, è indicato come ε. Ciò significa che questo modello spiega la relazione tra Y e le X, ma c è una parte di Y che, non potendo essere spiegata dalle X prese in esame, viene definita come errore del modello ed è compresa in ε. Questo modello deve però sottostare a vincoli precisi, ipotesi che devono essere fatte a priori. La più importante è quella dell assenza di multicollinearità tra le variabili indipendenti (X i )

21 La regressione multipla. La multicollinearità è in sostanza una dipendenza tra le variabili X. Tale dipendenza può avere diverse origini e ragioni e si manifesta quando il rango della matrice dei dati non è pari al numero di variabili. Un modo semplice per verificare se c è multicollinearità è quello di calcolare la correlazione tra le variabili: una forte correlazione, positiva o negativa, è sicuramente indice di multicollinearità. Esistono anche dei test specifici per verificare l esistenza di multicollinearità, ma non sono oggetto di questo corso. Nella pratica, quando si vuole stimare un modello di regressione multipla, si hanno due principali modalità: l individuazione del modello in una sola fase oppure una procedura per gradi successivi (stepwise)

22 La regressione multipla. La procedura per gradi può avvenire in avanti (forward): si inserisce nel modello una variabile alla volta fino a fermarsi quando inserendo una qualunque nuova variabile il modello non migliora. Oppure può avvenire all indietro (backward): si parte da un modello con tutte le variabili e se ne elimina una alla volta fino a quando si ottiene il modello ottimale. Se si producono diversi modelli di regressione, per decidere quale per noi è il migliore, si confronta l r 2 ottenuto per ciascuno e si prende il modello con coefficiente di determinazione più alto.