Corso di Statistica Sociale 0708 Giuseppe A. Micheli. Lezione 10. Regressione lineare e minimi quadrati: calcolo e inferenza

Transcript

1 Corso di Statistica Sociale 78 Giuseppe A. Micheli Lezione 1 Regressione lineare e minimi quadrati: calcolo e inferenza

2 In questa lezione.. In questa lezione tratteremo questi argomenti: Regressione lineare e minimi quadrati [3-5] Esempi e cautele [6-14] Prova delle ipotesi e modello lineare [15] Esempi: leggere i tabulati [16-19] Strategie oltre la retta: intervenire sugli outliers [2-22] Strategie oltre la retta: interpolanti non lineari [23-24]

3 La linea di regressione è ottima.. ma ha davvero scarso appeal E vero che la funzione (di qualunque tipo) che si adatta meglio ai dati di una nuvola di punti, minimizzando la funzione di perdita, è solo e sempre la spezzata di regressione. Ma francamente, la spezzata è una legge che non soddisfa le nostre esigenze interpretative e decisionali. Per almeno due ordini di motivi: Perché, essendo una funzione ad assetto variabile, priva di una sua personalità, non ci consente di cogliere il tipo di relazione tra X e Y (Y cresce con progressione aritmetica o geometrica con X? E monotona crescente o ha un picco e poi cala con una forma parabolica, o oscilla in forma sinusoidale?). Non ci consente insomma di individuare una legge semplice e chiara che definisca Y in funzione di X. Perché non ci consente di fare simulazioni sul variare di Y per valori non osservati di X (per esempio, data la spezzata di regressione, quale potrebbe essere una performance attesa a 23 o a 24 anni?): non ci consente cioè di estrapolare stime fuori del campo di variazione osservato. Ben consapevoli di non trovare la migliore interpolante possibile, preferiamo allora cercare non una generica funzione, ma la retta Y j = Φ i = a + bx i che meglio si adatta ai punti del grafico.

4 Stimare la retta miglior interpolante Dentro alla nuvola di punti cerchiamo i parametri a e b della retta y =a-bx j i che minimizzano le distanze: D = Σ(y j - φ i ) 2 f ij = Σ(y j a - bx i ) 2 f ij = min Si definisce Metodo dei Minimi Quadrati (MMQ) quello che consente di stimare la forma analitica dei parametri che minimizzino la funzione D. Le stime ai Minimi Quadrati (LS, least squares) della retta sono: a YX = intercetta all origine = m Y b YX m X b YX = coefficiente angolare = cov YX /var X Analogamente al rapporto di correlazione η 2 YX costruiamo una misura del grado di adattamento (goodness( of fit) ) della retta MQ ai dati, che misura il grado in cui la relazione rettilinea con l explanans X spiega la variabilità di Y. La misura è: Il coefficiente di determinazione è esattamente pari al quadrato del coefficiente di correlazione lineare R 2 yx = var var BR T ( Y ) ( Y ) = 1 var var WR T ( Y ) ( Y ) = [ ρ ] 2

5 Scomporre la varianza intorno alla retta ai minimi quadrati La proprietà di scomporre la varianza totale di Y in due parti (una spiegata dall explanans e una residuale ) vale per poche funzioni y=φ(x) oltre alla spezzata. Vale in primo luogo per la retta di regressione stimata col metodo dei MQ: Var T (Y) = Var WR + Var BR dove Var WR è la somma dei quadrati degli scarti tra valori osservati e teorici (calcolati cioè in base all equazione stimata) ponderati per le rispettive frequenze Analogamente al rapporto di correlazione η 2 YX possiamo costruire una misura del grado di adattamento (goodness( of fit) ) della retta MQ ai dati, ossia del grado in cui la relazione rettilinea con X spiega la variabilità di Y. La misura è il coefficiente di determinazione: R 2 yx = var var BR T ( Y ) ( Y ) = 1 var var WR T ( Y ) ( Y ) = [ ρ] 2 Splendida sorpresa!! Se la retta è stimata ai MQ (e solo in tal caso) si dimostra che il coefficiente di determinazione è esattamente pari al quadrato del coefficiente di correlazione lineare!

6 Un esempio Un analisi cross-section su due misure di pari opportunità (X=% donne che lavora, Y=disuguaglianza nei redditi) per 12 paesi europei mostra che se sale l occupazione femminile cala la disuguaglianza (ma R 2 YX è bassa) E(X)=,55; V(X)=,175; E(Y)=,61; V(Y)=,169 Cov=-,95; ρ XY =-(,95/,172)=-,5523 b YX =-(,95/,175)=-,5428 a YX =,61-(-,5428x,55)=,91 R 2 YX =(ρ XY )2 =,35 (bassa),9,8,7,6,5,4,3,4,5,6,7,8 regione X Y Italia,42,82 Portogallo Gran Bret.,59,65,76,74 Grecia,44,68 Spagna,32,67 Irlanda,39,67 Olanda,6,61 Austria,56,51 Belgio,6,5 Germania,53,5 Finlandia,72,45 Danimarca,78,42 TOTALE/N,55,61

7 Un secondo esempio: scomporre un miscuglio Distribuzione di 18 regioni italiane (Piemonte+Vald Aosta e Abruzzi+Molise) secondo X=Divorzi per 1mila abitanti al 1988 e Y=coppie non coniugate per 1coppie al Y X- Y+ X- Y- Ven Laz Umb ρ XY =,88 (ma se separassimo nord e sud, cosa troveremmo? Alla prossima lezione..) X+ Y+ X+ Y- X regione X Y Piemonte Lombardia Trentino Veneto Friuli Liguria Emilia 97 6 Toscana Umbria Marche Lazio 44 4 AbruzziMol Campania Puglie Basilicata 25 9 Calabria Sicilia 36 2 Sardegna Media 51,9 34,1

8 Scomporre un miscuglio / 2 Italia Nord CSud Se separiamo le 8 regioni del Nord dalle 1 del Centro -Sud troviamo rette diverse con grado di adattamento assai più basso. E dunque la distinzione Nord/Sud a fare la differenza! E(X) 51,9 77,1 31,7 E(Y) 34,1 5,6 2,9 Cov XY 42,11 123,44 59,57 V(X) 816,7 589,7 86,4 V(Y) 278,5 5,24 69,1 ρ XY,88,717,771 b YX,514,29,6895 a YX 7,4 34,46 -,956 R 2 YX,776,514,

9 Reg V C Pie VdA Lom Tre Ven Fri Lig Emi Tos Umb Mar Laz Abr Mol Cam Pug Bas Cal Sic 99 2 Sar Un terzo esempio: manipolare outliers Costruiamo il diagramma di dispersione delle venti regioni italiane in base a due indici di struttura al censimento della popolazione del 21: V è l indice di vecchiaia (Pop>64/ Pop<15%), C è la quota di coppie non coniugate sul totale delle coppie, per mille. Due osservazioni: (1) Il diagramma si addensa generalmente in un area a forma di ellisse, che si definisce nuvola di punti. (2) Rispetto ai confini dell ellisse alcuni casi assumono una coordinata anomala: si parla di outliers C Val d Aosta Liguria V

10 Manipolare outliers/2 Cosa succede se escludiamo dall analisi il dato anomalo della Val d Aosta? r XY =,526 R 2 YX =,277 b YX =,252; a YX =-1,324 r XY =,593 R 2 YX =,352 b YX =,247; a YX = -3, C Val d Aosta Liguria V 1 C Liguria V La retta ai MQ mantiene la stessa pendenza, ma si sposta un po più in alto

11 Un quarto esempio: computer e cellulari X= numero di computer per 1 abitanti, Y=numero di cellulari per 1 abitanti, al 97 in 15 paesi europei. C è correlazione tra i 2 fenomeni? Centro E. E.Mediter Nord E. Europa E(X) 25,83 11,25 34, 24,67 E(Y) 14,17 16,25 35, 21,67 Cov XY 2, , , 7,6886 V(X) 7,472 1,6875 6,4 85,556 V(Y) 5,86 3, , 137,956 ρ XY +,49 +,887 +,888 +, Country X Y Austria Belgio Francia Germania Olanda Svizzera 3 17 Σ Grecia 7 9 Italia Portogallo 1 18 Spagna Σ Danimarca Finlandia Svezia UK Norvegia Σ TOT TOT/N 24,67 21,67

12 Computer e cellulari/2 C è, sì, correlazione tra i due fenomeni, ma la correlazione è assai diversa per i paesi del centro Europa, rispetto a quelli del sud e del nord. La covarianza tra computer e cellulari è quindi diversa nelle tre ripartizioni geografiche. Forse le ripartizioni geografiche influiscono, prima che sulle correlazioni, già sulle distribuzioni di frequenza di X e Y? Cellulari V(Y/geo) n geo V(Y/geo)n geo Centro 5, ,836 Sud 3, ,75 Nord 114, , 725,586 V WG (Y) = 48,3724; V T (Y)=137,956 V WG (Y)/V T (Y)=,351; η 2 YG =1-,351=,649 Abbiamo già le varianze vincolate delle tre ripartizioni geografiche (e la varianza generale) sia per X che per Y. Il calcolo di η 2 XG e η2 YG ci dice che la varianza della diffusione dei computer è spiegata in misura altissima dal parametro geografico, mentre meno forte è la sua influenza sull uso di cellulari Computer Centro Sud Nord V(X/geo) 7,472 1,6875 6,4 n geo 15 V WG (X)=7,972; V T (X)=85,556 V(X/geo)n geo 44,832 42,75 32, 119,582 V WG (X)/V T (X)=,93: η 2 XG =1-,93=,

13 Computer e cellulari/3 Sia X il numero di computer e Y il numero di cellulari per 1 abitanti, al 1997, in 15 paesi europei. La retta stimata ai MQ che lega Y a X per l intero continente è: Y=1,287+,82X. Ma essa si scompone in tre diverse relazioni funzionali per Nord, Centro e Sud: Centro E. E.Mediter Nord E. Europa E(X) 25,83 11,25 E(Y) 14,17 16,25 Cov XY 2, ,9375 V(X) 7,472 1,6875 V(Y) 5,86 3,1875 ρ XY +,49 +, , 24,67 35, 24, 6,4 114, +,888 21,67 7, , ,956 +,651 b XY +,366 +1, ,75 +,8262 a XY +4,855 -,526-92,5 +1,287 R 2 XY,167,788,789,424 Y X= 4,85 -,53-92,5 1,29 Y X=2 12,7 29,3-17,5 17,81 Y X=4 19,28 59,12 57,5 34,33 Y=-92,5+3,75X al Nord (R 2 =,79) Y=+4,85+,36X al Centro (R 2 =,17) Y=-,53+1,49X al Sud (R 2 =,79)

14 NB: instabilità della relazione se V(X) è bassa Nei 5 paesi del Nord la relazione MQ trovata è Y=-92,5+3,75X La goodness of fit è alta (79% della varianza di Y è spiegata da X) ma qualcosa non quadra: la relazione è tutta trainata dal caso inglese, che si differenzia dagli altri. Se si esclude il dato UK la prima cosa che colpisce è che la V(X) diventa piccolissima. E R 2 diventa insignificante Country X Y Nord a 5 Nord a 4 E(X) E(Y) Cov XY V(X) V(Y) 34, 35, 24, 6,4 114, 35,25 39,75,3125, ,6875 b XY +3,75 +1,6667 a XY -92,5-19, R 2 XY,789,175!! Danimarca Finlandia Svezia UK Norvegia Attenti: se la varianza dell explanans X è molto piccola, diffidare delle stime MQ di una retta!

15 Prova di ipotesi su modelli lineari Che significa, per una regressione lineare semplice, saggiare l ipotesi nulla β=? Essa corrisponde all ipotesi che X non abbia alcun effetto su Y. Se β= la statistica t=b/es(b) sotto l ipotesi H ha distribuzione t di Student con n-2 gradi di libertà. Se la statistica così ottenuta ha un valore esterno ai valori critici che corrispondono a un livello di significatività prefissato (per es. 5 o 1 permille) possiamo rifiutare l ipotesi nulla: cioè la variabile explanans X influisce significativamente su Y. Supponiamo di estrarre un campione di 1 atleti di salto in alto per studiare le relazione che passa tra età e performance. Possiamo calcolare. Non ci interessano i calcoli intermedi (medie, varianze etc). I tabulati di un modello di regressione mi dicono che a=16,35, b=3,4 e es(b)=,657. L IDC al livello di significatività del 95% è: IDC(β) = 3,4 ± 1,51. L IDC al livello di significatività del 95% non contiene quindi lo, dunque l ipotesi nulla è da rigettare. In termini di test di ipotesi: t=3,4/,675=4.63 cui corrisponde (tavole di t di Student con 8 g.l.) un p-value=,17<,5: l effetto dell età X sulla performance Y è quindi significativo al 5 permille. X (Età) Salto (Y)

16 Es. 1: la disuguaglianza cresce dove è bassa l occupazione femminile? Statistica totale N 12 R 2 XY A B,33 +,92 -,555 Es(B),249 t student -2,231 Sign..5 Idc 95% inf -1,11 Idc 95% sup -.1 X=% donne lavoro Y=disuguaglianza Mah! regione X Y Italia Portogallo Gran Bret.,42,82,59,65,76,74 Grecia,44,68 Spagna,32,67 Irlanda,39,67 Olanda,6,61 Austria,56,51 Belgio,6,5 Germania,53,5 Finlandia,72,45,9 Danimarca,78,42,8,7,6, ,4,3,4,5,6,7,8

17 Es. 2: contesti di disoccupazione spingono al suicidio? Statistica Italia Nord Sud N R 2 XY A B,58 -,51 +1,72,1,87,157 Es(B),354 1,978 t student 4,862,79 Sign Idc 95% inf,973-4,52,26 -,,911,54 1, ,334 Idc 95% sup 2,465 +4,83 +2,16 X= tasso occupazione anni; Y=suicidi / milione ab ( 92). regione X Y Piemonte Lombardia Trentino,88 1,14,88,91,75 1, Veneto,89,85 Friuli,85 1,23 Liguria,8,96 Emilia,88 1,29 Toscana,84,86 Umbria,83 1,1 Solo nordsud 1,3 1,1,9,7,5 regione X Y Marche,84,82 Lazio,7,6 Abruzzi,76,61 Molise,71,58 Campania,58,38 Puglie,7,48 Basilicata,64,67 Calabria,55,46 Sicilia,63,67 Sardegna,65, ,3,5,6,7,8,9 1

18 Es. 3: la diffusione di divorzi precorre il diffondersi delle convivenze? Statistica Italia NC Sud Nord CS N R 2 XY A B,77 7,47,51,61 22,7,33 Es(B),7,89 t student 7,45 3,73 Sign...5 Idc 95% inf, Idc 95% sup,6.535,33 5,83,398,254 1, ,25 1,5 8 1,52 34,8,25,81 2,53,44,7,43,59 -,95,689,21 3, ,15 regione X Y Piemonte Lombardia Trentino Veneto Friuli Liguria Emilia 97 6 Toscana X=Divorzi al 1988; Y=convivenze al 21 regione X Y Umbria Marche Lazio 44 4 AbruzziMol Campania Puglie Basilicata 25 9 Calabria Sicilia 36 2 Sardegna Ancora nord-sud

19 Es. 4: la diffusione dei computer spiega quella dei cellulari? Statistica Europa Nord Sud Centro N R 2 XY A B,423 1,28,826, ,75 Es(B),267 1,12 t student 3,9 3,35 Sign Idc 95% inf,248,192 Idc 95% sup 1,4 7,31,787 -,53 1,49,548 2, , ,167 4,85,361,42, ,76 1,48 X= computer; Y=cellulari Tre europe differenti! Country X Y Austria Belgio Francia Germania Olanda Svizzera 3 17 Grecia 7 9 Italia Portogallo 1 18 Spagna Danimarca Finlandia Svezia UK Norvegia

20 Se non si è soddisfatti da una regressione lineare Partiamo da un problema apparentemente risolto al primo colpo. Siano dati per N=9 individui l età (X) e il reddito mensile in migliaia di euro (Y). Il diagramma di dispersione mostra come una relazione rettilinea sia davvero ottima.. X i Y i 1, 1,2 1,4 2, 3, 3,5 4,5 5,4 6, ,8 3, 3,2 V X =41,78; V Y =3,682 Cov XY =+12,22; r XY =+,9693 b YX =+,28777; a YX =-5,43298 R 2 YX =,94!!! Caspita, il 94% della variabilità di Y è spiegato dalla relazione lineare con l età: Y =-5,43282+,28776 = X. X Ogni anno in più in media 288mila lire di incremento lineare di reddito. Ma si inizia a guadagnare solo dopo i 19 anni...

21 Plottare i residui sulla variabile esplicativa Se chiamiamo Y la variabile osservata e Φ la funzione teorica interpolante (per esempio Y=Φ i =a+bx i ), definiamo funzione residuo la differenza ε=y-φ. Plottiamo i residui sui valori teorici Φ i o sulle X i, di esse. Cioè costruiamo un grafico coi residui in ordinata, e in ascissa i corrispondenti valori teorici di Y (Φ i ) o direttamente i valori X i (dato che essi sono linearmente connessi con i Φ i ). Se i residui sono incorrelati con Φ i e con X i, il grafico non mostrerà particolari relazioni. 1,8,6,4,2 -, ,4 -,6 -,8-1 X i ε i +,678 +,32 -,361 -,624 -,2 -,563 -,139 +,186 +,722 Guardiamo invece il grafico dei residui della regressione reddito-età, plottata rispetto alle età. Esso evidenzia una chiara relazione curvilinea. Certo Cov(Φ i,x i )= per costruzione. Ma il grafico fa intravvedere altre relazioni o fa sospettare su qualche dato inserito nel grafico. Trasporre in grafico i residui consente di evidenziare l eventuale inefficacia del modello lineare semplice. Se esso è efficace, dovremmo trovare incorrelazione degli errori e una varianza vincolata grossomodo costante per tutto il grafico.

22 Prima strategia: intervenire sugli outliers Che possiamo fare per migliore l adattamento della legge interpolante? La prima strada che si può percorrere è quella di rimuovere dati che si presumono spiccatamente anomali. Sta alla sensibilità e alla responsabilità di chi elabora i dati di percepire che uno o più di essi è anomalo. Nell esempio si può ritenere che la prima e la nona -,4 osservazione mostrino redditi sistematicamente -,6 -,8 più alti delle altre. -1,8 1,6,4,2 -, La retta stimata è: Y=-5,56+,285X Il coefficiente di determinazione è: R 2 =,951. R 2 è ancora migliorato! Ma l arbitrarietà della manipolazione è davvero forte..

23 Seconda strategia: interpolare una funzione polinomiale.. Chiamiamo funzione polinomiale di grado N in x una generalizzazione della funzione rettilinea in cui la variabile dipendente compare in tutte le potenze di ordine k=1,..,n: y=φ N (x)=a +a 1 x+a 2 x a N x N = a+bx+cx kx N. Sappiamo tutti che tra due punti (due coppie di osservazioni) passa esattamente una sola retta, tra tre punti una sola parabola e così via. Ma non conviene procedere oltre la polinomiale di grado 3 per interpolare i dati: il costo (di calcolo, di interpretabilità) supererebbe i vantaggi! Tanto più nelle distribuzioni statistiche congiunte, dove per ogni X non v è un solo valore di Y, ma una distribuzione statistica Tra questi tre punti passa una parabola che si adatta perfettament e ai dati Ma se due dei 3 punti corrispondono a una sola X non c è funzione (retta,curvilinea)che si adatti Ma la cosa interessante di una interpolazione polinomiale è che anche per essa si possono determinare stime MMQ, che godono delle proprietà della retta MQ. Per esempio, la parabola stimata MQ è: Y = a+bx+cx 2 = 4,964,445x+,123x 2. I valori teorici stimati sono ora davvero vicini ai valori osservati. Infatti la varianza residua è ora solo il 2%.

24 .. oppure una funzione nonlineare Le funzioni polinomiali non sono le uniche che merita interpolare nei dati. Altre funzioni possono fittare anche meglio i dati, e prestarsi a migliori interpretazioni. E vero però che i modelli polinomiali (tra cui la retta) sono modelli lineari (Ml) (in quanto vi intervengono linearmente i parametri della relazione) additivi (in quanto intervengono solo in forma additiva) e come tali godono delle proprietà di scomposizione della varianza che stanno alla base del metodo di stima ai MQ. Tuttavia tra i modelli nonlineari dobbiamo distinguere due tipi diversi: Modelli nonlineari intrinsecamente lineari (Mil) sono quelli riconducibili, mediante trasformazioni opportune delle variabili coinvolte, a funzioni lineari dei parametri di regressione. Modelli intrinsecamente nonlineari (Mnl) sono quelli in cui non esiste trasformazione che consenta la linearizzazione. Il vantaggio dei Mil sta proprio nel fatto che essi possono essere linearizzati e su tale trasformata può essere applicata la procedura MQ di calcolo della funzione lineare semplice. L esempio più utilizzato di funzione Mil è dato dalla esponenziale: y=ae bx Nel nostro caso l stima MQ dei parametri porta alla funzione y = e -2,47+,1334x che ha varianza residua pari al 9 permille! Ma che cosa significa questa funzione?