LA RETTA DI REGRESSIONE LINEARE E SISTEMI SOVRADETERMINATI

Transcript

1 LA RETTA DI REGRESSIONE LINEARE E SISTEMI SOVRADETERMINATI MAURIZIO PAOLINI - CORSO PAS CLASSE A048 Dipartiento di Mateatica e Fisica, Università Cattolica, sede di Brescia. paolini@df.unicatt.it E-ail 1. Preessa In queste poche pagine vogliao affrontare il problea del calcolo della retta di regressione lineare (o retta dei inii quadrati) collegandolo alla questione dei sistei lineari sovradeterinati. Naturalente il problea può essere affrontato in odo diretto e con un approccio più statistico, non c è nessuna intenzione qui di suggerire quale sia il odo igliore per affrontare il problea. D altra parte è opinione dell autore che affrontare un problea con un ottica diversa sia sepre positivo e peretta di acquisire aggiore diestichezza e coprensione. 2. Sistei sovradeterinati 2.1. Notazioni e nozioni di base. Indichereo con R l insiee dei nueri reali, con N l insiee dei nueri naturali (zero copreso). Se e n sono nueri naturali positivi una atrice A n è per noi una tabella di nueri reali coposta da righe e n colonne, indicata coe a 11 a 12 a 1n a 21 a 22 a 2n A =... a 1 a 2 a n Indichiao con M(, n) l insiee delle atrici n. Si tratta di uno spazio vettoriale su R di diensione n, la soa è definita coponente per coponente e la oltiplicazione per uno scalare (un nuero reale) è anch essa definita coponente per coponente. La atrice nulla 0 M(, n) ha tutte le coponenti nulle. La atrice trasposta B = A T di una atrice A M(, n) è una atrice B M(n, ) definita scabiando gli indici, cioè coe b ij = a ji Nel caso particolare n = 1 abbiao una atrice con una sola colonna, che identifichereo con lo spazio dei vettori colonna con coponenti, indicato con R. Il trasposto di un vettore colonna sarà un vettore riga (una atrice 1 ). Tra una atrice A M(, p) e una atrice B M(p, n) è definito il prodotto righe per colonne C = AB M(, n) definito da p c ij = a ik b kj, i = 1,..., j = 1,... n. k=1 Date: 26 aggio

2 2 MAURIZIO PAOLINI - CORSO PAS CLASSE A048 Si noti che non si può oltiplicare due atrici se il nuero di colonne della pria atrice non è uguale al nuero di righe della seconda. Il prodotto righe per colonne non è in generale coutativo, a una seplice verifica perette di diostrare che è associativo, ovvero che (AB)C = A(BC). Un altra proprietà di iediata verifica coinvolge l operatore di trasposizione: (AB) T = B T A T. Se v, w R n, possiao oltiplicare v T (atrice 1 n) per w (atrice n 1) ottenendo una atrice 1 1, ovvero un nuero reale R 1 Si ottiene in questo odo il prodotto scalare tra vettori, indicato in vari odi: v T w = v w = (v, w) R Lo spazio M(n, n) delle atrici quadrate n n viene per seplicità indicato con la scrittura M(n). Tra due atrici quadrate n n il prodotto righe per colonne è ben definito e produce una terza atrice n n, quindi M(n) è dotato di una operazione di oltiplicazione, oltre che dell addizione. Con queste due operazioni M(n) verifica le proprietà che ne fanno un anello. La oltiplicazione non è coutativa (salvo il caso particolare n = 1), l eleento neutro della oltiplicazione è la atrice identità : I = Una atrice quadrata A si dice invertibile o non singolare se aette una inversa oltiplicativa, ovvero una atrice B tale che AB = BA = I. Non tutte le atrici sono invertibili, la atrice nulla è un esepio, a non è l unica. Le atrici singolari sono le atrici non invertibili, un odo per capire se una atrice è singolare consiste nel calcolarne il deterinante, se il deterinante è nullo la atrice è singolare. Non vogliao qui insistere sulla definizione e proprietà del deterinante di una atrice, per cui riandiao ad un testo di base di algebra lineare. Ricordiao counque che una atrice quadrata è non singolare se e solo se le sue colonne sono vettori linearente indipendenti (anche le righe), e quindi forano una base di R n. Definizione 2.1. La atrice A M(n) è sietrica se A = A T, Definizione 2.2. La atrice A è sietrica seidefinita-positiva se è sietrica e inoltre x T Ax 0 per ogni x R n La atrice A è sietrice definita-positiva se è sietrica e inoltre x T Ax > 0 per ogni x R n, x 0. Data una atrice A M(, n), un inore k k è una atrice quadrata ottenuta da A selezionando un sottoinsiee di k righe e un sottoinsiee di k colonne. Naturalente dovrà essere k in{, n}. Il inore principale k k è il inore ottenuto selezionando le prie k righe e le prie k colonne. La atrice A ha rango (aleno) k se esiste aleno un inore k k con deterinante non nullo. La atrice A ha rango assio se ha rango in{, n} (il valore più alto aissibile). 1 A rigore bisogna pria identificare lo spazio delle atrici 1 1 che hanno una sola coponente con l insiee dei nueri reali.

3 LA RETTA DI REGRESSIONE LINEARE E SISTEMI SOVRADETERMINATI Sistei lineari e teorea di Rouché-Capelli. Dati, n N (N è l insiee dei nueri naturali, zero copreso, anche se qui richiediao n, > 0), 2 la scrittura: a 11 x 1 + a 12 x a 1n x n = b 1 a 21 x 1 + a 22 x a 2n x n = b 2 (1)... a 1 x 1 + a 2 x a n x n = b indica un sistea lineare di equazioni in n incognite, con e n nueri naturali opportuni. Le a ij R, i = 1,..., j = 1,... n sono i coefficienti del sistea, b 1,..., b R sono i terini noti e x 1,..., x n R sono le quantità incognite. R indica il capo dei nueri reali. Il sistea (1) si può scrivere in odo più sintetico n coe a ij x j = b i per i = 1,..., e utilizzando il prodotto righe per colonne j=1 si può abbreviare in: Ax = b (2) dove A è la atrice n dei coefficienti, b R è il vettore dei terini noti e x R n il vettore delle incognite. Scritto per esteso, in notazione atriciale, il sistea diventa a 11 a 12 a 1n x 1 b 1 a 21 a 22 a 2n x = b 2.. a 1 a 2 a n x n b Il teorea di Rouché-Capelli perette di stabilire quando il sistea (2) aette soluzioni (esistenza) quando l eventuale soluzione è unica (unicità) e quando avvengono entrabe le cosa (esistenza ed unicità). Genericaente parlando ci aspettiao infinite soluzioni se < n (ci sono più incognite che equazioni, sistea sottodeterinato), nessuna soluzione se > n (ci sono più equazioni che incognite, sistea sovradeterinato), una e una sola soluzione se = n (tante equazioni quante incognite), però, attenzione, questo è vero solo genericaente parlando; nello specifico la situazione dipende dai valori effettivi dei coefficienti della atrice e del terine noto, e va precisata in terini di rango delle due atrici A e A b (atrice (n + 1) ottenuta da A aggiungendo coe ulteriore colonna il vettore b). L enunciato preciso del teorea di Rouché-Capelli può essere tranquillaente recuperato con una ricerca su internet, ad esepio in wikipedia. Il caso più iportante corrisponde alla scelta = n, in cui c è esistenza ed unicità della soluzione se e solo se il deterinante della atrice A è non nullo, nel qual caso la soluzione può essere scritta in terini della atrice inversa A 1 coe x = A 1 b. Noi siao però interessati al caso di un sistea sovradeterinato: > n, in cui generalente non ci aspettiao esistenza di soluzioni. 2 Se vogliao proprio fare i ateatici possiao intendere che se = 0 si ha un sistea lineare senza equazioni, il che significa che tutte le possibili scelte di x 1,..., x n vanno bene, ci saranno infinite soluzioni. Se n = 0 non abbiao incognite, in questo caso le soe a prio ebro in (1) si riducono a zero terini, e convenzionalente si intende che la soa faccia 0 (eleento neutro della soa), il sistea in tal caso ha soluzione (anche se la soluzione è vuota) se e solo se tutti i b i sono nulli. Se entrabi = n = 0 il sistea lineare aette convenzionalente una e una sola soluzione (vuota).

4 4 MAURIZIO PAOLINI - CORSO PAS CLASSE A048 Il residuo r di un sistea è definito da r = b Ax (3) e rappresenta essenzialente di quanto la soluzione x non risolve il sistea lineare. Ovviaente se r = 0, allora x sarà una soluzione, altrienti non lo sarà. Nel caso di un sistea sovradeterinato non ci sarà in generale nessun vettore x che annulla il residuo, possiao però chiederci per quali valori di x il residuo è il più piccolo possibile Nore di vettori. L afferazione più piccolo possibile per un vettore presuppone che ci sia un odo per quantificare la grandezza di un vettore. Una nora è una funzione : R n R + che, calcolata su un vettore, restituisce un nuero reale non negativo e che soddisfa le seguenti proprietà: (1) v 0 per ogni vettore v; (1b) v = 0 se e solo se v = 0; (2) tv = t v per ogni vettore v e ogni scalare (nuero reale) t; (3) v + w v + w per ogni coppia di vettori v e w (disuguaglianza triangolare). Ci sono infinite possibili scelte di una nora che soddisfi queste tre richieste; una di queste scelte risulta particolarente naturale, si tratta della nora euclidea, definita da: 3 v = n v i 2. Denotando con v w = n v iw i il prodotto scalare tra vettori, la nora euclidea può anche essere scritta coe v 2 = v v. Il prodotto righe per colonne tra un vettore riga e un vettore colonna può essere utilizzato in odo equivalente per indicare il prodotto scalare coe v w = v T w, e quindi v 2 = v T v. (4) In assenza di precisazioni assuereo sepre che indichi la nora euclidea, in caso di dubbio la nora euclidea viene indicata con 2. Altre scelte interessanti di nore sono v = ax,...,n v i. Chiaata con vari noi: nora del assio, nora infinito, nora unifore, nora cubica,... v 1 = n v i. Nora uno, nora di Manhattan, Soluzione nel senso dei inii quadrati. Ritornando al sistea lineare sovradeterinato (2) ( > n), è utile introdurre una nozione più debole di soluzione. Definizione 2.3. Diciao che x R n risolve il sistea lineare Ax = b nel senso dei inii quadrati se iniizza la nora euclidea del residuo r definito da (3). In altre parole x verifica b Ax b Ay per ogni y R n (5) Nota 2.1. Non è difficile diostrare che una soluzione nel senso dei inii quadrati esiste sepre, può tuttavia non essere unica. Si tratta di una nozione più debole di soluzione, infatti se x risolve (2) nel senso usuale, allora si ha r = b Ax = 0, ovvero il residuo ha nora nulla e quindi x risolve (2) anche nel senso dei inii quadrati. Viceversa è possibile, anzi è norale per sistei sovradeterinati, che una soluzione nel senso dei inii quadrati non sia una soluzione nel senso usuale. 3 Nel piano euclideo il teorea di Pitagora perette di concludere che la nora euclidea di un punto del piano, pensato coe vettore con due coponenti, non è altro che la sua distanza dall origine.

5 LA RETTA DI REGRESSIONE LINEARE E SISTEMI SOVRADETERMINATI 5 Elevando al quadrato la disuguaglianza (5) (si può fare perché abbiao quantità positive ad abo i ebri) ed utilizzando (4) si ottiene b Ax 2 (b Ay) T (b Ay) = y T A T Ay 2b T Ay + b T b dove abbiao usato le proprietà delle atrici: (Ay) T = y T A T e y T A T b = b T Ay, l ultio passaggio segue perché una atrice 1 1 è sicuraente sietrica. In altre parole, x iniizza la funzione f(y) = 1 2 yt A T Ay b T Ay e quindi ne annulla il gradiente. Un calcolo (un po noioso che ci rispariao) del gradiente di f porta infine al sistea (detto sistea norale ): A T Ax = A T b. (6) Nota 2.2. Se la atrice A, e quindi A T fosse invertibile (non può esserlo, non essendo quadrata!) il sistea (6) sarebbe equivalente al sistea (2). Per contro la atrice A T A è una atrice quadrata di diensione n n, il suo deterinante non è nullo se la atrice A ha rango assio, ovvero se le sue colonne sono linearente indipendenti, cosa che assuereo. Proposizione 2.1. La atrice A T A è sietrica seidefinita-positiva. Se A ha rango n (rango assio se n), allora A T A è definita-positiva. Diostrazione. La sietria è iediata: (A T A) T = A T (A T ) T = A T A. Se v R n è un vettore generico si ha v T (A T A)v = (Av) T (Av) = Av 2 0 e quindi A T A è seidefinita-positiva. Per quanto riguarda l ultia afferazione è sufficiente diostrare che A T A è non singolare, in quanto una atrice seidefinitapositiva a non definita-positiva è necessariaente singolare. Supponiao quindi per assurdo che esista un vettore v R n non nullo tale che (A T A)v = 0. In particolare Av 2 = v T A T Av = 0 e quindi per le proprietà delle nore deve essere anche Av = 0. Il prio ebro di quest ultia equazione può essere interpretata coe cobinazione lineare delle colonne di A con le coponenti di v coe coefficienti. Essendo v 0 ne segue che le colonne di A sono linearente dipendenti e quindi A non ha rango n. 3. La retta di regressione lineare 3.1. Definizione della retta di regressione lineare. Dati punti del piano, di ascisse x 1,..., x e ordinate rispettivaente y 1,..., y, che iaginiao rappresentino la risposta (variabile y) di un qualche fenoeno sperientale al variare di un paraetro di ingresso (variabile x), ci chiediao quale sia la retta che eglio li approssia (figura 1). Supporreo per seplicità che le ascisse x 1,..., x siano tutte distinte. In genere è piuttosto grande, noi supporreo che sia aleno 3. Dobbiao pria di tutto decidere in quale senso si intenda l approssiazione. La retta cercata avrà equazione y = ax + b e noi iaginiao che si tratti di una approssiazione (lineare) del fenoeno sperientale, quindi cerchereo a e b in odo che le quantità ax i + b approssiino eglio possibile le y i. Ovviaente in generale non esisterà una retta che passa esattaente per tutti i punti, a proviao ugualente a scrivere le equazioni che iporrebbero il passaggio della retta per tutti i punti: ax i + b = y i, i = 1,...,.

6 6 MAURIZIO PAOLINI - CORSO PAS CLASSE A048 Figura 1. La retta di regressione lineare corrispondente ad un insiee di parecchi valori sperientali. Qui le incognite sono a e b, entre tutto il resto è noto; si tratta dunque di un sistea lineare con equazioni in due incognite, che possiao scrivere in odo copatto coe dove η = [ ] b, V = a V η = y (7) 1 x x, y = La atrice V è detta atrice di Vanderonde, e in generale ha più di due colonne, ciascuna contenente potenze sepre più alte dei nueri x 1,..., x. Si tratta di un sistea sovradeterinato con equazioni e due incognite. Ci chiediao: cosa significa risolvere questo sistea nel senso dei inii quadrati (Definizione 2.3)? Ad ogni punto x i corrisponde uno scarto r i = y i ax i b tra l ordinata dell iesio punto e l ordinata della retta nel punto x i. Curiosaente il vettore r = [r 1,..., r ] T è proprio il residuo del sistea sovradeterinato (7), quindi la soluzione dei inii quadrati è quella per cui risulta inia la nora euclidea del vettore degli scarti o equivalenteente il suo quadrato, ovvero la soa dei quadrati degli scarti (è per questo otivo che viene chiaata soluzione dei inii quadrati) Calcolo dei coefficienti della retta di regressiona lineare. Per risolvere il sistea sovradeterinato (7) nel senso dei inii quadrati utilizziao il sistea norale (6). La atrice del sistea norale è 2 2 sietrica, risulta conveniente raccogliere dalle sue coponenti, indicandola quindi con [ ] B = V T c d V =. d e Calcoliao separataente i tre nueri c, d, e. c è il prodotto scalare della pria colonna di V per sé stessa e divisa per, ovvero c = = 1, d = 1 1 x i = x, e = 1 x 2 i = x 2 y 1. y.

7 LA RETTA DI REGRESSIONE LINEARE E SISTEMI SOVRADETERMINATI 7 dove la notazione x indica la edia aritetica dei valori x i e x 2 la edia aritetica dei quadrati x 2 i. Il terine noto del sistea norale, le cui coponenti chiaereo f e g, è V T y. Si ha f = 1 y i = ȳ, g = 1 x i y i = xy dove analogaente a quanto fatto sopra ȳ indica la edia aritetica delle y i e xy la edia aritetica dei prodotti x i y i. Dividendo abo i ebri per, il sistea norale si scrive dunque coe [ 1 x x x 2] [ b a ] = Possiao ricavare il coefficiente angolare a della retta di regressione sottraendo dalla seconda equazione x volte la pria equazione: xb xb + x 2 a x 2 xy xȳ a = xy xȳ = a = x 2 x. 2 Pur essendo corretta, conviene riscrivere il valore ottenuto in terini di quantità statistiche coe la varianza σx 2 = 1 (xi x) 2 e la covarianza σ x,y = 1 (xi x)(y i ȳ). In effetti si ha σ x,y = (x i x)(y i ȳ) = x i y i ȳ x i x y i + xȳ = (xy xȳ) [ ȳ xy σx 2 = (x i x) 2 = x 2 i 2 x x i + x 2 = (x 2 x 2 ) Quindi in definitiva si può scrivere il coefficiente angolare della retta di regressione coe a = σ x,y. L intercetta b della retta di regressione si ottiene poi facilente usando la pria equazione del sistea norale. Otteniao: σ 2 x b = ȳ a x Nota 3.1. Nell approccio da noi seguito il fatto che la funzione approssiante sia un polinoio di prio grado non gioca un ruolo essenziale. Si può ipostare tranquillaente il problea con y = ax 2 + bx + c (parabola) al posto della retta y = ax + b, in altre parole si cerca la parabola (con asse verticale) che eglio approssia i dati nel senso dei inii quadrati, o anche in generale si può cercare il polinoio di grado n (con n fissato e n < ) che iniizza la soa dei quadrati degli scarti. Nel caso generale il sistea 2 2 viene sostituito da un sistea lineare (n 1) (n 1). Molti fenoeni (fisici, econoici, ecc.) hanno counque in pria battuta un andaento grossoodo lineare, e quindi il calcolo della retta di regressione è sicuraente il caso più interessante. Nota 3.2. Osserviao che nel piano euclideo lo scarto r i = y i ax i b viene isurato in verticale e quindi non è la distanza tra il punto (x i, y i ) e la retta di regressione. Questo fatto può a pria vista sebrare un punto debole della tecnica di approssiazione, tuttavia: Le distanze verticali y i ax i b sono proporzionali alla distanza euclidea dei punti dalla retta (il fattore di proporzionalità dipende dal coefficiente angolare a della retta). Questo tuttavia non iplica che la retta di regressione lineare sia anche quella che iniizza la soa dei quadrati anche ]

8 8 MAURIZIO PAOLINI - CORSO PAS CLASSE A048 nel senso delle distanze punto-retta, essendo il coefficiente angolare una delle incognite del problea. Nelle applicazioni concrete il significato delle ascisse x i e delle ordinate y i è generalente nettaente diverso, addirittura si tratta spesso di quantità diensionalente diverse. Non ha quindi senso isurare le distanze euclidee nel piano x, y, visto che la stessa forula che da la distanza escola tra loro ascisse e ordinate. In particolare il risultato cabierebbe al variare dell unità di isura utilizzata per le ascisse x i o (indipendependenteente) per le ordinate y i. Nota 3.3. Altre scelte della nora, diverse dalla nora euclidea, portano a problei diversi. Ad esepio, la nora del assio porterebbe al seguente problea: trovare la retta y = ax+b che iniizza il assio degli scarti r i = y i ax i b. Questo è un problea sensatissio, forse spesso preferibile all ipostazione nel senso dei inii quadrati. Tuttavia un problea del genere (di tipo iniax ) è olto più difficile da studiare e risolvere.