Minimi quadrati. Sistemi iperdeterminati. 27 novembre 2008

Transcript

1 Minimi quadrati 27 novembre 2008 In questa nota si indicherà sempre con V uno spazio vettoriale reale di dimensione finita n. Definizione 1. Una norma su V è una funzione : V R tale che x, y V e λ R: 1. x 0; 2. x = 0 implica x = 0; 3. x + y x + y (disuguaglianza triangolare). 4. λx = λ x. Esempio 1. Per ogni intero p 1 la funzione è una norma su R n, come pure x p = ( n i=1 x i p ) 1 p x = max i=1,...,n { x i }. La norma 2 che si ottiene per p = 2 è detta norma euclidea. Sistemi iperdeterminati Si consideri il sistema lineare descritto dall equazione matriciale AX = B, (1) 1

2 ove A è una matrice n m, X il vettore delle indeterminate e B un vettore colonna di R n. Tale sistema ammette soluzione se, e solamente se, il vettore colonna B appartiene all immagine dell applicazione lineare f : R m R n indotta dalla matrice A. È ben noto che per verificare l esistenza di tale soluzione è possibile applicare il teorema di Rouché Capelli, confrontando la dimensione dello spazio vettoriale generato dalle colonne di A con la dimensione dello spazio vettoriale generato da queste unitamente al vettore B; in tale modo il calcolo da effettuare è un confronto fra ranghi. Diremo che un sistema è iperdeterminato se esso non ammette soluzione. Vogliamo trovare una formulazione più generale rispetto (1), tale che: 1. Quando il sistema è risolubile fornisca la soluzione cercata. 2. Offra la risposta migliore possibile quando il sistema è iperdeterminato. Si fissi una norma in R n e si consideri ora il problema di trovare tutti i vettori X R m tali che AX B (2) sia minimo; ovvero trovare tutti gli X tali che per ogni Z = AY appartenente all immagine di A si abbia AX B Z B. Osserviamo che AX B = 0 = 0 se, e solamente se X è soluzione di (1). Chiaramente 0 è in questo caso il minimo valore che la norma può assumere. Pertanto, per sistemi risolubili, i problemi (1) e (2) sono equivalenti ed è ben chiaro che cosa si possa intendere per soluzione migliore possibile. In generale, l eventuale soluzione di (2) quando (1) non è risolubile dipende strettamente dal tipo di norma considerato. Esempio 2. Consideriamo il sistema 1 b 1 1 x = b 2 1 b 3 con b 1 b 2 b 3 0. Chiaramente, a meno che b 1, b 2 e b 3 non siano tutti uguali, tale sistema non è risolubile. Consideriamo il problema (2) associato per 3 norme differenti: Ax b 1 : in questo caso cerchiamo di minimizzare la quantità x b 1 + x b 2 + x b 3. Risolvendo i moduli si vede che la soluzione del problema è x = b 2. 2

3 Ax b 2 : minimizzare la norma equivale a minimizzare la quantità 2ϕ(x) = (x b 1 ) 2 +(x b 2 ) 2 +(x b 3 ) 2 = 3x 2 2(b 1 +b 2 +b 3 )x+(b 2 1+b 2 2+b 2 3) In particolare, calcolando la derivata si ottiene dϕ dx = 3x (b 1 + b 2 + b 3 ), da cui x = 1 3 (b 1 + b 2 + b 3 ), cioè x è la media aritmentica delle entrate del vettore dei termini noti. Ax b : in questo caso dobbiamo considerare la quantità max { x b 1, x b 2, x b 3 }. Poiché b 2 è compreso fra b 1 e b 3, il massimo coincide con max { x b 1, x b 3 }. In particolare, il valore di x che minimizza quest ultima espressione è proprio la media x = 1 2 (b 1 + b 3 ). Ci occuperemo ora in detteglio delle tecniche risolutive per il problema (2) quando le stime siano effettuate rispetto la norma euclidea. Questo è motivato da essenzialmente due fattori: 1. la funzione ϕ(x) = 1 AX 2 B 2 2 è in questo caso differenziabile (come pure per tutti i valori di p tali che 1 < p < ); 2. esiste un prodotto scalare di R n che induce esattamente la norma considerata e tale prodotto consentirà di ben rappresentare la situazione geometrica in esame. Distinguiamo un approccio di tipo analitico e un approccio di tipo geometrico al problema. Approccio analitico Consideriamo il funzionale R n R dato da ϕ(x) = 1 2 AX B

4 Chiaramente, se X che minimizza ϕ(x), allora X è una soluzione del problema (2). A tal fine, studiamo i punti estremali del funzionale, ovvero cerchiamo di risolvere l equazione ϕ(x) = 0. (3) Un calcolo diretto mostra che ϕ X i = a 1i (a 11 x 1 + a 12 x a 1m x m b 1 )+ a 2i (a 21 x 1 + a 22 x a 2m x m b 2 )+. a ni (a n1 x 1 + a n2 x a nm x m b n ) = x 1 x 2 ( ) a1i a 2i... a ni A. B. Scrivendo ora in forma matriciale le equazioni ϕ X i = 0, al variare di i = 1,..., m si ottiene che il gradiente di ϕ si annulla se, e solamente se, X è soluzione del sistema x m (A T A)X = A T B. (4) Pertanto, per risolvere il problema (2) rispetto 2 si deve a risolvere il sistema lineare (4). Le m equazioni in m incognite di tale sistema sono dette equazioni normali del problema. Osserviamo che, in generale le equazioni normali ammettono esattamente una soluzione se, e solamente se, la matrice quadrata A T A è non singolare. Questa condizione è esattamente quella per cui il problema (2) ammette una unica soluzione rispetto la norma 2. Approccio algebrico L approccio analitico mostrato nel precedente paragrafo consente di ottenere le equazioni normali del problema in modo rapido; d altro canto esso non rende evidente il motivo per cui il sistema dato dalle equazioni normali sia lineare. Vediamo ora come sia possibile ottenere la medesima soluzione utilizzando strumenti prettamente algebrici. 4

5 Definizione 2. Un proiettore Π : R n R n è una applicazione lineare tale che Π 2 = Π. L immagine Π(x) di un vettore x è detta ombra di x secondo Π. Osserviamo che la matrice P associata ad un proiettore, chiaramente, soddisfa la condizione P 2 = P. Una matrice di tale tipo è detta idempotente. Teorema 1. Sia Π : R n R n un proiettore. Allora, IΠ = ker(i Π) e I(I Π) = ker Π. In particolare R n = IΠ I(I Π). Dimostrazione. Consideriamo un vettore x IΠ. Allora esiste y R n tale che x = Πy. Poiché Π 2 = Π, abbiamo Π(x) = Π 2 (y) = Π(y) = x; pertanto x ker(i Π). Viceversa, se x ker(i Π), si ha Π(x) = x; dunque x IΠ e la prima parte della tesi segue. La proprietà per (I Π) è conseguenza del fatto che (I Π) 2 = (I Π)(I Π) = (I 2Π + Π 2 ) = (I Π), per cui anche (I Π) è un proiettore. L idea alla base dell approccio geometrico al problema (2) è quella di associare all immagine U dell applicazione lineare indotta da A un proiettore Π U tale che: 1. x U : Π U (x) = U; 2. b R n : Π U (b) U e, per ogni x U, Π U (b) b x b. 5

6 Osserviamo che noto il proiettore Π U con le proprietà sopra elencate possiamo passare dal sistema lineare originario AX = B ad un nuovo sistema, che sappiamo essere risolubile, AX = Π(B) (5) e che, sotto le ipotesi, tale sistema è sicuramente lineare. Supponiamo infatti che X sia una soluzione di (5) che U indichi l immagine di A. Allora, per ogni W R m, A X B = A X Π(B) + Π(B) B A X Π(B) + Π(B) B = Π(B) B = min Z U Z B AW B. Pertanto X minimizza la quantità AX B e, conseguentemente, esso è soluzione di (2). Mostreremo ora come costruire il proiettore Π U desiderato quando si considera la 2 e ottenere un sistema lineare equivalente alla (5). Definizione 3. Sia V uno spazio vettoriale sul campo R. Si dice prodotto scalare ogni applicazione, : V V R che è 1. bilineare, ovvero x, y, z V e λ R: x + λy, z = x, z + λ y, z, x, λy + z = λ x, y + x, z ; 2. simmetrica, ovvero x, y = y, x ; 3. definita positiva, ovvero x V, x, x 0; x, x = 0 se, e solamente se x = 0. Teorema 2. Assegnato un prodotto scalare,, la funzione è una norma su V. x = x, x 1 2 6

7 Dimostrazione. I fatti che x 0 e x = 0 se, e solamente se x = 0 sono conseguenza immediata della definita positività del prodotto scalare. Inoltre, per la bilinearità, abbiamo λx 2 = λx, λx = λ 2 x, x. Resta da dimostrare la disuguaglianza triangolare. Calcoliamo dapprima x + αy 2 = x + αy, x + αy = x 2 + 2α x, y + α 2 y 2. Per la definita positività del prodotto scalare, la quantità scritta non può mai essere negativa; pertanto, il discriminante dell equazione in α a sinistra deve essere negativo. Ne segue x, y 2 < x 2 y 2. Estraendo le radici quadrate si ottiene x, y < x y. (6) La disuguaglianza (6) è detta disuguaglianza di Schwarz. Applicando tale disuguaglianza all espansione di x + y 2 si ha x + y 2 = x + y, x + y = x x, y + y 2 x x y + y 2, da cui, per la positività della norma, La tesi segue. x + y x + y. A meno di cambiamenti di riferimento, esiste essenzialmente un unico prodotto scalare in R n. Questi, in un opportuno riferimento, è dato da x, y = n x i y i. i=1 Se x e y sono vettori colonna, tale prodotto si può anche scrivere come La norma indotta è x, y = x T y. x = che coincide esattamente con x 2. ( n i=1 x 2 i ) 1 2, 7

8 Teorema 3. Sia V uno spazio vettoriale reale di dimensione finita e V il suo duale. L applicazione Θ : V V che associa ad ogni x V { V R Θ x : y x, y è un isomorfismo. Dimostrazione. Poiché il prodotto scalare è bilineare, abbiamo che, per ogni x fissato e per ogni y, z V, λ R: Θ x (y + λz) = x, y + λz = x, y + λ x, z = Θ x (y) + λθ x (z). Pertanto il codominio di Θ è proprio V. Inoltre, per ogni x, y, z V, Θ x+λy (z) = x + λy, z = x, z + λ y, z = Θ x (z) + λθ y (z) = (Θ x + λθ y )(z); quindi, Θ è una applicazione lineare. Siccome dim V = dim V, per dimostrare che Θ è un isomorfismo basta far vedere che ker Θ = {0}. Infatti, se x ker Θ, allora per ogni y V, Θ x (y) = x, y = 0. In particolare, Θ x (x) = 0, da cui, per la definita positività del prodotto scalare, x = 0. Definizione 4. Sia U un sottospazio vettoriale di R n. Il complemento ortogonale di U, indicato con U è l insieme di tutti i vettori x R n tali che x, y = 0 per ogni y U. Teorema 4. Il complemento ortogonale di U è un sottospazio vettoriale di R n. Inoltre R n = U U. Dimostrazione. I vettori di U sono esattamente l annullatore dell immagine di U in V mediante Θ. Pertanto, essi costituiscono un sottospazio vettoriale di dimensione n dim U. Inoltre, se x U U, allora il prodotto scalare di x con ogni vettore di R n (incluso se stesso) è 0, per cui x = 0. Usando la teoria degli annullatori, si vede rapidamente che U = U. Definizione 5. Per ogni x R n si dice proiezione ortogonale su U di x ogni vettore y U tale che x y U. 8

9 Poiché R n = U U, ogni x R n si può scrivere in modo unico x = a + b, ove a U e b U. Pertanto esiste per ogni vettore x almeno una proiezione ortogonale su U. Teorema 5. La proiezione ortogonale y di x R n su U è unica. Dimostrazione. Siano y, y due proiezioni ortogonali di x su U. Allora, y y U ; d altro canto y, y U. Ne segue y y U U e dunque y = y. Conseguenza immediata del Teorema 5 è che per ogni y U si ha Π U (y) = y, cioè che ogni vettore in U è fissato da Π U. Per mostrare che Π U è effettivamente un proiettore ai sensi della Definizione 2 dobbiamo ora far vedere che essa è una applicazione lineare. Teorema 6. La proiezione ortogonale su U è una applicazione lineare R n U. Dimostrazione. Siano x, z R n e λ in R. Per definizione, i vettori x Π U (x) e z Π U (z) appartengono ad U. In particolare, il vettore x Π U (x) + λ (z Π U (z)) = x + λz (Π U (x) + λπ U (z)) appartiene anche esso a U. Conseguentemente Π U (x) + λπ U (z) U è una proiezione di x+λz. Per il Teorema 5, la proiezione di x+λz è unica. Pertanto Π U (x + λz) = Π U (x) + λπ U (z), cioè la proiezione ortogonale su U è lineare. Usando ora il Teorema 1 e il fatto che U = ker Π U, si ha che ogni vettore x R n si può scrivere come somma x = Π U (x) + Π U (x). Possiamo ora dimostrare che le proiezioni ortogonali godono della proprietà minimizzante che ci serve. Teorema 7 (Teorema di approssimazione). Sia x R n e U un sottospazio vettoriale. Allora, per ogni y U con y Π U (x) si ha x Π U (x) 2 < x y 2. 9

10 Dimostrazione. Poniamo p = Π U (x). Per le proprietà delle proiezioni ortogonali, x p U e p y U; pertanto, Allora, x p, p y = 0. x y 2 2 = x y, x y = (x p) + (p y), (x p) + (p y) = x p x p, p y + p y 2 2 = x p p y 2 2 Ora, se p y, si ha p y 2 > 0 e, conseguentemente, x y 2 > x p 2. La tesi segue. Il Teorema 7 mostra che la proiezione ortogonale gode di entrambe proprietà richieste per il proiettore Π da usarsi nella (5). Dunque, ogni vettore X tale che AX = Π U (B), (7) ove U è l immagine della applicazione lineare associata ad A è soluzione del problema (2) rispetto 2. Dobbiamo ora dimostrare che la (7) è equivalente alle equazioni normali del sistema. Premettiamo un teorema. Teorema 8. Sia A una matrice n m. Allora, per ogni x R n, y R m vettori colonna si ha x, Ay = A T x, y. In particolare, usando la notazione del Teorema 3 si ha Θ x (Ay) = Θ A T x(y). Si osservi che Θ x è un elemento del duale (R n ) di R n mentre Θ A T x è un elemento del duale (R m ) di R m. In particolare, l applicazione lineare A : R m R n induce una applicazione lineare A : (R n ) (R m ) fra gli spazi vettoriali duali; tale applicazione lineare è detta aggiunta di A. Dimostrazione. Per ogni x R n, y R m si ha x, Ay = x T Ay = (x T Ay) T = y T A T x = y, A T x = A T x, y. Se X soddisfa la (7), allora, per costruzione della proiezione ortogonale, B A X U, cioè, usando il Teorema 8, per ogni Z = AW U 0 = AW, B A X = W, A T (B A X), 10

11 al variare di W in R m. Ne segue A T (B A X) = 0, cioè che X deve essere soluzione delle equazioni normali (A T A)X = A T B. Viceversa, se ^X è soluzione delle equazioni normali, allora per ogni W R m, 0 = W, A T (B A ^X) = AW, B A ^X ; pertanto, per ogni Y = AW IA = U si ha Y, B A ^X = 0, da cui B A ^X U. Applicazioni ed esempi Un esempio di applicazione dei sistemi iperdeterminati è dato dalla teoria dell interpolazione. Consideriamo dapprima un insieme di n punti (x i, y i ) per i = 1,..., n assegnati nel piano cartesiano ordinario. Vogliamo trovare la retta y = mx+b che meglio approssima i punti assegnati, minimizzando la distanza euclidea rispetto l insieme considerato. A tal fine scriviamo il sistema lineare in nelle due indeterminate m, b dato dalle equazioni mx i + b = y i al variare di i = 1,..., n. La matrice incompleta di tale sistema è x 1 1 x 2 1 A =.. x n 1 Le equazioni normali sono date da A T A ( ) m = A T b Svolgendo i calcoli si ottiene ( x x ) ( ) x2 n x 1 + x x n m x 1 + x x n n b y 1 y 2 y n. ( x1 y = 1 + x 2 y x n y n y 1 + y y n ), 11

12 ovvero, in forma più compatta, ( n n i=1 x2 i i=1 x ) ( ) i m n i=1 x i n b ( n = i=1 x iy i n i=1 y i Il caso più generale, è il seguente: consideriamo un insieme di funzioni reali di variabile reale f 0 (x), f 1 (x),... f m (x) e assegnamo un insieme di n coppie ordinate (x i, y i ). Si vogliono trovare degli scalari a 0, a 1,..., a m tali che la funzione f(x) = a 0 f 0 (x) + a 1 f 1 (x) a m f m (x) sia la migliore approssimante possibile per le coppie assegnate, nel senso che la quantità y 1 f(x 1 ) y 2. f(x 2 ). f(x n ) y n sia la più piccola possibile. Per raggiungere il nostro obiettivo consideriamo il sistema lineare dato da f 0 (x 1 ) f 1 (x 1 )... f m (x 1 ) a 0 y 0 f 0 (x 2 ) f 1 (x 2 )... f m (x 2 ) a 1.. = y 1. f 0 (x n ) f 1 (x n )... f m (x n ) e cerchiamo una soluzione approssimata. Scriviamo la matrice incompleta M di questo sistema come giustapposizione di vettori colonna. Pertanto, avremo M = ( ) M 0 M 1... M m con f i (x 1 ) f i (x 2 ) M i =.. f i (x n ) La posizione (i, j) della matrice S = M T M conterrà proprio il prodotto scalare M i, M j. Similmente, la i esima riga di M T Y, ove Y è il vettore colonna degli y i sarà data da M i, Y. Pertanto, tenuto conto della simmetria del prodotto scalare, il sistema da risolvere qualora si cerchi una approssimazione ai minimi quadrati è M 0, M 0 M 0, M 1... M 0, M m a 0 M 0, Y M 0, M 1 M 1, M 1... M 1, M m a 1... = M 1, Y. M 0, M m M 1, M m... M m, M m M m, Y 12 2 a m a m ). y n

13 In particolare, il sistema ammette una unica soluzione se, e solamente se, il determinante della matrice simmetrica S è diverso da 0. 13