Scuola universitaria professionale della Svizzera italiana Dipartimento Tecnologie Innovative Metodo dei minimi quadrati e matrice pseudoinversa Algebra Lineare Semestre Estivo 2006
Metodo dei minimi quadrati e matrice pseudoinversa SUPSI-DTI 31 Il metodo dei minimi quadrati 311 Problema introduttivo Una ferrovia percorre una tratta che porta dal paese A al paese D passando per i paesi C e D A x 1 B x 2 C x 3 D Si vuole misurare con precisione la distanza tra le diverse stazioni Due impiegati delle ferrovie eseguono le misurazioni necessarie e raccolgono i seguenti dati: AB = 35km, AC = 67km, AD = 89km, BD = 53km, CD = 20km Otteniamo quindi il sistema x 1 = 35 x 1 + x 2 = 67 x 1 + x 2 + x 3 = 89 x 2 + x 3 = 53 x 3 = 20 Risolvendo il sistema con Gauss troviamo: 1 0 0 35 1 1 0 67 1 1 1 89 0 1 1 53 0 0 1 20 1 0 0 35 0 1 0 32 0 0 1 22 0 0 0 1 0 0 0 0 Il sistema è impossibile! Evidentemente gli impiegati delle ferrovie hanno compiuto degli errori di misurazione Come possiamo ricostruire le distanze x 1,x 2,x 3 a partire dai dati raccolti nel miglior modo possibile? 312 Sistemi di equazioni sovra-determinati: un problema frequente in pratica Il problema introduttivo è solo un esempio di un problema molto frequente in pratica Se si vogliono determinare delle grandezze sconosciute tramite misurazioni è praticamente impossibile non commettere errori di misurazione Per aumentare la sicurezza di solito si tende a raccogliere un numero di misurazioni delle grandezze da determinare (o di grandezze ad esse correlate) superiore al numero di incognite Così facendo si ottengono dei sistemi A x = b con un numero di equazioni superiore al numero di incognite (A R m n con m > n), questi sistemi vengono detti sovradeterminati Solitamente i sistemi sovra-determinati non possiedono una soluzione esatta 2 Algebra Lineare Semestre Estivo 2006
SUPSI-DTI Metodo dei minimi quadrati e matrice pseudoinversa Come possiamo allora risolvere il nostro problema? Chiaramente non è possibile ricavare una soluzione esatta x e quindi dobbiamo accontentarci di calcolare un vettore x che somigli il più possibile a una soluzione del sistema In particolare sappiamo che per qualsiasi x vale A x b, e quindi esiste un vettore r di residui tale che A x = b + r Il vettore x migliore sarà quello per cui i residui sono più piccoli secondo un certo criterio Il criterio più usato in pratica è quello di cercare il vettore x tale che il vettore r dei residui abbia modulo minimo, ossia quando r = r1 2 + + rm, 2 è minimo, o in maniera equivalente quando r 2 1 + + r 2 m, è minimo Questo criterio viene detto criterio dei minimi quadrati e il metodo per trovare il vettore x metodo dei minimi quadrati 313 Il metodo dei minimi quadrati Consideriamo il sistema A x b = r Il sistema può essere scritto in componenti come a 11 x 1 + a 12 x 2 + + a 1n x n b 1 = r 1 a 21 x 1 + a 22 x 2 + + a 2n x n b 2 = r 2 e, definendo i vettori a j = forma vettoriale come a m1 x 1 + a m2 x 2 + + a mn x n b m = r m a 1j a mj per ogni j = 1,,n, può essere scritto in x 1 a 1 + x 2 a 2 + + x n a n b = r (31) Il vettore di residui r è la differenza tra una combinazione lineare dei vettori a 1,,a n e il vettore b Per far sì che il vettore r abbia modulo minimo è necessario che r Semestre Estivo 2006 Algebra Lineare 3
Metodo dei minimi quadrati e matrice pseudoinversa SUPSI-DTI sia perpendicolare allo sottospazio di R m generato dai vettori a 1,,a n Quindi il vettore r deve soddisfare le seguenti condizioni: a 1 r = 0, a 2 r = 0, a n r = 0, dove indica un prodotto scalare tra vettori Moltiplicando scalarmente entrambe le parti del sistema 31 per ogni vettore a j otteniamo un nuovo sistema di n equazioni e n incognite, sappiamo infatti che x 1 a j a 1 + x 2 a j a 2 + + x n a j a n a j b = a j r = 0, e quindi abbiamo il sistema x 1 a 1 a 1 + x 2 a 1 a 2 + + x n a 1 a n = a 1 b x 1 a 2 a 1 + x 2 a 2 a 2 + + x n a 2 a n = a 2 b x 1 a n a 1 + x 2 a n a 2 + + x n a n a n = a n b (32) Sfruttando il fatto che il prodotto scalare a i a j è esprimibile sotto forma di prodotto matriciale come a it a j possiamo scrivere il sistema 32 in forma matriciale come A T A x = A T b (33) Il sistema 33 è un sistema di n equazioni e n incognite che, nei problemi reali, solitamente, possiede un unica soluzione esatta x che a sua volta è la soluzione secondo il criterio dei minimi quadrati del sistema A x = b Si può dimostrare che il sistema 33 non possiede un unica soluzione solo se le colonne della matrice A sono linearmente dipendenti, eseguendo molte misurazioni con errori di misurazione questa eventualità è in realtà praticamente impossibile Esempio Possiamo ora calcolare la soluzione del problema introduttivo secondo il criterio dei minimi quadrati Abbiamo 1 0 0 1 1 0 A = 1 1 1 0 1 1 0 0 1 1 0 0 1 1 1 0 0 1 1 0 3 2 1 A T A = 0 1 1 1 0 1 1 1 0 0 1 1 1 0 1 1 = 2 3 2, 1 2 3 0 0 1 4 Algebra Lineare Semestre Estivo 2006
SUPSI-DTI A T b = 1 1 1 0 0 0 1 1 1 0 0 0 1 1 1 otteniamo quindi il sistema 3 2 1 2 3 2 1 2 3 Metodo dei minimi quadrati e matrice pseudoinversa x 1 x 2 x 3 35 67 89 53 20 = e la soluzione x 1 = 35125, x 2 = 325, x 3 = 20625 = 191 209 162, 191 209 162, 32 La matrice pseudoinversa Se tutte le colonne della matrice A sono linearmente indipendenti, allora la matrice ha rango massimo (rang(a) = n) È possibile dimostrare che in questo caso anche la matrice A T A possiede rango massimo Ma visto che A T A è una matrice quadrata di rango massimo sappiamo che possiede una matrice inversa (A T A) 1 Il sistema 33 può quindi essere risolto calcolando direttamente x = (A T A) 1 A T b La matrice (A T A) 1 A T R n m è detta pseudoinversa della matrice A R m n Solitamente la matrice pseudoinversa di A viene indicata con A + 321 Proprietà della matrice pseudoinversa Data una matrice A R m n di rango massimo e la sua pseudoinversa A + valgono le seguenti proprietà A A + A = A, A + A A + = A +, (α A) + = α 1 A + dove α 0 è un numero reale Se la matrice A è già una matrice quadrata di rango pieno e quindi invertibile allora la sua pseudoinversa è uguale alla sua inversa (A 1 = A + ) Bisogna fare bene attenzione però di non pensare che la pseudoinversa di una matrice non quadrata sia l equivalente dell inversa di una matrice quadrata Mentre l inversa viene utilizzata per trovare la soluzione esatta di un sistema determinato, la pseudoinversa viene utilizzata per trovare un vettore che soddisfi il criterio dei minimi quadrati in un sistema sovra-determinato, vettore che non sarà in generale una soluzione esatta del sistema Semestre Estivo 2006 Algebra Lineare 5
Metodo dei minimi quadrati e matrice pseudoinversa SUPSI-DTI 33 Esercizi 1 Verifica le proprietà della pseudoinversa utilizzando la matrice 2 1 A = 3 1 1 2 2 Determina una funzione f(x) = a x+b che passi il più vicino possibile (secondo il criterio dei minimi quadrati) ai punti x i -1 0 1 2 y i 0 1 3 9 3 Determina una funzione g(x) = a x 2 +b x+c che passi il più vicino possibile (secondo il criterio dei minimi quadrati) ai punti x i 0 1 2 3 4 5 6 7 y i 186 563 1242 1758 2115 2849 3348 3726 4 Cosa otteniamo come soluzione con il metodo dei minimi quadrati se misuriamo ripetutamente un unica grandezza? 5 Di un triangolo ABC misuriamo i tre angoli α = 31 o, β = 62 o e γ = 90 o Utilizza il metodo dei minimi quadrati per stimare il valore dei tre angoli 6 Algebra Lineare Semestre Estivo 2006