Carla Guerrini 1 Sistemi sovradeterminati Sia A una matrice m n ove m > n sia b R m si vuole trovare una soluzione del sistema sovradeterminato Ax = b. Nel caso in cui la matric A abbia rango pieno, cioé rank(a) sia uguale a n significa cercare di esprimere un vettore di R m come combinazione lineare di soli n vettori dello stesso spazio. Generalmente non esiste alcun x che soddisfa l equazione Ax = b cioé generalmente il residuo b vettore(termine noto) b y* y^ V n y* proiezione ortogonale di b r(x) = b Ax non risulta mai nullo. Possiamo peró chiederci se esiste ed é unico un x che minimizza la norma euclidea del residuo: 2, cioé minimizzare la funzione f : R n R definita da f(x) = r(x) 2 2 = Ax b 2 = (b Ax) T (b Ax) = x T A T Ax 2x T A T b + b T b Nella pratica si vuole minimizzare la somma dei quadrati delle componenti del vettore residuo, vettore che dipende linearmente da x. Si tratta di un problema di approssimazione in quanto, al variare del vettore x, Ax descrive uno spazio V n, ove x varia in R n. Si vuole trovare fra tutti i vettori y di V n quello piú prossimo a b, e una volta trovato y, si vuole anche trovare la sua rappresentazione rispetto alla base costituita dai vettori colonna della matrice A, cioé il vettore x. Il vettore y, proiezione ortogonale di b sullo spazio V n é l unico vettore di V n per cui il residuo r = b y é ortogonale a V n, ogni altro vettore ŷ ha una distanza da b piú elevata. D altra parte il vettore residuo r é ortogonale a V n cioé, é ortogonale a tutti i vettori che costituiscono le colonne di A quindi a T,jr =, quindi A T r = A T y = A T b, A T Ax = A T b queste sono chiamate anche EQUAZIONI NORMALI. Esse risolvono il problema lineare dei minimi quadrati. Una volta costruite possono essere risolte utilizzando la fattorizzazione LU o piú
21/12/13 2 appropriatamente una modifica della fattorizzazione dovuta a Cholesky che ha un minor costo computazionale in quanto sfrutta la simmetria della matrice A T A. Un modo piu stabile di risolvere il problema di minimi quadrati é quello di utilizzare la fattorizzazione QR della matrice A ( in ambiente Matlab [Q, R] = qr(a) ove Q R m m, Q T Q = I e R R m n, matrice triangolare alta). Se applicata alle equazioni normali: A T Ax = A T b, avremo: R T Q T QR = R T Q T b, R T Rx = R T Q T b È importante notare che é possibile risolvere un sistema rettangolare senza passare attraverso la costruzione delle equazioni normali che generalmente portano a eseguire molti calcoli e spesso alla costruzione di sistemi mal condizionati poiché vale la relazione: cond(a T A) = (cond(a)) 2. Osserviamo infatti che poiché A R m n, Q R m m, mentre R R m n ove R = [ R1 ] } n righe } m n righe ove R 1 è una matrice triangolare superiore n n non singolare quando A ha rango massimo. Sapendo, inoltre, che le matrici ortogonali lasciano invariata la norma 2, abbiamo Ax b 2 = QRx b 2 = Q(Rx Q T b 2 = Rx Q T b 2. Indichiamo con y = Q T b e partizioniamo il vettore y nel modo seguente y = [ c1 c 2 ] } n righe } m n righe si ottiene quindi quindi Rx c = [ R1 x c 1 ] } n righe c 2 } m n righe min Ax x R b 2 n 2 = min Rx [ x R c 2 n 2 = min R1 x c 1 2 x R n 2 + c 2 2 ] 2 = c 2 2 2 + min x R n R 1 x c 1 2 2 Poichè R 1 è non singolare la soluzione x del sistema lineare è tale che R 1 x = c 1 min x R n R 1 x c 1 2 = min x R n R 1 x c 1 2 2 = Ne segue che x è soluzione del problema e il minimo cercato é γ = c 2 2 2 Alla risoluzione di un sistema sovradeterminato si riconduce anche il problema di approssimare un insieme di dati provenienti da un esperimento con un polinomio di grado non elevato. Per esempio: consideriamo il problema di stimare i valori della funzione f nota solo nei seguenti dati sperimentali P 1 = (2, 2), P 2 = (4, 11), P 3 = (6, 28), e P 4 = (8, 4). L interpolazione di questi dati richiede la costruzione del polinomio di grado 3. Se imponiamo al generico polinomio di terzo grado p(x) = a 1 + a 2 x + a 3 x 2 + a 4 x 3 di passare per i punti P i, i = 1,... 4 si ha il seguente sistema lineare: a 1 + a 2 2 + a 3 2 2 + a 4 2 3 = 2 a 1 + a 2 4 + a 3 4 2 + a 4 4 3 = 11 a 1 + a 2 6 + a 3 6 2 + a 4 6 3 = 28 a 1 + a 2 8 + a 3 8 2 + a 4 8 3 = 4
21/12/13 3 la cui matrice dei coefficienti non é altro che la matrice di Vandermonde di ordine 4 generata dal vettore [2, 4, 6, 8] T, il problema di interpolazione é quindi ricondotto alla risoluzione del seguente sistema lineare: 1 2 4 8 a 1 2 1 4 16 64 a 2 1 6 36 216 a 3 = 11 28. 1 8 64 512 a 4 4 Risolvendo il sistema con l algoritmo di eliminazione i Gauss si ottiene a 1 = 14; a 2 = 161 12 ; a 3 = 17 4 ; a 4 = 13 48. Il grafico del polinomio é riportato nella figura sottostante. 45 interp. pol.3 grado 45 approssimazione lineare 4 4 35 35 3 25 2 15 1 3 25 2 15 1 5 5 1 2 3 4 5 6 7 8 9 5 1 2 3 4 5 6 7 8 9 Se i dati sono affetti da errore si puó pensare che sia una retta, cioé un polinomio di primo grado p(x) = a 1 + a 2 x, la funzione che descrive meglio il fenomeno che si sta indagando. La costruzione delle equazioni normali H T Ha = H T y porta alla formazione del seguente sistema lineare: H = 1 2 1 4 1 6 1 8 ; H H = [ 4 2 2 12 ] [ ; H 81 y = 536 Risolvendo il sistema lineare si trova rispettivamente a 1 = 25 2, a 2 = 131 2, e il grafico del polinomio di primo grado é riportato in figura. ]. Piú in generale un problema di approssimazione puó essere formalizzato nel seguente modo: fissato un insieme di n + 1 funzioni ϕ j (x), j =, 1,..., n definite sull intervallo [a, b] contenente i punti di osservazione x i, e in [a, b] linearmente indipendenti, cioé tali che una loro combinazione lineare a coefficienti reali: a j ϕ j (x) j= é identicamente nulla su [a, b] a j = j. Assegnate m osservazioni in corrispondenza di m punti distinti, il problema di approssimare i dati (x i, y i ), i = 1,..., m nel senso dei minimi quadrati consiste nel determinare una funzione ϕ (x) = a j ϕ j (x) Φ j= in modo che [ϕ (x k ) y k ] 2 [ϕ(x k ) y k ] 2, ϕ Φ
21/12/13 4 Questo equivale a cercare il minimo della seguente funzione in n + 1 variabili cioè g(a, a 1,..., a n ) = [ a i ϕ i (x k ) y k ] 2, i= min g(a, a 1,..., a n ) a i R Un metodo per risolvere questo problema di minimo consiste nell impostare e risolvere il sistema delle equazioni normali che derivano dall imporre che cioè a i g(a, a 1,..., a n ) a i = i =,..., n [ n ] 2 a i ϕ i (x k ) y k =, i= i =,..., n Infatti essendo la funzione g quadratica con coefficienti positivi per i termini a 2 i avrà un minimo. Prima di procedere alla derivazione riscriviamo la funzione g sviluppando i quadrati allora g(a, a 1,..., a n ) = yk 2 2 g a i = da cui il sistema lineare dove ed y k ϕ i (x k ) + i= a i m y k ϕ i (x k ) + i= j= a i a j m ϕ i (x k )ϕ j (x k ) ( m ) a j ϕ i (x k )ϕ j (x k ), i =,..., n j= Ga = r G = {g i,j } i,j=,...,n, g i,j = r = {r i } i=,...,n, r i = ϕ i (x k )ϕ j (x k ) y k ϕ i (x k ) La matrice G é anche chiamata matrice di Gram. Si può anche notare che algoritmicamente il sistema Ga = r può essere costruito calcolando la matrice H = {h i,j } i=1,...,m,j=,...n delle funzioni base nei punti, cioè h i,j = ϕ j (x i ) e quindi ottenere la matrice G ed il vettore r come: G = H T H; r = H T y In pratica é richiesta la risoluzione del sistema di equazioni normali H T Ha = H T y ove H = ϕ (x 1 ) ϕ 1 (x 1 ) ϕ 2 (x 1 )... ϕ n (x 1 ) ϕ (x 2 ) ϕ 1 (x 2 ) ϕ 2 (x 2 )... ϕ n (x 2 ) ϕ (x 3 ) ϕ 1 (x 3 ) ϕ 2 (x 3 )... ϕ n (x 3 )...... ϕ (x m ) ϕ 1 (x m ) ϕ 1 (x m )... ϕ n (x m )
21/12/13 5 Nel caso generale qui descritto, la scelta dello spazio Φ è solitamente dettato dal fatto che esista sempre una soluzione unica al problema. Noi tratteremo solamente il caso dell approssimazione polinomiale in cui la matrice G risulta simmetrica e definita positiva, il che garantisce sempre l esistenza e l unicità della soluzione e una buona regolarità della stessa. Forma Monomiale Teorema Siano dati i punti (x i, y i ), i = 1,..., m con x i distinti allora esiste ed è unico il polinomio p P n con n m, di approssimazione nel senso dei minimi quadrati. Si considera p(x) nella forma monomiale, cioé p(x) = a + a 1 x + a 2 x 2 + a 3 x 3 +... a n x n, in questo caso la matrice H e formata dalle prime n colonne della matrice di Vandermonde generata dal vettore x = [x 1, x 2,..., x m ]. In ambiente Matlab viene generata da: V=vander(x);. H ha la seguente forma: H=V(:,[n:-1:1]) H = 1 x 1 x 2 1... x n 1 1 x 2 x 2 2... x n 2 1 x 3 x 2 3... x n 3...... 1 x m x 2 m... x n m Essa non é altro che una matrice di Vandermonde rettangolare, ed essendo i punti x i distinti, avrà rango massimo rispettivamente n + 1; segue che la matrice G = H T H sarà non singolare e il sistema delle equazioni normali avrà un unica soluzione, da cui segue che il polinomio di miglior approssimazione esiste ed è unico. 1.9.8.7.6.5.4.3.2.1 5 4 3 2 1 1 2 3 4 5 1.9.8.7.6.5.4.3.2.1 5 4 3 2 1 1 2 3 4 5 Nelle figure sono riportate le approssimazioni polinomiali nella base ϕ k (x) = x k della funzione di Runge f(x) = 1 x. 2 +1 su 51 punti equidistanti scelti nell intervallo [ 5, 5] rispettivamente con polinomio di grado 1 (a sinistra), e polinomio di grado 3 (a destra) Chiameremo residuo la quantità d n = [p (x k ) y k ] 2. Si osserva che all aumentare di n (n < m) sarà d n+1 < d n, e per n = m 1 d m 1, questo ovviamente non assicura che p (x) converga alla funzione test nè analiticamente nè numericamente. Negli esempi riportati nelle figure soprastanti si é ottenuto rispettivamente d 1 =.81 1 1
21/12/13 6 e d 3 =.28 1 1. Nel caso in cui n = m 1 il problema di approssimazione diventa di interpolazione, e il calcolo dell interpolante avviene utilizzando le equazioni normali con matrice H di ordine n + 1 n + 1 conincidente con la matrice di Vandermonde definita sul set di dati x 1, x 2,..., x m con m = n + 1. In questo caso il metodo dei minimi quadrati risulta essere un metodo piú costoso e meno stabile per il calcolo dell interpolante. Approssimare dati con polinomi di grado eccessivamente elevato non é consigliato, perché i polinomi di grado alto risultano poco flessibili e numericamente instabili. Per l approssimazione nel senso dei minimi quadrati è possibile utilizzare polinomi a tratti o spline tipicamente di grado basso, con il vantaggio di avere delle ottime funzioni di approssimazione senza i problemi numerici e di inflessibilità tipici dei polinomi di grado alto. Esempio Siano dati i seguenti punti del piano k 1 2 3 4 x k -1 3 5 8 y k -2 6 18 3 si vuole calcolare il polinomio di grado uno p(x) = a + a 1 x che meglio approssima nel senso dei minimi quadrati. La matrice 1 2 ( ) ( ) H = 1 3 4 15 1 5 ; HT H = e H T 52 y = 15 99 35 1 8 Dobbiamo quindi risolvere il seguente sistema 2 2 ( ) ( ) ( 4 15 a 52 = 15 99 35 a 1 ) { a = 34 57 a 1 = 62 171 Retta di approssimazione in minimi quadrati o retta di Regressione Dato un set di dati sperimentali acquisiti da un fenomeno ad andamento lineare viene utilizzata la tecnica nota come retta di regressione lineare. Consiste nel determinare il polinomio lineare di approssimazione nel senso dei minimi quadrati dei dati assegnati. La determinazione di tale polinomio viene effettuata mediante soluzione del sistema delle equazioni normali di dimensione 2 2 e puó essere interpretato anche nel seguente modo: H = 1 x 1 1 x 2 1 x 3. 1 x m sarà G = H T H = ( m 1 m x k m x k m x2 k ) e definendo x = 1 m x k, y = 1 m il baricentro dei punti dati, il sistema può essere scritto in modo semplificato: ( ) ( ) ( ) m mx a my = m mx x. ky k m x2 k a 1 y k
21/12/13 7 da cui si ricava a = y a 1 x; a 1 = m x ky k mxy m x2 k mx2 In modo ancor più operativo l espressione del polinomio di miglior approssimazione può essere scritta come p(x) = a + a 1 x = y + a 1 (x x) che comporta solo la valutazione di a 1, geometricamente ci dice che la retta di regressione lineare passa per il baricentro del set di dati e ha pendenza a 1 Se scegliamo il grado uguale a 1, allora il polinomio di miglior approssimazione coinciderá con la retta r(x) che minimizza la seguente misura dell errore: [y k r(x k )] 2. k Questa retta di minimi quadrati viene anche chiamata regressione lineare. Come si puó osservare passa per il baricentro dei dati (x, y), poiché r(x) = b + ax = y ax + ax = a(x x) + y Nell esempio precedente k 1 2 3 4 quindi per questi dati x = 1 + 3 + 5 + 8 4 y = 2 + 6 + 18 + 3 4 calcolando a, a 1 dalle formule si ottiene Il valore di minimo in questo caso é: x k -1 3 5 8 y k -2 6 18 3 = 15 4 x k y k = 35; k = 52 4 = 13 x 2 k = 99 a = 34 57, a 1 = 62 171 [y k r(x k )] 2 = 4448 171 = 26.1 Una qualsiasi altra retta passante per il baricentro dei dati dá origine ad un valore residuo piú grande. Nel caso di regressione polinomiale valgono anche le seguenti relazioni: essendo la varianza osservata dei dati x i e S xx = var(x) = 1 n S xy = cov(x, y) = 1 n k (x i x) 2 (x i x)(y i x)
21/12/13 8 la covarianza osservata. I coefficienti a e a 1 si possono scrivere nella forma a 1 = S xy S xx ; a = y a 1 x Siano ỹ i = p(x i ), i = 1, 2,..., m i valori che assume il polinomio di best-fit in corrispondenza delle ascisse x i (intercetta), l errore quadratico sqe (square error ) sará dato da sqe = i (ỹ i y i ) 2 La bontá del fitting viene misurato tramite il coefficiente di regressione R 2 o coefficiente di determinazione che misura la bontá dell adattamento della regressione stimata ai dati osservati R 2 = 1 i (ỹ i y i ) 2 i (y i y) 2 si osservi che R 2 1 infatti quando sqe = il polinomio di best-fit risulta essere di interpolazione e R 2 = 1. Piú in generale, un valore di R 2 vicino a 1 indica un buon livello di approssimazione lineare. Nell esempio riportato sopra, otteniamo i segunti valori: R 2 = 1 4448 171 588 =.95 da cui si ottiene che i dati sperimentali hanno con alta probabilitá un comportamento di tipo lineare.
21/12/13 9 Non dobbiamo peró restringerci al modello lineare o quadrato per fare un buon uso del metodo dei minimi quadrati per il fitting di dati. Consideriamo i dati della seguente tabella la cui rappresentazion compare nella figura di sinistra. k x k y k 1.716 2 1.893 3 2 1.55 4 3 1.134 5 4 1.167 6 5 1.281 7 6 1.994 8 7 2.5 9 8 3.151 1 9 4.3 11 1 5.38 12 11 4.966 13 12 1.919 Nella figura viene evidenziata una una curva di crescita esponenziale, che richiederebbe di fare un fitting usando una curva della forma y k = Ae rx k che porterebe a un sistema non lineare nei parametri A e r. Poiché i dai sono esponenziali, il loro logaritmo é lineare, per cui abbiamo z k = ln(y k ) = rx k + ln(a) 12 2.5 1 2 8 1.5 6 1 4.5 2 2 4 6 8 1 12.5 2 4 6 8 1 12 Dati in scala semilogaritmica Nella figura di destra sono riprodotti i dati in scala semilogaritmica che mostrano una tendenza di tipo lineare. Possiamo utilizzare il nostro algoritmo per fare il fitting del logaritmo dei dati. La tendenza generale é proprio lineare e otteniamo la retta di equazione z =.29x.4842 con un coefficiente di regressione paria R 2 =.99
21/12/13 1 2.5 R 2 =.99593 12 Aprossimazione dati y=exp(.29 x.4842) 2 1 1.5 8 1 6.5 4.5 2 1 2 2 4 6 8 1 12 14 a =.293 a =.48422 2 1 Allora segue che la curva che si adatta megli ai dati originali é y = e (.29x.4842) 2 2 4 6 8 1 12 14 che é rappresentata nella figura di destra, si noti che a parte gli ultimi due punti questo é un buon fitting per l insieme dei dati.