b vettore(termine noto) y* proiezione ortogonale di b

Transcript

1 Carla Guerrini 1 Sistemi sovradeterminati Sia A una matrice m n ove m > n sia b R m trovare una soluzione del sistema sovradeterminato Ax = b significa cercare di esprimere un vettore di R m come combinazione lineare di solo n vettori dello stesso spazio. Generalmente non esiste alcun x che soddisfa l equazione Ax = b cioé generalmente b vettore(termine noto b y* y^ V n y* proiezione ortogonale di b il residuo r(x = b Ax non risulta mai nullo. Possiamo chiederci se esiste ed é unico un x che minimizza la norma euclidea del residuo: 2, cioé minimizzare la funzione f : R n R definita da f(x = r(x 2 2 = (b Ax T (b Ax = x T A T Ax 2x T A T b + b T b Nella pratica si vuole minimizzare la somma dei quadrati delle componenti del vettore residuo, vettore che dipende linearmente da x. Si tratta di un problema di approssimazione poiché Ax descrive uno spazio V n quando x varia in R n. Si vuole trovare fra tutti i vettori y di V n quello piú prossimo a b, una volta trovato y, si vuole anche trovare la sua rappresentazione rispetto alla base costituita dai vettori colonna della matrice A cioé il vettore x. Il vettore y, proiezione ortogonale di b sullo spazio V n é l unico vettore di V n per cui il residuo r = b y é ortogonale a V n, ogni altro vettore ŷ ha una distanza da b piú elevata. D altra parte il vettore residuo r é ortogonale a V n cioé é ortogonale a tutti i vettori che costituiscono le colonne di A a T,jr =, quindi A T r = quindi A T y = A T b, A T Ax = A T b

2 29/12/16 2 queste sono chiamate anche EQUAZIONI NORMALI esse risolvono il problema lineare dei minimi quadrati. Una volta costruite possono essere risolte utilizzando la fattorizzazione LU o piú appropriatamente una modifica della fattorizzazione dovuta a Cholesky che ha un minor costo computazionale in quanto sfrutta la simmetria della matrice A T A. Un modo piu stabile di risolvere il poroblema di minimi quadrati é quello di utilizzare la fattorizzazione QR della matrice A ( in ambiente Matlab [Q, R] = qr(a con Q R m m e R R m n. Se applicata alle equazioni normali avremo: R T Q T QR = R T Q T b, R T Rx = R T Q T b È importante notare che é possibile risolvere un sistema rettangolare senza passare attraverso la costruzione delle equazioni normali che generalmente portano a eseguire molti calcoli e spesso alla costruzione di sistemi mal condizionati poiché vale la relazione: cond(a T A = (cond(a 2. Osserviamo infatti che poiché A R m n, Q R m m, mentre R R m n ove R = [ R1 ] } n righe } m n righe ove R 1 è una matrice triangolare superiore n n non singolare quando A ha rango massimo. Quindi abbiamo Ax b 2 = QRx b 2 = Q(Rx Q T b 2 = Rx Q T b 2 indichiamo con y = Q T b partizionando il vettore y nel modo seguente [ ] c1 } n righe y = c 2 } m n righe si ottiene quindi quindi Rx c = [ R1 x c 1 ] } n righe c 2 } m n righe min Ax x R b 2 n 2 = min Rx [ x R c 2 n 2 = min R1 x c 1 2 x R n 2 + c 2 2 ] 2 = c min x R n R 1 x c Poichè R 1 è non singolare la soluzione x del sistema lineare è tale che R 1 x = c 1 min x R n R 1 x c 1 2 = min x R n R 1 x c = Ne segue che x è soluzione del problema e il minimo cercato é γ = c Alla risoluzione di un sistema sovradeterminato si riconduce anche il problema di approssimare un insieme di dati provenienti da un esperimento con un polinomio di grado non elevato. Per esempio: consideriamo il problema di stimare i valori della funzione f nota solo nei seguenti dati sperimentali (2,2, (4,11, (6,28, (8,4. L interpolazione di questi dati richiede la costruzione del polinomio di grado 3

3 29/12/ interp. pol.3 grado 45 approssimazione lineare Se i dati sono affetti da errore si puó pensare che sia una retta, cioé un polinomio di primo grado, la funzione che descrive meglio il fenomeno che si sta indagando. Piú in generale un problema di approssimazione puó essere formalizzato nel seguente modo: fissato un insieme di n + 1 funzioni φ j (x, j =, 1,, n definite sull intervallo [a, b] contenente i punti di osservazione x i, e in [a, b] linearmente indipendenti, cioé tali che una loro combinazione lineare a coefficienti reali: a j φ j (x j= é identicamente nulla su [a, b] a j = j. Assegnate m osservazioni in corrispondenza di m punti distinti, il problema di approssimare i dati (x i, y i, i = 1,, m nel senso dei minimi quadrati consiste nel determinare una funzione in modo che φ (x = a j φ j (x j= Φ [φ (x k y k ] 2 [φ(x k y k ] 2, φ Φ Questo equivale a cercare il minimo della seguente funzione in n + 1 variabili cioè g(a, a 1,, a n = [ a i φ i (x k y k ] 2, i= min g(a, a 1,, a n a i R Un metodo per risolvere questo problema di minimo consiste nell impostare e risolvere il sistema delle equazioni normali che derivano dall imporre che g(a, a 1,, a n a i = i =,, n cioè a i [ n ] 2 a i φ i (x k y k =, i= i =,, n

4 29/12/16 4 Infatti essendo la funzione g quadratica con coefficienti positivi per i termini a 2 i avrà un minimo. Prima di procedere alla derivazione riscriviamo la funzione g sviluppando i quadrati allora g(a, a 1,, a n = yk 2 2 g a i = da cui il sistema lineare dove ed y k φ i (x k + i= a i m y k φ i (x k + i= j= a i a j m φ i (x k φ j (x k ( m a j φ i (x k φ j (x k, i =,, n j= Ga = r G = {g i,j } i,j=,...,n, g i,j = r = {r i } i=,...,n, r i = φ i (x k φ j (x k y k φ i (x k La matrice G é anche chiamata matrice di Gram. Si può anche notare che algoritmicamente il sistema Ga = r può essere costruito calcolando la matrice H = {h i,j } i=1,...,m,j=,...n delle funzioni base nei punti, cioè h i,j = φ j (x i e quindi ottenere la matrice G ed il vettore r come: G = H T H; r = H T y In partica é richiesta la risoluzione del sistema di equazioni normali ove H = H T Ha = H T y φ (x 1 φ 1 (x 1 φ 2 (x 1 φ n (x 1 φ (x 2 φ 1 (x 2 φ 2 (x 2 φ n (x 2 φ (x 3 φ 1 (x 3 φ 2 (x 3 φ n (x 3 φ (x m φ 1 (x m φ 1 (x m φ n (x m Nel caso generale qui descritto, la scelta dello spazio Φ è solitamente dettato dal fatto che esista sempre una soluzione unica al problema. Noi tratteremo solamente il caso dell approssimazione polinomiale in cui la matrice G risulta simmetrica e definita positiva, il che garantisce sempre l esistenza e l unicità della soluzione e una buona regolarità della stessa. Forma Monomiale Teorema Siano dati i punti (x i, y i, i = 1,, m con x i distinti allora esiste ed è unico il polinomio p P n con n m, di approssimazione nel senso dei minimi quadrati. Si considera p(x nella forma monomiale, cioé p(x = a + a 1 x + a 2 x 2 + a 3 x 3 + a n x n, in questo caso la matrice H e formata dalle prime n colonne della matrice di Vandermonde generata dal vettore x = [x 1, x 2,, x m ] (in ambiente Matlab viene generata da: V = vander(x; H = V (:, [n :

5 29/12/ : 1]. H ha la seguente forma: H = 1 x 1 x 2 1 x n 1 1 x 2 x 2 2 x n 2 1 x 3 x 2 3 x n 3 1 x m x 2 m x n m si tratta di una matrice di vandermonde rettangolare, ed essendo i punti x i distinti, avrà rango massimo n + 1; segue che la matrice G = H T H sarà non singolare e il sistema delle equazioni normali avrà un unica soluzione, da cui segue che il polinomio di miglior approssimazione esiste ed è unico approssimazione polinomiale nella base φ k (x = x k della funzione di Runge di 51 punti equidistanti con polinomio di grado 1 (a sinistra, e di grado 3 (a destra Chiameremo residuo la quantità d n = [p (x k y k ] 2. Si osserva che all aumentare di n (n < m sarà d n+1 < d n, e per n = m 1 d m 1, questo ovviamente non assicura che p (x converga alla funzione test nè analiticamente nè numericamente. Nel caso in cui n = m 1 il problema di approssimazione diventa di interpolazione, e il calcolo dell interpolante avviene utilizzando le equazioni normali con matrice H di ordine n + 1 n + 1 conincidente con la matrice di Vandermonde definita sul set di dati x 1, x 2,, x m con m = n + 1. In questo caso il metodo dei minimi quadrati risulta essere un metodo piú costoso e meno stabile per il calcolo dell interpolante. Approssimare dati con polinomi di grado eccessivamente elevato non é consigliato, come mostra l esempio perché i polinomi di grado alto risultano poco flessibili e numericamente instabili. Per l approssimazione nel senso dei minimi quadrati è possibile utilizzare polinomi a tratti o spline tipicamente di grado basso, con il vantaggio di avere delle ottime funzioni di approssimazione senza i problemi numerici e di inflessibilità tipici dei polinomi di grado alto. Esempio Siano dati i seguenti punti del piano k x k y k

6 29/12/16 6 si vuole calcolare il polinomio di grado uno p(x = a + a 1 x che meglio approssima nel senso dei minimi quadrati. La matrice 1 2 ( ( H = ; HT H = e H T 81 y = Dobbiamo quindi risolvere il seguente sistema 2 2 ( ( ( 4 2 a 81 = 2 12 a { a = 25 2 a 1 = Retta di approssimazione in minimi quadrati o retta di Regressione Dato un set di dati sperimentali acquisiti da un fenomeno ad andamento lineare viene utilizzata la tecnica nota come retta di regressione lineare. Consiste nel determinare il polinomio lineare di approssimazione nel senso dei minimi quadrati dei dati assegnati. Esempio La determinazione di tale polinomio viene effettuata mediante soluzione del sistema delle equazioni normali che in questo caso risulterà di dimensione 2 2 otenuto: sarà e definendo G = H T H = x = 1 m m x2 k H = 1 x 1 1 x 2 1 x 3. 1 x n ( m 1 m x k m x k m x2 k x k, y = 1 m il baricentro dei punti dati, il sistema può essere scritto in modo semplificato: ( ( ( m mx a = my m mx a 1 x. ky k da cui si ricava a = y a 1 x a 1 = y k m x ky k mxy m x2 k mx2 In modo ancor più operativo l espressione del polinomio di miglior approssimazione può essere scritta come p(x = a + a 1 x = y + a 1 (x x che comporta solo la valutazione di a 1, geometricamente ci dice che la retta di regressione lineare passa per il baricentro del set di dati e ha pendenza a 1 Se scegliamo il grado uguale a 1, allora il polinomio di miglior approssimazione coinciderá con la retta r(x che minimizza la seguente misura dell errore: [y k r(x k ] 2. k Questa retta di minimi quadrati viene anche chiamata regressione lineare. Come si puó osservare passa per il baricentro dei dati (x, y, poiché r(x = b + ax = y ax + ax = a(x x + y

7 29/12/16 7 Nell esempio precedente k quindi per questi dati x = y = x k y k calcolando a, a 1 dalle formule si ottiene Il valore di minimo in questo caso é: = 5 = 81 4 a = 25 2, a 1 = x k y k = 536; [y k r(x k ] 2 = 17 1 = 1.7 k x 2 k = 12 Una qualsiasi altra retta passante per il baricentro dei dati dá origine ad un valore residuo piú grande. Nel caso di regressione polinomiale valgono anche le seguenti relazioni: essendo la varianza osservata dei dati x i e S xx = var(x = 1 n S xy = cov(x, y = 1 n k (x i x 2 (x i x(y i x la covarianza osservata i coefficienti a e a 1 si possono scrivere nella forma a 1 = S xy S xx ; a = y a 1 x Siano ỹ i = p(x i, i = 1, 2,, m i valori che assume il polinomio di best-fit in corrispondenza delle ascisse x i (intercetta, l errore quadratico sqe sará dato da sqe = i (ỹ i y y 2 La bontá del fitting viene misurato tramite il coefficiente di regressione R 2 o coefficiente di determinazione che misura la bontá dell adattamento della regressione stimata ai dati osservati R 2 = 1 i (ỹ i y i 2 i (y i y 2 si osservi che R 2 1 infatti quando sqe = il polinomio di best-fit risulta essere di interpolazione e R 2 = 1. Piú in generale un valore di R 2 é vicino a 1 indica un buon livello di approssimazione.