Algebra Lineare Numerica A.A Lab.6

Transcript

1 Algebra Lineare Numerica A.A Lab.6 Stabilità di algoritmi per la risoluzione di problemi ai minimi quadrati Si considerino la seguente matrice A e il seguente vettore b A = , b = Si calcolino esattamente A + e P 2. Si trovi la soluzione esatta x e il termine y = Ax del problema ai minimi quadrati Ax b 3. Si calcolino numericamente le quantità κ(a), η, θ 4. Si calcolino i numeri di condizionamento κ x(a),κ x(b), κ y(a),κ y(b)

2 definiti come segue κ x(a) = κ(a) + κ(a)2 tan θ, η κ x(b) = κ(a) η cos(θ), κ y(a) = κ(a) cos(θ), κ y(b) = 1 cos(θ) 5. Si diano esempi di perturbazioni δb e δa che, approssimativamente, siano corrispondenti ai quattro numeri di condizionamento del punto precedente. Si ricordi che κ z(w) = δz z w δw Si consideri la funzione f(x) = e sin(4t) per t [0, 1], campionata in 100 punti equispaziati su tale intervallo. Si consideri il suo approssimante ai minimi quadrati di grado 14, T 14 (x). 1. Si costruisca la matrice di Vandermonde A e il termine noto b corrispondenti e si calcoli la soluzione x del sistema Ax = b con il comando Matlab \. Quanto vale il coefficiente del termine di grado 14 di T 14 (x)? 2. Si disegni la funzione e sin(4t) e l approssimante T 14 (x) 2

3 3. Per far sì che il coefficiente x 15 (coefficiente del termine di grado 14) sia uguale a 1, si usi la seguente normalizzazione b = b/ Si verifichi il risultato usando nuovamente il comando \. 4. Si calcoli K(A) con il comando cond. Cosa ne deduciamo circa il condizionamento di A? Si calcoli inoltre la quantità 1 y θ = cos b. Si osservi a tale proposito che la formula implementata da Matlab per il calcolo di cos 1 è ( cos 1 (z) = i log z ) i(1 z 2 ) Quanto vale z = y per il problema in esame? Cosa b comporta nella formula del calcolo di cos 1? Si consideri quindi per il calcolo di θ l espressione Si calcoli poi la quantità 1 b y θ = sin. b η = A x Ax e i numeri di condizionamento κ x(a),κ x(b), κ y(a),κ y(b) usando le definizioni date nell esercizio 1. 3

4 5. Si risolva il problema ai minimi quadrati usando l istruzione qr di Matlab (Householder) e si commenti l accuratezza della soluzione xqr, riferendosi in particolare al termine xqr(15) 6. Si risolva il problema ai minimi quadrati utilizzando l algoritmo di Gram-Schmidt modificato per il calcolo della fattorizzazione QR di A. Cosa si osserva? Ci si riferisca in particolare al termine xn(15) 7. Si risolva il problema ai minimi quadrati risolvendo le equazioni normali, ovvero calcolando >>xn=(a *A)\(A *b); Cosa si osserva? Ci si riferisca in particolare al termine xn(15) 8. Si risolva il problema ai minimi quadrati usando la SVD. Cosa si osserva? Ci si riferisca in particolare al termine xn(15). 4

5 Algebra Lineare Numerica A.A Lab.6 - Soluzione Soluzione del primo esercizio 1. La matrice pseudoinversa A + è definita come A + = (A A) 1 A. Possiamo calcolare esattamente tale matrice usando il toolbox simbolico di Matlab. In particolare, poniamo x = e usiamo le seguenti istruzioni >> a = sym( a, real ); >> A=[1 1; 1 1+a; 1 1+a]; >> Ap=simple(inv(A *A)*A ); Otteniamo la seguente espressione [ ] A + = 1 2(1 + a) 1 1, 2a da cui immediatamente ricaviamo P = AA + = La soluzione esatta x del problema ai minimi quadrati e il vettore y sono dati da 5

6 >> a=0.0001; >> b=[2; a; 4+a]; >> x=eval(ap)*b 1 1 >> y=a*x % ==P*b Calcoliamo numericamente le quantità κ(a), η, θ >> A=[ 1 1; ; ]; >> cond(a) e+04 >> eta=norm(a)*norm(x)/norm(y) e+04 >> theta=acos(norm(y)/norm(b)) Calcoliamo i numeri di condizionamento κ x(a),κ x(b), κ y(a),κ y(b) >> kxa=cond(a)+(cond(a))^2*tan(theta)/eta e+05 >> kxb=cond(a)/eta/cos(theta) >> kya=cond(a)/cos(theta) e+04 6

7 >> kyb=1/cos(theta) Scegliendo δa e δb otteniamo valori dei numeri di condizionamento che approssimano quelli calcolati nei punti precedenti. Soluzione del secondo esercizio 1. Costruiamo la matrice di Vandermonde A, il termine noto b e calcoliamo i numeri di condizionamento m=100; n=15; t=linspace(0,1,m); t=t ; A=[]; for i=1:n A=[A t.^(i-1)]; end b=exp(sin(4*t)); b=b/ ; x=a\b; y=a*x; kappa=cond(a); 7

8 theta=asin(norm(b-y)/norm(b)); eta=norm(a)*norm(x)/norm(y); kxa=cond(a)+(cond(a))^2*tan(theta)/eta; kxb=cond(a)/eta/cos(theta); kya=cond(a)/cos(theta); kyb=1/cos(theta); Per disegnare il polinomio di grado 14, approssimazione ai minimi quadrati della funzione e sin(4t) usiamo le istruzioni >> xx=0:0.001:1; >> plot(xx,exp(sin(4*xx))); hold on >> yy=polyval(x(end:-1:1),xx); >> plot(xx,yy, r ) Il fitting ottenuto è molto vicino alla funzione originale. 2. Risolviamo il problema i minimi quadrati con qr >> [Q,R]=qr(A,0); >> xqr=r\(q *b); >> xqr(15) >> abs(1-xqr(15)) e-07 Osserviamo che usando l aritmetica macchina IEEE gli errori di arrotondamento sono dell ordine di ɛ macchina 8

9 L errore su xqr(15), dell ordine di 10 7, è quindi da attribuirsi a κ x(a) che è dell ordine di Quindi l inaccuratezza di xqr(15) è dovuta ad errori di malcondizionamento e non a fenomeni di instabilità dell algoritmo. 3. Risolviamo il sistema di equazioni normali xn=(a *A)\(A *b); Warning: Matrix is close to singular or badly scaled. Results may be inaccurate. RCOND = e-19. >> xn(15) Osserviamo che nemmeno una cifra significativa del termine xn(15) è corretta! Una spiegazione di questo comportamento è la seguente. Usando un algoritmo stabile per la ricerca della soluzione si ha che δx x (( = O )) κ(a) + κ(a)2 tan(θ) ɛ macchina η Se κ(a) >> 1, possono verificarsi differenti situazioni dipendentemente dal valore di η e tan(θ): a) tan(θ) 1 e η << κ(a): δx x = O ( κ(a) 2 ɛ macchina ) 9 (1)

10 b) tan(θ) 0 oppure η κ(a): δx x = O (κ(a)ɛ macchina ) (2) ovvero il condizionamento del problema si trova fra κ(a) e κ(a) 2. Consideriamo ora cosa succede quando utilizziamo il sistema delle equazioni normali (A A)x = A b con la fattorizzazione di Cholesky. Tale fattorizzazione è un algoritmo stabile, tuttavia la matrice (A A) ha numero di condizionamento pari a κ(a) 2 >> κ(a) e il comportamento dell algoritmo è dominato da κ(a) 2. In particolare a) se tan(θ) 1 e η << κ(a), oppure κ(a) 1, allora l algoritmo di equazioni normali è stabile, essendo le relazioni (1) e (2) dello stesso ordine b) se invece κ(a) >> 1 e tan(θ) 0 oppure η κ(a), allora (2) è molto maggiore di (1) e l algoritmo è instabile. Tipicamente, le equazioni normali sono instabili per problemi malcondizionati con close fit, ovvero tan(θ) 0. Nel nostro esempio, κ(a) e θ 0: ciò spiega il risultato molto inaccurato. 4. Calcoliamo la soluzione con l algoritmo di Gram-Schmidt modificato >> [Q,R]=GSmod(A); >> x=r\(q *b); >> x(15) 10

11 La soluzione è molto inaccurata: l algoritmo è infatti instabile, a causa della generazione di colonne di Q non perfettamente ortonormali (si veda a questo proposito il testo Trefethen-Bau pg.66-67). Per evitare questo fenomeno, è utile accordare che, mentre le colonne di Q non sono ortonormali, il prodotto Q R è comunque accurato. In generale, è necessaria una opportuna riformulazione del problema per ottenere un risultato stabile (si veda a questo proposito il testo Trefethen-Bau pg ) 5. Ricordiamo che la SVD ridotta di A è A = Û ΣV e che la soluzione del problema ai minimi quadrati può essere trovata effettuando i seguenti passi In Matlab calcolare risolvere porre >> [U,S,V] = svd(a,0); >> x=v*(s\(u *b)); >> x(15) Û b Σw = Û b x = V w Osserviamo che in questo caso l algoritmo è stabile. 11