Modelli Matematici e Calcolo Numerico

Transcript

1 Modelli Matematici e Calcolo Numerico Calcolo Numerico Massimiliano Martinelli martinelli@imati.cnr.it Università di Pavia Facoltà di Ingegneria Ottobre 2011

2 Introduzione La matrice del sistema non viene modificata migliore sfruttamento della sparsità Soluzione come limite di una successione si pone il problema della convergenza (e anche della velocità di convergenza) Per matrici piene O(n 2 ) operazioni ogni iterazione metodi iterativi meno costosi dei metodi diretti se si ottiene la convergenza in un numero di iterazioni che dipende da n in modo sublineare Possibilità di utilizzare approcci matrix-free I metodi iterativi si possono applicare anche alla risoluzione di sistemi non-lineari

3 Principio dei metodi iterativi Data una stima iniziale x (0) della soluzione del problema, si costruisce una successione di vettori x (k) che verifica la proprietà di convergenza lim k x(k) = x Il metodo iterativo può essere scritto nella forma x (k+1) = ϕ k+1 (x (k),x (k 1),...,x (k m),a,b) per k m dove ϕ k e x (0),...,x (m) sono rispettivamente funzioni e vettori dati. m è chiamato ordine del metodo se le funzioni ϕ k non dipendono dal passo k, il metodo è detto stazionario, altrimenti non-stazionario se le funzioni ϕ k dipendono linearmente dai vettori x (0),...,x (m) il metodo è chiamato lineare, altrimenti non-lineare

4 lineari Consistenza con il sistema lineare Sia B R n n (matrice di iterazione). Il metodo iterativo lineare x (k+1) = Bx (k) + f è detto essere consistente con il sistema lineare Ax = b se x = Bx + f o, equivalentemente f = (I B)A 1 b La sola consistenza non è sufficiente per la convergenza Esempio di metodo consistente ma non convergente Considerare il metodo iterativo x (k+1) = x (k) + b per la soluzione del sistema lineare 2Ix = b

5 lineari Convergenza di un metodo iterativo consistente La sequenza di vettori x (k) converge alla soluzione x del sistema lineare Ax = b per qualsiasi scelta di x (0) se e solo se ρ(b) < 1 Dimostrazione Sia e (k) = x x (k) l errore al passo k, quindi e (k+1) = Be (k) = B k e (0) La condizione per la convergenza equivale a lim k e (k) = 0 ( ) Se ρ(b) < 1 allora esiste una norma consistente di matrice tale che B ρ(b) + ε < 1. Poiché B k B k < 1 e dalla definizione di convergenza, si ha che lim k B k = 0 ( ) Sia lim B k = 0 e sia λ un autovalore di B. Poiché Bx = λx, si ha che k lim λ k = 0. Ovvero λ < 1. Poiché questo è vero per un generico autovalore, k si ha ρ(b) < 1.

6 lineari Tecnica dello splitting Scegliere due matrici P e N tali che A = P N (quindi N = P A) P (matrice di precondizionamento) deve essere non singolare e facilmente invertibile Dato x (0), un metodo iterativo lineare e consistente si può scrivere come Px (k+1) = Nx (k) + b k 0 ovvero, introducendo il residuo al passo k r (k) = b Ax (k) si ottiene x (k+1) = x (k) + P 1 r (k) La matrice di iterazione è B = P 1 N = (I P 1 A) f = P 1 b

7 Scriviamo A = D E F D è la matrice diagonale uguale agli elementi diagonali di A, e sia D invertibile (ovvero d ii = a ii 0 per i = 1,...,n) E è la matrice di elementi e ij = a ij se i > j, e ij = 0 se i j F è la matrice di elementi f ij = a ij se j > i, f ij = 0 se j i a 11 a a 1n a 11 0 a 21 a a 2n a 22 = a n1 a n2... a nn 0 a }{{} nn }{{} A D a a 1n a a1,n 1 a n1... a n,n 1 0 }{{} 0 0 }{{} E F

8 lineari Metodo di Jacobi: P = D e N = E + F Px (k+1) = Nx (k) + b dove A = P N Dx (k+1) = (E + F)x (k) + b ovvero x (k+1) = x (k) + D 1 r (k) (D 1 ) ii = 1 d ii B J = D 1 (E + F) = I D 1 A Equivale a i = 1 i 1 (b i a ij x (k) j a ii x (k+1) j=1 n j=i+1 ) a ij x (k) j con i = 1,...,n

9 lineari Px (k+1) = Nx (k) + b dove A = P N Metodo di Gauss-Seidel: P = D E e N = F (D E)x (k+1) = Fx (k) + b ovvero x (k+1) = x (k) + (D E) 1 r (k) (D E) è la parte triangolare inferiore di A (invertibile perché gli elementi diagonali non sono nulli) B GS = (D E) 1 F Equivale a i = 1 i 1 (b i a ij x (k+1) j a ii x (k+1) j=1 n j=i+1 ) a ij x (k) j con i = 1,...,n

10 Tecniche di accelerazione della convergenza Metodo di rilassamento Si introduce nei metodi precedenti il parametro di rilassamento ω da scegliere opportunamente Metodo di Jacobi con rilassamento (JOR) x (k+1) = x (k) + ωd 1 r (k) B Jω = ωb J + (1 ω)i = I ωd 1 A Equivale a x (k+1) i = 1ω ( b i a ii i 1 j=1 a ij x (k) j n j=i+1 ) a ij x (k) j + (1 ω)x (k) i con i = 1,...,n Consistente per ogni ω 0 (ω = 1 metodo di Jacobi)

11 Tecniche di accelerazione della convergenza Metodo di Gauss-Seidel con rilassamento (SOR) x (k+1) = x (k) + ( 1 ω D E) 1 r (k) B GS = (D E) 1 FB GSω = ( ω 1 D E) 1[ ( ω 1 1)D + F] Equivale a x (k+1) i = 1ω ( b i a ii i 1 j=1 a ij x (k+1) j n j=i+1 ) a ij x (k) j +(1 ω)x (k) i con i = 1,...,n Consistente per ogni ω 0 (ω = 1 metodo di Gauss-Seidel)

12 Alcuni risultati di convergenza Se A è strettamente diagonale dominante per righe, i metodi di Jacobi e Gauss-Seidel sono convergenti Se A è simmetrica e definita positiva, il metodo JOR è convergente con 0 < ω < 2/ρ(D 1 A) Se il metodo di Jacobi è convergente, allora il metodo JOR converge per 0 < ω 1 Per ogni ω R si ha ρ(b GSω ) ω 1 ; perciò il metodo SOR non converge se ω 0 o ω 2 (Teorema di Ostrowski) Se A è simmetrica e definita positiva, allora il metodo SOR converge se e solo se 0 < ω < 2. Inoltre, la sua convergenza è monotona rispetto ad A (ovvero x (k+1) x A < x (k) x A )

13 Metodi di Richardson Il metodo iterativo x (k+1) = x (k) + P 1 r k può essere generalizzato da x (k+1) = x (k) + α k P 1 r k con α k R La matrice di iterazione è R(α k ) = I α k P 1 A Se α k = α metodo di Richardson stazionario I metodi di Jacobi e Gauss-Seidel sono metodi di Richardson stazionari Algoritmo per il metodo di Richardson 1 x (k) soluzione approssimata al passo k 2 Calcolo del residuo: r (k) = b Ax (k) 3 Soluzione del sistema lineare Pz (k) = r (k) 4 Calcolo del parametro di accelerazione α k 5 Aggionamento della soluzione al passo k + 1: x (k+1) = x (k) + α k z (k)

14 Metodo di Richardson: analisi di convergenza Per ogni matrice invertibile P, il metodo di Richardson stazionario è convergente se e solo se 2 Reλ i α λ i 2 > 1 dove λ i C sono gli autovalori di P 1 A. i = 1,...,n Se P 1 A ha autovalori reali e positivi, allora il metodo di Richardson stazionario è convergente se e solo se 0 < α < 2 λ max inoltre, il raggio spettrale della matrice di iterazione I αp 1 A è minimo per 2 α opt = λ min + λ max

15 Scelta della matrice di precondizionamento P Il metodo di Richardson non specifica come scegliere P e, in generale α k Mancanza di risultati teorici riguardo alla scelta ottimale di P Scegliendo P = A si ha convergenza in una iterazione (ma l obiettivo è proprio risolvere Ax = b) In pratica, si cercano matrici di precondizionamento P tali che P 1 A I dove P è facilmente invertibile Diverse strategie per la scelta (e il calcolo) di P: Matrice di precondizionamento diagonale (analoga a quella usata nel metodo di Jacobi) Fattorizzazione LU Incompleta (ILU) Precondizionatori polinomiali (polinomiale di Neumann, minimi quadrati,... )

16 Fattorizzazione ILU(p) ILU(0) Sia A una matrice tale che la fattorizzazione LU non richiede il pivoting Si costruiscono due matrici L triangolare inferiore e Ũ triangolare superiore tali che: L e Ũ abbiano la stessa struttura di sparsità di D E e D F ( LŨ) ij = a ij se a ij 0 Stessa quantità di memoria necessaria per A (nessun fill-in) Permettendo il fill-in si ha una fattorizzazione di A più accurata Per esempio si può considerare la fattorizzazione ILU(0) della matrice LŨ ILU(1) e cosi via ILU(p) L esistenza della fattorizzazione ILU non è garantita per tutte le matrici invertibili Esistenza per matrici a diagonale dominante, M-matrici,... Esistono varianti per la riduzione del fill-in (ILUT, MILU,... )

17 Domanda Sia A simmetrica e definita positiva e sia Φ(y) = 1 2 yt Ay y T b x è soluzione di Ax = b Φ(x) = min y R n Φ(y) Come determinare x R n che minimizza Φ(y), partendo da un punto x (0)? Metodo del gradiente (o Steepest Descent) Si calcola la direzione di massima pendenza (locale): Φ(x (k) ) = Ax (k) b = r (k) Si cerca un minimo di Φ lungo la direzione x (k) + α k r (k) differenziando Φ(x (k+1) ) = Φ(x (k) + α k r (k) ) rispetto ad α k ed uguagliando a zero si ha: α k = r(k),r (k) r (k),ar (k)

18 Metodo del gradiente: algoritmo Dato x (0) R n, per k = 0,1,... 1 r (k) = b Ax (k) 2 α k = r(k),r (k) r (k),ar (k) 3 x (k+1) = x (k) + α k r (k) Metodo del gradiente: convergenza Sia A una matrice simmetrica e definita positiva. Allora il metodo del gradiente è convergente per ogni scelta del dato iniziale x (0) e e (k+1) A K 2(A) 1 K 2 (A) + 1 e(k) A Il metodo del gradiente può essere abbastanza lento se K 2 (A) = λ max λ min è grande

19 Metodo del gradiente Scelta di una direzione di discesa ( Φ(x (k) ) = r (k) ) + minimizzazione lungo quella direzione Possibili altre scelte per la direzione di discesa Ottimalità rispetto ad una direzione Una direzione x (k) è detta essere ottimale rispetto ad una direzione p 0 se Φ(x (k) ) Φ(x (k) + λp) λ R Se x (k) è ottimale rispetto a p allora Φ ammette un minimo locale lungo p per λ = 0, e quindi 0 = Φ λ (x(k) + λp) = λ=0 = p,r (k) [ ] p,(ax (k) b) + λ p,ap λ=0 x (k) è ottimale rispetto a p p è ortogonale al residuo r (k)

20 Nel metodo del gradiente x (k+1) è ottimale rispetto a r (k) (ovvero r (k+1) r (k) ), infatti r (k+1),r (k) = b Ax (k+1),r (k) [ = b A x (k) + r(k),r (k) ] r (k),ar (k) r(k),r (k) = r (k),r (k) r(k),r (k) r (k),ar (k) Ar(k),r (k) = r (k),r (k) r (k),r (k) = 0 La iterata successiva x (k+2) non è più ottimale rispetto a r (k) Domanda Esiste una direzione di discesa che mantiene l ottimalità delle iterate?

21 Condizione di ottimalità delle iterate Sia x (k+1) = x (k) + q e sia p ottimale rispetto a x (k) Imponiamo che x (k+1) sia ottimale rispetto a p e cerchiamo quale condizione dobbiamo avere su q 0 = r (k+1),p = b Ax (k+1),p [ ] = b A x (k) + q,p = b Ax (k),p Aq,p = r (k),p Aq,p = Aq,p Per mantenere l ottimalità tra iterate successive, le direzioni di discesa devono essere mutualmente A-ortogonali (o A-coniugate), ovvero Aq,p = p T Aq = 0

22 Costruzione delle direzioni A-coniugate Sia p (0) = r (0), e cerchiamo le direzioni A-coniugate della forma con β k R da determinare e tali che p (k+1) = r (k+1) β k p (k) Ap (k+1),p (j) = 0 per j = 0,...,k La condizione Ap (k+1),p (k) = 0 ci da β k = Ap(k),r (k+1) Ap (k),p (k) Per induzione si dimostra che, scegliendo β k = Ap(k),r (k+1) Ap (k),p (k), le direzioni p (0),...,p (k) sono mutualmente A-coniugate

23 Metodo del Gradiente Coniugato (CG) Direzioni di discesa A-coniugate + parametro di accelerazione α k (come nel metodo di gradiente) Algoritmo Dato x (0), sia r (0) = b Ax (0) e p (0) = r (0). Per k = 0,... 1 α k = pk,r k p k,ap k = r(k) 2 2 p k,ap k 2 x (k+1) = x (k) + α k p (k) 3 r (k+1) = r (k) α k Ap (k) 4 β k = Ap(k),r (k+1) Ap (k),p (k) = r(k+1) 2 2 r (k) p (k+1) = r (k+1) β k p (k)

24 Metodo del Gradiente Coniugato (CG) Sia A R n n una matrice simmetrica e definita positiva. Qualsiasi metodo che utilizzi le direzioni coniugate per risolvere Ax = b termina al massimo dopo n passi, fornendo la soluzione esatta. Convergenza per il metodo del Gradiente Coniugato Sia A R n n una matrice simmetrica e definita positiva. Il metodo del Gradiente Coniugato converge al massimo in n passi, ed inoltre l errore alla k-esima iterazione e (k) (con k < n) è ortogonale a p (j) per j = 0,...,k 1 e e (k) A 2ck 1 + c 2k e(0) A con c = K2 (A) 1 K2 (A) + 1

25 Metodo del Gradiente Coniugato Precondizionato (PCG) Invece di risolvere Ax = b si risolve PAx = Pb con P simmetrica e definita positiva (e facilmente invertibile) Algoritmo Dato x (0), sia r (0) = b Ax (0), z (0) = P 1 r (0) e p (0) = z (0). Per k = 0,... 1 α k = pk,r k p k,ap k 2 x (k+1) = x (k) + α k p (k) 3 r (k+1) = r (k) α k Ap (k) 4 z (k+1) = P 1 r (k+1) 5 β k = Ap(k),z (k+1) Ap (k),p (k) 6 p (k+1) = z (k+1) β k p (k)

26 Gradiente Coniugato per matrici qualsiasi Se la matrice A non è simmetrica e definita positiva, non si può più applicare il metodo del Gradiente Coniugato Considerare allora A T Ax = A T b (chiamato sistema di equazioni normali) Se A è non singolare, allora A T A è simmetrica e definita positiva L algoritmo converge sempre al più in n iterazioni Per tale algoritmo il costo per iterazione è superiore ed inoltre K 2 (A T A) = [ K 2 (A) ] 2

27 Metodi di Krylov Introduzione Risolvere Ax = b equivale a risolvere Az = r (0) dove z = x x (0) Si chiamano metodi di Krylov tutti i metodi che permettono di ottenere la soluzione del sistema Az = r (0) per proiezione sui sottospazi di Krylov K m (A;v) = span(v,av,...,a m 1 v), ovvero tramite il procedimento iterativo seguente x (k) = x (0) + y (k) con y (k) K k (A;r (0) ) I diversi metodi si differenziano nel modo in cui viene calcolato y (k) (e quindi x (k) ) In particolare, il metodo di Richardson non precondizionato e il metodo del gradiente coniugato sono metodi di Krylov Per un m fissato, è possibile costruire una base ortonormale di K m (A;r (0) ) utilizzando l Algoritmo di Arnoldi

28 Algoritmo di Arnoldi Si tratta di costruire una base ortonormale v 1,...,v m per lo spazio K m (A;v 1 ) utilizzando la procedura di Gram-Schmidt Il primo elemento della base è v 1 = r(0) r (0). Per k = 1,...,m 2 1 h ik = v i,av k, i = 1,...,k 2 w k = Av k k i=1 3 h k+1,k = w k 2 4 v k+1 = w k h k+1,k h ik v i

29 Sia V m è la matrice le cui colonne sono i vettori (v 1,...,v m ), allora ogni vettore y (m) K m (A;r 0 ) può essere scritto come y (m) = V m z (m) con V m R n m, z (m) R m e m n Sia Ĥ m R (m+1) m la matrice di Hessemberg superiore in cui gli elementi non nulli sono definiti dall algoritmo di Arnoldi { hik = v i,av k k = 1,...,m e i = 1,...,k h k+1,k = Av k k i=1 h 2 ikv i k = 1,...,m e sia H m R m m la matrice ottenuta da Ĥ m eliminando l ultima riga. Allora valgono le seguenti relazioni: 1 AV m = V m+1 Ĥ m 2 V T mav m = H m 3 V T m+1 AV m = Ĥ m

30 Due diverse strategie per calcolare x (k) = x (0) + y (k) Calcolare y (k) K k (A,r (0) ) imponendo che il residuo r (k) sia ortogonale a ogni vettore in K k (A,r (0) ), ovvero v,b Ax (k) = 0 v K k (A,r (0) ) Full Orthogonalization Method (FOM) Calcolare y (k) K k (A,r (0) ) minimizzando la norma Euclidea del residuo r (k), cioè: b Ax (k) 2 = min b A(x (0) + y (k) ) 2 y (k) K k (A,r (0) ) Generalized Minumun RESidual (GMRES) In assenza di errori di arrotondamento, FOM e GMRES forniscono la soluzione di Ax = b in al più n iterazioni Possibilità di precondizionamento per accelerare la convergenza

31 GMRES Introduzione Calcolare y (k) K k (A,r (0) ) minimizzando la norma Euclidea del residuo r (k) : b Ax (k) 2 = dove e 1 = (1,0,...,0) T R k+1 min y (k) K k (A,r (0) ) b A(x (0) + y (k) ) 2 = min z (k) R k b A(x (0) + V k z (k) ) 2 = min z (k) R k r (0) AV k z (k) 2 = min z (k) R k v1 r (0) 2 V k+1 Ĥ k z (k) 2 = min z (k) R k Vk+1 ( r (0) 2 e 1 Ĥ k z (k)) 2 = min z (k) R k r (0) 2 e 1 Ĥ k z (k) 2

32 GMRES (continua) r (k) 2 2 = r (0) 2 e 1 Ĥ k z (k) 2 2 = r (0) 2 e 1 Ĥ k z (k), r (0) 2 e 1 Ĥ k z (k) = r (0) r (0) 2 e 1,Ĥ k z (k) + Ĥ k z (k),ĥ k z (k) Il minimo di r (k) 2 2 è un punto stazionario, perciò differenziamo rispetto a z(k) e uguagliamo a zero: ovvero (sistema di equazioni normali) 0 = z (k) r(k) 2 2 = 2 r (0) 2 Ĥk T e 1 + 2Ĥk T (k) Ĥkz Ĥ T k Ĥkz (k) = r (0) 2 Ĥ T k e 1

33 Criteri di convergenza Controllo dell incremento L algoritmo iterativo si ferma se viene verificata la condizione in cui ε è una tolleranza prefissata x (k+1) x (k) ε b Nel caso di un metodo basato sullo splitting additivo, in cui B è la matrice di iterazione, abbiamo la seguente stima dell errore commesso Controllo del residuo x (k+1) x B 1 B x(k+1) x (k) B ε 1 B b L algoritmo iterativo si ferma quando r (k) ε oppure r(k) r (0) ε