Metodi iterativi SISTEMI LINEARI. Metodi Iterativi. Metodo di rilassamento successivo e metodi del gradiente

Transcript

1 Metodi iterativi Metodo di rilassamento successivo e metodi del gradiente

2 Metodi iterativi Metodi iterativi 1 Il metodo di rilassamento successivo Condizioni per la convergenza 2 Metodi del Metodo della più ripida discesa Metodo del gradiente coniugato

3 Metodi iterativi Metodi iterativi 1 Il metodo di rilassamento successivo Condizioni per la convergenza 2 Metodi del Metodo della più ripida discesa Metodo del gradiente coniugato

4 Convergenza Richiami: il metodo di Gauss-Seidel A = D + L + U a ii 0 i = 1,..., n D = U = L = A si scompone nella forma P Q con P = D + L e Q = U. La (k + 1)-esima iterazione risulta quindi x (k+1) = Bx (k) + c con B = (D + L) 1 U (matrice di iterazione) e c = (D + L) 1 b.

5 Convergenza Il metodo di Gauss-Seidel sfrutta le componenti dell iterata (k + 1)-esima già calcolate: x (k+1) i = b i i 1 j=1 a ijx (k+1) j n j=i+1 a ijx (k) j a ii i = 1,..., n dove 0 j=1 e n j=n+1 vanno intesi come sommatorie vuote. Metodo degli spostamenti successivi

6 Convergenza Metodo di rilassamento successivo x (k+1) i = ω i 1 b i a ij x (k+1) a j ii j=1 Corrisponde alla scelta n j=i+1 a ij x (k) + (1 ω)x (k) j i = 1,..., n P = D + ωl, Q = (1 ω)d ωu La matrice di iterazione è quindi B = (D + ωl) 1 [(1 ω)d ωu] e c = (D + ωl) 1 b OSS. ω R\{0} ω = 1 Metodo di Gauss-Seidel Esercizio 1: Implementare il metodo di rilassamento successivo. i

7 Outline Rilassamento successivo Convergenza 1 Il metodo di rilassamento successivo Condizioni per la convergenza 2 Metodi del Metodo della più ripida discesa Metodo del gradiente coniugato

8 Convergenza Se A è simmetrica definita positiva, il metodo di rilassamento successivo converge se e solo se 0 < ω < 2. Il metodo è detto di sottorilassamento se 0 < ω < 1, e di sovrarilassamento (SOR) se 1 < ω < 2. La convergenza sarà tanto più rapida quanto più piccolo risulterà ρ(b). Conviene quindi scegliere ω che rende ρ(b) minimo. La determinazione del valore ω opt in corrispondenza del quale la velocità di convergenza sia la più elevata possibile, è assai complessa e se ne conoscono soluzioni soddisfacenti solo in casi particolari.

9 Convergenza Nel caso di matrici A simmetriche definite positive e tridiagonali a blocchi di forma, A = D 1 U 1 L 1 D 2 U 2 L 2 D 3 U 3 L Un 1 L n 1 D n dove le matrici D i sono diagonali, ω opt = ρ 2 (B J ) dove ρ(b J ) < 1 è il raggio spettrale della matrice di iterazione del metodo di Jacobi, B J = I D 1 A. In questo caso inoltre abbiamo: ρ 2 (B J ) = ρ(b GS ) con B GS matrice di iterazione del metodo di Gauss-Seidel.

10 Metodi del gradiente coniugato Ax = b A R n n b, x R n 1 A simmetrica e definita positiva 2 Trovare la soluzione x del sistema equivale a minimizzare la forma quadratica f (x) = 1 2 x T Ax x T b (che sotto la condizione 1. ammette un unico punto di minimo globale)

11 coniugato Metodi del gradiente: procedura generale Per trovare il minimo della forma quadratica f (x) si parte da un vettore tentativo x (0) R n e si genera la successione x (k+1) = x (k) + α k p (k) p (k) è la direzione lungo la quale ci si sposta per minimizzare f α k R è il valore che fissa la lunghezza del passo nella direzione p (k) ; in generale è scelto in modo che f (x (k) + α k p (k) ) sia minima lungo la direzione scelta La successione x (k) converge a x per k.

12 Outline Rilassamento successivo coniugato 1 Il metodo di rilassamento successivo Condizioni per la convergenza 2 Metodi del Metodo della più ripida discesa Metodo del gradiente coniugato

13 Metodo della più ripida discesa coniugato Si sceglie p (k) = r (k) = f (x (k) ), dove r (k) = b Ax (k) (p (k) direzione di massima pendenza) α k = (r (k) ) T r (k) (r (k) ) T Ar (k) Con queste scelte si ha che le direzioni p (k) e p (k+1) sono ortogonali, ovvero (r (k+1), r (k) ) = r (k)t r (k+1) = 0.

14 coniugato Algoritmo Usando il criterio di arresto basato sull incremento:... Fino a quando e > TOL & k < NMAX r = b Ax0 α = r T r r T Ar x = x0 + αr k = k + 1 e = x x0 / x x0 = x... In alternativa si può usare il criterio di arresto r (k) r (0) TOL.

15 Metodo della più ripida discesa coniugato Convergenza La velocità di convergenza di {x (k) } a x dipende dall autovalore massimo λ M e dall autovalore minimo λ m di A. Ad ogni iterazione l errore si riduce del fattore K 2 (A) 1 K 2 (A) + 1 = λ M λ m λ M + λ m [ K 2 (A) = λ M λ m in quanto ( ) e (k) λm λ k m A λ M + λ m e (0) A dove e (k) = x x (k) e e (k) A = e (k)t A e (k). Pertanto, quanto più λ M e λ m sono lontani (ossia K 2 (A) è grande o A è malcondizionata) tanto più la velocità di convergenza può essere lenta. ]

16 Outline Rilassamento successivo coniugato 1 Il metodo di rilassamento successivo Condizioni per la convergenza 2 Metodi del Metodo della più ripida discesa Metodo del gradiente coniugato

17 Metodo del gradiente coniugato coniugato Per evitare problemi legati alla lentezza del metodo della più ripida discesa, si possono scegliere le direzioni di discesa p (k) in modo diverso. coniugato Si costruiscono dei vettori A-coniugati, cioè tali che (Ap (i), p (j) ) = p (j)t A p (i) = 0 se i j Se non ci fossero gli errori di calcolo, in al più n iterazioni si avrebbe la soluzione esatta.

18 Metodo del gradiente coniugato coniugato Dato x (0) R n, posto p (0) = r (0) = b Ax (0) per k = 0, 1,... fino a convergenza α (k) = p(k)t r (k) p (k)t A p (k) = r (k)t r (k) p (k)t A p (k) x (k+1) = x (k) + α (k) p (k) r (k+1) = r (k) α (k) A p (k) β (k) = p(k)t A r (k+1) p (k)t A p (k) >>x=pcg(a,b,toll,nmax) = r (k+1)t r (k+1) r (k)t r (k) p (k+1) = r (k+1) + β (k) p (k) fornisce la soluzione del sistema Ax = b mediante il metodo del gradiente coniugato.

19 Metodo del gradiente coniugato coniugato [x,flag,relres,iter,resvec]=pcg(a,b,toll,nmax) fornisce ulteriori informazioni flag flag=0 flag=1 flag=2 flag=3 flag=4 il metodo ha ottenuto soluzione dopo nmax iterazioni non è stata raggiunta la soluzione il precondizionatore P è malcondizionato due successive iterate erano uguali una delle quantità scalari è diventata troppo piccola o troppo grande relres residuo relativo: norm(b-a*x)/norm(b) iter numero di iterazioni effettuate resvec vettore dei residui in norma (iterata per iterata)

20 coniugato Velocità di convergenza Ad ogni iterazione e (k) A 2 ( K2 (A) 1 K2 (A) + 1) k e (0) A dove K 2 (A) = λ M λm. Quindi il metodo del gradiente coniugato converge più rapidamente del metodo di più ripida discesa.