SISTEMI LINEARI QUADRATI: METODI ITERATIVI

Transcript

1 SISTEMI LINEARI QUADRATI: METODI ITERATIVI CALCOLO NUMERICO e PROGRAMMAZIONE SISTEMI LINEARI QUADRATI:METODI ITERATIVI p./54

2 RICHIAMI di ALGEBRA LINEARE DEFINIZIONI A R n n simmetrica se A = A T ; A C n n Hermitiana se A = A, dove A = (ā j,i ) i=,...,n ; j=,...,n A R n n ortogonale se A T A = I; A C n n (simmetrica) unitaria se A A = I; A R n n (simmetrica) definita positiva se x T Ax > 0, x 0; A C n n (hermitiana) definita positiva se x Ax > 0, x 0; A diagonale dominante in senso forte[debole] se n n a i,i > a i,j, a i,i a i,j j= j i j= j i i =,..., n A diagonale dominante se n a i,i a i,j, i =,..., n, ed k : a k,k > j= j i n j= j k a k,j SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.2/54

3 RICHIAMI di ALGEBRA LINEARE TEOREMA Se A R n n è simmetrica, sono equivalenti:. A definita positiva; 2. gli autovalori di A sono reali e positivi; 3. i determinanti dei minori principali di A verificano: det(a k ) > 0, k =,..., n (criterio di Sylvester). L algebra lineare numerica richiede spazi lineari normati ESEMPIO: Si consideri il sistema lineare x x 2 x 3 = la cui soluzione è x = [3,, ] T. Si supponga di aver ottenuto le seguenti approssimazioni della soluzione: v = [ , , ] T z = [ , , ] T Come possiamo stabilire quale delle due grandezze è più vicina alla soluzione del sistema? SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.3/54

4 Norma di vettore Definizione: Sia X spazio lineare e f : X R funzionale tale che. f(x) 0, x X, f(x) = 0 x = 0; 2. f(x + y) f(x) + f(y), x, y X; 3. f(αx) = α f(x), α R(C), x X; X è detto spazio lineare normato (sln) e f è detta norma. In particolare per X = R n si usano le norme p o Hölderiane: x p := ( x p + x 2 p + + x n p ) p x := x + x x n x 2 := x 2 + x x2 n x := max{ x, x 2,..., x n } SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.4/54

5 Norma di vettore Definizione: Siano f ed g due norme di R n. Se esistono c, C R + t.c. cg(x) f(x) Cg(x), x R n f ed g si dicono norme equivalenti., 2, sono norme equivalenti x x n x x x 2 n x x / n x 2 x ma con diversa geometria: S = {x R n : x } 2 SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.5/54

6 Norma di matrici in R n n Definizione: Sia R n una norma vettoriale. R n n si dice compatibile o consistente con R n se A, B R n n e x R n si ha Ax R n A R n n x R n AB R n n A R n n B R n n Definizione: Sia R n n compatibile, si dice indotta da R n se A R n n x R n t.c. Ax R n = A R n n x R n Definizione: Sia data R n norma vettoriale, il funzionale : R n n R t.c. A := sup x 0 Ax R n x R n = max x R n = Ax R n è una norma, norma naturale Ogni norma naturale è indotta: sia ȳ : Aȳ = max x = Ax Aȳ = A = A ȳ SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.6/54

7 Principali norme indotte naturali induce A := max j n induce A := max i n 2 induce A 2 := n a i,j i= n a i,j j= ρ(a T A) dove data M R p p, ρ(m) = max k p λ k (M) è il suo raggio spettrale SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.7/54

8 Proprietà delle norme naturali Sia M R p p ρ(m) = inf{ M : norma naturale} ovvero ε > 0, norma naturale t.c ρ(m) M ρ(m) + ε, ne segue M R p p, norma naturale, ρ(m) M Una matrice M R p p si dice convergente se lim k M k = 0 Teorema M convergente ρ(m) < Invarianza della norma rispetto a trasformazioni ortogonali: x R n, U R n n ortogonale: x 2 = Ux 2 A R m n, U R m m, V R n n ortogonali: A 2 = UAV 2 SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.8/54

9 SISTEMI LINEARI QUADRATI Sia A R n n, b R n, se det A 0 allora!x R n t.c. Ax = b. Molti modelli matematici significativi sono di tipo lineare Sistemi lineari nascono da contesti diversi, è importante disporre di un ampia varietà di algoritmi in modo da scegliere il più adatto al problema specifico (stabilità, occupazione di memoria, velocità) I metodi per i sistemi lineari si dividono in due gruppi: Metodi diretti: si basano sull idea di trasformare il sistema attraverso un numero finito di operazioni in un sistema equivalente di cui sia esplicitamente calcolabile la soluzione. In assenza di errori di arrotondamento forniscono la soluzione esatta. Metodi iterativi: la soluzione è ottenuta come limite di una successione. Permettono di sfruttare la sparsità della matrice dei coeffcienti in quanto al contrario dei metodi diretti, tale matrice non viene modificata SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.9/54

10 Condizionamento Dato Ax = b si vuol studiare come varia la soluzione del sistema al variare dei dati(a, b). Si studia il caso in cui solo il termine noto viene modificato. Si esprime la perturbazione sui dati con δb R n e siano x e x + δx rispettivamente le soluzioni di sottraendo i due sistemi Ax = b, A(x + δx) = b + δb Aδx = δb δx = A δb da cui rispetto ad una norma naturale: δx A δb Poichè b = Ax A x ne segue / x A / b e quindi δx x A A δb b SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.0/54

11 Condizionamento Consideriamo il caso in cui la matrice A venga perturbata, si esprime εδa R n n la perturbazione di A e εδb R n quella di b (ε R positivo e sufficientemente piccolo). Si risolve il sistema (A + εδa)x(ε) = b + εδb; () con x(0) = x. Se det A 0 allora per ε piccolo det(a + εδa) 0; posso ricavare x(ε) = (A + εδa) (b + εδb) funzione di ε derivabile in un intorno dell origine. Derivando () rispetto a ε si ha δax(ε) + (A + εδa)ẋ(ε) = δb; per ε = 0 : δax(0) + Aẋ(0) = δb da cui ẋ(0) = A (δb δax(0)). Sviluppando in serie x(ε) = x(0) + εẋ(0) + O(ε 2 ) x(ε) x(0) εẋ(0) da cui x(ε) x(0) x(0) εẋ(0) x(0) = ε A (δb δax(0)) x(0) SISTEMI LINEARI QUADRATI:METODI ITERATIVI p./54

12 Condizionamento x(ε) x(0) x(0) ε A δb δax(0) x(0) ( ) δb ε A x(0) + δa = ε A A ( εδb A A b + εδa ) A ( κ(a) ε δb b + ε δa ) A ( δb A x + δa ) A κ(a) := A A : numero di condizionamento ( qualsiasi norma naturale) ( x(ε) x κ(a) ε δb x b + ε δa ) A Il rapporto tra l errore relativo sui risultati e l errore relativo sui dati risulta minore o uguale di κ(a) SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.2/54

13 Condizionamento: proprietà κ(a) : infatti κ(a) = A A A A = I = Non ci sono relazioni tra ordine del sistema e numero di condizionamento: A = + 0 5, A = 0 5 κ (A ) : matrice piccola e malcondizionata A 2 = , A 2 = n n n κ (A 2 ) = A 2 A 2 = n 2n : matrice grande e malcondizionata SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.3/54

14 Condizionamento: proprietà Non ci sono relazioni tra determinante e numero di condizionamento: det(a 2 ) = 0, ma κ (A 2 ) = n2 n malcondizionata A 3 = , A 3 = , det(a 3 ) = 0 n, κ (A 3 ) = : matrice quasi singolare e bencondizionata Non è semplice calcolare κ(a): occorre calcolare A che equivale a risolvere n sistemi lineari è importante stimare κ(a). SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.4/54

15 Dato Ax = b, come calcolare x? Il metodo di Cramer è inefficiente. Esempio: n = 30 (sistema medio-piccolo) Occorrono n + determinanti di ordine n, per ciascuno occorre sommare n! termini. In ognuno ci sono n prodotti, complessivamente occorrono: (n + )n!(n ) prodotti ovvero per n = 30 circa 0 34 prodotti e supponendo un tempo di 0 6 secondi per prodotto, si ottiene un tempo di circa 0 28 sec anni In qualche caso il calcolo è semplice: sistemi con matrici triangolari inferiori o superiori. A = : 2x = 4 2x + 4y = 8 3x 2y + 3z = 0 x = 2 y = x 2y + 3z = 0 x = 2 y = z = = 2 SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.5/54

16 Sistemi triangolari Ly = b con L R n n triangolare inferiore non singolare l y = b y = b /l l 2 y + l 22 y 2 = b 2 l i y + + l ii y i = b i y 2 = (b 2 l 2 y )/l 22 y i = [b i (l i y + + l i,i y i )]/l ii l n y + + l nn y n = b n y n = (b n n j= l njy j )/l nn Algoritmo di Sostituzione in avanti. Per i =, 2,..., n. y i := b i 2. Per j =, 2,..., i y i := y i l ij y j 3. y i := y i /l ii SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.6/54

17 Sistemi triangolari Rx = y con R R n n triangolare superiore non singolare r x + r 2 x 2 + r n x n = y r 22 x r 2n x n = y 2. r nn x n = y n Algoritmo di Sostituzione all indietro. Per i = n, n,...,. x i := y i 2. Per j = i +, i + 2,..., n 3. x i := x i /r ii x i := x i r ij x j costo computazionale: si calcola il numero di prodotti/divisioni eseguite in funzione di n e si assume come costo il termine con la potenza più alta: n n n(n ) (i ) = i = prodotti 2 i=2 i= n divisioni n2 2 operazioni SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.7/54

18 Metodi diretti: fattorizzazione LR Idea Base: trasformare il problema complesso in uno equivalente più semplice. Se esistono L R n n triangolare inferiore e R R n n triangolare superiore tali che A = LR (fattorizzazione LR) allora: Ly = b AX = b LRx = b Rx = y Esiste la fattorizzazione LR e se esiste è unica? l 0 0 l 2 l r r 2 r n 0 r 22 r 2n = a a n.... l n l n2 l nn 0 0 r nn a n a nn n 2 equazioni non lineari in n 2 + n incognite si fissano n incognite r = r 22 = = r nn = : fatt. alla Crout l = l 22 = = l nn = : fatt. alla Dolittle ( associata al metodo di Gauss) SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.8/54

19 Metodi iterativi Nei metodi diretti la presenza di eventuali elementi nulli nella matrice non può essere sfruttata ai fini di ridurre in il costo computazionale sia l occupazione di memoria ( aspetti significativi per sistemi di grandi dimensioni) infatti la trasformazione di A può introdurre un numero diverso da zero laddove prima c era uno zero (fill in) I metodi iterativi sono utili per la risoluzione di sistemi lineari di grandi dimensioni con matrici A sparse ( il numero degli elementi non nulli è dell ordine di n) Dato il sistema lineare Ax = b, A R n n, b R n con soluzione x R n, si vuol costruire partendo, da un x (0) R n assegnato, una successione {x (k) } tale che () x (k) x (2) x (k) `facile e non dispendioso da costruire SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.9/54

20 Metodi iterativi ESEMPIO: Assegnato x (0) R n METODO di JACOBI (o spostamenti simultanei) x (k+) i = a ii b i n j=,j i a ij x (k) j a ii 0 METODO di GAUSS-SEIDEL (o spostamenti successivi) x (k+) i = a ii b i i j=,j i a ij x (k+) j n j=i+,j i a ij x (k) j a ii 0 si può notare che nella prima sommatoria si usano le componenti nuove del vettore SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.20/54

21 Metodi iterativi = Per entrambi si può dare una formulazione matriciale: scomponiamo A = L + D + U a. a a a n. a 3 a a a 23 a 2n 22 D = U = a n,n 0 a nn a n a n2 a n,n 0 Jacobi: a ii x (k+) i = i j=,j i a ijx (k) j n j=i+,j i a ijx (k) j + b i Dx (k+) = (L + U)x (k) + b Gauss-Seidel: i j=,j i a ijx (k+) j + a ii x (k+) i = n j=i+,j i a ijx (k) j + b i (L + D)x (k+) = Ux (k) + b SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.2/54

22 Metodi iterativi Jacobi e Gauss-Seidel sono casi particolari di splitting di A: si cercano due matrici M,N, con M non singolare tali che A = M N da cui Ax = b (M N)x = b Mx = Nx + b x = M Nx + M b Si ricava il procedimento iterativo x (k+) = M Nx (k) + M b OSS: Non è detto che per calcolare x (k) si calcoli effettivemante l inversa di M, in generale si risolve il sistema lineare facile Mx (k+) = Nx (k) + b JACOBI: M = D, N = (L + U); GAUSS-SEIDEL: M = L + D, N = U SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.22/54

23 Metodi iterativi: convergenza DEF: Un metodo iterativo per sistemi lineari x (k+) = P x (k) + q, P : (matrice di iterazione) è convergente se x (0) lim k e(k) = 0 dove e (k) = x (k) x e x = P x + q (x soluzione esatta) e (k) = x (k) x = P x (k ) + q (P x + q) = P (x (k ) x ) = = P k (x (0) x ) = P k e (0) TEO: e (k) = x (k) x = P k e (0) converge a 0 R n, x (0) se e solo se {P k } è convergente. COR: {e (k) } converge a 0 se e solo se ρ(p ) <. COR: {e (k) } converge a 0 se vale P < per una qualunque norma naturale. SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.23/54

24 Metodi iterativi: convergenza È importante sapere quanto velocemente converge il metodo. Si può tentare di stimare il numero k di iterazioni necessarie per ridurre l errore iniziale di un fattore maggiore o uguale a 0 m : e (k) 0 m e (0) e(k) e (0) 0 m e (k) = P k e (0) P k e (0) per ogni norma naturale indotta dalla norma vettoriale. Si può scegliere k tale che P k e (0) 0 m e (0) ovvero P k 0 m. Tenendo conto che esiste una norma naturale tale che ε > 0 ρ(p k ) P k ρ(p k ) + ε, si cerca k tale che ρ(p k ) = ρ(p ) k 0 m ovvero k log 0 (ρ(p )) m da cui k m log 0 (ρ(p )) Si definisce R = log 0 (ρ(p )) velocità di convergenza: maggiore è R (più piccolo è il raggio spettrale) minori sono le iterazioni necessarie SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.24/54

25 Convergenza: condizioni necessarie e sufficienti Applichiamo i teoremi di convergenza ai metodi di Jacobi e Gauss-Seidel; occorre analizzare gli autovalori di P = M N: 0 = det(λi M N) = det(λm M M N) = det(m ) det(λm N) Jacobi: det λa a 2 a n a 2 λa a 2n..... a n,n = 0 Gauss-Seidel: det a n a n2 λa nn λa a 2 a n λa 2 λa a 2n..... a n,n = 0 λa n λa n2 λa nn Non è semplice l analisi dello spettro di queste matrici. SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.25/54

26 Convergenza: condizioni sufficienti Jacobi: M N = = max i n j=,j i 0 a 2 a a n a a 2 0 a 22. a n a nn a ij a ii <,... a 2n a a n2 a nn 0 n j=,j i a ij < a ii, i ovvero A a diagonale dominante in senso forte. Si dimostra anche per la trasposta. TEO: Il metodo di Jacobi converge se A è a diagonale dominante in senso forte oppure se A T è a diagonale dominante in senso forte Gauss-Seidel: si dimostra analogamente il seguente TEO: Il metodo di Gauss-Seidel converge se A è a diagonale dominante in senso forte. TEO: Il metodo di Gauss-Seidel converge se A è simmetrica e definita positiva. SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.26/54

27 Convergenza: condizioni necessarie. tr(p ) = n i= λ i: se tr(p ) > n λ i t.c. λ i > 2. det(p ) = Π n i= λ i: se det(p ) > λ i t.c. λ i > per avere la convergenza è necessario( ma non sufficiente) che tr(p ) < n, det(p ) < SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.27/54

28 Convergenza: casi particolari TEO (Stein-Rosemberg) Se a ii 0 e siano maggiori o uguali a zero gli elementi di J, matrice di iterazione del metodo di Jacobi. Indicando con GS la matrice di iterazione del metodo di Gauss-Seidel, vale una e una sola delle seguenti:. ρ(gs) = ρ(j) = 2. ρ(gs) = ρ(j) = 0 3. ρ(gs) < ρ(j) < 4. ρ(gs) > ρ(j) > Molte classi di matrici note (ad esempio quelle derivanti dalla discretizzazione di PDE di tipo ellittico) soddisfano le ipotesi del teorema sopra. In tali situazioni conviene utilizzare il metodo di Gauss-Seidel che converge più velocemente. Nel caso di matrici tridiagonali è possibile stabilire esattamente quanto il metodo di Gauss-Seidel converga (in questo caso) più velocemente del metodo di Jacobi, infatti vale ρ(gs) = ρ(j) 2 e quindi Gauss-Seidel ha velocità doppia. SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.28/54

29 Varianti del metodo GS: metodo SOR Per aumentare la velocità di convergenza nei metodi visti si può introdurre un parametro ω variabile, da scegliere in maniera opportuna. Dal metodo di Gauss-Seidel si considera: x (k+) i = ω a ii b i i j=,j i a ij x (k+) j n j=i+,j i a ij x (k) j +( ω)x (k) i a ii 0 x (k+) i è ottenuto come combinazione lineare di x (k) i e della i-esima componente del vettore ottenuta con il metodo di Gauss-Seidel. In termini matriciali: a ii x (k+) i + ω i j=,j i a ij x (k+) j = ω n j=i+,j i a ij x (k) j + ( ω)a ii x (k) i + ωb i (D + ωl)x (k+) = [ ωu + ( ω)d]x (k) + ωb M ω x (k+) = N ω x (k) + ωb M ω := D + ωl, N ω := ωu + ( ω)d SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.29/54

30 Metodo SOR M ω x (k+) = N ω x (k) + ωb Metodo di rilassamento per ω = il metodo coincide con il procedimento di Gauss-Seidel e per ω il numero di operazioni richieste per effettuare un iterazione è dello stesso ordine di quelle richieste dal metodo di Gauss-Seidel, in particolare per ω < si parla di sottorilassamento ω > si parla di sovrarilassamento La convergenza e la velocità di convergenza del metodo sono legate a ρ(m ω N ω) che per A data dipende da ω. Per valori di ω R tali che 0 < ω < 2 è assicurata la convergenza (Teo. di Kahan) Per la velocità, si può cercare il parametro di rilassamento ottimo, cioè: ω t.c. ρ(m ω N ω) ρ(mω N ω ), ω È un complicato problema di minimo, ma per alcune classi di importanti problemi (dati da discretizzazione di PDE) il parametro di rilassamento è noto. SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.30/54

31 Stabilità e costo computazionale I metodi iterativi sono stabili: la convergenza (per ogni vettore iniziale) corregge gli errori di arrotondamento Ad ogni iterazione sono richieste n 2 operazioni: affinchè sia vantaggioso rispetto ai metodi diretti è necessario che sia limitato il numero di iterazioni necessarie Il grande vantaggio risiede nell occupazione di memoria: per matrici sparse possono essere memorizzati solo gli elementi diversi da zero. Schema. Dati M N, M b, Nmax, toll, x (0) 2. Per k =, 2,...,Nmax (a) x () := M Nx (0) + M b (b) se x () x (0) < toll x () STOP criterio di arresto soddisfatto, la soluzione è x () altrimenti x (0) := x (), prosegui 3. STOP: Criterio non soddisfatto in Nmax itezioni SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.3/54

32 ESERCIZI SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.32/54

33 Esecizio. Studiare la convergenza del metodo di Jacobi e del metodo Gauss-Seidel per la risoluzione del sistema lineare Ax = b con Sia A = D + L + U : A = = ) Per Jacobi consideriamo il seguente splitting di A = M N con M = D e N = (L + U) e M N = = SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.33/54

34 Esecizio (segue...) Si cercano gli autovalori di M N : det λ λ λ = λ3 + 3λ + 2 = λ( λ 2 ) + 2(λ + ) = (λ + )(λ λ 2 + 2) dove (λ + )(λ λ 2 + 2) = 0 per λ =, 2. Quindi gli autovalori di M N sono {, 2} e 2 il raggio spettrale ρ(m N) = 2 max{, 2} = non converge ad esempio x (0) =, b = x() = M Nx (0) = = al passo k esimo si ha x (k) = ( ) k x (0), quindi non converge. SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.34/54

35 Esecizio (segue... ) 2) Per Gauss-Seidel consideriamo il seguente splitting di A = M N con M = D + L e N = U per cui M N = = = λ ρ(m 2 2 N) = det 0 4 λ 4 = λ det 4 λ λ 8 8 λ [( ) ( ) 3 = λ 4 λ 8 λ + ] ( = λ λ λ + ) 8 SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.35/54

36 Esecizio (segue... ) λ ( λ λ + ) 8 = 0 per λ = 0, λ 2,3 = { ( Gli autovalori di M N sono 0, 5 ± i )} ( 5 ± i ) 7. e il suo raggio spettrale ρ(m N) = max { 0, 6 ( 5 ± i ) } 7 = = 2 = < il metodo di Gauss-Seidel converge. OSS: Per il metodo Gauss-Seidel la convergenza è garantita se A è simmetrica e definita positiva. Poichè A è simmetrica verifico che sia definita positiva controllando il segno di tutti i suoi minori principali: det(a ) = a = 2 > 0, det(a 2 ) = det 2 2 det(a 3 ) = det(a) = = 4 > 0 = 3 > 0 SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.36/54

37 Esecizio 2. Studiare la convergenza del metodo di Jacobi e del metodo Gauss-Seidel per la risoluzione del sistema lineare Ax = b con Sia A = D + L + U : A = = ) Per Jacobi consideriamo il seguente splitting di A = M N con M = D e N = (L + U) e J := M N = I SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.37/54

38 Esecizio 2 (segue...) si cerca lo spettro di J, calcolando det(j λi): det λ 2 2 λ 2 2 λ = λ λ + 2λ + 2λ = λ 3 λ 3 = 0, per λ i = 0, i =, 2, 3 ρ(j) = 0 < il metodo di Jacobi converge 2) Per Gauss-Seidel consideriamo il seguente splitting di A = M N con M = D + L e N = U e GS := M N = (D + L) ( U) = = = SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.38/54

39 Esecizio 2 (segue...) calcoliamo lo spettro di GS: det(gs λi) = λ λ λ = λ(λ 2)2 det(gs λi) = 0 per λ = 0, λ 2 = λ 3 = 2 ρ(gs) = 2 > il metodo di Gauss-Seidel non converge Verifichiamo se le condizioni necessarie per la convergenza erano soddisfatte: JACOBI: det(j) = = 0 < condizione soddisfatta tr(j) = 0 < 3 condizione soddisfatta il metodo può convergere GAUSS-SEIDEL: det(gs) = 0 < condizione soddisfatta tr(gs) = 4 > 3 condizione non soddisfatta il metodo non può convergere SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.39/54

40 Esecizio 3. Assegnata la matrice A ed il vettore b: A = , b = ) si vuol approssimare la soluzione del sistema Ax = b calcolando il termine x (3) della successione ottenuta con il metodo iterativo di Jacobi a partire dal vettore iniziale x (0) = [ 0 0] T. ) Il sistema lineare da risolvere è: 5x + 2x 2 = 2 x 6x 2 + x 3 = 2 x + 4x 3 = 0 x (k+) = (2 2x (k) 2 )/5 x (k+) 2 = ( 2 x (k) x (k) 3 )/( 6) x (k+) 3 = (0 x (k) )/4 Partendo dal vettore x (0) = [ 0 0] T si ottengono immediatamente i termini successivi: x () = [ ] 9 T, x (2) = 4 [ ] 9 T, x (3) = 0 [ ] T SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.40/54

41 Esecizio 3 (segue...) 2) Tenendo conto che la soluzione del sistema è data x = [2 2] T, è possibile dare una giustificazione della buona approssimazione ottenuta con x (3)? 2) Per Jacobi si considera il seguente splitting di A = M N con M = D e N = (L + U) e J := M N = = 0 2/5 0 /6 0 /6 /4 0 0 < ) e quindi il 2 metodo di Jacobi applicato a questa matrice ha una buona velocità di convergenza. Inoltre, senza Si vede immediatamente che M N = 2 5 < (oppure M N = 5 entrare nell analisi dello spetto della matrice di iterazione, si può dire che il metodo di Jacobi è convergente perchè la matrice A è a diagonale dominante in senso forte. SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.4/54

42 Esecizio 4. Assegnata la matrice A e il vettore b: A = , b = 0 0 ; 0 3 ) si chiede di approssimare la soluzione del sistema lineare Ax = b calcolando il termine x (3) della successione ottenuta con il metodo iterativo di Gauss-Seidel a partire dal vettore iniziale x (0) = [, 0, ] T ; 2) determinare inoltre se il metodo converge e in caso affermativo determinarne la velocità di convergenza. 3) In generale, sotto quali condizioni sulla matrice A è assicurata la convergenza del metodo di Gauss-Seidel? SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.42/54

43 Esecizio 4 (segue...) ) Il sistema lineare da risolvere è il seguente: 2x + x 3 = 0 x + 2x 2 = 0 x + 3x 3 = con soluzione [ 2,, 4]. Dall applicazione delle formule di Gauss-Seidel si ottiene: 0 x (k+) = x (k) 3 /2 x (k+) 2 = x (k+) /2 x (k+) 3 = ( x (k+) )/3 partendo dal vettore iniziale x (0) = [, 0, ] T, si ottengono i termini successivi: x () = [ 2, 4, 2 ] T, x (2) = [ 4, ] 8, 5 T, x (3) = 2 [ 5 24, 5 48, 29 ] T 72 SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.43/54

44 Esecizio 4 (segue...) 2) Un metodo iterativo per sistemi lineari può essere espresso x (0) R n, x (k+) = M Nx (k) + M b. dove A = M N, det(m) 0. Si ricorda che il metodo converge qualunque sia il vettore iniziale se e soltanto se ρ(m N) < e che la velocità di convergenza è data da R = log(ρ(m N)). Si ricorda inoltre che ρ(m N) M N per ogni norma matriciale naturale. In particolare nel metodo di Gauss-Seidel si ha: M = , N = da cui M N = = SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.44/54

45 Esecizio 4 (segue...) Poichè { M N = max 2, 4, } 6 = 2 <, il metodo di Gauss-Seidel applicato al sistema lineare dato converge. Si poteva anche dire che il metodo di Gauss-Seidel è convergente perché la matrice A è a diagonale dominante in senso forte. Gli autovalori di M N sono {0, 0, } per cui 6 ρ(m N) = 6 e la velocità di convergenza R = log 0 (/6) =.798. SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.45/54

46 Esecizio 5. Assegnata la matrice A e il vettore b: A = , b = 9 ; ) si chiede di approssimare la soluzione del sistema lineare Ax = b calcolando il termine x (3) della successione ottenuta con i metodo iterativo di Jacobi a partire dal vettore iniziale x (0) = [0,, 0] T ; 2) determinare inoltre se il metodo converge qualunque sia il vettore iniziale e in caso affermativo determinarne la velocità di convergenza. ) Il sistema lineare da risolvere è il seguente: 8x + x 3 = 9 2x + 4x 2 + x 3 = x + 2x 3 = 3 SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.46/54

47 Esecizio 5 (segue...) dall applicazione delle formule di Jacobi si ottiene: x (k+) = (9 x (k) 3 )/8 x (k+) 2 = ( 2x (k) x (k) 3 )/4 x (k+) 3 = (3 x (k) )/2 partendo dal vettore iniziale x (0) = [0,, 0] T, si ottengono i termini successivi: x () = [ 9 8, 4, 3 2 ] T, x (2) = [ 5 6, 29 6, 5 ] T, x (3) = 6 [ 29 28, 3 64, 33 ] T 32 2) Un metodo iterativo per sistemi lineari può essere espresso x (0) R n, x (k+) = M Nx (k) + M b. dove A = M N, det(m) 0. Si ricorda che il metodo converge qualunque sia il vettore iniziale se e soltanto se ρ(m N) < e che la velocità di convergenza è data da R = log(ρ(m N)). SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.47/54

48 Esecizio 5 (segue...) Si ricorda inoltre che ρ(m N) < M N per ogni norma matriciale naturale. In particolare nel metodo di Jacobi si ha M = diag(a), quindi: M = , N = da cui M N = <, il metodo di Jacobi applicato al sistema Poichè M N = 8 max{, 6, 4} = 3 4 lineare dato converge. Gli autovalori di M N sono {0, 4, 4 } per cui ρ(m N) = 4 e la velocità di convergenza R = log 0 (/4) = Si poteva anche dire che il metodo di Jacobi è convergente perché la matrice A è a diagonale dominante in senso forte. SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.48/54

49 Esecizio 6 Verificare le ipotesi del terorema di Stein-Rosemberg per la matrice A: A = , e confrontare la convergenza del metodo di Jacobi e del metodo di Gauss-Seidel applicati ad A analizzando i rispettivi raggi spettrali. La condizione a ii 0 è soddisfatta per i =, 2, 3. Calcoliamo la matrice di iterazione di Jacobi. M = , N = J := M N = La matrice J è a termini positivi per cui le ipotesi del teoroma sono verificate. SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.49/54

50 Esecizio 6 (segue...) Calcoliamo il raggio spettrale di J: det λ λ λ = λ3 per cui ρ(j) = 0, e per il teorema di Stein-Rosemberg anche il raggio spettrale di Gauss-Seidel sarà nullo. Verifichiamo: M = , N = GS := M N = ρ(gs) = 0. Quindi covergono entrambi alla massima velocità. SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.50/54

51 Esecizio 7 Verificare le ipotesi del terorema di Stein-Rosemberg per la matrice A: A = , e confrontare la convergenza del metodo di Jacobi e del metodo di Gauss-Seidel applicati ad A analizzando i rispettivi raggi spettrali. La condizione a ii 0 è soddisfatta per i =, 2, 3. Calcoliamo la matrice di iterazione di Jacobi. M = , N = J := M N = La matrice J è a termini positivi per cui le ipotesi del teoroma sono verificate. SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.5/54

52 Esecizio 7 (segue...) Calcoliamo il raggio spettrale di J: det λ λ λ = λ λ λ = λ ( λ ) 8 per cui gli autovalori sono λ = 0, λ 2,3 = ± ±0.343 ρ(j) <, e per il teorema di Stein-Rosemberg anche il raggio spettrale di Gauss-Seidel è minore con ρ(gs) < ρ(j) <. Verifichiamo: M = , N = GS := M N = = = SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.52/54

53 Esecizio 7 (segue...) Calcoliamo il raggio spettrale di GS: det λ λ λ = λ[(6 λ)(2 λ) 2] = λ2 (λ 8) per cui gli autovalori sono λ = λ 2 = 0, λ 3 = 8 ρ(gs) = SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.53/54

54 Esecizio 8 Verificare le ipotesi del terorema di Stein-Rosemberg per la matrice A: A = , e confrontare la convergenza del metodo di Jacobi e del metodo di Gauss-Seidel applicati ad A analizzando i rispettivi raggi spettrali. La condizione a ii 0 è soddisfatta per i =, 2, 3. Calcoliamo la matrice di iterazione di Jacobi. J = , det λ λ 2 2 λ = λ3 + λ per cui gli autovalori sono {0,, } e ρ(j) = per il terorema di Stein-Rosemberg anche ρ(gs) = quindi i due metodi applicati ad A non convergono SISTEMI LINEARI QUADRATI:METODI ITERATIVI p.54/54