Metodi iterativi. Problema del fill-in Metodo di Jacobi Metodo di Gauss Seidel Metodo SOR Studio della convergenza

Transcript

1 Metodi iterativi Problema del fill-in Metodo di Jacobi Metodo di Gauss Seidel Metodo SOR Studio della convergenza

2 Problema del Fill-in Sia A una matrice sparsa, cioè con un numero elevato di elementi nulli. La sua fattorizzazione LU produce, di massima, dei fattori L ed U che sono molto più pieni

3 Esempio Consideriamo per esempio la matrice: >> a=[ ; ; ; ; ] a = Questa matrice è tridiagonale, con solo 2 elementi diversi da 0 fuori della struttura tridiagonale

4 Calcolando la fattorizzazione LU otteniamo >> [l,u]=lu(a) l = u =

5 Studio del fill-in Per approfondire lo studio del fill-in, occorre creare matrici sparse più grandi e analizzarne la struttura. Servono dei nuovi comandi MATLAB Function SPDIAGS Function FULL Function SPY

6 Function SPDIAGS Il comando A=spdiags(b,d,m,n) crea una matrice A (m, n), con diagonali uguali alle colonne di b, disposte nelle posizioni indicate dal vettore d: Esempio - Il programma seguente: >> n=10; >> e=ones(n,1); >> b=[e, -e, 6*e, -e, 2*e]; >> d=[-n/ n/2]; >> A=spdiags(b,d,n,n); crea una matrice A di dimensione 10, con 5 diagonali non nulle

7 Function FULL La matrice creata da SPDIAGS è memorizzata considerando solo gli elementi diversi da zero, in modo da conservarne la struttura sparsa. Per avere la matrice completa, occorre utilizzare il comando FULL. B=full(A) produce una matrice identica ad A memorizzata in modo convenzionale.

8 >> n=10; >> e=ones(n,1); >> b=[e, -e, 6*e, -e, 2*e]; >> d=[-n/ n/2]; >> A=spdiags(b,d,n,n); >> B=full(A) B =

9 Function SPY La function spy(a) permette di visualizzare la sparsità di una matrice. Il comando SPY(A) genera un grafico, nel quale sono evidenziati con un punto solo gli elementi di A che sono diversi da zero. Esempio. Studiamo come muta la sparsità dei fattori L e U di una matrice A. Applichiamo SPY sia ad A che alle matrici L+U prodotte dalla fattorizzazione LU, per N=10 e per N=100.

10

11 Listato dello script fill_in.m % Questo programma studia il fill-in della fattorizzazione LU % di una matrice sparsa A k=0; for n=[10, 100] e=ones(n,1); b=[e, -e, 6*e, -e, 2*e]; d=[-n/ n/2]; A=spdiags(b,d,n,n); full(a); k=k+1; subplot(2,2,k) spy(a) title('matrice A') k=k+1; [L,U]=lu(A); subplot(2,2,k) spy(l+u) title('fattorizzazione LU') end

12 Commenti I risultati precedenti dimostrano che la fattorizzazione LU di una matrice sparsa genera un gran numero di elementi diversi da zero. Il numero degli elementi diversi da zero inoltre cresce velocemente all aumentare delle dimensioni della matrice. Quindi, nel risolvere un sistema lineare sparso usando la fattorizzazione LU occorre: - calcolare un elevato numero di elementi; - memorizzare tutti gli elementi calcolati. Per questo tipo di sistemi, è conveniente usare i metodi iterativi

13 Metodi iterativi I metodi iterativi generano, a partire da una approssimazione iniziale, una successione di vettori che, in opportune ipotesi, converge alla soluzione del sistema. La soluzione di Ax = b si calcola come limite di una successione di vettori: x = lim k x k Una tecnica generale per la successione di vettori è basata sullo splitting della matrice A: A = P - N dove P ed N sono due matrici, con P non singolare

14 Metodi iterativi Si ha che Ax = b Px =N x + b x= P -1 N x + P -1 b x = B x + c Assegnato quindi un vettore iniziale x 0 si ha: x 1 = B x 0 + c da cui la formula formula iterativa x k+1 = B x k + c con k 0.

15 Metodi iterativi La matrice B: B =P -1 N è detta matrice di iterazione relativa allo splitting A = P - N Essa individua un particolare metodo iterativo ed il suo studio è fondamentale per stabilire la convergenza e la rapidità di convergenza del metodo. Si dimostra che se la successione converge, converge alla soluzione del sistema (Metodo consistente).

16 Teoremi di convergenza di un metodo iterativo I TEOREMA DI CONVERGENZA Il metodo iterativo x k+1 = B x k + c con k 0 è convergente, qualunque sia il vettore iniziale, se e solo risulta: ρ(b)<1 dove ρ(b) è il raggio spettrale della matrice B.

17 Teoremi di convergenza di un metodo iterativo II TEOREMA DI CONVERGENZA Condizione sufficiente affinché il metodo iterativo x k+1 = Bx k + c con k 0 sia convergente, qualunque sia il vettore iniziale, è che risulti: B <1 dove B è una arbitraria norma matriciale.

18 Metodo di Jacobi Il metodo di Jacobi consiste nel decomporre la matrice A in: P = D, N = - ( L +U ) con D matrice diagonale ottenuta dalla diagonale di A, L matrice triangolare inferiore e U matrice triangolare superiore.

19 Metodo di Jacobi Si ha quindi: ossia: Dx k+1 = - ( L + U )x k + b con k 0 x k+1 = - D -1 ( L + U )x k + D -1 b con k 0 E possibile esprimere questa formula in forma scalare: n k + 1 k k xi = b a x i i, j j / ai, i; k 0; i = 1,2,..., n j= 1, n; j i

20 Metodo di Jacobi La matrice di iterazione e il termine noto del metodo di Jacobi sono quindi: B= -D -1 ( L + U ), c = D -1 b Dal II Teorema di convergenza, discende che se la matrice A è a diagonale strettamente dominante, il metodo di Jacobi è convergente. Una matrice A si dice a diagonale strettamente dominante se: a i,i Σ i j a i,j, i = 1,2,, n con almeno una riga per cui valga la diseguaglianza stretta.

21 Metodo di Gauss-Seidel Il metodo di Gauss-Seidel consiste nel decomporre la matrice A in: P = D + L, N = -U con D matrice diagonale ottenuta dalla diagonale di A, L matrice triangolare inferiore e U matrice triangolare superiore.

22 Metodo di Gauss-Seidel Si ha (D + L)x k+1 = - Ux k + b con k 0 ossia: x k+1 = - (D+L) -1 Ux k + (D+L) -1 b con k 0 E possibile esprimere questa formula in forma scalare: n i k a x a x a b x i i i j n i j k j k j i k j k j i i k i 1,2,..., 0; ; /, 1 1 1, 1, 1 = = = + = + +

23 Metodo di Gauss-Seidel La matrice di iterazione ed il termine noto sono i seguenti: B = - (D + L) -1 U, c = (D + L) -1 b Dal II Teorema di convergenza, discende che se la matrice A è a diagonale strettamente dominante, il metodo di Gauss-Seidel è convergente. Inoltre si dimostra che il metodo di Gauss-Seidel converge se: A è simmetrica e definita positiva Il metodo di Gauss-Seidel, generalmente, converge più velocemente del metodo di Jacobi.

24 Metodo SOR Il metodo SOR (Successive over-relaxation) è una variante molto efficiente del metodo di Gauss-Seidel ed è basata sulla seguente relazione: x k+1 = ω(- (D+L) -1 Ux k + (D+L) -1 b ) + (1- ω) x k con k 0 dove il parametro di rilassamento ω deve soddisfare la relazione: 0 < ω < 2.

25 Metodo SOR La matrice di iterazione diventa: B = -ω (D + L) -1 U + (1 ω)i Si dimostra che esiste un valore ottimale che deve essere compreso tra 1 e 2.

26 Metodi iterativi Per applicare un metodo iterativo ad una matrice sparsa, occorre evitare di memorizzare tutta la matrice, altrimenti si perdono tutti i possibili vantaggi del metodo iterativo. Se si ha abbastanza memoria per memorizzare A, si ha anche abbastanza memoria per memorizzare la fattorizzazione LU. Inoltre, ogni iterazione richiede il prodotto A*x, e diventa quindi molto costosa se non si frutta appieno la sparsità di A.

27 Per applicare un metodo iterativo, quindi, si deve sfruttare la struttura del sistema lineare che occorre risolvere. Questo implica che non è sempre possibile scrivere una Function che applichi un metodo iterativo ad un problema generale. E solo possibile scrivere una Function per una classe particolare di sistemi lineari. E comunque utile dal punto di vista didattico applicare i metodi iterativi considerati a matrici qualunque. Le routine ottenute (che non sfrutteranno la struttura della matrice) non saranno efficienti, ma daranno informazioni sulla velocità di convergenza.

28 Confronto tra i metodi function test(a,b,om) %input A, b, omega n=size(a); I=eye(n); D=diag(diag(A)); L=tril(A,-1); U=triu(A,1); BJ=-inv(D)*(L+U); BG=-inv(D+L)*U; BS=om*BG+(1-om)*I; bj=inv(d)*b; bg=inv(d+l)*b; bs=om*bg; xj=b; xg=b; xs=b; rj=max(abs(eig(bj))); rg=max(abs(eig(bg))); rs=max(abs(eig(bs))); [rj,rg,rs] for i=1:10 xj=bj*xj+bj; xg=bg*xg+bg; xs=bs*xs+bs; [xj;xg;xs]' end

29 Criteri di arresto Un metodo iterativo per essere implementato deve prevedere un criterio di arresto per interrompere i calcoli quando si ritiene di aver raggiunto la precisione desiderata. Un possibile criterio potrebbe essere quello di arrestare i calcoli quando la differenza, in una qualche norma, di due iterate successive è sufficientemente piccola: x k+1 -x k < tolleranza prefissata

30 Metodo di Jacobi Scriviamo una function che applichi il metodo di Jacobi ad un generico sistema A*x=b. La function richiesta deve: - dare in output il vettore soluzione e il numero delle iterazioni che sono state eseguite; - avere in input la matrice A ed il termine noto B; - contenere un opportuno test di arresto.

31 Listato per il metodo di Jacobi (function jacobi.m) function [xnew,nit]=jacobi(a,b) % JACOBI(A,b) calcola la soluzione XNEW ottenuta con il metodo di % Jacobi e il numero NIT di iterazioni necessarie % per il sistema lineare A*xnew=b % Sintassi: [xnew,nit]=jacobi(a,b) % Attenzione: Applicazione naive del metodo di Jacobi, che non % sfrutta la sparsita' di A. [n,m]=size(a); if m ~= n display('a non e'' quadrata') return end m=length(b); if m ~= n display( b non e'' compatibile') return end continua...

32 Calcolo della nuova stima: % Come vettore iniziale usa b: x=b ; kmax=n^2; for k=1:kmax for i=1:n sum=b(i); for j=1:n if j~=i sum=sum-a(i,j)*x(j); end end xnew(i)=sum/a(i,i); end continua...

33 Test di arresto: % Test di arresto: res = norm(a*xnew' -b); diff = norm(x-xnew); if res <= eps*norm(b) diff<=eps*norm(x) nit=k; return else x=xnew; end end nit=kmax;

34 Risolvere, usando il metodo di Jacobi, il sistema lineare Ax=b, dove A è la matrice di ordine 10 costruita dalla function SPARSA(N) e b è il vettore ONES(10,1): function A=sparsa(n) % Genera la matrice sparsa n*n a diagonale dominante % usata come esempio in questo capitolo e=ones(n,1); % per avere una matrice a diagonale dominante, diag>=5 diag=6; b=[e, -e, diag*e, -e, 2*e]; d=[-n/2, -1, 0, 1, n/2]; A=spdiags(b,d,n,n);

35 Per applicare il metodo di Jacobi, occorre dare i seguenti comandi: >> n=10; >> A=sparsa(n); >> Afull=full(A); >> b=ones(n,1); >> [x,nit]=jacobi(afull,b); Si ottiene: >> x x = Columns 1 through Columns 9 through >> nit nit = 54

36 Metodo di Gauss Seidel Scriviamo una function che applichi il metodo di Gauss Seidel ad un generico sistema A*x=b. La function richiesta deve: - dare in output il vettore soluzione e il numero delle iterazioni che sono state eseguite; - avere in input la matrice A ed il termine noto B; - contenere un opportuno test di arresto.

37 Listato per il metodo di Gauss Seidel (function gs.m) function [x,nit]=gs(a,b) % GS(A,b) calcola la soluzione xnew ottenuta con il metodo di % Gauss Seidel e il numero NIT di iterazioni necessarie % per il sistema lineare A*xnew=b % Sintassi: [xnew,nit]=gs(a,b) % Attenzione: Applicazione naive del metodo di Gauss Seidel, che non % sfrutta la sparsita' di A. [n,m]=size(a); if m ~= n display('a non e'' quadrata') return end m=length(b); if m ~= n display( b non e'' compatibile') return end

38 Calcolo della nuova stima: % Come vettore iniziale usa b: x=b'; kmax=n^2; for k=1:kmax xold=x; %immagazzina il vecchio vettore X for i=1:n sum=b(i); for j=1:n if j~=i sum=sum-a(i,j)*x(j); end end x(i)=sum/a(i,i); %Riscrive su X end

39 Test di arresto: % Test di arresto: res = norm(a*x' -b); diff = norm(x-xold); if res <= eps*norm(b) diff<=eps*norm(x) nit=k; return end end nit=kmax;

40 Per applicare il metodo di Gauss-Seidel, devo dare i seguenti comandi: >> n=10; >> A=sparsa(n); >> Afull=full(a); >> b=ones(n,1); >> [x,nit]=gs(afull,b); Ottengo: >> x x = Columns 1 through Columns 9 through >> nit nit = 30

41 Si ottiene circa lo stesso vettore soluzione, x, ma il numero di iterazioni è molto più basso (circa la metà). Si può dimostrare infatti che per matrici a diagonale dominante, convergono sia il metodo di Jacobi che il metodo di Gauss Seidel. Il metodo di Gauss Seidel in questo caso richiede circa la metà delle iterazioni effettuate dal metodo di Jacobi.

42 Metodo di Jacobi efficiente Per sfruttare le caratteristiche di un metodo iterativo, si deve calcolare il prodotto A*x senza immagazzinare la matrice A e sfruttandone la sparsità. Scrivere una routine che applichi il metodo di Jacobi alla matrice pentadiagonale in uso. In particolare si modifichi il calcolo di A*x, tenendo conto solo dei contributi diversi da zero.

43 Function jac_a.m function [xnew,nit]=jac_a(b) % Questa function applica il metodo di Jacobi alla % matrice sparsa costruita dalla function SPARSA n=length(b); x=b'; kmax=n^2; diag=6; N.B. Questa function può essere applicata soltanto alla matrice SPARSA(N), quindi in input non bisogna di passare la matrice dei coefficienti, ma solo il vettore b

44 Calcolo della nuova stima for k=1:kmax % la prima riga contiene gli elementi delle diagonali % 0 1 e n/2 xnew(1) = (b(1) -(-x(2)+2*x(n/2+1)) )/diag; % le righe da 2 a n/2 contengono gli elementi delle % diagonali -1, 0, 1, n/2 for i=2:n/2 xnew(i)=(b(i) -(-x(i-1)-x(i+1)+2*x(n/2+i)) )/diag; end % le righe da n/2+1 a n-1 contengono gli elementi delle % diagonali -n/2, -1, 0, 1 for i=n/2+1:n-1 xnew(i)=(b(i) -(x(i-n/2)-x(i-1)-x(i+1)) )/diag; end % la riga n contiene gli elementi delle diagonali % -n/2, -1, 0 xnew(n) = (b(n) -(x(n/2)-x(n-1)) )/diag;

45 Test di arresto: % Test di arresto: diff = norm(x-xnew); if diff<=eps*norm(x) nit=k; return else x=xnew; end end nit=kmax;

46 Per calcolare la soluzione del sistema A*x=b, dove A ha la struttura particolare di SPARSA(N), si deve fornire soltanto b: la routine legge le dimensioni del sistema dal vettore b tramite i comandi: >> b=ones(10,1); >> [x,nit]=jac_a(b) x = Columns 1 through Columns 9 through nit = 54 Esercizio 1: scrivere una function simile per il metodo di Gauss- Seidel.

47 Esercizio 2. Confrontare l efficienza delle due functions JACOBI(A,b) e JAC_A(b), osservando il tempo di esecuzione per N=10 e per N=100 nei due casi

48 Metodo efficiente di Jacobi, 2 Tutti i programmi scritti finora non utilizzano le funzionalità vettoriali di Matlab. Occore evitare il più che possibile calcoli scalari e, quindi, cicli. L algoritmo del metodo di Jacobi in forma vettoriale è: D*x n+1 = -(A-D)*x n + b Quindi devo estrarre la diagonale D di A e risolvere il sistema: x n+1 = -D\ ((A-D) * x n + b)

49 Nuova versione della function per il metodo di Jacobi: function [xnew,nit]=jacobi(a,b) % X=JACOBI(A,B): Calcola la soluzione X del sistema % A*X=B, usando il metodo iterativo di Jacobi % [X,NIT]=JACOBI(A,B) Calcola la soluzione X del sistema % A*X=B e il numero NIT di iterazioni eseguite % Estrae la diagonale principale di A dd=diag(a,0); % Costruisce la matrice diagonale come matrice sparsa n = length(a); dd = spdiags(dd,0,n,n); % Usa B come stima iniziale X0 xold = b; % Stima un tetto al numero massimo di iterazioni nmax=length(dd)^2; La diagonale dd deve essere scritta come matrice diagonale per poter essere sommata ad A

50 continua... for n = 1:nmax xnew = dd\( (dd-a)*xold +b); % Test di arresto res = norm(a*xnew -b); diff = norm(xnew-xold); if res <= eps*norm(b) diff<=eps*norm(xold) nit=n; return else xold = xnew; end end nit=nmax; N.B. questa function può essere usata assegnando in input sia una matrice A scritta in forma sparsa, che una matrice A piena: la velocità di esecuzione cambia drasticamente

51 Convergenza dei metodi iterativi Sappiamo che un metodo iterativo converge se e solo se il raggio spettrale della matrice di iterazione è minore di 1. Quindi un metodo per stabilire la convergenza di un metodo iterativo è il seguente: - Calcolo la matrice di iterazione. - Calcolo gli autovalori della matrice di iterazione. - Valutazione dell autovalore di modulo massimo.

52 Calcolo degli autovalori di una matrice Per calcolare gli autovalori di una matrice, Matlab dispone della function EIG: x=eig(a) crea un vettore x che contiene una stima degli autovalori di a.

53 Esempio: >> a=[1 2 3; 4 5 6; 7 8 9]; >> x=eig(a) x = Verifico che gli autovalori trovati sono una stima degli autovalori esatti, calcolando il determinante di A - l*eye(3): >> for i=1:3 res(i)=det(a-x(i)*eye(3)); end >> res res = 1.0e-011 *

54 Convergenza del metodo di Jacobi La matrice di iterazione per il metodo di Jacobi è B = D -1 *(A-D), dove D contiene gli elementi sulla diagonale di A Costruisco un programma che calcoli il raggio spettrale della matrice di iterazione B per il metodo di Jacobi.

55 Function RHO=CONV_JAC(A) function rho=conv_jac(a) % Calcola il raggio spettrale RHO per la matrice di iterazione % del metodo di Jacobi applicato alla matrice A % Sintassi RHO=CONV_JAC(A) [n,m]=size(a); if m ~= n display('a non e'' quadrata') return end for i=1:n d(i,i)=a(i,i); end b=d\(a-d); x=eig(b); rho=max( abs(x));

56 Convergenza del metodo di Gauss-Seidel La matrice di iterazione per il metodo di Gauss-Seidel è B = E -1 *(A-E), dove E è formata dagli elementi della parte triangolare inferiore di A Costruisco un programma che calcoli il raggio spettrale della matrice di iterazione B per il metodo di Gauss-Seidel.

57 Function CONV_GS(A) function rho=conv_gs(a) % Calcola il raggio spettrale RHO per la matrice di iterazione % del metodo di Jacobi applicato alla matrice A % Sintassi RHO=CONV_JAC(A) [n,m]=size(a); if m ~= n display('a non e'' quadrata') return end for i=1:n for j=1:i d(i,j)=a(i,j); end end b=d\(a-d); x=eig(b); rho=max( abs(x));