Dott.ssa Maria Carmela De Bonis a.a. 2013-14
Pivoting e stabilità Se la matrice A non appartiene a nessuna delle categorie precedenti può accadere che al k esimo passo risulti a (k) k,k = 0, e quindi il metodo di Gauss, così com è stato descritto, non può proseguire. Tuttavia se a (k) k,k = 0 necessariamente qualche altro elemento a (k) i,k, i = k + 1,..., n, della colonna k esima della matrice dei coefficienti deve essere non nullo, altrimenti la matrice dei coefficienti sarebbe singolare. Se, ad esempio, a (k) r,k 0, basta scambiare l equazione k esima con la r esima e poi procedere con le eliminazioni. Dunque ogni sistema non singolare, mediante opportuni scambi di righe, può essere sempre ricondotto alla forma triangolare superiore con il metodo di Gauss.
Discutiamo ora della stabilità del metodo di Gauss. È possibile provare che l esistenza di pivot molto piccoli (in valore assoluto) rispetto all ordine di grandezza degli elementi della matrice è causa di cancellazione numerica e quindi di instabilità. Dunque per assicurare una migliore stabilità numerica al metodo di eliminazione di Gauss è possibile permutare l ordine delle equazioni anche quando l elemento pivot non è nullo ma è piccolo. Tale strategia algoritmica è detta pivoting.
Il pivoting consiste nello scegliere, al generico passo k esimo, l elemento pivot in maniera ottimale. Le due strategie di pivoting più utilizzate sono le seguenti: pivoting parziale: si sceglie r uguale al più piccolo intero k tale che a (k) r,k = max k i n a(k) i,k e, se r k, si scambia l equazione k esima con l r esima; pivoting totale: si sceglie la coppia (r, s), con r, s k tale che a (k) r,s = max k i,j n a(k) i,j e si scambiamo l equazione k esima con l r esima e l incognita k esima (con il suo coefficiente) con l s esima.
La strategia del pivoting totale combinata con il metodo di Gauss assicura la stabilità dell algoritmo complessivo. Tuttavia essa può risultare molto costosa. La strategia di pivoting parziale è meno costosa e, poiché, in generale, risulta soddisfacente nella maggior parte dei casi, essa è la strategia più utilizzata. Osservazione Il metodo di eliminazione di Gauss senza pivoting è comunque numericamente stabile quando: la matrice A del sistema è a diagonale dominante per colonne (in questo caso la strategia di pivot non produce scambi); la matrice A del sistema è simmetrica e definita positiva (in questo caso la strategia effettua scambi ma non produce miglioramenti).
Esempio Pivoting e stabilità Consideriamo il sistema lineare Ax = b di ordine n = 18, dove ( a i,j = cos (j 1) 2i 1 ) 2n π, i, j = 1,..., n, e b i = n a i,j, i = 1,..., n, j=1 la cui soluzione esatta è x = (1, 1,..., 1) T. Tale matrice è ben condizionata, risultando cond(a) = A A 1 = 16.90251471518910 Risolvendo il sistema con il metodo di eliminazione di Gauss senza e con la strategia di pivoting parziale, si ottengono i seguenti risultati:
Gauss 9.999999968425205e-001 1.000000005848771e+000 9.999999953310822e-001 1.000000003291504e+000 9.999999977773912e-001 1.000000001703849e+000 9.999999983501708e-001 1.000000001767299e+000 9.999999982508074e-001 1.000000001433063e+000 9.999999991425489e-001 1.000000000200525e+000 1.000000000347843e+000 9.999999993163441e-001 1.000000000800448e+000 9.999999992564082e-001 1.000000000564552e+000 9.999999996959291e-001 Gauss + pivoting parziale 9.999999999999993e-001 1.000000000000000e+000 1.000000000000001e+000 1.000000000000001e+000 9.999999999999997e-001 1.000000000000000e+000 1.000000000000000e+000 1.000000000000001e+000 9.999999999999998e-001 9.999999999999999e-001 9.999999999999993e-001 1.000000000000000e+000 9.999999999999996e-001 9.999999999999990e-001 9.999999999999996e-001 1.000000000000000e+000 1.000000000000000e+000 9.999999999999999e-001
Il metodo di eliminazione di Gauss, dal punto di vista matriciale, può essere riletto come la costruzione di una successione di matrici [A b] = [A (1) b (1) ],..., [A (k) b (k) ],..., [A (n) b (n) ] in modo tale che A (n) sia triangolare superiore e b (n) sia il nuovo termine noto. Le matrici della successione sono tra loro legate da una trasformazione del tipo [A (k+1) b (k+1) ] = M (k) [A (k) b (k) ], k = 1,..., n 1
dove M (k) = 1 0...... 0 0 1 0........... 0 0 1. 0 0 m k+1,k 1... 0 0 m k+2,k 0............. 0 0... 0 m n,k 0... 0 1 è detta matrice elementare di Gauss.
Si ha quindi che A = [M (1) ] 1 A (2) = [M (1) ] 1 [M (2) ] 1 A (3) = = [M (1) ] 1 [M (n 1) ] 1 A (n) e Ponendo b = [M (1) ] 1 [M (n 1) ] 1 b (n). si ottiene L = [M (1) ] 1 [M (n 1) ] 1, U = A (n) e y = b (n), A = LU e b = Ly, dove U è la matrice triangolare superiore che si ottiene alla fine del metodo di eliminazione di Gauss e L è una matrice triangolare inferiore (è prodotto di inverse di matrici triangolari inferiori).
La matrice L è definita come 1 0...... 0 m 2,1 1 0.............. 1. L =.. m k+1,k 1... m..... k+2,k..... 1 0 m n,1...... m n,k...... m n,n 1 1 e dunque per costruirla basta, ad ogni passo del metodo di Gauss, memorizzare i moltiplicatori cambiati di segno.
schema algoritmo for k=1:n-1 for i=k+1:n a i,k = a i,k /a k,k ; costruzione matrice L for j=k+1:n a i,j = a i,j a i,k a k,j ; costruzione matrice U end end end L=eye(n)+tril(A,-1) U=triu(A)
Dunque, con piccoli accorgimenti algoritmici, dal metodo di Gauss è possibile calcolare le due matrici L ed U tali che A = LU. Si effettua in tal modo una decomposizione della matrice A detta fattorizzazione LU di A.
Calcolate le matrici L e U, il sistema Ax = b, può essere risolto mediante i due sistemi Ly = b e Ux = y, il primo triangolare inferiore e il secondo triangolare superiore. Risolvere il primo sistema equivale a calcolare il nuovo termine noto. La differenza con l algoritmo di Gauss è che, invece di farlo contestualmente alla riduzione in forma triangolare, tale calcolo viene effettuato in modo indipendente. Il costo computazionale complessivo ammonta dunque a n3 3 + n2 di cui n3 3 per la fattorizzazione LU e n2 per le due sostituzioni (all indietro e in avanti).
Le fattorizzazioni di matrici hanno diversi utilizzi. Nel caso specifico della fattorizzazione LU la prima immediata applicazione è il calcolo del determinante di A. Infatti det(a) = det(lu) = det(l) det(u) = det(u) = n u i,i. i=1
Un altra possibile applicazione scaturisce dall esigenza di risolvere p sistemi che hanno tutti la stessa matrice dei coefficienti A, cioè o in altri termini il sistema Ax 1 = b 1, Ax 2 = b 2,..., Ax p = b p, AX = B, con A R n n, X, B R n p. Infatti in tal caso la fattorizzazione viene effettuata una sola volta e ogni sistema viene poi risolto mediante 2 algoritmi di sostituzione, per un costo computazionale ( ) complessivo che si riduce quindi a n 3 3 + pn2 (contro p n 3 3 + n2 2 se si risolvesse ciascun sistema indipendentemente dagli altri). Osserviamo infine che se p = n e B = I, risolvere il sistema AX = B, è equivalente a calcolare A 1.
Il metodo di Gauss con la variante del pivoting esegue ancora una fattorizzazione di matrice nei seguenti termini PA = LU e Pb = Ly dove P R n n, detta matrice di permutazione, contiene le informazioni relative agli scambi di righe. Vale il seguente Teorema Per ogni matrice A R n n esiste una matrice di permutazione P R n n tale che PA = LU.
Sia A R n n una matrice simmetrica definita positiva. In questo caso speciale è possibile costruire un algoritmo, antagonista del metodo di Gauss, e quindi una fattorizzazione alternativa a quella LU, che è più conveniente dal punto di vista computazionale. Vale il seguente Teorema Se A R n n è una matrice simmetrica definita positiva esiste ed è unica la fattorizzazione A = LL T dove L è una matrice triangolare inferiore con elementi diagonali non nulli.
Posto A = (a i,j ) i,j=1,...,n e L = (l i,j ) i,j=1,...,n, si ha a i,j = n l i,k lk,j T = k=1 n l i,k l j,k. k=1 Poiché la matrice è simmetrica, possiamo considerare solo gli elementi di A con j i. Otteniamo e j 1 a i,j = l i,k l j,k + l i,j l j,j, i = 1,..., n, j = 1,..., i 1 k=1 i 1 a i,i = li,k 2 + li,i, 2 i = 1,..., n. k=1
Da cui l 1,1 = a 1,1 l i,j = 1 l j,j [ ] j 1 a i,j l i,k l j,k k=1 i 1 l i,i = ai,i k=1 l 2 i,k i = 2,..., n j = 1,..., i 1
schema algoritmo l 1,1 = a 1,1 for i=2:n for j=1:i-1 l i,j = 0; for k=1:j-1 l i,j = l i,j + l i,k l j,k ; end l i,j = (a i,j l i,j )/l j,j ; end l i,i = 0; for k=1:i-1 l i,i = l i,i + li,k 2 ; end l i,i = a i,i l i,i ; end j 1 operazioni 1 operazione i 1 operazioni 1 operazione
costo computazionale n i 1 i + j + n 2 = i=1 j=1 = = 1 2 = n i + i=1 n i=1 n i + 1 2 i=1 i(i 1) 2 n i 2 1 2 i=1 n i + 1 2 i=1 n(n + 1) 4 + + n 2 n i + n 2 i=1 n i 2 + n 2 i=1 = n3 6 + 3 2 n2 + n 3 n3 6 (n + 1)n(2n + 1) 12 + n 2
È possibile provare che l algoritmo di Cholesky è stabile. Ricordiamo che, peraltro, anche l algoritmo di Gauss, senza pivoting, è stabile per le matrici simmetriche definite positive.
Molte routine automatiche calcolano R = L T anzicché L, ma è evidente che l algoritmo è lo stesso (con un attento uso degli indici), data la simmetria della matrice di partenza A. In tali casi dunque scriveremo A = R T R. Osserviamo infine che se si vuole risolvere il sistema Ax = b mediante la fattorizzazione di Cholesky basterà, una volta computata la fattorizzazione, e quindi calcolata L ( o rispettivamente R), risolvere i seguenti due sistemi Ly = b, L T x = y (R T y = b, Rx = y rispettivamente)
Chiudiamo questa carrellata dei principali metodi diretti per la risoluzione di un sistema lineare descrivendo le principali function di Matlab che implementano tali metodi. Sia allora A una matrice non singolare di ordine n e b un vettore colonna di ordine n. risoluzione dei sistemi diagonali: se la matrice dei coefficienti A è diagonale, A\b risolve il sistema mediante n operazioni di divisione; risoluzione dei sistemi triangolari: se la matrice dei coefficienti A è triagolare (superiore o inferiore) A\b risolve il sistema mediante algoritmo di sostituzione (all indietro o in avanti a seconda struttura della matrice);
risoluzione di sistemi con matrice dei coefficienti qualsiasi: A\b risolve il sistema mediante metodo di eliminazione di Gauss (in realtà con la fattorizzazione LU) con pivoting e gli algoritmi di sostituzione; risoluzione di un sistema con matrice simmetrica e definita positiva: A\b risolve il sistema mediante metodo di Cholesky e gli algoritmi di sostituzione; fattorizzazione LU: il comando [L,U,P] = lu(a) calcola i fattori L, U e la matrice di permutazione P tali che PA = LU; fattorizzazione di Cholesky: se la matrice A è simmetrica e definita positiva, il comando R = chol(a) calcola il fattore triangolare superiore R tale che A = R T R;
calcolo del determinante di una matrice: det(a) calcola il determinante della matrice non singolare A, utilizzando la fattorizzazione LU; condizionamento: il comando cond(a,p), con p = 1, 2, inf, fro, calcola il numero di condizionamento rispettivamente in norma 1, 2, infinito e Frobenius; inversa di una matrice: inv(a), calcola l inversa della matrice utilizzando la fattorizzazione LU.