Parte II: Eliminazione di Gauss

Transcript

1 Matrici e sistemi lineari Richiamiamo rapidamente alcuni elementi essenziali di algebra lineare. Indicato con a ij (i indice di riga della tabella, j indice di colonna della tabella) il generico elemento una matrice A possiamo scrivere A = a 11 a a 1n a 21. a a 2n.. a m1 a m2... a mn. (1) La matrice A ha m righe e n colonne, per questo si dice anche matrice m n. Le matrice m n formano l insieme R m n. Gli elementi di ogni singola colonna della matrice formano un vettore appartenente a R m detto vettore colonna. Gli elementi di ogni riga della matrice formano un vettore appartenente a R n detto vettore riga.

2 Se abbiamo A, B R m n possiamo definire la matrice somma C o la matrice differenza D che sono ancora matrici m n c ij = a ij + b ij, d ij = a ij b ij. Anche il prodotto di uno scalare per una matrice si puó definire come αa = ( αa ij ), α R, A R m n, ovverosia tutti gli elementi della matrice A vengono moltiplicati per lo scalare α. La matrice con tutti gli elementi nulli si chiama matrice nulla e la indicheremo ancora con O m n. Per la somma di matrici valgono le proprietà: (A+B)+C = A+(B+C) (associatività), A+B = B+A (commutatività), A+( A) = O m n (esistenza opposto), A+O m n = O m n +A (elemento neutro). Possiamo inoltre definire la matrice prodotto C = BA con B di tipo m p e A di tipo p n tramite i prodotti scalari delle righe della matrice B per le colonne della matrice A. In formule c ij = p k=1 b ik a kj, i = 1,..., m, j = 1,..., n, (2) 1 Lorenzo Pareschi (pareschi@dm.unife.it)

3 e la matrice C appartiene a R m n. Dalla definizione segue subito che deve verificarsi una richiesta: il numero di colonne della prima matrice, nel nostro esempio B, deve essere uguale al numero di righe della seconda matrice, nel nostro esempio A. Un ultima operazione è la trasposizione. Assegnata una matrice reale A la sua trasposta A T è la matrice ottenuta da A scambiando le righe con le colonne, a T ij = a ji. Tra operazione di trasposizione e operazioni di prodotto e somma esistono le seguenti relazioni (di verifica immediata) (A + B) T = A T + B T, (αa) T = αa T, α R, (AB) T = B T A T. Ricordiamo infine che la moltiplicazione tra matrici non è commutativa: conta chi viene prima e chi viene dopo. Le matrici hanno un ruolo fondamentale nell ambito dei sistemi lineari. Un esempio di sistema lineare é il seguente 3x + 2y + z = 39 2x + 3y + z = 34 x + 2y + 3z = Lorenzo Pareschi (pareschi@dm.unife.it) (3)

4 In generale un sistema lineare di m equazioni in n incognite si scrive come a 11 x 1 a 12 x 2... a 1n x n = b 1 a 21 x 1. a 22 x a 2n x n = b 2.. a m1 x 1 a m2 x 2... a mn x n = b m. I valori a ij sono chiamati i coefficienti del sistema, mentre i valori b i formano il termine noto del sistema. Assegnati i coefficienti e il termine noto, il problema consiste nel calcolare, se possibile, un vettore x = (x 1, x 2,..., x n ) che verifichi tutte le equazioni lineari in (4). Vi sono tre possibilità. (4) Esiste ed è unica la soluzione x (esiste un unica n pla di valori x i che soddisfano contemporaneamente tutte le equazioni del sistema lineare). Non ci sono soluzioni al problema (non esiste un vettore x che soddisfi il sistema lineare). Ci sono infinite soluzioni al problema (ci sono infinite n ple di numeri x i che soddisfano il sistema lineare). 3 Lorenzo Pareschi (pareschi@dm.unife.it)

5 Potremmo riscrivere il problema organizzando in una matrice i coefficienti e in vettori le incognite x = (x 1,..., x n ) T (vettore colonna) e il termine noto b = (b 1,..., b m ) T (vettore colonna) Ax = b. Esempio 1 (sistema 2 2 Nel caso di due equazioni in due incognite a 11 x + a 12 y = b 1 a 12 x + a 22 y = b 2 dal punto di vista geometrico il problema può essere visto come ricerca del punto di intersezione tra due rette nel piano bidimensionale (x, y) SOLUZIONE UNICA NESSUNA SOLUZIONE: LE RETTE SONO PARALLELE INFINITE SOLUZIONI (LE DUE RETTE SI SOVRAPPONGONO) Interpretazione geometrica di un sistema lineare di due equazioni in due incognite. 4 Lorenzo Pareschi (pareschi@dm.unife.it)

6 Ricordiamo che il sistema lineare Ax = b ha soluzione (una o infinite) se e solo se il vettore b può essere ottenuto come combinazione lineare delle colonne della matrice A. In particolare possiamo riassumere la risolubilità del sistema lineare nel seguente Teorema. Teorema 1 [Rouchè-Capelli] Il sistema lineare Ax = b ammette soluzioni se e solo se la matrice dei coefficienti A e la matrice completa A hanno lo stesso rango. La giustificazione del Teorema 1 é la seguente: se aggiungendo il vettore dei termini noti b non aumentano il numero di colonne linearmente indipendenti vuol dire che lo stesso b può essere ottenuto tramite una combinazione lineare delle colonne della matrice A e quindi il sistema lineare ha soluzione. 5 Lorenzo Pareschi (pareschi@dm.unife.it)

7 Matrici particolari Una matrice quadrata D, n n, nella forma D = λ λ λ n si chiama matrice diagonale. Gli elementi λ i, i = 1,..., n stanno sulla diagonale principale della matrice. Per una matrice A, m n, non quadrata (matrici rettangolari) si può ancora considerare la diagonale principale considerando gli elementi a ii, i = 1,2,...,min {n, m}. Avere un sistema lineare con matrice dei coefficienti uguale a una matrice diagonale, Dx = b, è il caso più semplice che possa capitare. Se tutti i λ i sono diversi da zero la soluzione del sistema corrispondente è unica e x i = b i /λ i, se un elemento λ i è nullo e il corrispondente b i è diverso da zero allora non ci sono soluzioni, infine se c è un λ i = 0 e anche b i = 0 si hanno infinite soluzioni.. 6 Lorenzo Pareschi (pareschi@dm.unife.it)

8 Una matrice quadrata triangolare inferiore è una matrice in cui gli elementi sopra la diagonale principale sono nulli, mentre, al contrario, una matrice triangolare superiore è una matrice in cui gli elementi sotto la diagonale superiore sono nulli. TRIANGOLARE INFERIORE TRIANGOLARE SUPERIORE a ij = 0 a ij = 0 per i < j per i > j DIAGONALI DELLA MATRICE Matrice triangolare inferiore, matrice triangolare superiore e diagonali di una matrice. Anche i sistemi con matrice triangolare hanno una struttura tale da rendere semplice il calcolo di una soluzione. Si consideri, per esempio, un sistema 3 3 triangolare superiore u 11 u 12 u 13 0 u 22 u u 33 x 1 x 2 x 3 = b 1 b 2 b 3. 7 Lorenzo Pareschi (pareschi@dm.unife.it)

9 Se gli elementi sulla diagonale principale sono tutti diversi da zero, allora la soluzione può essere calcolata componente per componente partendo da x 3 x 3 = b 3 /u 33 x 2 = (b 2 u 23 x 3 )/u 22 x 1 = (b 1 u 12 x 2 u 13 x 3 )/u 11 In generale possiamo esplicitare la riga i esima del sistema u ii x i + u i i+1 x i u in x n = b n, da cui ( bi n k=i+1 u ik x k ) x i = u ii. Questo calcolo deve essere effettuato per i da n a 1. Quante operazioni (moltiplicazioni e divisioni) sono richieste? Si verifica essere O(n 2 ). Osserviamo innanzitutto che il costo computazionale puó essere misurato in FLOP. Tale unitá di costo viene storicamente rappresentata dal blocco di operazioni A(i, j) = A(i, j) + B A(k, j) che coinvolge una moltiplicazione, 8 Lorenzo Pareschi (pareschi@dm.unife.it)

10 una addizione ed operazioni sugli indici. In altri casi quale unitá di misura si intende una qualunque operazione in virgola mobile. Per il calcolo di x n serve una divisione, per l aggiornamento del termine noto servono n 1 moltiplicazioni e lo stesso numero di sottrazioni, infine abbiamo ancora n 1 divisioni. Proseguendo nel conteggio si ottengono 2((n 1) + (n 2) ) + n = n 2, operazioni. Lo stesso conteggio in FLOPS origina n(n 1)/2. Per i sistemi con matrice dei coefficienti triangolare inferiore gli algoritmi si modificano in modo opportuno. Una ulteriore famiglia di matrici ricorrenti nelle applicazioni sono le matrici a banda Il nome deriva dal fatto che al di fuori di una striscia intorno alla diagonale principale gli elementi sono nulli. Una matrice A n n è detta matrice a banda se a ij = 0 per i j > b dove b è un intero positivo che è detto ampiezza della banda. La banda potrebbe anche non essere simmetrica ma avere una ampiezza superiore q e una ampiezza inferiore p: a ij = 0 per i > j + p e per j > i + q. 9 Lorenzo Pareschi (pareschi@dm.unife.it)

11 Un sistema lineare n n con matrice A a banda e con elementi a ij nulli se i j > 1 si dice tridiagonale. L ampiezza della banda è uguale a 1. La matrice A del sistema è inoltre simmetrica A = A T. Matrice inversa Una matrice diagonale importante è la matrice quadrata n n in cui tutti gli elementi sulla diagonale principale sono uguali a 1, la matrice identità I n = La proprietà fondamentale della matrice identità si riassume nelle seguenti espressioni I n A = A I n = A, dove A è una qualsiasi matrice quadrata n n. Una matrice quadrata n n si dice invertibile (o non singolare) quando esiste una matrice n n, indicata. 10 Lorenzo Pareschi (pareschi@dm.unife.it)

12 con A 1, tale che A A 1 = A 1 A = I n. La matrice A 1 si chiama matrice inversa di A. Tornando al sistema lineare Ax = b con matrice quadrata, dire che la soluzione esiste ed è unica equivale a richiedere che la matrice A sia invertibile. Storicamente l invertibilità di una matrice è legata al concetto di determinante. Banalizzando: il determinante di una matrice A è un numero (scalare) che se è nullo significa che la matrice A è singolare mentre se è diverso da zero implica che la matrice è invertibile. Di più, i determinanti permettono di avere formule esplicite della matrice inversa A 1 e del prodotto A 1 b (regola di Cramer). Si noti che la regola di Cramer é computazionalmente improponibile. Infatti il costo della risoluzione di un sistema lineare con Cramer é (n 1)(n+1)! contro n 3 dell eliminazione di Gauss (come vedremo in seguito). Avvertimento: è estremamente raro il caso in cui si desidera calcolare la forma esplicita della matrice inversa. Anzi, dal punto di vista del calcolo scientifico potremmo dire che non serve mai l espressione esplicita di tale matrice. 11 Lorenzo Pareschi (pareschi@dm.unife.it)

13 Risolvere sistemi lineari Scopo di questo paragrafo descrivere l algoritmo che rappresenta il cuore dei metodi numerici per la soluzione di sistemi lineari: l algoritmo di eliminazione di Gauss. Consideriamo qui il caso di sistemi quadrati con matrice dei coefficienti A n n. L estensione al caso di matrice del sistema lineare rettangolare dovrebbe risultare naturale. Consideriamo un semplice sistema lineare di tre equazioni in tre incognite Ax = b, A = , b = Il modo più immediato consisterebbe nell esprimere due variabili entrambe in funzione della terza di ricavare quest ultima e di calcolare le prime due. Ricaviamo quindi x 1 dalla prima equazione x 1 = 39 2x 2 x 3, 3 e sostituiamo tale valore nella seconda e nella terza equazione lasciando la prima equazione inalterata (dobbiamo tenere traccia delle relazioni tra le Lorenzo Pareschi (pareschi@dm.unife.it)

14 varie incognite) 3x 1 + 2x 2 + x 3 = 39 ( 39 2x2 x ) + 3x 2 + x 3 = 34 ( ) 39 2x2 x 3 + 2x 2 + 3x 3 = Dopo le opportune semplificazioni si ottiene il nuovo sistema lineare in cui abbiamo eliminato l incognita x 1 nella seconda e terza equazione 3x 1 + 2x 2 + x 3 = 39 (5) 5 3 x x 3 = 8 (6) 4 3 x x 3 = 13. A questo punto dalla seconda equazione possiamo esprimere la variabile x 2 in funzione della variabile x 3, x 2 = (24 x 3 )/5. Sostituendo nell ultima 13 Lorenzo Pareschi (pareschi@dm.unife.it)

15 equazione di (6) si ottiene 3x 1 + 2x 2 + x 3 = x x 3 = 8 (7) e semplificando 4 3 ( ) (24 x3 ) x 3 = 13, 3x 1 + 2x 2 + x 3 = x x 3 = 8 (8) x 3 = Dall ultima equazione in (8) possiamo finalmente calcolare il valore di x 3 = 11/4, da cui possiamo ricavare immediatamente il valore di x 2 = 17/4. A questo punto conoscendo il valore numerico di x 2 e x 3 possiamo calcolare il valore di x 1 = 37/4. Non ci sono stati intoppi, è ragionevole ritenere che la soluzione trovata sia anche unica e che la matrice del sistema sia 14 Lorenzo Pareschi (pareschi@dm.unife.it)

16 non singolare. L algoritmo visto ora è una versione dell algoritmo di sostituzione. A questo punto è però evidente che per sistemi di dimensione maggiore questo procedimento risulta oneroso se non impossibile da seguire con carta e penna. Inoltre sembra difficile automatizzare la procedura. Come progettare un algoritmo efficiente? Il formalismo delle matrici può venirci in soccorso. Indichiamo con A la matrice completa del sistema composta dalle colonne della matrice A del sistema con l aggiunta del vettore b dei termini noti. Indichiamo con A i, i = 0,1,2 le matrici dei sistemi che via via si incontrano nel procedimento appena esplicitato, con A 0 si intende la matrice completa iniziale. Ecco come si sono modificate tali matrici A 0 = A 1 = /3 1/3 0 4/3 8/3 A 2 = /3 1/ /15 In fondo questo suggerisce un procedimento in cui si cerca di trasformare il sistema di partenza in una di quelle forme semplici (con matrice dei coefficienti triangolare) viste in precedenza. Il problema essenziale è il seguente: 15 Lorenzo Pareschi (pareschi@dm.unife.it).

17 siamo sicuri che questa riduzione si possa ottenere tramite sistemi equivalenti cioè con il medesimo insieme di soluzioni?. Il punto allora consiste nello stabilire quali operazioni sulle righe o sulle colonne sono consentite. Considerando la matrice completa A del sistema lineare, le trasformazioni elementari sono le seguenti 1. scambiare due equazioni; 2. moltiplicare una equazione per uno scalare diverso da zero; 3. sostituire una equazione con la somma di questa equazione più un altra equazione moltiplicata per uno scalare diverso da zero. Cerchiamo ora di individuare il passo generico che ci permette di passare dal sistema originale ad un sistema con matrice triangolare superiore. Cerchiamo una combinazione delle trasformazioni elementari permesse in modo 16 Lorenzo Pareschi (pareschi@dm.unife.it)

18 tale da azzerare gli elementi sotto la diagonale principale della matrice A. Indichiamo con r p i la riga i-esima del sistema al passo elementare p. Inizialmente p = 0 e le righe r 0 i sono le righe della matrice completa di partenza. Schematizziamo il primo passo desiderato r 0 1 r 0 2 r r 1 1 r 1 2 r dove indica un valore numerico generico. Per ottenere lo zero in seconda riga devo utilizzare qualche combinazione lineare della seconda riga con la prima moltiplicata (scalata) per un opportuno valore m 21 diverso da zero. Incominciamo a calcolare il valore scalare m 21. La seconda riga meno la prima moltiplicata per questo scalare è uguale a (2 3m 21 )x 1 + (3 2m 21 )x 2 + (1 1 m 21 )x 3 = (34 39m 21 ). Affinché il coefficiente risultante per x 1 sia zero occorre che (2 3m 21 ) = 0 m 21 = 2/3. Il valore m 21 si chiama moltiplicatore. La seconda riga si trasforma nel seguente modo 0 x x x 3 = 8., 17 Lorenzo Pareschi (pareschi@dm.unife.it)

19 Il secondo passo si schematizza invece come segue r 1 1 r 1 2 r /3 1/ r 2 1 r 2 2 r /3 1/ Adesso occorre lavorare sulla terza riga r 1 3 con quale riga combinarla? L unica riga candidata è la prima. Sottraendo alla riga r 1 3 la prima r1 1 moltiplicata per uno scalare opportuno m 31 si ottiene (1 3m 31 )x 1 + (2 2m 31 )x 2 + (3 1 m 13 )x 3 = (26 39m 31 ). Per annullare il coefficiente di x 1 occorre che (1 3m 31 ) = 0 m 31 = 1/3. La terza riga dopo la trasformazione diventa 0x x x 3 = 13. Il nuovo passo è il seguente r 2 1 r 2 2 r /3 1/ /3 8/3 13 r 3 1 r 3 2 r /3 1/ Lorenzo Pareschi (pareschi@dm.unife.it)

20 Nella riga trasformata r 3 3 desideriamo avere il secondo elemento nullo. Cerchiamo con quale riga conviene combinarla. La riga appropriata è la seconda perché ha la medesima disposizione di zeri della riga in esame. Quindi utilizziamo la combinazione lineare r 2 3 m 32r 2 2 da sostituire a r2 3, (0 0m 32 )x 1 + (4/3 5/3 m 32 )x 2 + (8/3 1/3 m 32 )x 3 = (13 8m 32 ). Il coefficiente di x 2 sarà uguale a zero quando (4/3 5/3 m 32 ) = 0 m 32 = 4/5. Quindi r 3 3 è uguale a e la matrice completa diventa 0 x x /5 x 3 = 33/5, r 3 1 r 3 2 r /3 1/ /5 33/5 A questo punto abbiamo il sistema equivalente desiderato e possiamo ricavare, nell ordine x 3, x 2, x 1. Il procedimento si può generalizzare nel caso di n equazioni e si chiama algoritmo di eliminazione di Gauss. Tale algoritmo si potrebbe schematizzare come segue. 19 Lorenzo Pareschi (pareschi@dm.unife.it)

21 for k=1:n-1 - Calcolare i moltiplicatori richiesti - Aggiornare le equazioni dalla (k+1)-esima alla n-esima end In generale i moltiplicatori nel generico passo k si trovano tramite le divisioni m ik = a ik /a kk, con i = k+1,..., n e a ik elementi della matrice che si ha prima di compiere la trasformazione. L elemento a kk appartenente alla diagonale principale, e per cui si divide, si chiama elemento pivot mentre la riga a cui appartiene riga pivot. I moltiplicatori richiesti possono quindi essere calcolati nel seguente modo (A è la matrice del sistema che viene via via aggiornata) for i=k+1:n m(i,k)=a(i,k)/a(k,k); end o in forma vettoriale m(k+1:n,k)=a(k+1:n,k)/a(k,k). Nel caso frequente in cui vogliamo aggiornare la matrice A con la matrice triangolare superiore, 20 Lorenzo Pareschi (pareschi@dm.unife.it)

22 possiamo memorizzare i moltiplicatori dove andrebbero gli zeri. Una versione naïf dell algoritmo di eliminazione di Gauss è la seguente (si ricordi che stiamo operando con la matrice completa n (n + 1)). for k=1:n-1 A(k+1:n,k) = A(k+1:n,k)/A(k,k); A(k+1:n,k+1:n+1) = A(k+1:n,k+1:n+1) - A(k+1:n,k)*A(k,k+1:n+1); end Naturalmente stiamo supponendo che tutto vada bene, nel senso che i moltiplicatori che si incontrano sono diversi da zero. Quanto costa l algoritmo di eliminazione di Gauss? Contando le operazioni di divisione e moltiplicazione, si ha che l ordine di grandezza è O(n 3 ). Abbiamo infatti n 1+n = n(n 1)/2 divisioni per il calcolo dei moltiplicatori e per aggiornare le righe (costo dominante) abbiamo un FLOP ripetuto (n 1) 2 + (n 2) = n(2n 1)(n 1)/6. 21 Lorenzo Pareschi (pareschi@dm.unife.it)

23 Matrici elementari Possiamo formalizzare ancora meglio tramite il linguaggio delle matrici il procedimento di eliminazione. Interpretiamo infatti il passo di eliminazione come prodotto tra matrici. Immaginiamo di avere un sistema con matrice A, 2 2 e a 11 0, A = ( a11 a 12 a 21 a 22 Cerchiamo una matrice M 1, ancora 2 2 tale che M 1 A = ( a11 a 12 0 Dovendo mantenere inalterata la prima riga abbiamo che la prima riga della matrice M 1 deve essere (1 0). La seconda riga deve invece essere tale che nella moltiplicazione l elemento in seconda riga e prima colonna si annulli. Posto (abbiamo un segno meno per coerenza verso il processo di eliminazione per il modo in cui si fanno le combinazioni lineari tra righe e ). ). 22 Lorenzo Pareschi (pareschi@dm.unife.it)

24 per come abbiamo definito i moltiplicatori) ( 1 0 M 1 = m 1 dalla definizione di prodotto matriciale abbiamo la condizione m a 11 + a 21 = 0 e quindi ritroviamo il valore del moltiplicatore m = a 21 /a 11. Possiamo generalizzare, concentrandoci inizialmente su una sola colonna, il metodo e cercare la matrice M k tale per cui M k z = m k m n ), z 1. z k z k+1. z n Se z k 0 è immediata la verifica che la scelta m i = z i /z k, i = k + 1,..., n produce l effetto desiderato. La matrice M k si chiama matrice elementare di eliminazione o trasformazione di Gauss. Al solito i valori m i sono detti moltiplicatori mentre il vettore m = (0,...,0, m k+1,..., m n ) T (vettore colonna) si dice vettore di Gauss. = z 1. z k Lorenzo Pareschi (pareschi@dm.unife.it).

25 Vediamo qualche proprietà della matrice M k : 1. M k è una matrice triangolare inferiore con elementi tutti uguali ad uno sulla diagonale principale e quindi è non singolare. 2. M k = I me T k dove e k è la colonna k esima della matrice identità, e k = (0,...,1,...,0) T con 1 in k esima posizione (si noti che il prodotto me k è una matrice e non uno scalare o un vettore, il lettore verifichi nel caso 2 2). 3. Mk 1 = I + me T k, abbiamo quindi l espressione esplicita della matrice inversa di M k (si può fare una verifica diretta utilizzando le proprietà del prodotto matriciale). 4. Se M l è un altra matrice di eliminazione elementare cone vettore dei moltiplicatori t, M l = I te T l, con l > k si ha M l M k = I me T k tet l me T k tet l = I me T k tet l. 24 Lorenzo Pareschi (pareschi@dm.unife.it)

26 Quindi il prodotto di trasformazioni di Gauss è una matrice triangolare inferiore invertibile. La moltiplicazione di una matrice per una matrice elementare di Gauss è un facile lavoro. Detta A la matrice e M k la matrice elementare M k A = (I me T k )A = A m(et k A). Esempio 2 Scegliamo il vettore z = (4,2,1) T, abbiamo Abbiamo anche M 1 = M 2 = / / /2 1 M 1 M = = Lorenzo Pareschi (pareschi@dm.unife.it)

27 Infine possiamo calcolare le inverse esplicitamente (basta un cambio di segno) e i prodotti L 1 = M 1 1 = M 2 M 1 = / /4 0 1, / /4 1/2 1 L 2 = M 1 2 =, L 1 L 2 = / / /4 1/2 1 Si osservi che per le matrici inverse, (M 2 M 1 ) 1 = M1 1 M 2 1 = L 1 L 2. Con le trasformazioni elementari possiamo riscrivere il procedimento di eliminazione di Gauss nel senso di trovare una successione di trasformazioni che conducano ad una matrice triangolare superiore a cui corrisponda un sistema lineare equivalente. Consideriamo, per esempio la matrice seguente (ci limitiamo a considerare solo la matrice dei coefficienti e non la matrice,. 26 Lorenzo Pareschi (pareschi@dm.unife.it)

28 completa) A = Con la matrice M 1 data da (per calcolarla dovrebbe essere chiaro il procedimento da quanto detto sopra) si ottiene M 1 = M 1 A = / / ,. Utilizzando di seguito la matrice elementare M 2, M 2 = /3 1, 27 Lorenzo Pareschi (pareschi@dm.unife.it)

29 si ottiene M 2 M 1 A = Nel caso in cui il procedimento di eliminazione possa procedere, tutti gli elementi pivot non nulli, abbiamo la sequenza di trasformazioni di Gauss del sistema lineare M n 1 M n 2... M 1 Ax = M n 1 M n 2... M 1 b. Indicando con M = M n 1 M n 2... M 1, allora abbiamo visto che la matrice MA è una matrice triangolare superiore, chiamiamola U, MA = U. La matrice M è il prodotto delle matrici elementari di eliminazione e abbiamo osservato che è una matrice triangolare inferiore ed è invertibile. Posto L = ( M n 1 M n 2... M 1 ) 1 = M 1 1 M M 1 n 1, si ha che L risulta essere una matrice triangolare inferiore. Quindi MA = U A = M 1 U = LU. (9) 28 Lorenzo Pareschi (pareschi@dm.unife.it)

30 In questo caso la matrice A può essere scritta come prodotto di una matrice triangolare inferiore L per una matrice triangolare superiore U: chiameremo tale fattorizzazione decomposizione lu. Calcolata la decomposizione lu di una matrice il sistema lineare Ax = b può essere risolto in due passi 1. risolvere Ly = b in y (sostituzione in avanti, sistema triangolare inferiore); 2. risolvere U x = y in x (sostituzione all indietro, sistema triangolare superiore). Dove si nasconde la matrice L della fattorizzazione? Nei moltiplicatori che si devono calcolare durante il procedimento di eliminazione. Dal punto di vista matriciale questo è garantito dalle proprietà delle matrici elementari di eliminazione. 29 Lorenzo Pareschi (pareschi@dm.unife.it)

31 Osservazione 1 La fattorizzazione lu di una matrice oltre che con il metodo di eliminazione di Gauss (a cui di fatto è equivalente) può essere calcolata direttamente attraverso una tecnica compatta. Una matrice triangolare inferiore L n n ha in generale n = n(n+1)/2 elementi incogniti (gli altri sono sicuramente nulli). Anche una matrice triangolare superiore U n n ha n(n + 1)/2 elementi. Imponendo che A = LU si hanno a disposizione n 2 condizioni, una per ogni elemento della matrice A. Abbiamo quindi in generale n(n + 1)/2 + n(n + 1)/2 = n(n + 1) = n 2 + n elementi incogniti e n 2 vincoli. Abbiamo a disposizione n gradi di libertà. Per fissare un unica decomposizione devo fissare n elementi in L o U (o in entrambe per un totale di n coefficienti). I vincoli a disposizione si ottengono considerando il prodotto matriciale LU, a ij = min(i,j) k=1 l ik u kj, i, j = 1,..., n, dove il minimo come secondo estremo nella sommatoria deriva dalla struttura delle due matrici per cui è inutile procedere alla moltiplicazione se uno dei due fattori è nullo. Considerando la diagonale principale della matrice L con tutti gli elementi uguali a 1 e procedendo valutando alternativa- 30 Lorenzo Pareschi (pareschi@dm.unife.it)

32 mente prima le righe (elementi di U) e poi le colonne (elementi di L) si ottiene l algoritmo di Doolittle. Al contrario, considerando gli elementi sulla diagonale principale della matrice U uguali a 1 e valutando alternativamente prima le colonne (elementi di L) e poi le righe (elementi di U) si ha l algoritmo di Crout. La complessità computazionale di entrambi gli approcci è uguale a quella del procedimento di eliminazione di Gauss con n 3 /3 operazioni. Abbiamo già osservato che anche in casi semplici e per sistemi risolubili l elemento pivot potrebbe essere nullo. Inoltre non tutte le matrici ammettono la fattorizzazione lu. Per esempio consideriamo la matrice ( ) 0 1 A =. 1 1 Se esistesse una fattorizzazione lu si avrebbe ( ) ( ) ( u11 u = l u 22 ma questo implicherebbe che u 11 = 0 che risulterebbe incompatibile con l altro vincolo l 21 u 11 = 1. Il corrispondente sistema lineare ammette invece 31 Lorenzo Pareschi (pareschi@dm.unife.it) ),

33 un unica soluzione, per esempio ( ) ( x1 x 2 ) = ( 2 4 ), ha soluzione x = (2,2) T. Qualcosa deve essere modificato nel procedimento di eliminazione, infatti avremmo potuto scambiare le righe della matrice per ottenere immediatamente una matrice triangolare. Si noti inoltre che dal punto di vista della stabilità dell algoritmo di eliminazione andrebbero evitati moltiplicatori troppo grandi. Utilizzando infatti le osservazioni fatte nell ambito dell analisi dell errore, si può osservare che moltiplicatori grandi introducono nella fase di eliminazione (aggiornamento delle righe della matrice) una amplificazione degli errori di arrotondamento con conseguente instabilità dell algoritmo. Esempio 3 (Stabilità algoritmo di eliminazione) Consideriamo la matrice ( ) ǫ 1 A = Lorenzo Pareschi (pareschi@dm.unife.it)

34 con ǫ > 0. La fattorizzazione lu della matrice è la seguente ( ) ( ) ( ) ǫ ǫ 1 = 1 1 1/ǫ /ǫ Più ǫ è piccolo più la soluzione si avvicina a x 1 = 2, x 2 = 2. Il procedimento di eliminazione può comunque procedere perché l elemento pivot ǫ 0. Tramite uno script MATLAB risolviamo il sistema per differenti valori di ǫ epsilon x(1) x(2) e e e e e e e e e Lorenzo Pareschi (pareschi@dm.unife.it)

35 Si evince che la componente x 1 della soluzione degenera al diminuire di ǫ fino a perdere di significato mentre la componente x 2 rimane accettabile. La ragione consiste nel fatto che se il parametro ǫ è molto piccolo (al di sotto della precisione di macchina) per effetto degli errori di cancellazione abbiamo ( ) ǫ 1 U, 0 1/ǫ e quindi Ly = b y = ( 2 4 2/ǫ ) ( 2 2/ǫ ), Ux = y x = Per ovviare a questo basta scambiare le due righe della matrice, ottenendo il sistema ( ) ( ) = ǫ 1 2 che non presenta lo stesso fenomeno di degenerazione del sistema originale. Osserviamo che lo scambio di righe era una delle operazioni ammesse per mantenere il sistema equivalente a quello trasformato. ( Lorenzo Pareschi (pareschi@dm.unife.it) ).

36 Dal punto di vista della stabilità dell algoritmo di eliminazione di Gauss occorre evitare elementi pivot piccoli (e quindi moltiplicatori grandi). Proprio per migliorare la stabilità dell algoritmo di eliminazione di Gauss vi sono due strategie standard dette di pivoting. La prima, detta del pivot parziale consiste nel cercare, al passo k esimo del procedimento, il massimo elemento in modulo nella k esima colonna della matrice. Si cerca quindi l indice p tale che a pk = max { a ik, i = k, k + 1,..., n}. Trovato il massimo, se p k si scambia la riga k-esima con la riga p-esima (operazione che mantiene il sistema equivalente). A questo punto l elemento pivot a kk è quello massimo e si procede con l eliminazione. Se tutti gli elementi sono nulli, o sotto una determinata tolleranza (quindi numericamente nulli), si può decidere di fermare il procedimento. Nel pivot totale non si limita la ricerca alla colonna k esima ma si estende a tutta la sottomatrice su cui si deve operare. Si cerca quindi l elemento a pq tale che a pq = max { a ij, i, j = k, k + 1,..., n}. Trovato tale elemento, se 35 Lorenzo Pareschi (pareschi@dm.unife.it)

37 non è già l elemento a kk si procede con uno scambio di righe e uno scambio di colonne per portare l elemento massimo a pq nella posizione dell elemento pivot. Come l azione di pivoting controlla la propagazione e l eventuale amplificazione degli errori di arrotondamento? In un articolo del 1947, J. von Neumann e H.H. Goldstein, hanno mostrato che per un sistema risolto con il metodo di eliminazione di Gauss ci potrebbe essere una amplificazione dell errore iniziale di un fattore dell ordine di 10 12!. Il pivot totale è soddisfacente e gli errori non sono mai amplificati in modo irragionevole. Sperimentalmente è stato osservato che è la probabilità che si abbiano problemi utilizzando il pivot parziale è molto piccola. Tipicamente si utilizza quindi il pivot parziale dato che il pivot totale aumenta il costo computazionale del procedimento mentre il pivot parziale ha un costo trascurabile rispetto all intero processo. 36 Lorenzo Pareschi (pareschi@dm.unife.it)

38 Strategia del pivot Come introdurre il procedimento di pivot parziale all interno dell algoritmo di eliminazione e la fattorizzazione lu? Dal punto di vista matriciale si utilizzano le matrici di permutazione. Una matrice di permutazione è una matrice con elementi uguali a zero oppure uno e che contiene in ogni riga e in ogni colonna un unico elemento uguale a uno. Per ottenere una matrice permutazione basta scambiare righe o colonne della matrice identità. Una matrice permutazione moltiplicata per un altra matrice realizza scambi di riga o di colonna. Esempio 4 (Matrice permutazione) Consideriamo la matrice permutazione Lorenzo Pareschi (pareschi@dm.unife.it)

39 La moltiplicazione P A produce uno scambio di righe, mentre la moltiplicazione AP uno scambio di colonne. Vediamo un esempio. A = , PA = , AP = Una matrice permutazione è una matrice ortogonale, P 1 = P T. Non conviene comunque memorizzare tutta la matrice permutazione ma solo l azione che ha tale matrice quando viene moltiplicata per un altra matrice. Per questo solitamente si introduce un vettore p tale che p k contenga l indice della colonna dell elemento uguale a 1 nella riga k esima della matrice permutazione (nell esempio precedente p = (3,1,2) T ). Per permutare le componenti di un vettore x basta scambiare x k con l elemento x p(k). Si consideri, per esempio, il sistema x 1 x 2 x 3 = Lorenzo Pareschi (pareschi@dm.unife.it)

40 Al primo passo del procedimento con pivot parziale, cerchiamo il massimo in modulo tra gli elementi della prima colonna, max { 1, 2, 4 }. Il terzo elemento è il più grande. Dobbiamo quindi scambiare la prima e la terza riga. La matrice permutazione adeguata è la matrice P 1 = ottenuta dalla matrice identità scambiando proprio la prima e la terza riga. Si ottiene il sistema P 1 A = x 1 x 2 x 3 = P 1 b = A questo punto eliminiamo gli elementi sotto la diagonale principale nella prima colonna utilizzando il nuovo elemento pivot. La matrice elementare corrispondente sarà M 1 = / / Lorenzo Pareschi (pareschi@dm.unife.it)

41 Quindi si procede calcolando M 1 P 1 A, valutando il nuovo elemento pivot e la nuova matrice elementare. In generale abbiamo quindi una sequenza di trasformazioni del tipo M n 1 P n 1 M n 2 P n 2... M 1 P 1 A = M n 1 P n 1 M n 2 P n 2... M 1 P 1 b. Indichiamo con P = P n 1 P n 2... P 2 P 1 la matrice di permutazione dell intero processo, con L il fattore triangolare inferiore uguale a quello della classica eliminazione di Gauss e con U la matrice triangolare superiore finale. Abbiamo quindi PAx = LUx = Pb, da cui la soluzione si può ancora calcolare in due passi, prima risolvendo Ly = Pb (il vettore b interviene solo a questo punto e viene permutato) e poi Ux = y. Si può anche dimostrare che L ij 1 per ogni i e j. 40 Lorenzo Pareschi (pareschi@dm.unife.it)

42 Riscalamenti I moltiplicatori grandi non sono l unico inconveniente per la stabilità del metodo di eliminazione. Vediamo il seguente esempio 10x x 2 = 10 6 x 1 +x 2 = 2 Supponiamo di utilizzare una aritmetica con tre cifre significative e applichiamo la tecnica del pivot parziale. Dato che 10 > 1 non occorre fare scambi di riga. Abbiamo il moltiplicatore m 21 = 1/10, eliminando nella seconda equazione si incontra l operazione fl( ). Utilizzando una aritmetica con solo tre cifre decimali si ottiene fl( ) = 10 5, analogamente per l aggiornamento del termine noto fl( ) = Il sistema triangolare finale è quindi 10x x 2 = x 2 = 10 5, e sostituendo all indietro si ottiene x 1 = 0, x 2 = 1. Una approssimazione accettabile con tre cifre è invece x 1 = x 2 = 1, il valore di x 1 è quindi completamente inattendibile. Questa volta il problema non è dovuto al moltiplicatore ma alla differenza di scala tra i coefficienti della prima equazione. 41 Lorenzo Pareschi (pareschi@dm.unife.it)

43 e i coefficienti della seconda equazione. Il rimedio, in questo esempio, consiste nel riscalare la prima equazione moltiplicandola per A questo punto si può applicare il procedimento di pivot parziale. La soluzione numerica con tre cifre significative è questa volta x 1 = x 2 = 1. Una buona strategia per rendere più stabile il processo di eliminazione consiste quindi nell abbinare all azione di pivoting anche una riscalatura delle righe e delle colonne del sistema lineare. Riscalare per righe non altera la natura del sistema mentre quella per colonne sì ed è necessario ricordarsi il cambiamento di scala che si è fatto (per tornare alle variabili originali alla fine del procedimento). Una modifica del procedimento di eliminazione di Gauss consiste proprio nel calcolare all inizio le quantità d i = max 1 j n a ij e nel cercare l elemento pivot in modo tale che sia il massimo in valore assoluto ma relativamente all ordine di grandezza della riga a cui appartiene. In altri termini l elemento pivot a jk è scelto in modo tale che a jk d j a ik d i, i = k,..., n. 42 Lorenzo Pareschi (pareschi@dm.unife.it)

44 Infine ci sono matrici per cui l algoritmo di eliminazione di Gauss è stabile senza dover ricorrere all azione di pivoting. Per esempio, se la matrice A è diagonale dominante per colonne il pivoting non è necessario per calcolare la fattorizzazione LU con l algoritmo di eliminazione di Gauss. Una matrice A è diagonale dominante per colonne se gli elementi sulla diagonale principale superano in modulo la somma dei restanti elementi sulla medesima colonna a jj > n i=1,i j a ij. Se il pivot parziale è utilizzato su queste matrici non interverranno scambi di riga. Norme matriciali e malcondizionamento Consideriamo ora il problema del condizionamento di un sistema lineare e della stima dell errore relativo al metodo di eliminazione di Gauss. Per questa discussione è opportuno introdurre il concetto di norma di un vettore e di norma di una matrice. Nel caso dei numeri reali, questa stima veniva 43 Lorenzo Pareschi (pareschi@dm.unife.it)

45 fornita dalla funzione valore assoluto, x ( x, x R è uguale a x se x 0, mentre vale x se x < 0). Nel caso di vettori la norma euclidea, detta anche norma 2, è una funzione che associa ad ogni vettore x R n un numero reale non negativo che traduce la nostra idea intuitiva di distanza (la norma euclidea è definita utilizzando il Teorema di Pitagora in più dimensioni). Che proprietà ha la funzione valore assoluto o la norma euclidea? Le riassumiamo nella seguente definizione. Definizione 1 Una funzione x : R n R è una norma vettoriale se 1. x 0 per ogni x R n e x = 0 x è uguale al vettore nullo; 2. αx = α x per ogni scalare α R: 3. x + y x + y (disuguaglianza triangolare). 44 Lorenzo Pareschi (pareschi@dm.unife.it)

46 La norma euclidea è una norma vettoriale ma non è l unica, ne esistono infinite. Per esempio la norma euclidea è solo un rappresentante tra le norme p, p > 0 intero, definite come x p = n i=1 x i p (1/p) La norma euclidea corrisponde infatti al caso p = 2, ma un altra norma di uso comune appartenente a questa famiglia è la norma 1, x 1 = x i. Passando al limite per p si ottiene la norma x = max 1 i n x i. Nello spazio R n si può anche dimostrare che due norme qualsiasi sono tra loro equivalenti, ovverosia, chiamando una delle due norme e l altra, esistono due costanti positive c, C tali c x x x per ogni vettore x. Questa equivalenza permette una certa libertà di scelta della norma più opportuna in relazione al contesto.. 45 Lorenzo Pareschi (pareschi@dm.unife.it)

47 Esempio 5 (Circonferenze in norma p) Consideriamo una circonferenza nel piano con centro in (0, 0) e raggio di lunghezza 2. Dal punto di vista geometrico è il luogo dei punti che sono a distanza 2 dal centro. Se misuriamo la distanza tra i due punti (x, y) e (0,0) (intesi come vettore posizione) come la norma della loro differenza in Figura mostriamo la forma che assume tale circonferenza quando la norma prescelta è la norma 1 ( x + y = 2), oppure la norma 2 ( x 2 + y 2 = 2) o ancora la norma (max{ x, y } = 2) norma norma norma Circonferenze in differenti norme. 46 Lorenzo Pareschi (pareschi@dm.unife.it)

48 Il concetto di norma può essere esteso anche alle matrici. Una funzione A che associa ad una matrice A n n un numero non negativo è una norma matriciale se soddisfa alle proprietà analoghe a quelle della Definizione 1, A 0 e A = 0 se e solo se A è uguale alla matrice nulla, αa = α A, A + B A + B, e in più soddisfa alla seguende condizione (submoltiplicatività) A B A B. Un modo per avere una norma matriciale consiste nel partire da una norma vettoriale. In particolare è possibile dimostrare che la seguente funzione A p A p = max Ax p x p, (10) dove il massimo è calcolato considerando solo vettori x non nulli, è una norma matriciale. Una norma di questo tipo, dedotta da una norma vettoriale, si chiama norma indotta dalla norma vettoriale. Per alcune norme indotte è possibile esplicitare, in funzione dei coefficienti 47 Lorenzo Pareschi (pareschi@dm.unife.it)

49 che formano la matrice, il valore della norma. Per esempio A 1 = max 1 j n A = max 1 i n n i=1 n j=1 a ij massimo somma colonne in modulo a ij massimo somma righe in modulo. Una norma matriciale che non è una norma indotta è la norma di Frobenius A F = n n i=1 j=1 a ij 2. Le norme matriciali permettono anche di stimare gli errori dovuti alla memorizzazione di una matrice. Se  è la versione memorizzata della matrice A, allora  = A + E dove la matrice errore E verifica E 1 eps A 1, dove eps è la precisione macchina. Avendo a disposizione norme vettoriali e norme matriciali cerchiamo di 48 Lorenzo Pareschi (pareschi@dm.unife.it)

50 stimare il comportamento di un sistema lineare quando si perturbino i dati (coefficienti o termine noto). Si consideri il sistema lineare Ax = b e sia ˆx una soluzione numerica. Chiameremo errore la differenza e = x ˆx mentre chiameremo residuo la differenza r = b Aˆx = A(x ˆx) = Ae. Esempio 6 (Il residuo è sempre affidabile?) Consideriamo il sistema lineare x x 2 = x 1 +4 x 2 = 2 che ha soluzione x 1 = 1, x 2 = 1. Supponiamo di conoscere la soluzione e supponiamo che qualcuno ci proponga di verificare la soluzione ˆx 1 = 101 e ˆx 2 = 50. Calcolando il residuo si ottiene r = (0.0051,0) T che potremmo anche accettare. La differenza tra soluzione vera e soluzione proposta è invece enorme. In un certo senso il vettore proposto y risolve bene un sistema vicino a quello assegnato ma è ben lontano dalla soluzione 49 Lorenzo Pareschi (pareschi@dm.unife.it)

51 cercata: una piccola perturbazione nei dati ha portato ad una grande perturbazione nella soluzione. Questo fenomeno non sembra dipendere dal metodo numerico utilizzato ma fa parte della natura del sistema che stiamo analizzando. Un sistema lineare si dice malcondizionato quando qualche piccola perturbazione nei dati può produrre un grande cambiamento nella soluzione esatta (relativamente all ordine di grandezza della soluzione stessa). In caso contrario il sistema lineare si dice bencondizionato. Dal punto di vista geometrico, nel caso di un sistema 2 2, si può visualizzare il condizionamento associando ad ogni riga del sistema una retta nel piano. Sistema bencondizionato e sistema malcondizionato. 50 Lorenzo Pareschi (pareschi@dm.unife.it)

52 Quando moltiplichiamo una matrice A per un vettore x come viene modificata la norma del vettore? Quale deformazione provoca la matrice A? La variazione relativa della norma del vettore può essere caratterizzata dai seguenti valori (la norma che compare è una qualsiasi norma vettoriale, mentre le frazioni sono considerate per vettori non nulli) M = max x Ax x, m = min x Ax x. (11) Se la matrice A non è singolare (altrimenti ci sono vettori per cui Ax = 0) è definito il rapporto M/m che è chiamato numero di condizionamento della matrice A, e che indicheremo con µ(a) (eventualmente utilizzeremo anche un indice per specificare il tipo di norma vettoriale utilizzata). Se la matrice A è invertibile, posto y = A 1 x, A 1 = max A 1 x x = max y Ay, 51 Lorenzo Pareschi (pareschi@dm.unife.it)

53 da cui A 1 = ( min Ay y ) 1. Il numero di condizionamento può quindi essere scritto come µ(a) = A A 1. Consideriamo il sistema Ax = b e il sistema perturbato A(x + x) = b b. Dato che A( x) = b, dalla definizione di M e m in (11) segue immediatamente che b M x, b m x. Possiamo allora dedurre che, se m 0, x x µ(a) b b. (12) Le quantità x / x, b / b rappresentano il cambiamento relativo della soluzione e del termine noto e sono grandezze adimensionali. Un Per convenzione si definisce anche µ(a) = se A è una matrice singolare. 52 Lorenzo Pareschi (pareschi@dm.unife.it)

54 analogo risultato si potrebbe ottenere perturbando i coefficienti della matrice A. Il numero di condizionamento fornisce quindi una stima di quanto l errore relativo sui dati potrebbe amplificarsi. Il numero di condizionamento è anche una misura di quanto una matrice è vicina ad essere una matrice singolare. Più il numero di condizionamento è grande più la matrice A è vicina ad una matrice singolare. Una matrice non singolare A si dice mal condizionata se piccole variazioni in A possono causare grosse variazioni in A 1. Torniamo all analisi dell accuratezza della soluzione con il metodo di Gauss con pivoting. Un risultato fondamentale riguardante l analisi all indietro di questo metodo è dovuto a H. Wilkinson: la soluzione calcolata ˆx soddisfa esattamente un sistema perturbato (A + E)ˆx = b, E A ρ n eps. Il fattore ρ è detto fattore di crescita ed è uguale al rapporto tra il più grande coefficiente della matrice U, della fattorizzazione lu, e il più grande 53 Lorenzo Pareschi (pareschi@dm.unife.it)

55 coefficiente della matrice A. Teoricamente il fattore ρ potrebbe crescere come 2 n 1 ma nella pratica è raro che sia molto piè grande di uno e quindi E / A Ceps con C n. Il residuo r è uguale a b Aˆx = Eˆx, dunque r E ˆx. Quando A è invertibile l errore può essere espresso come da cui e = x ˆx = A 1 r, e A 1 E ˆx. Dalle stime sul residuo e sull errore si ottiene infine x ˆx ˆx C A A 1 eps = C µ(a)eps. Un modo semplice per interpretare questo risultato è il seguente. Se l algoritmo di eliminazione di Gauss con pivot parziale è utilizzato per risolvere un sistema non singolare e ben scalato Ax = b tramite una implementazione con una aritmetica a t cifre significative, allora se il numero di condizionamento µ(a) 10 p, ci si aspetta che la soluzione calcolata abbia circa t p 54 Lorenzo Pareschi (pareschi@dm.unife.it)

56 cifre significative. Per scopi pratici il valore più interessante è quindi la costante µ(a)eps. Calcolare il numero di condizionamento è piuttosto oneroso, esistono degli algoritmi che provvedono a delle stime accettabili di tale valore. Altre fattorizzazioni La fattorizzazione lu di una matrice non è l unico modo di scomporre una matrice in un prodotto. Nel seguito accenniamo al caso in cui A sia simmetrica rimandando ad altri corsi di Analisi Numerica eventuali approfondimenti. Metodo di Cholesky Ricordiamo che una matrice è simmetrica quando A T = A. Una matrice A, n n, si dice definita positiva quando x T Ax > 0 per ogni vettore (colonna) in R n. Le matrici definite positive sono frequenti nelle applicazioni specialmente nei processi di discretizzazione di equazioni differenziali. 55 Lorenzo Pareschi (pareschi@dm.unife.it)

57 Esempio 7 La definizione di matrice definita positiva fa intervenire la quantità x T Ax, si osservi che il risultato di queste operazioni è uno scalare. Consideriamo la matrice ( ) 4 1 A = 1 1 che è definita positiva. Posto x = (x 1, x 2 ) T si ha ( ) ( ) 4 1 x1 (x 1 x 2 ) = 4x x 2x 2 + x 2 2. x 2 L essere definita positiva sta ad indicare che il grafico della funzione quadratica sta tutto sopra il piano z = 0. Indichiamo con la sigla SDF una matrice simmetrica definita positiva. Vediamo alcuni fatti legati a queste matrici. Se A è SDF allora gli elementi sulla diagonale principale sono positivi e per ogni i e j, a ij (a ii + a jj )/2. In un certo senso, i termini sulla diagonale principale dominano sul resto. Una matrice simmetrica con elementi positivi sulla diagonale principale ed 56 Lorenzo Pareschi (pareschi@dm.unife.it)

58 a diagonale dominante è una matrice SDF. Se A è una matrice SDF allora esiste una matrice triangolare inferiore L tale che A = LL T. Quest ultima proprietà si chiama fattorizzazione di Cholesky e può anche essere utilizzata come definizione alternativa di matrice SDF (aggiungendo che la matrice L deve essere non singolare). Prendiamo il semplice caso di una matrice 2 2, ( a11 a 12 a 21 a 22 ) = ( l11 0 l 21 l 22 ) ( l11 l 21 o l 22 Moltiplicando le due matrici triangolari si ottengono le relazioni l 11 = a 11, l 21 = a 21 /l 11, l 22 = a 22 l21 2. Naturalmente la sequenza in cui determinare le componenti di L deve essere tale tutte le espressioni coinvolte si possano calcolare. Una generalizzazione di questo procedimento porta all algoritmo di fattorizzazione di Cholesky. In tale algoritmo intervengono n radici quadrate ma non è richiesto, per la stabilità, il pivoting. 57 Lorenzo Pareschi (pareschi@dm.unife.it) ).

59 Applicazioni Avere la fattorizzazione di una matrice è estremamente utile nel caso si debba risolvere più sistemi lineari con la medesima matrice dei coefficienti ma termine noto differente. In questo caso l operazione più costosa viene fatta una volta sola fattorizzando la matrice del sistema. In seguito poi verranno risolti i vari sistemi con sequenze di sostituzioni in avanti e sostituzioni all indietro. Una applicazione consiste nel calcolo della matrice inversa, basta in questo caso scegliere come termini noti le colonne della matrice identità. Infatti da AX = I discende X = A 1. Un modo piú efficiente consiste nell applicare l eliminazione di Gauss ad A fino ad ottenere una matrice identitá al posto di A (ossia eliminando anche gli zeri sopra la diagonale), quindi si determinano le trasformazioni elementari M 2n 2, M 2n 3,..., M 2, M 1 tali che M 2n 2 M 2n 3 M 2 M 1 A = I 58 Lorenzo Pareschi (pareschi@dm.unife.it)

60 da cui si ottiene A 1 = M 2n 2 M 2n 3 M 2 M 1. In pratica non é necessario memorizzare tutte le matrici elementari M i per calcolare A 1 ma é sufficiente applicare la strategia di cui sopra alla matrice aumentata A = [A I] infatti avremo M 2n 2 M 2n 3 M 2 M 1 A = [I A 1 ]. Sempre dalla fattorizzazione inoltre é immediato calcolare il determinante della matrice. Infatti dalla formula di Binet det(ab) = det(a) det(b) abbiamo che se A viene fattorizzata come A = LU allora det(a) = det(lu) = det(l)det(u) = det(u) = u 11 u nn essendo det(l) = 1 (si rammenta che il determinante di una matrice triangolare é dato dal prodotto degli elementi della diagonale principale). Se intervengono degli scambi di riga (o di colonna) basta ricordare che hanno l effetto di cambiare solo il segno del determinante. Un caso differente consiste nella soluzione di più sistemi lineari in cui la matrice dei coefficienti viene modificata con piccole perturbazioni (per esempio varia in qualche elemento). Esistono tecniche adatte per particolari 59 Lorenzo Pareschi (pareschi@dm.unife.it)

61 perturbazioni in cui non occorre ricalcolare l intera fattorizzazione ma si riesce ad aggiornare la fattorizzazione lu già calcolata. Infine l eliminazione di Gauss puó essere applicata piú in generale al caso di matrici qualunque al fine di di determinare il rango della matrice oppure a generici sistemi lineari di matrice rettangolare al fine di determinare l esistenza di eventuali soluzioni (anche dipendenti da parametri). Chiudiamo questa parte con una domanda. La fattorizzazione LU di una matrice A é unica? Come abbiamo visto la risposta é si solo se fissiamo gli elementi della diagonale di L tutti uguali ad uno. In alternativa potremmo fissare tutti gli elementi diagonali di U ad uno e lasciare liberi gli elementi della diagonale di L. La matrice U che si ottiene in questo secondo caso non é altro che la forma normale di Gauss-Jordan della matrice A. 60 Lorenzo Pareschi (pareschi@dm.unife.it)