Un sistema lineare si rappresenta in generale come

Транскрипт

1 SISTEMI LINEARI Un sistema lineare si rappresenta in generale come n j=1 a ij x j = b i i = 1, 2,..., m o anche AX = B. La soluzione esiste se e solo se B appartiene allo spazio lineare generato dalle colonne di A ( Rouchè-Capelli ) Tratteremo i casi di numero di equazioni (m) uguale al numero di incognite (n) o m > n Se A è regolare il teorema di Cramer garantisce l esistenza della soluzione e dice anche come ricavarla. NON PRATICA- BILE!

2 SISTEMI LINEARI Esistono due metodi di soluzione: metodi diretti e iterativi Diretti: la soluzione si trova con un numero FINITO di passi (operazioni sulla matrice) ed è esatta al limite dell accuratezza della rappresentazione dei numeri. Efficienti ma richiedono memoria ed il numero di operazioni è elevato. Sono molto adatti per matrici piene (fino a circa 100 eq.). Iterativi: basati sull uso del metodo del punto unito, portano alla soluzione con errore di troncamento. Sono utilizzati nella maggior parte dei casi in particolare per sistemi di grandi dimensioni (milioni di equazioni!). Sono particolarmente utili quando la matrice ha molti zeri.

3 CONDIZIONAMENTO DEI SISTEMI LINEARI Condizionamento significa sensibilità della soluzione dagli errori sui dati. È indipendente dal metodo usato (!!) anche se ne influenza la precisione con cui eseguire i calcoli. Assumiamo A esatta. Se δb è l errore sui dati, allora AX = B A(X + δx) = B + δb AδX = δb Introdotta una norma compatibile, si ha che δx A 1 δb δx B A 1 δb B

4 CONDIZIONAMENTO DEI SISTEMI LINEARI Poiché B A X, allora si ha e quindi δx A X δx B A 1 δb B δx X A A 1 δb B La quantità K(A) = A A 1 è detta numero di condizionamento della matrice A. Se c è anche un errore sui coefficienti (δa) si ha δx X K(A) 1 K(A) δa A δb B + δa A

5 CONDIZIONAMENTO DEI SISTEMI LINEARI Questo è estremamente importante nei metodi iterativi. Se K(A) = 1 è il caso ottimo. Generalmente K(A) = A A 1 A A 1 = I = 1. Se la norma considerata è quella spettrale, per matrici simmetriche definite positive risulta K 2 (A) = λ max λ min Un altro parametro è il determinante normalizzato D N = det A A 1 2 A A n 2 In questo modo 0 D N 1, con D N = ±1 per sistemi ottimamente condizionati, e si verifica per matrici ortogonali.

6 CONDIZIONAMENTO DEI SISTEMI LINEARI Esempio Si consideri il sistema 9x x 2 = b 1 8x 1 + 9x 2 = b 2 In tal caso A 1 = A = 19, e A 1 1 = A 1 = 19, da cui K(A) = 361. Se B = [1, 0.9] T, si ha X = [0, 0.1] T. Se B = [1.01, 0.89] T, si ha X = [0.19, 0.07] T e quindi δx X un errore relativo δb B = 1% = 360% a fronte di

7 CONDIZIONAMENTO DEI SISTEMI LINEARI Quando si usa un metodo iterativo, come misura dell errore si valuta il residuo R = B AX c essendo X c la soluzione calcolata. Se il sistema è malcondizionato si può avere un piccolo residuo anche se la soluzione calcolata è molto lontana dalla soluzione esatta!! Esistono delle tecniche che possono aiutare a migliorare il condizionamento di un sistema lineare (equilibratura, normalizzazione).

8 METODI ITERATIVI L idea è riscrivere il problema AX = B nella forma X = CX + Q ovvero x i = n j=1 c ij x j + q i ed applicare il metodo del punto unito: X (k+1) = CX (k) + Q k = 1, 2,..., n X (0) = dato Sotto opportune ipotesi, la successione converge a X, punto unito e soluzione del sistema di partenza. La matrice C è la matrice di iterazione.

9 METODI ITERATIVI Nei metodi presentati, C e Q si ottengono da decomposizione o splitting della matrice di partenza. Posto A = M + N, con M facilmente invertibile, segue X = M 1 NX + M 1 B = CX + Q C = M 1 N, Q = M 1 B Per l i-esima incognita si ha: x i = n j=1 c ij x j + q i per cui la matrice Jacobiana è data da c 11 c c 1n c 21 c c 2n c n1 c n2... c nn

10 METODI ITERATIVI Teorema Condizione sufficiente affinché il metodo sia convergente a X, qualunque sia il vettore iniziale X (0), è che sia C < 1. Dimostrazione L errore alla k-esima iterazione è dato da E (k) = X (k) X. Utilizzando una norma che soddisfi la condizione di compatibilità si ha che E (k) = CX (k 1) C X = CE (k 1) = C k E (0) C k E (0) C k E (0) da cui segue la convergenza per k se C < 1.

11 METODI ITERATIVI Da notare: in questo caso la convergenza è indipendente dalla scelta del punto iniziale (differentemente da quanto accade nel caso nonlineare!). Generalmente si assume X (0) = Q. Teorema Il metodo converge, per qualunque scelta di X (0), se e solo se ρ(c) < 1.

12 METODI ITERATIVI Dimostrazione: Poiché E (k) = C k E (0), si ha convergenza a patto che C sia convergente. Per il teorema , questo è vero se e solo se ρ(c) < 1. Dal teor , se A verifica la condizione di compatibilità allora ρ(a) A. Per una matrice convergente è possibile dimostrare che ( C k) 1/k = ρ(c), per cui segue che E (k) E (0) C k ρ k (C) Da questo segue che il numero V = log 10 ρ(c) è detta velocità asintotica di convergenza del metodo.

13 METODI ITERATIVI: CRITERI DI ARRESTO Fissata una tolleranza ε ci si può fermare quando X (k+1) X (k) < ε Infatti, dalla definizione E (k) = X (k) X, segue che X (k+1) X (k) = X (k+1) X X (k) + X E (k) E (k+1) (1 C ) E (k) ovvero E (k) X(k+1) X (k) 1 C E (k+1) C 1 C X(k+1) X (k)

14 METODI ITERATIVI: CRITERI DI ARRESTO Oltre a questa stima a posteriori è possibile effettuare una stima a priori del numero di iterazioni necessarie. Si ha infatti e se X (0) = 0, E (k+1) C k+1 1 C X(1) X (0) E (k+1) C k+1 1 C Q In alternativa si può usare la norma del residuo R (k) = B AX (k) a patto che il sistema sia ben condizionato.

15 METODO DI JACOBI Il sistema a 11 x 1 + a 12 x 2 + a 13 x a 1n x n = b 1 a 21 x 1 + a 22 x 2 + a 23 x a 2n x n = b 2... =... a n1 x 1 + a n2 x 2 + a n3 x a nn x n = b n può essere risolto iterativamente con la successione x 1 = b 1 a 11 a 12 a 11 x 2 a 13 a 11 x 3... a 1n a 11 x n x 2 = b 2 a 21 x 1 a 23 x 3... a 2n x n a 22 a 22 a 22 a =... x n = b n a n1 x 1 a n2 x 2... a nn 1 a nn a nn a nn a nn x n 1

16 METODO DI JACOBI Formalmente A è decomposta nella somma della matrice diagonale D, della triangolare L contenente gli elementi sotto la diagonale e la triangolare U contenente gli elementi sopra la diagonale. Ovvero A = D + L + U. Con questa decomposizione si può poi porre M = D, N = L + U ottenendo la successione nella forma X (k+1) = D 1 (L + U)X (k) + D 1 B = C J X (k) + Q J Questo metodo è detto di Jacobi. Per la singola componente si ha x (k+1) i = 1 a ii n j=1,j i a ij x (k) j + b i

17 METODO DI GAUSS-SEIDEL In quest ultima espressione, per tutti gli elementi x j con j < i si conosce già il valore alla nuova iterazione. Si potrebbe cioè risolvere il problema con il seguente schema iterativo: x (k+1) i = 1 a ii i 1 j=1 a ij x (k+1) j n j=i+1 a ij x (k) j + b i Formalmente si avrebbe M = D + L e N = U, ovvero X (k+1) = (D+L) 1 UX (k) +(D+L) 1 B = C GS X (k) +Q GS Il metodo è detto di Gauss-Seidel. Se converge è più rapido di Jacobi.

18 METODI DI JACOBI E GAUSS-SEIDEL Teorema Se A è diagonalmente dominante, per righe o per colonne, il metodo di Jacobi è convergente, qualunque sia X (0) Dimostrazione: Limitatamente al caso in cui A è dominante per righe la dimostrazione è immediata considerato che C J = max 1 i n n j=1,j i a ij a ii max 1 i n 1 a ii n j=1,j i a ij 1 La dimostrazione per il caso in cui A è dominante per colonne viene omessa.

19 METODI DI JACOBI E GAUSS-SEIDEL Teorema Se A è diagonalmente dominante, il metodo di Gauss-Seidel è convergente, qualunque sia X (0) Corollario Il metodo di Jacobi converge se e solo se ρ(c J ) < 1; il metodo di Gauss-Seidel converge se e solo se ρ(c GS ) < 1. Teorema Se A è (simmetrica) definita positiva, il metodo di Gauss-Seidel è convergente, qualunque sia X (0)

20 METODO DI RILASSAMENTO (SOR) Il metodo (Successive Over Relaxation) usa la decomposizione M = D ω + L N = U D ω (1 ω) con ω parametro reale positivo. Dal punto di vista dell implementazione del processo iterativo, si costruisce un vettore v (k) i = 1 a ii i 1 j=1 a ij x (k+1) j n j=i+1 a ij x (k) j (che è quanto fornito da Gauss-Seidel) e quindi + b i x (k+1) i = ωv (k) i + (1 ω)x (k) i

21 METODO DI RILASSAMENTO (SOR) Poiché si può dimostrare che ρ(c ω ) 1 ω si ha che Lemma Il metodo di rilassamento con parametro ω può convergere solo se ω (0, 2). Teorema Se A è (simmetrica) definita positiva, la condizione 0 < ω < 2 è necessaria e sufficiente per la convergenza del metodo di rilassamento di parametro ω. Teorema Se A è definita positiva e tridiagonale, allora la velocità di convergenza è massima per ω = ω 0 con ω 0 = ρ(c 1 )

22 METODI DIRETTI: SISTEMI TRIANGOLARI Se la matrice è triangonale superiore e regolare u 11 x 1 + u 12 x u 1n x n = b 1 u 22 x u 2n x n = b =... u nn x n = b n l algoritmo di sostituzione all indietro x n = b n /u nn x i = (b i n k=i+1 u ik x k )/u ii i = n 1,..., 2, 1 con un totale di n 2 /2 operazioni. Un algoritmo analogo si ha per matrici triangolari inferiori.

23 METODI DIRETTI: GAUSS Consiste nel trasformare la matrice (e il vettore termini noti!!) fino ad ottenere una matrice tridiagonale superiore. Si parte dalla matrice completa ovvero [AB] = a 11 a a 1n b 1 a 21 a a 2n b a n1 a n2... a nn b n quindi si costruisce una serie di matrici complete [A (k) B (k) ], k = 2, 3,..., n, con [A (1) B (1) ] = [AB]. La matrice A (k+1) ha tutti gli elementi sottodiagonale nelle colonne da 1 a k nulli.

24 METODI DIRETTI: GAUSS Per questo si sottrae a tutte le righe dalla 2 in poi, la prima moltiplicata per m i1 = a (1) i1 /a(1) 11. Se a(1) 11 = 0 è sempre possibile invertire le righe fino ad avere un elemento non nullo sulla prima colonna. Si ha allora a (2) ij = a (1) ij m i1 a (1) 1j e b (2) i = b (1) i m i1 b (1) 1 Alla fine si ottiene la matrice [A (2) B (2) ] = a (1) 11 a(1) a(1) 1n 0 a (2) a(2) 2n b(1) 1 b(2) a (2) n2... a(2) nn b (2) n

25 METODI DIRETTI: GAUSS Questo si ripete sottraendo dalle righe dalla terza in poi, la seconda per m i2 = a (2) i2 /a22(2) e così fino ad ottenere una matrice triangolare superiore (e un nuovo vettore termini noti). [A (n) B (n) ] = a (1) 11 a(1) a(1) 1n 0 a (2) a(2) 2n b(1) 1 b(2) a (n) nn b (n) n Questo può essere risolto con l algoritmo dato. Il metodo di Gauss porta a soluzione se a (k) kk 0 ovvero se det A k 0 con A k sottomatrici principali di testa di A.

26 METODI DIRETTI: GAUSS Per matrici simmetriche definite positive non è necessario scambiare le righe (Criterio di Sylvester) Ci sono casi in cui lo scambio di righe (o colonne), detto pivoting parziale è necessario oppure è consigliabile (ad es. quanto a (k) kk numerica. è di piccolo modulo e si vuole garantire stabilità Generalmente è utile ad ogni passo eseguire il pivoting parziale scambiando le righe r ed s in modo che a (k) rk = max k s n a(k) sk

27 METODI DIRETTI: GAUSS Il pivoting totale consiste invece nel cercare r, q k tali che a (k) rq = max k s,p n a(k) sp e scambiare le righe di indici r e k e le colonne q e k. Per migliorare il condizionamento è utile l equilibratura del sistema, ovvero dividere ogni riga per la relativa norma A i. Si parla allora di pivoting scalato a (k) rk a r = max k s n a (k) sk a s a s = n i=1 a (k) si

28 METODI DIRETTI: GAUSS-JORDAN Una alternativa è il metodo di Gauss-Jordan in cui si annullano anche gli elementi nella parte sopra diagonale e si ottiene [Ã (n) B (n) ] = ã (1) b (1) 1 0 ã (2) b (2) ã (n) nn (n) b n Da notare: alla fine la A assume una forma diagonale e quindi è facile da invertire. Il punto debole è il numero di operazioni. Si ha infatti C G n3 3 + n2 2 C GJ n3 2 + n

29 METODI DIRETTI: DECOMPOSIZIONE LU Riguardando in modo diverso il metodo di Gauss, ci si accorge che esso conduce ad una fattorizzazione della matrice A in due matrici triangolari, la L con elementi tutti 1 sulla diagonale. Teorema Sia A una matrice di ordine n, tale che det A k 0, k = 1, 2,..., n; allora risulta A = LU dove L è una matrice di ordine n, triangolare inferiore con elementi diagonali uguali 1, e U è tridiagonale superiore di ordine n.

30 METODI DIRETTI: DECOMPOSIZIONE LU Ricordando le matrici trasformanti elementari, il passaggio dalla A (k) alla A (k+1) si ottiene come A (k+1) = E nk ( m nk )E n 1,k ( m n 1,k )..E k+1,k ( m k+1,k )A (k) e quindi, ponendo L k = k+1 i=n E ik( m ik ), in forma compatta si ha A (k+1) = L k A (k) Poiché U = A (n) allora si ha: U = L n 1 A (n 1) =.. = L n 1 L n 2..L 1 A (1) = L A con L = 1 k=n 1 L k. A questo punto, posto L = (L ) 1, la matrice A è rappresentabile nella forma A = LU.

31 METODI DIRETTI: DECOMPOSIZIONE LU Teorema Sia à una matrice regolare di ordine n; allora esiste una matrice di permutazione P tale che A = P à soddisfa le condizioni per l applicabilità del teorema precedente La fattorizzazione LU è molto vantaggiosa quando si deve risolvere lo stesso sistema con diverso termine noto. In tal caso infatti il problema è trasformato nella soluzione di due sistemi triangolari LUX = B LY = B, UX = Y È però interessante cercare formule compatte che consentano la fattorizzazione senza usare il processo di eliminazione.

32 FORMULE COMPATTE DI FATTORIZZAZIONE In totale L ed U hanno un numero di elementi non nulli pari a 2n(n + 1)/2 = n 2 + n. Se si fissano n di questi elementi, si possono trovare gli altri n 2 attraverso un corrispondente numero di equazioni. Nel metodo di Banachiewicz-Doolittle si fissano a 1 gli elementi sulla diagonale della L, ovvero l ii = 1 e di ricavano gli altri come segue: visto che L ed U sono triangolari, allora l ij = u ji = 0, 1 i < j n dalla definizione, per ogni 1 j < i n deve essere a ij = n k=1 l ik u kj = j 1 k=1 l ik u kj + l ij u jj

33 FORMULE COMPATTE DI FATTORIZZAZIONE Inoltre, poiché l jj = 1, per ogni 1 j < i n a ji = n k=1 l jk u ki = j 1 k=1 l jk u ki + u ji Da queste relazioni si ottengono dunque le due formule da utilizzare per 1 j < i n u ji = a ji j 1 k=1 l jk u ki l ij = a ij j 1 k=1 l ik u kj /u jj Il procedimento di calcolo parte assumendo j = 1 nella prima e spazzando tutte le i, costruendo così tutta la prima riga di U. Poi si usa la seconda, sempre per j = 1, per trovare tutti gli elementi della prima colonna di L,...

34 FORMULE COMPATTE DI FATTORIZZAZIONE Se A è definita positiva (ed Hermitiana), si dimostra che può essere espressa come prodotto di due matrici una trasposta dell altra A = LL H, con L triangolare inferiore. Gli elementi di L sono dati da: l ij = l jj = ( a ij ) j 1 k=1 l ikl jk /l jj n i > j 1 a jj j 1 k=1 l2 jk Questo è noto come metodo di Cholesky. Il numero di operazioni per questi due metodi è: C BD n3 3 + n2 C Ch n3 6 + n2

35 CALCOLO DELL INVERSA Se X 1, X 2,.., X n sono i vettori colonna della matrice A 1, la condizione AA 1 = I si traduce nella soluzione di n sistemi lineari AX i = E i con E i vettore colonna con tutti gli elementi nulli tranne che l elemento nella posizione i che vale 1. In questo caso, effettuata una decomposizione LU, si tratta di risolvere i due sistemi triangolari variando solo il termine noto.

36 SISTEMI SOVRADETERMINATI Esistono problemi con numero di equazioni superiore alle incognite. Questo succede nell interpolazione ai minimi quadrati (esempio, far passare una retta attraverso 5 punti). La soluzione che si cerca è quella che minimizza il residuo. Generalmente si minimizza il residuo in norma 2. Dato il sistema AX = B, con m > n, il quadrato della norma 2 del residuo si scrive R 2 2 = m i=1 n k=1 2 a ik x k b i

37 SISTEMI SOVRADETERMINATI Per ottenere il minino debbono intanto essere nulle le derivate parziali rispetto a tutte le variabili x r, ovvero R 2 2 x r = 2 m = 2 = 2 i=1 m n k=1 n i=1 k=1 n a ik x k b i a ir a ik a ir x k m m x k k=1 i=1 i=1 a ik a ir x k m a ir b i i=1 a ir b i Si verifica che h kr = m i=1 a ik a ir è elemento della A T A, e così il termine m i=1 a ir b i è elemento del vettore A T B.

38 SISTEMI SOVRADETERMINATI Il problema è ridotto al sistema (quadrato) A T AX = B Teorema Se A ha rango n, esiste un solo vettore X che minimizza il residuo in norma 2, ed è dato dalla soluzione del sistema A T AX = B. Si verifica poi che le derivate seconde sono positive, e questo garantisce che il punto è di minimo.

39 MATRICI TRIDIAGONALI - ALGORITMO DI THOMAS Se A ha una struttura tridiagonale, [A] = d 1 s a 2 d 2 s a 3 d 3 s a n d n posto u 1 = d 1, v i = s i i = 1, 2,..., n 1 α i = a i /u i 1 i = 2, 3,..., n, u i = d i α i v i 1 i = 2, 3,..., n

40 MATRICI TRIDIAGONALI - ALGORITMO DI THOMAS la soluzione è ridotta a due sistemi triangolari: y 1 = b 1 α 2 y 1 +y 2 = b 2... =... α n y n 1 +y n = b n u 1 x 1 +v 1 x 2 = y 1 u 2 x 2 +v 2 x 3 = y 2... =... u n x n = y n ottenendo quindi la fattorizzazione in 2n 2 operazioni e la soluzione con altre 3n 2.

41 MATRICI TRIDIAGONALI - ALGORITMO DI THOMAS Una volta calcolati i coefficienti u i, v i, α i la soluzione si ottiene come segue: y 1 = b 1 y i = b i α i y i 1 i = 2, 3,.., n x n = y n /u n x i = (y i v i x i+1 )/u i i = n 1,..., 1