Modelli Matematici e Calcolo Numerico

Transcript

1 Modelli Matematici e Calcolo Numerico Calcolo Numerico Massimiliano Martinelli martinelli@imati.cnr.it Università di Pavia Facoltà di Ingegneria 30 Settembre - 14 Ottobre 2010

2 Obiettivi del corso Esempi Introduzione agli strumenti di base e ai metodi numerici per la soluzione di equazioni differenziali ordinarie ed alle derivate parziali che intervengono nei modelli utilizzati in ingegneria ambientale Trasporto di sostanze inquinanti Simulazioni oceanografiche Previsioni meteorologiche... Si descriveranno (alcuni) metodi numerici per la soluzione di: Sistemi lineari Sistemi non-lineari Differenziazione e Integrazione numerica Equazioni differenziali ordinarie Equazioni alle derivate parziali

3 Animazione 1 Animazione 2 Animazione 3

4 Libri consigliati A. Quarteroni, F. Saleri, Calcolo Scientifico, Springer (libro più facile, con esempi Matlab e/o Octave) A. Quarteroni, R. Sacco, F. Saleri, Matematica Numerica, Springer (libro più completo, ma difficile) Altri libri per la consultazione W.H. Press, S.A. Teukolsky, W.T. Vetterling, B.P. Flannery, Numerical Recipes: The Art of Scientific Computing, Third Edition, Cambridge University Press, Y. Saad, Iterative Methods for Sparse Linear Systems, SIAM, J.W. Thomas, Numerical Partial Differential Equations: Finite Difference Methods, Springer A. Quarteroni, Modellistica numerica per problemi differenziali, Springer

5 Errori nei modelli computazionali Problema fisico: x ph e m e Modello matematico: F(x,d) = 0 e c Soluzione calcolata: ˆx n e n e a Problema discretizzato: F n (x n,d n ) = 0 e m errore del modello matematico e c errore del modello computazionale e n errore di discretizzazione e a errore dovuto dall algoritmo

6 Operazioni in virgola mobile Ogni x R tale che x min x x max viene convertito in virgola mobile fl( ): R F, dove fl(x) = x(1+δ) con δ u = 1 2 β 1 t = ε M 2 u = precisione macchina (o unita di arrotondamento) Ogni operazione aritmetica : R R R viene sostituita con : R R F x y = fl(fl(x) fl(y)) Utilizzando la cifra di arrotondamento, è verificata la proprietà seguente: x,y R δ R t.c. x y = (x y)(1+δ) con δ u Nel caso in cui = + (somma), si ha che l errore relativo x y (x+y) x+y u(1+u) x + y x+y + u

7 Operazioni in virgola mobile Domanda 1: Utilizzando : R R F invece di +: R R R, valgono le stesse proprietà? Commutatività: x y =? y x Associatività: (x y) z =? x (y z) Domanda 2: L operazione di somma : R R F è sempre caratterizzata da un piccolo errore relativo?

8 Costo computazionale Quantità di memoria occupata Tempo di calcolo (può essere stimato in base al numero di operazioni elementari: +,,, ) Complessità algoritmica Problema di dimensione n Stima del costo computazionale c(n) espressa con la notazione di Landau O( ) (O-grande) c(n) O(f(n)) per n + n 0, M > 0 t.c. c(n) < M f(n) n > n 0 equivalente a lim sup c(n) f(n) < + Domanda: n + Dato un algoritmo poco costoso in tempo e uno poco costoso in memoria, quale scegliereste?

9 Costo di alcune operazioni tipiche in algebra lineare Prodotto vettore-vettore O(n) Prodotto matrice-vettore O(n 2 ) Prodotto matrice-matrice O(n 3 ) Determinante (formula di Leibnitz) det(a) = sgn(σ) σ S n n a i,σ(i) i=1 dove σ è una permutazione dell insieme {1,...,n} e S n l insieme di tutte le permutazioni dell insieme {1,...,n} +/ n! (n 1)n! O(nn!)

10 Risoluzione di sistemi lineari Dove intervengono Soluzione numerica di una EDP = soluzione di (almeno) un sistema lineare Soluzione di problemi non lineari spesso ricondotta alla risoluzione di una sequenza di sistemi lineari (linearizzazione) Derivate di funzionali vincolati,... La soluzione del sistema lineare è spesso la parte più costosa del calcolo Necessità di avere a disposizione algoritmi accurati, efficienti e robusti

11 Risoluzione di sistemi lineari Il problema Data una matrice A K n,n (dove K = {R,C}) e un vettore b K n, trovare x K n tale che Ax = b Approccio matematico classico (metodo di Cramer) Se det(a) 0 allora x = A 1 b, dove A 1 = 1 det(a) CT, con C ij = ( 1) i+j M ij M ij è il (i,j)-esimo minore di A Stima del costo: c(n) O(n 2 n!) (per i metodi numerici invece: c(n) O(n 3 )) Esempio: n = 20 e t 10 9 s metodo di Cramer: 309 secoli metodi numerici: s Per i problemi reali si arriva anche a n =

12 Autovalori e autovettori Se Ax = λ x con x 0 λ è un autovalore e x è un autovettore L insieme degli autovalori di A è chiamato spettro di A e verrà denotato con σ(a) Gli autovalori sono le soluzioni dell equazione caratteristica p A (λ) = det(a λ I) = 0 dove p A (λ) è chiamato polinomio caratteristico det(a) = n i=1 λ i e tr(a) = n λ i i=1 ρ(a) = max λ è chiamato raggio spettrale di A λ σ(a) Se A è triangolare i suoi autovalori sono gli elementi sulla diagonale

13 Decomposizione ai valori singolari (Singular Value Decomposition, SVD) Sia A C m n. Esistono allora due matrici unitarie U C m m e V C n n tali che U H AV = Σ = diag(σ 1,...,σ p ) con p = min(m,n) e σ 1... σ p 0. I numeri σ i sono chiamati valori singolari di A.

14 Definizione di prodotto scalare Un prodotto scalare su uno spazio vettoriale V definito su un campo K è un applicazione, : V V K che soddisfa le seguenti proprietà: 1 è lineare rispetto ai vettori di V, cioè: γx+λ z,y = γ x,y +λ z,y, x,y,z V, γ,λ K 2 è hermitiana, cioè x,y = y,x, x,y V 3 è definita positiva, cioè: x,x 0 e x,x = 0 se e solo se x = 0

15 Definizione di norma Sia V uno spazio vettoriale su un campo K. Diremo che l applicazione : V K è una norma su V se sono verificate le seguenti proprietà 1 v 0 v V e v = 0 se e solo se v = 0 2 αv = α v α K, v V 3 v+w v + w v,w V (disuguaglianza triangolare) Esempi di norme ( x R n) p-norme: ( n x p = x i p) 1 p i=1 1 p < norma del massimo (o norma infinito) x = max 1 i n x i

16 Disuguaglianza di Cauchy-Schwarz Per ogni coppia x,y R n si ha x,y = x T y x 2 y 2 Disuguaglianza di Hölder Per ogni coppia x,y R n si ha x,y x p y q, con 1 p + 1 q = 1 Equivalenza fra norme Due norme p e q su V sono equivalenti se esistono due costanti positive c pq e C pq tali che c pq x q x p C pq x q x V In uno spazio normato di dimensione finita, tutte le norme sono equivalenti

17 Norme di matrici Norma di Frobenius (o norma Euclidea) A F = n Norma naturale (o norma indotta) i,j=1 a ij 2 = tr(aa H ) Ax p A p = sup x 0 x p m A 1 = max a ij j=1,...,n i=1 n A = max a ij i=1,...,m j=1 se A è reale e simmetrica, allora A 2 = ρ(a)

18 Stime per 2 max i,j a ij A 2 nmax a ij i,j 1 n A A 2 n A 1 n A 1 A 2 n A 1 A 2 A 1 A Norme naturali: proprietà 1 Ax p A p x p 2 I p = 1 3 AB p A p B p 4 ρ(a) A p

19 Norme consistenti Una norma di matrice si dice consistente con una norma di vettore se Ax A x x R n Le norme naturali sono norme consistenti Sia una norma consistente. Allora ρ(a) A Sia ε > 0. Allora esiste una norma consistente A,ε tale che A A,ε ρ(a)+ε ρ(a) = inf A Potenze di matrici: convergenza lim k Ak = 0 ρ(a) < 1

20 Condizionamento e stabilità Numero di condizionamento K p (A) = A p A 1 p Ax p dove A p = sup. Si noti che K p (A) 1. x 0 x p Analisi a priori Come reagisce la soluzione esatta di un sistema lineare Ax = b al variare dei dati? Perturbazione di b: A(x+δx) = b+δb 1 δb p δx p K p (A) δb p K p (A) b p x p b p Perturbazione di A: (A+δA)(x+δx) = b δx p x p K p (A) 1 K p (A) δa p / A p δa p A p

21 Condizionamento e stabilità K p (A) 1 le perturbazioni sui dati non influenzano eccessivamente i risultati sistema ben condizionato Nella risoluzione numerica di una EDP il tipo di matrice che si ottiene dipende: dal problema dal metodo di discretizzazione usato dalla qualità della griglia di calcolo Precondizionamento Invece del sistema Ax = b si risolve il sistema equivalente PAx = Pb dove la matrice PA è ben condizionata: K p (PA) K p (A). Minore propagazione degli errori di arrotondamento Aumento della velocità di convergenza dei metodi di risoluzione iterativi

22 Condizionamento e stabilità Stabilità di un algoritmo Si tratta di sapere quanto la soluzione di un sistem lineare ottenuta con un dato algoritmo è sensibile a piccoli errori sui dati A e b. Un algoritmo è detto stabile se non amplifica eccessivamente le perturbazioni sui dati Due nozioni complementari: condizionamento di una matrice, che esprime la sensibilità della soluzione esatta agli errori di arrotondamento stabilità di un algoritmo, che è legata all amplificazione degli errori dovuta all agoritmo di risoluzione usato per una buona risoluzione di un sistema lineare bisogna avere una matrice non troppo mal condizionata e un algoritmo sifficientemente stabile

23 Metodi di risoluzione Classificazione METODI DIRETTI: in assenza di errori di arrotondamento, danno la soluzione esatta in un numero finito di operazioni METODI ITERATIVI: la soluzione è ottenuta come limite di una successione METODI MISTI

24 Fattorizzazione LU ed eliminazione gaussiana Fattorizzazione LU Considerare la matrice del sistema lineare Ax = b come prodotto di due matrici A = LU dove L è triangolare inferiore: L ij = 0 per j > i (L =lower) U è triangolare superiore: U ij = 0 per i > j (U =upper) La soluzione del sistema Ax = b è ottenuta risolvendo due sistemi triangolari 1 Ly = b 2 Ux = y Vantaggio L inversione di una matrice triangolare è facile e poco costosa: O(n 2 )

25 Soluzione di sistemi triangolari Matrici triangolari inferiori (Lx = b) : sostituzione in avanti x 1 = b 1 l 11 x i = 1 i 1 ) (b i l ij x j l ii j=1 i = 2,...,n Matrici triangolari superiori (Ux = b): sostituzione all indietro x n = b n u nn x i = 1 u ii (b i n j=i+1 u ij x j ) i = n 1,...,1 Costo computazionale: +/ n(n 1) 2 n(n 1) 2 n O(n 2 )

26 Eliminazione gaussiana Algoritmo che permette di ridurre il sistema Ax = b in un sistema equivalente Ux = ˆb, dove U è una matrice triangolare superiore. Sia A (1) = A, b (1) = b e supponiamo che a (1) 11 0 Introduciamo i moltiplicatori m i1 = a(1) i1 (i = 2,3,...,n) a (1) 11 Sottraendo dalla riga i la prima riga moltiplicata per m i1 si ha il sistema equivalente A (2) x = b (2), dove a (1) 11 a (1) a (1) 1n A (2) 0 a (2) = a (2) 2n... 0 a (2) n2... a (2) nn Ripetere il procedimento per le righe i = 2,3,...,n b (1) 1 e b (2) b (2) = 2.. b (2) n

27 Eliminazione di Gaussiana All ultima iterazione abbiamo a (1) 11 a (1) a (1) 1n b (1) 0 a (2) 22 a (2) 1 2n b (2)..... x = a (n) nn b (n) n Ricapitolando, per k = 1,2,...,n m ik = a(k) ik a (k) kk a (k+1) ij b (k+1) i = a (k) ij m ik a (k) kj = b (k) i m ik b (k) k i = k+1,...,n i,j = k+1,...,n i = k+1,...,n

28 Eliminazione gaussiana Costo computazionale Per k = 1,2,...,n m ik = a(k) ik a (k) kk a (k+1) ij b (k+1) i = a (k) ij m ik a (k) kj = b (k) i m ik b (k) k i = k+1,...,n i,j = k+1,...,n i = k+1,...,n + 0 n(n+1)(n 1) 3 n(n+1)(n 1) 3 n(n 1) 2 O(n 3 )

29 Eliminazione gaussiana Pivoting L eliminazione gaussiana può essere usata solo se a (k) kk 0 (pivot) Se a (k) kk Se a (k) jk = 0 si permuta la riga k con un altra riga j (k < j n) dove a(k) jk 0 = 0 (k j n) allora la matrice A è singolare Corollario: l eliminazione gaussiana associata a una strategia di pivot è sempre possibile per una matrice non singolare Alcune matrici per cui l eliminazione gaussiana può essere applicata senza pivoting sono: Matrici a diagonale dominante per righe (matrici per cui a ii a ij con j=1,j i i = 1,...,n) Matrici a diagonale dominante per colonne (matrici per cui a ii a ji con j=1,j i i = 1,...,n) Matrici simmetriche e definite positive

30 Eliminazione gaussiana e fattorizzazione LU Equivalenza tra l eliminazione gaussiana la fattorizzazione LU Sia N (i,j) la matrice con elementi nulli tranne l elemento nella posizione (i,j) pari a 1 N (i,j) N (r,s) 0 j = r Sommare alla i-esima riga α-volte la riga j, equivale a moltiplicare a sinistra per la matrice I + αn (i,j) Eliminazione degli elementi sotto (a (k) kk ) (I m k+1,k N (k+1,k) )(I m k+2,k N (k+2,k) )...(I m n,k N (n,k) )A (k) = (I n i=k+1 m i,k N (i,k) )A (k) = M k A (k) = A (k+1) In definitiva si ha: M n 1 M n 2...M 1 A = MA = U

31 Eliminazione gaussiana e fattorizzazione LU m M 1 = M 2 =... m m n m n m M 2 M 1 =. m m n1 m n

32 Eliminazione gaussiana e fattorizzazione LU Poiché A = M 1 U si ha m M =.. m m n1 m n2... m n,n m M 1 = 2I M =.. m m n1 m n2... m n,n 1 1 L = M 1

33 ...ancora riguardo al pivoting P k = Matrice di permutazione tra la riga k e la riga i k k (P k ) 1 = (P k ) T = P k Applicazione di P k prima di A (k) M 1 non è più triangolare inferiore Introducendo P = P n 1...P 1 si ha M n 1 P n 1 M n 2 P n 2...M 1 P 1 A = MA = U PA = (PM 1 )U dove (PM 1 ) è triangolare inferiore poniamo L = PM 1 L e U sono calcolate con l eliminazione gaussiana partendo da PA Una volta ottenuto P, L e U si risolvono 1 Ly = Pb 2 Ux = y

34 Algoritmo di Doolittle (Fattorizzazione compatta) La fattorizzazione LU equivale a trovare i coefficienti l ir e u rj che soddisfano min(i,j) a ij = r=1 l ir u rj Supponiamo che le prime k 1 colonne di L e U siano disponibili e l kk = 1. Allora k 1 a kj = l kr u rj + u kj j = k,...,n a ik = r=1 k 1 r=1 l ir u rk + l ik u kk Riordinando i termini, per k = 1,...,n k 1 u kj = a kj l kr u rj r=1 l ik = 1 ( k 1 ) a ik u kk l ir u rk r=1 i = k+1,...,n j = k,...,n i = k+1,...,n

35 Fattorizzazione di Cholesky Sia A R n n una matrice simmetrica e definita positiva. Allora esiste un unica matrice triangolare superiore H con elementi sulla diagonale strettamente positivi tale che A = H T H Gli elementi h ij di H possono essere calcolati con il seguente algoritmo: h 11 = a 11 e, per i = 2,...,n h ij = 1 j 1 ) (a ij h ik h jk h jj ( h ii = a ii k=1 i 1 ) 1/2 h 2 ik k=1 j = 1,...,i 1

36 Raffinamento successivo della soluzione Supponiamo di avere una soluzione approssimata x del sistema Ax = b Sia z = x x la differenza tra la soluzione esatta (sconosciuta) e quella approssimata. Sia r = b A x il residuo Con le quantità appena introdotte abbiamo Az = r Si può definire dunque l algoritmo r (k) = b A x (k) Az (k) = r (k) x (k+1) = x (k) + z (k) lim k x(k) = x La fattorizzazione LU viene eseguita una volta sola

37 Matrici sparse Introduzione Una matrice A R n n è ritenuta sparsa se ha un numero di elementi non nulli dell ordine di O(n) (invece che O(n 2 )) Soluzione di EDP mediante differenze finite, elementi finiti e volumi finiti matrici sparse di grandi dimensioni Sono stati definiti metodi diretti efficienti per matrici sparse con struttura particolare (matrice a banda, tridiagonale, a blocchi, ecc.) In generale, il processo di fattorizzazione non conserva la sparsità (fenomeno del fill-in) alto costo in termini di memoria necessaria Utilizzo di algoritmi di riordinamento (Cuthill-McKee, Reverse Cuthill-McKee, etc.) Per matrici sparse non strutturate di grande dimensione, i metodi iterativi sono spesso utilizzati come alternativa ai metodi diretti

38 Matrici tridiagonali: algoritmo di Thomas a 1 c 1 0. A = b 2 a cn 1 0 b n a n 1 0 α 1 c 1 0 β 2 1. L = U = α cn 1 0 β n 1 0 α n Dove α 1 = a 1 e, per i = 2,...,n β i = b i a i 1 α i = a i β i c i 1 Costo computazionale: +/ n 1 n 1 n 1 O(n)

39 Algoritmo di Thomas per Ax = f (A tridiagonale) Dobbiamo risolvere Ly = f e Ux = y con 1 0 α 1 c 1 0 β 2 1. L = U = α cn 1 0 β n 1 0 α n 1 Ly = f Sostituzione in avanti: 2 Ux = y Sostituzione all indietro: y 1 = f 1, y i = f i β i y i 1 i = 2,...,n y n = y n α n, x i = (y i c i x i+1 )/α i i = n 1,...,1 Costo computazionale: +/ 2(n 1) 2(n 1) n O(n)