Metodi numerici per zeri di funzioni

Transcript

1 CALCOLO NUMERICO Francesca Mazzia Dipartimento Interuniversitario di Matematica Università di Bari Metodi numerici per zeri di funzioni 1

2 Metodo delle successive bisezioni Se f(x) C([a, b]) ed f(a) f(b) < 0, per il teorema di Bolzano, esiste almeno uno zero reale α contenuto nell intervallo [a, b]. Supponiamo che α sia l unico zero contenuto nell intervallo [a, b]. Posto a 0 = a, b 0 = b, risulta f(a 0 ) f(b 0 ) < 0; si considera come prima stima di α il punto medio dell intervallo, ovvero c 0 = a 0 + b 0. 2 Si calcola poi il valore che la funzione assume in tale punto: se f(c 0 ) = 0 abbiamo trovato la soluzione, se f(c 0 ) 0: f(a 0 ) f(c 0 ) < 0 = lo zero cade in [a 0, c 0 [ e si definisce come nuovo intervallo [a 1, b 1 ] = [a 0, c 0 ]. f(c 0 ) f(b 0 ) < 0 = lo zero cade in [c 0, b 0 [ e si considera come nuovo intervallo [a 1, b 1 ] = [c 0, b 0 ]. 2

3 A questo punto si analizza nuovamente il comportamento della funzione nel punto medio c 1 = a 1 + b 1 2 assunto come nuova approssimazione dello zero, ed il processo si ripete. La procedura definita dal metodo delle bisezioni determina una sequenza di intervalli ciascuno dei quali è contenuto nel precedente [a n, b n ] [a n 1, b n 1 ]... [a 1, b 1 ] [a 0, b 0 ]; il generico intervallo ha ampiezza pari alla metà di quella dell intervallo precedentemente determinato e contiene lo zero α di f(x). Generalizzando, la procedura costruisce la successione dei punti medi c n = a n 1 + b n 1 n 1 2 e se f(c n ) 0, definisce i nuovi intervalli nel modo seguente [a n, b n ] = { [cn, b n 1 ] se f(c n ) f(b n 1 ) < 0 [a n 1, c n ] se f(a n 1 ) f(c n ) < 0. 3

4 Convergenza del metodo Il metodo delle bisezioni fornisce sempre uno zero α di f in [a, b], quindi risulta essere sempre convergente. Per questo viene detto globalmente convergente. Definiamo e n = c n α allora quindi e n b a 2 n+1 lim n c n = α e l errore viene dimezzato ad ogni iterata. In particolare applicando il metodo al calcolo degli zeri di una data funzione, si può osservare che ad ogni iterata si guadagna una cifra binaria e quindi dopo 3.3 iterate circa si guadagnerà una cifra decimale esatta, essendo 3.3 log

5 Criteri di arresto e stime dell errore Pur essendo comunque convergente è necessario definire dei criteri di arresto che interrompano il succedersi delle iterazioni nel momento in cui è stata raggiunta una stima buona dello zero. Cioè quando l errore relativo scende al di sotto di una certa tolleranza ε: E v = c n α α < ε. Possiamo considerare la successione degli estremi dell intervallo definiti ad ogni passo e imporre che l ampiezza di quest ultimo sia sufficientemente piccola: b n a n = b a 2 n < ε. sicuramente verificata se n > log 2 ( b a ε Essa garantisce che α sia approssimata da c n con un errore assoluto minore in modulo di ε. ). 5

6 Nell ipotesi che c = 0 non appartenga ad [a, b] un altro criterio di arresto potrebbe essere b n a n min( a n, b n ) < ε il quale garantisce che la soluzione α sia approssimata da c n con un errore relativo minore in modulo di ε. Un altro possibile criterio di terminazione è f(c n ) < ε.

7 La costante ε non deve essere scelta troppo piccola perchè a causa degli errori di arrotondamento l ultima condizione di arresto potrebbe non essere mai soddisfatta. Ad esempio può accadere che al passo n-esimo a n e b n siano così vicini da far risultare mentre c n+1 = a n = b n Ne segue che f(c n+1 ) = ε 2 > ε ε 2 > 0. e quindi c n+1 = c n+2 = c n+3 = f(c n+2 ) = f(c n+3 ) = ε 2 ed il processo non avrà mai termine. Per prevenire questa possibilità si può controllare ad ogni passo che c n a n e c n b n ; È quindi importante specificare anche un numero massimo di iterate per il procedimento iterativo. 6

8 Vantaggi e svantaggi Il metodo delle bisezioni ha bisogno per poter essere implementato di due punti in cui la funzione assume segno opposto, che definiscano l intervallo iniziale. Una volta localizzato tale intervallo di osservazione, non importa quanto sia ampio, le iterazioni procedono fino a convergere allo zero α della funzione. La convergenza globale è sicuramente uno dei vantaggi forniti dal metodo. Tuttavia esso non può essere sempre applicato come accade ad esempio per il calcolo di zeri di funzioni positive come f(x) = x 2 che non verificano le ipotesi su cui si fonda. A volte invece, pur verificandole, la funzione studiata presenta più zeri all interno dell intervallo iniziale. In tale situazione per ciascuno zero è necessario individuare un intervallo diverso, talvolta di non facile localizzazione perchè di ampiezza piuttosto piccola. Per risolvere questo problema intervengono i metodi cosiddetti localmente convergenti che per poter essere implementati hanno però bisogno di una stima iniziale prossima allo zero. 7

9 Il polinomio di TAYLOR Sia f(x) una funzione data e assumiamo che sia derivabile in un intervallo [a, b] con n + 1 derivate continue, n 0. Allora, dati x e x 0 [a, b], f(x) = p n (x) + R n+1 (x) p n (x) = f(x 0 ) + (x x 0) 1! f (x 0 ) + + (x x 0) n f (n) (x 0 ) n! R n+1 (x) = 1 n! x x 0 (x t) n f (n+1) (t)dt = (x x 0 ) n+1 f (n+1) (ξ) (n + 1)! ξ compreso fra x 0 e x. 8

10 Metodi iterativi Un metodo iterativo genera, a partire da un punto iniziale x 0, una successione di punti x n definita da x n+1 = φ(x n ) la funzione φ è detta funzione iteratrice ed è continua. Se questo procedimento converge verso un punto α allora deve essere α = φ(α). Infatti: α = lim x n n+1 = lim φ(x n n ) e per la continuità della funzione φ: α = lim φ(x n n ) = φ( lim x n n ) = φ(α). Se siamo interessati a cercare uno zero α della equazione f(x) = 0, nella costruzione della funzione iteratrice φ(x) dobbiamo fare in modo che α = φ(α), in tal caso α è detto punto fisso di φ. I procedimenti iterativi hanno una interessante interpretazione grafica. 9

11 5 4 y=x 3 o o o o o o 2 o o 1 0 x0 x1 x x n+1 = φ(x n ) (2x n + 5) 1/3 Si disegna in un piano cartesiano la bisettrice del primo e terzo quadrante e la curva y = φ(x). Partendo dal punto iniziale x 0 sull asse orizzontale, si traccia la verticale fino ad incontrare la curva. Da questo punto si

12 traccia la parallela all asse x fino ad incontrare la bisettrice. L ascissa del punto di intersezione è il nuovo punto x 1. Ripetendo la costruzione si ottengono gli altri punti.

13 Se l equazione da risolvere è non lineare, allora i procedimenti iterativi possono diventare indispensabili, sia perché i metodi diretti possono essere costosi, sia perché, molto spesso, i metodi diretti non esistono. Il seguente teorema descrive una condizione sulla funzione iteratrice φ che garantisce la convergenza locale della successione. Per poter usare questo teorema è necessaria una conoscenza approssimata sulla localizzazione dello zero. 10

14 Teorema di contrazione o del punto fisso. Sia x n+1 = φ(x n ) un procedimento iterativo tale che α = φ(α) e con φ(x) derivabile e con derivata prima continua in un intorno I 0 di α. Se φ (α) < λ < 1, partendo da un opportuno intorno di α, il procedimento converge ad α. Dim. Per la continuità di φ (x) in I 0, esiste un altro intorno dello zero, contenuto in I 0, che indicheremo con I, in cui φ (x) < λ < 1. Supponendo che x 0 I, si ha x 1 α = φ(x 0 ) φ(α) = φ (ξ) x 0 α con ξ I. Essendo φ (x) < λ < 1, si ha che x 1 I. Allo stesso modo si dimostra che tutti i successivi punti sono in I. Inoltre si ha x n α = φ(x n 1 ) φ(α) < λ x n 1 α <... < λ n x 0 α e quindi lim n x n+1 α = lim λ n x n 0 α = 0 e il metodo converge. 11

15 Calcoliamo la radice positiva di f(x) x 3 2x 5. Poichè f(1.5) < 0, ed f(2.5) > 0, la radice deve trovarsi nell intervallo (1.5, 2.5). La funzione iteratrice più immediata φ(x) = 0.5 (x 3 5), che definisce il procedimento iterativo: x n+1 = 0.5 (x 3 n 5), nell intervallo (1.5, 2.5) è sempre φ (x) > 1 e quindi non è soddisfatta l ipotesi del teorema precedente. La funzione iteratrice φ(x) = (2x n + 5) 1/3, che definisce il procedimento iterativo: x n+1 = (2x n + 5) 1/3, invece soddisfa l ipotesi del teorema essendo, nell intervallo considerato, 1/6 < φ (x) < Il procedimento è quindi convergente. 12

16 Dopo aver trovato uno o più procedimenti iterativi convergenti, è necessario ancora distinguere tra questi in base ad altri criteri. Il principale di tali criteri è la rapidità con cui la successione delle iterate converge. È possibile definire un opportuno parametro che effettua questa distinzione. Questo parametro è l ordine di convergenza. e n = x n α errore al passo n-simo Sia x 0, x 1,..., la successione ottenuta mediante il metodo iterativo x n = φ(x n 1 ). Essa converge con ordine p 1 se esiste c > 0 tale che definitivamente e n+1 c e n p. Nel caso p = 1 la convergenza si dice lineare; in tal caso c deve essere strettamente minore di 1. Se p = 2 la convergenza si dice quadratica. 13

17 Se la funzione φ è sufficientemente regolare in un intorno del punto fisso α, l ordine di convergenza p è legato al valore delle derivate successive della φ. Teorema. Sia φ(x) derivabile p volte in un intorno di α con derivata p-esima continua. Allora la successione generata da φ ha ordine di convergenza p se e solo se risulta φ (α) = φ (α) = = φ (p 1) (α) = 0, e φ (p) (α) 0. Dimostrazione. È sufficiente considerare lo sviluppo della serie di Taylor di φ in un intorno del punto fisso α, arrestato all ordine p: φ(x) = φ(α) + φ (α)(x α) φ (p 1) (α) (p 1)! (x α)p 1 + φ(p) (ξ) (x α) p p! con ξ un opportuno punto tra x ed α. Si ha che e n+1 = x n+1 α = φ(x n ) φ(α) = φ (p) (ξ) (x n α) p, da cui la tesi. p! 14

18 Come conseguenza osserviamo che se φ (α) 0, la convergenza del metodo è lineare, mentre se φ (α) = 0, la convergenza è almeno quadratica o superlineare. Un esempio classico di un metodo di ordine p = 2 è il metodo di Newton (o Newton-Rhapson).

19 Il Metodo di Newton Supponiamo che la funzione f(x) abbia derivata non nulla; la funzione iteratrice φ(x) = x f(x)/f (x) definisce il procedimento iterativo x n+1 = x n f(x n) f (x n ) detto metodo di Newton. Negli zeri di f(x) in cui f (x) é diversa da zero, la derivata prima di φ(x) si annulla. Infatti, φ (x) = 1 (f (x) 2 f(x)f (x))/f (x) 2 e nel punto α, in cui f(α) = 0, si ha φ (α) = 0. Ciò significa che in un opportuno intorno dello zero la convergenza del metodo è superlineare. Il metodo di Newton, quando la funzione f(x) ha derivata prima non nulla e derivata seconda continua in un intorno dello zero, ha ordine 2. Infatti si ha x n+1 α = φ(x n ) φ(α) = = φ (α)(x n α) φ (ξ n )(x n α) 2, 15

20 con ξ n un opportuno punto tra lo zero ed x n, da cui, essendo φ (α) = 0, si ha: e n+1 = 1 2 φ (ξ n ) e n 2. Se si pone c = (1/2) max ξ φ (ξ) (1/2) max ξ f (ξ)/f (ξ), si ottiene che p = 2. Il metodo di Newton ha una interessante interpretazione geometrica. Sia y = f(x) la curva definita dalla funzione di cui si vuol trovare uno zero. Gli zeri sono le intersezioni della curva con l asse x. Sia x 0 il punto iniziale, a cui corrisponde sulla curva il punto (x 0, f(x 0 )). La retta tangente alla curva passante per tale punto ha equazione: y = f(x 0 ) + f (x 0 )(x x 0 ). Essa interseca l asse x nel punto x 1 dato da: x 1 = x 0 f(x 0) f (x 0 )

21 che è proprio il primo punto ottenuto dal metodo di Newton. Per questo motivo il metodo di Newton è anche chiamato metodo delle tangenti.

22 o o 0 o o o o x2 o x1 o x Metodo di Newton

23 Criteri di stop x n+1 α = φ(x n ) φ(α) = φ (ξ)(x n α), con ξ un punto compreso fra x n e α, si ha: da cui si ha: x n+1 x n = (φ (ξ) 1)(x n α), α x n α = x n+1 x n α(φ (ξ) 1) = 1 α(φ (ξ) 1) x n+1 x n 1 x n+1 x n (φ (ξ) 1) min( x n, x n+1 ). Nell ottenere l ultima espressione si è tenuto conto che quando il procedimento converge, i punti x n sono molto vicini allo zero. Se si conosce una maggiorazione K < 1 del modulo di φ (x) in un intorno di α, cioè se esiste r > 0 tale che x ]α r, α + r[ : φ (x) K < 1 16

24 allora è possibile arrestare la procedura quando 1 (1 K) x n+1 x n min( x n, x n+1 ) < ɛ. Uno studio a priori di φ (x) in un intorno di α non è sempre possibile, o comunque può risultare complesso. Si utilizza in tali casi la condizione più semplice: x n+1 x n min( x n, x n+1 ) < ɛ. Essa non rappresenta bene l errore relativo quando φ (x) è vicino ad uno nell intorno dello zero. Per i metodi superlineari (come il metodo di Newton) va invece molto bene. Un altro criterio è quello di arrestare il procedimento quando: f(x n ) < ɛ. Essendo f(x n ) = f (ξ)(x n α), con ξ (α, x n ), si ha: α x n α = f(x n ) αf (ξ) da cui si deduce che il test è valido se αf (ξ) non è troppo grande o troppo piccolo.

25 Metodi quasi-newtoniani Uno dei problemi del metodo di Newton è che richiede il calcolo della derivata prima di f a ogni iterazione. Questo può essere un problema quando La derivata può essere costosa. La funzione f può essere data con una formula complessa, e quindi è difficile da calcolare. La funzione f si conosce solo come risulatao di un lungo calcolo numerica e una formula per la derivata non è disponibile. Un modo per risolvere questo problema è considerare il seguente procedimento iterativo x n+1 = x n f(x n) g n 17

26 con g n una approssimazione di f (x n ). Questi metodi vengono chiamati quasi-newtoniani. Un esempio è il metodo delle secanti, in cui la derivata è approssimata dal rapporto incrementale g n = f(x n) f(x n 1 ) x n x n 1 un altro esempio è dato dal metodo della direzione costante in cui g n è costante e il procedimento itarativo diventa: x n+1 = x n f(x n) g = φ(x n ) Se calcoliamo φ (x) = 1 f (x n ) vediamo che g il procedimento iterativo é convergente se φ (α) = 1 f (α) g < 1 e il metodo converge linearmente.

27 Il metodo delle secanti x n+1 = x n x n x n 1 f(x n ) f(x n 1 ) f(x n) f(x n)x n 1 f(x n 1 )x n. f(x n ) f(x n 1 ) Questo procedimento iterativo non rientra nella classe dei procedimenti x n+1 = φ(x n ), ma il nuovo punto dipende da due punti precedenti, cioè: x n+1 = φ(x n 1, x n ). e necessita, per poter partire, di due punti iniziali. L interpretazione geometrica del metodo delle secanti è semplice. Il nuovo punto è l ascissa del punto di intersezione con l asse x della retta secante passante per i punti (x n 1, f(x n 1 )) e (x n, f(x n )). 18

28 Il metodo delle secanti è superlineare nel caso in cui la funzione f abbia derivata seconda continua nell intorno dello zero. Si può dimostrare che in questo caso l ordine è p = È un po meno veloce del metodo di Newton ma ha il vantaggio che ad ogni passo calcola solo f(x n ). La stessa idea può essere usata per ottenere un procedimento iterativo ad un punto. Basta tenere fisso uno dei due punti, per esempio x 0. Si ottiene quindi: x n+1 = x n x n x 0 f(x n ) f(x 0 ) f(x n). Questo metodo, detto regula falsi è lineare e quindi meno veloce del metodo delle secanti.

29 Errore, accuratezza e numero di condizione Quando cerchiamo di valutare la funzione f nel punto x il valore non sarà esatto, ma otteniamo un valore perturbato f(x) = f(x) + e(x) L errore e(x) può essere generato da diverse fonti. Può derivare dagli errori di arrotondamento, o dall approssimazione fatta per valutare la funzione, per esempio se la funzione è definita da un integrale che viene approssimato numericamente. Dato α uno zero di f e supponiamo di conoscere un limite superiore sull errore e(x) < ɛ, se x 1 è un punto con f(x 1 ) > ɛ allora f(x 1 ) = f(x 1 ) + e(x 1 ) f(x 1 ) ɛ 0 e quindi f(x 1 ) ha lo stesso segno di f(x 1 ). Lo stesso accade se f(x 1 ) < ɛ. Quindi se f(x) > ɛ il segno di f(x) ci da informazioni sulla localizzazione dello zero. 19

30 Sia [a, b] il più grande intervallo contenente α per cui x [a, b] implica f(x) ɛ Se siamo fuori da questo intervallo il valore di f(x) da informazioni sullo zero di f. Nell intervallo il valore di f(x) non ci da informazioni, neanche sul segno della funzione. L intervallo [a, b] si chiama intervallo di incertezza dello zero. Gli algoritmi che calcolano una approssimazione dello zero all interno di questo intervallo di incertezza si dicono stabili. La grandezza dell intervallo di incertezza varia da problema a problema. Se l intervallo è piccolo il problema si dice ben condizionato, quindi un algoritmo stabile risolverà un problema ben condizionato accuratamente. Se l intervallo è grande il problema si dice mal condizionato. 20

31 Per quantificare il grado di malcondizionamento calcoliamo il numero di condizione nel caso in cui f (α) 0. f(x) f(α) + f (α)(x α) = f (α)(x α) segue che f(x) ɛ quando f (α)(x α) ɛ, quindi ɛ x α f (α) cioè quindi [a, b] [α ɛ f (α), α + ɛ f (α) ]. 1 f (α) è il numero di condizione del problema. 21

32 Soluzione di sistemi non lineari Siano f 1, f 2,..., f n, n funzioni scalari definite nei punti x R n e f(x) il vettore di R n avente come componenti le f i (x): f(x) = f 1 (x) f 2 (x). f n (x). La f è una funzione definita su R n (o un suo sottoinsieme) a valori in R n. Risolvere il sistema f 1 (x) = 0 f 2 (x) = 0. f n (x) = 0 equivale a cercare il vettore x R n tale che f(x) = 0. Esempio f(x) Ax b con f i (x) n j=1 a ij x j b i. 22

33 I procedimenti iterativi per sistemi sono formalmente simili a quelli per equazioni scalari. Essi sono del tipo x k+1 = φ(x k ) con x 0 scelto opportunamente. La funzione φ è definita in R n ed ha valori in R n. Se φ è definita in un sottoinsieme D R n allora è importante che φ(d) D. Infatti, se x k D e φ(x k ) D allora φ(x k+1 ) non è più definita ed il procedimento iterativo si arresta. Supponiamo che la funzione φ sia almeno continua, in tal caso se la successione x k, per k = 0, 1,..., converge ad x, allora x è un punto fisso della funzione iteratrice, cioè x soddisfa l equazione x = φ(x). 23

34 Nella discussione sulla convergenza il ruolo che nel caso scalare aveva la derivata prima della funzione iteratrice viene qui assunto dalla matrice Jacobiana: φ (x) J(x, φ) = φ 1 x 1 φ 1 x φ n x 1 φ 1 x n..... φ n x 2... φ n x n si ha: x k+1 x = φ(x k ) φ(x), e se φ è continua in un intorno di x, allora x k+1 x φ (ξ) x k x con ξ è un punto del segmento di estremi x k ed x. Se I è un intorno di x in cui φ (x) m < 1, allora scegliendo x 0 I il procedimento iterativo converge. Infatti si ha: x k+1 x m x k x... m k+1 x 0 x e quindi lim x k = x. k 24.

35 Il metodo di Newton è definito da x k+1 = x k J(x k, f) 1 f(x k ). in cui φ(x) = x J 1 (x, f)f. Essendo φ (x) = 0. Il metodo di Newton converge quando l approssimazione iniziale della soluzione è abbastanza buona. Anche in questo caso il metodo ha ordine di convergenza due se J(x, f) è non singolare. Dal punto di vista operativo conviene scrivere il metodo nella forma J(x k, f)y k = f(x k ) x k+1 = x k + y k. In questo modo si vede subito che ad ogni passo si deve risolvere un sistema lineare in cui la matrice dei coefficienti è J(x k, f) ed il vettore incognito è y k. 25

36 Esempio Risolviamo il seguente sistema non lineare { 2x1 cos(x 2 ) = 0 2x 2 + sin(x 1 ) = 0 con il metodo di Newton. La matrice Jacobiana è J(x) = ( 2 sin(x 2 ) cos(x 1 ) 2 Considerato come vettore di partenza x 0 = (0, 0) T e come condizione di uscita ɛ = 10 5, si ha la seguente successione di vettori: ). x 1 x e e e e e e e e e e 01 La scelta del punto iniziale è fondamentale per la buona riuscita del metodo. Se scegliamo x 0 = (10, 10) T, la convergenza è raggiunta dopo un numero superiore di passi. 26

37 x 1 x e e e e e e e e e e e e e e e e e e 01 Quando la dimensione del sistema è elevata, la soluzione del sistema lineare è la fase più costosa del metodo. Per questo motivo, nei casi in cui la matrice Jacobiana è lentamente variabile, si preferisce usare la stessa matrice per un certo numero di passi (Metodo di Newton modificato). In tal caso se si risolve il sistema lineare con la fattorizzazione LU, si può usare la stessa fattorizzazione nei passi in cui la matrice J è mantenuta costante.

38 Esempio Nell esempio precedente modificando lo Jacobiano ogni 3 passi si ottiene: x 1 x e e e e e e e e e e e e e e e e e e e e e e 01 La convergenza è ottenuta dopo 10 passi. Il numero di fattorizzazioni dello Jacobiano è però ridotto a 4.

39 Esempio Usando il metodo di Newton cerchiamo le soluzioni del sistema { x1 + x 2 = 3. x 1 x 2 = 2 La matrice Jacobiana è: ( 1 1 J(x) = x 2 x 1 e la sua inversa è: Quindi: J 1 = 1 x 1 x 2 ) ( x1 1 x 2 1 x (k+1) 1 = x (k) 1 x(k) 2 (k) 1 3x x (k+1) 2 = x (k) 2 x(k) 2 ) x (k) 1 x(k) 2 2 (k) 3x x (k). 2 x(k) 1 Il metodo converge sempre ad una delle due soluzioni (1, 2) e (2, 1), coppia di radici del polinomio p(x) = x 2 3x+2. Infatti la somma delle radici di un polinomio di secondo grado è uguale al coefficiente del termine lineare cambiato di segno mentre il prodotto delle radici è dato dal termine noto.., 27