Equazioni e sistemi non lineari. Prof. M. Lucia Sampoli

Transcript

1 Equazioni e sistemi non lineari Prof. M. Lucia Sampoli 1

2 Equazioni non lineari Data una funzione f : consideriamo il problema di determinare i valori x tali che Tali valori sono solitamente chiamati zeri o radici della funzione f. Esempi: Equazioni algebriche: In generale non sono disponibili formule esplicite per la determinazione delle radici di una funzione (per esempio equazioni algebriche) metodi iterativi f( x) 0 n k P ( x) a x 0 n k 0 x x e x x x k x 2 4sin( ) 0,, log( ) 3 2

3 Metodi iterativi Tecniche che consentono di approssimare le soluzioni con un prestabilito grado di precisione A partire da una approssimazione iniziale si costruisce una successione tale che, sotto opportune ipotesi, risulta convergere alla radice cercata. E importante tener presente tre questioni fondamentali (0) (1) (2) x x, x, 1. Velocità di convergenza (1) (2) x, x, Definizione: data una successione convergente ad un limite α, si ( ponga n ) ( n) e x se esistono due numeri reali p 1 e C 0 tali che sia e lim n e si dice che la successione ha ordine di convergenza p e fattore di convergenza C. Per p=1 e p=2 la convergenza si dice anche lineare e quadratica. Nel caso p=1 si ha necessariamente C<1. ( n1) ( n) p C 3

4 Metodi iterativi 2 (0) 2. Scelta del valore di innesco. x Un metodo converge localmente ad α se la convergenza della successione (0) dipende in modo critico dalla vicinanza di x ad α. Il procedimento è globalmente convergente quando la convergenza non dipende da quanto vicino ad α. Per i metodi a convergenza locale la scelta del punto di innesco è cruciale. (0) x è 3. Criteri di arresto. Chiaramente non è possibile generare infinite iterate della successione () k x. Il procedimento dovrebbe arrestarsi quando ( k) x e toll rel ( ) Non disponendo della soluzione è necessario procurarsi una stima di e k. Una ( ) possibile strategia è quella di approssimare e k ( con k 1) ( k) x x. Si ottiene il criterio relativo ( k1) ( k) x x toll ( k 1) x ( k 1) Quando x è molto piccolo tale criterio risulta troppo stringente ed è più opportuno usare un criterio di arresto assoluto dato da ( k 1) ( k) x x toll 4

5 Metodi iterativi 3 Fondendo i due criteri si ottiene il seguente Criterio di arresto misto x x toll x toll ( k 1) ( k ) ( k 1) R A Dove tollr e tollasono rispettivamente la tolleranza relativa ed assoluta. ( ) Automaticamente il criterio sarà di tipo assoluto quando x k è molto piccolo e di tipo relativo nei restanti casi. ( Si può vedere che k 1) ( k) x x è asintoticamente una buona stima di nel caso di convergenza quadratica o superlineare, mentre nel caso di convergenza lineare l approssimazione sarà tanto migliore quanto la costante C è vicina a zero. ( k) e 5

6 Metodi iterativi 4 Per equazioni non lineari si può anche utilizzare il controllo del residuo ( k 1) f( x ) toll k Se f '( ) 1 : e inaffidabile ( potrebbe essere molto grande) Se f '( ) 1 : troppo restrittivo e ( ) Se f '( ) 1 produce un indicazione soddisfacente Quando non si ha la certezza sulla bontà dei test (su x ed f) conviene includerli entrambi In pratica se il criterio di arresto funziona non si ha la soluzione esatta ma solo una sua approssimazione 6

7 Metodo di bisezione Il metodo di bisezione è il metodo iterativo più semplice per approssimare gli zeri reali di una funzione. Ipotesi: 1) f(x) continua nell intervallo [a,b] 2) f(a) f(b)<0 per il teorema degli zeri ammette almeno una soluzione α di f(x)=0, in (a,b). Si procede suddividendo ad ogni passo l intervallo [a,b] a metà e determinando in quale dei due sottointervalli si trova la soluzione, dimezzando così l ampiezza dell intervallo che contiene α. ALGORITMO: 1. Si pone a1 a, b1 b a 2. Per i=1,2,.,nmax si calcolano i bi ci e f( ci) 2 1. Se f( ci) f( ai) 0 sipone ai1 ci; bi1 bi 2. Altrimenti se f( ci) f( ai) 0 sipone ai1 ai; bi1 ci 3. altrimenti f( ci) 0, siha ci 3. Il procedimento viene arrestato se per un indice i risulta f( ci) toll e / o b a i i 7

8 Ampiezza dell intervallo ed errore Per costruzione ad ogni passo l ampiezza dell intervallo è dimezzata, dopo n passi arriviamo all intervallo a di ampiezza n, bn bn an bn an b a bn an n an bn Se come stima di α prendiamo cn abbiamo 2 b0 a0 Se poniamo otteniamo n da 1 2 n n1 b0 a0 b0 a0 2 n log2 1 Il metodo di bisezione converge sempre alla soluzione con la sola ipotesi che f sia continua nell intervallo [a,b] La convergenza è però lenta e questo costituisce il limite del metodo. Una spiegazione può essere ricercata nel fatto che non si tiene conto dei valori della funzione ma soltanto dei segni. Geometricamente il metodo costruisce ad ogni passo l approssimazione della radice calcolando l intersezione con le ascisse della retta passante per i punti b a en cn en n1 ( ai,sgn( f( ai)), ( bi, sgn( f( bi)) 8

9 Metodo della regula falsi Un modo naturale per migliorare il metodo di bisezione è quello di considerare anche i valori che la funzione assume negli estremi dell intervallo e prendere come nuova approssimazione della soluzione l intersezione delle ascisse con la retta passante per Il metodo metodo risultante è noto come metodo regula falsi o della falsa posizione 1. Dato [ a0, b0]tale che f( a0) f( b0) 0 2. Finchè non sia verificato un criterio di arresto, poni w f b a f a b f b f a Se 2. Altrimenti 3. k=k+1 w k ( ak, f( ak)), ( bk, f( bk)) f( a ) f( w ) 0, allora a a, b w k k k1 k k1 k a w, b b k1 k k1 k (( ) ( ) )/(( ) ( )) k k k k k k k Il metodo genera una successione di intervalli decrescenti in cui è contenuta la radice è più veloce rispetto al metodi di bisezione, anche se in generale [ ak, bk] 0, per k pertanto il criterio di arresto basato sull ampiezza dell intervallo non è applicabile. La scelta dell intervallo comporta una convergenza globale Si può dimostrare che la velocità di convergenza è lineare: 9

10 Metodo delle secanti Una variante della regula falsi è il metodo delle secanti in cui sono richieste due approssimazioni iniziali senza alcun altra condizione e senza la necessità di controllare il segno di f(x) ( 1) (0) Assegnati due valori iniziali x, x si costruisce la successione ( k) ( k1) ( k1) ( k) x x ( k) x x f( x ) k 0 ( k) ( k1) f( x ) f( x ) La convergenza del metodo è garantita se le approssimazioni iniziali sono abbastanza vicine alla radice α: convergenza locale. Vale il seguente risultato: 2 Teorema: Sia fx () C (), essendo un intorno opportuno della radice, e si assumaf '' ( ) 0 ( 1) (0) Allora se i dati iniziali x, x sono scelti in sufficientemente vicini ad α, la successione converge ad α in modo superlineare, con ordine (1 5) p

11 Metodo di Newton Se si vuole migliorare ancora di più la velocità di convergenza è necessario utilizzare più informazioni della funzione. Nel caso in cui essa sia derivabile si può considerare anche la sua derivata f (x). Sviluppando f in serie di Taylor in un intorno di α ed arrestando lo sviluppo al prim ordine si ottiene una versione linearizzata del problema f(x)=0. f( ) 0 f( x) ( x) f '( ) (, x) (0) Assumendo quindi f (α) 0 (radice semplice) ed assegnato un valore iniziale x si ottiene il metodo di Newton ( k) ( k1) ( k) f( x ) x x k 0 ( k) f '( x ) Geometicamente si prende come nuova approssimazione l intersezione delle ascisse con la retta ( k) ( k) tangente in ( x, f( x )) Alla k-esima iterazione questo metodo richiede due ( k) ( k) valutazioni funzionali f( x ) e f '( x ). L aumento del costo computazionale è compensato dal fatto che la convergenza (locale) è di ordine superiore al primo. In generale è quadratica 11

12 Metodi di iterazione funzionale La ricerca degli zeri di una funzione f è ricondotta allo studio dei punti fissi di un opportuna funzione g f( ) 0 g( ) La successione delle approssimazioni sarà definita come x g( x ) ( k1) ( k) La funzione di iterazione g non è unica e può essere costruita nei modi più diversi, ma non tutti daranno luogo a strumenti efficienti. 12

13 Metodi di iterazione funzionale g(x) α x 3 x 2 x 1 x 0 Convergenza monotona 13

14 Metodi di iterazione funzionale α x 2 x x 1 x x x Convergenza alternata 14

15 Convergenza Bisogna studiare sotto quali condizioni la successione delle iterate appartenga sempre al dominio di f e sia convergente ad α. Teorema: Data la successione ( k1) ( k) (0) x g( x )per k 0 e x assegnato. Supponiamo che la funzione g soddisfi le seguenti condizioni (i) g: [a,b] [a,b] (ii) g C 1 [ a, b] (iii) k 1: g '( x) k x [ a, b] Allora g ha un unico punto fisso α in [a,b] e la successione delle iterate da essa generate converge ad α, per ogni scelta del punto iniziale in [a,b]. Inoltre ( k 1) lim x g '( ) k ( k) x dim. L ipotesi (i) e la continuità di g (implicita in (ii)) garantiscono che g abbia almeno un punto fisso in [a,b]. L hp (iii) assicura che g è una contrazione per cui il punto fisso è unico (si dimostra per assurdo). Risultato importante teoricamente, ma nella pratica è difficile stabilire a priori l intervallo [a,b] in cui sono soddisfatte le ipotesi. 15

16 Convergenza 2 Per dimostrare che la successione converge si considera k k x ( 1) g x ( ) g ( ) ( ) applicando il teorema della media g x x Inoltre dalla continuità di g si ha ( k) ( k) ( k) ( k) '( ) ( ) dove (, ) k 1per( iii) ( k1) ( k) k1 (0) x k x k x per cui lim ( k 1) x 0 k x ( k 1) ( k) lim lim g'( ) g'( ) k ( k) x 16

17 Convergenza 3 Teorema (Otrowski): Sia α un punto fisso di g C 1 [, ]. (0) Se x [, ], g'( x) 1, x [, ], allora la successione delle iterate generata da g è tale che ( k) (a) x (unico punto fisso) ( k) (b) x [, ] La convergenza può esserci in insiemi molto più grandi di quelli in cui (condizione sufficiente, convergenza locale) g '( ) 1 α g(x) α x 1 x 3 x 4 x 2 x 0 x x 3 2 x 1 x 0 1 g '( ) 0 convergenza alternata 0 g '( ) 1 convergenza monotona 17

18 Convergenza 4 18

19 Ordine di convergenza Per i metodi di iterazione funzionale è possibile anche dare una relazione tra ordine del metodo e molteplicità di α rispetto a g p Teorema: Sia (opportuno intervallo) punto fisso di g C [ ], con p 2 (0) ( ) Se per un punto x la successione x k è convergente e se () i g ( ) 0 ( p per i=1,...p-1 e g ) ( ) 0 allora il metodo ha ordine di convergenza p e risulta ( k 1) x ( p) g ( ) lim p ( k) k x p! A parità di ordine di convergenza p, quanto più piccola risulterà la ( quantità g p) ( )/ p! tanto più veloce sarà la convergenza delle iterate ad α 19

20 Ordine di convergenza DIM: Dallo sviluppo di Taylor si ha in generale x g( x ) ( k1) ( k) (tenuto conto che ) ( k) 2 ( x ) ( ) ( ) '( )( ) ''( ) 2! ( k) p1 ( k) p ( p1) ( x ) ( p) ( x ) g ( ) g ( ) ( p 1)! p! ( k1) ( k) ( k) x g x g g x g k Dove ( x ( ), ). Quindi se valgono le ipotesi del teorema si ha la tesi. 20

21 Convergenza metodo di Newton Il metodo di Newton può essere visto come un metodo di iterazione funzionale con la funzione g data da f x gx ( ) x ( ) f '( x) 2 f ''( x) f( x) Osservando che se f C e f '( ) 0: g'( x) g'( ) 0 2 ( f '( x)) il metodo è localmente sempre convergente La convergenza è quadratica per radici semplici e si riduce a lineare per radici multiple. Risultati di convergenza globale: Teorema: Sia f C 2 [ ]tale che (i) f( x) f ''( x) 0 in( ] (ii) f '( x) 0 in ( ) x0 ( ] la successione originata dal metodo di Newton DECRESCE monotonicamente ad α. Per gli intorni sinistri [α+ρ, α) si ottiene una successione che converge in modo monotono CRESCENTE ad α. 21

22 Esercizio 1 22

23 Esercizio 1 (segue ) 23

24 Esercizio 1 (segue ) 24

25 Esercizio 2 25

26 Esercizio 3 26

27 Esercizio 3 (segue ) 27

28 Esercizio 4 28

29 Esercizio 4 (segue ) 29

30 Condizionamento (caso scalare) Non è facile quantificare cosa si intenda per perturbazione di un equazione non lineare. Conviene considerare l equazione riscritta come f( x) 0 ( x) d Se α radice semplice di f φ(α)=d α=φ -1 (d) α=g(d) G esprime il legame funzionale tra la radice ed il dato iniziale d 2 Gd ( d) Gd ( ) G'( d) d o( d) G'( d) d Supponendo f C 1 studiamo la sensibilità del calcolo delle radici di f rispetto a variazioni sul dato d. d kf d d d Applicando le regole di derivazione per funzioni inverse 1 d d kf '( ) f '( ) 30

31 Sistemi non lineari La maggior parte dei metodi considerati per il caso monodimensionale possono venire generalizzati con successo al caso di sistemi. Tra essi non ci possono essere quei metodi che considerano, ad ogni iterazione, una scelta opportuna di un intervallo in cui era compresa la radice (bisezione, regula falsi). * * Problema: data F: n n, trovare x n tale che F( x ) 0 Tra i metodi il più usato è l estensione vettoriale del metodo di Newton Fi dove J F ( x) indica la matrice Jacobiana J ( x ), ( ) i j x x F j Dal punto di vista implementativo il metodo può essere riscritto considerando, ad ogni iterazione, due sottopassi Risolvere Calcolare 1 ( k1) ( k) ( k) ( k) x x J ( ) F x F ( x ) J x δx F x F ( k) ( k) ( k) ( ) ( ) x x δx ( k 1) ( k ) ( k ) Ad ogni passo k si deve risolvere un sistema lineare con matrice ( k) J F ( x ) 31

32 Per quanto riguarda la convergenza si può dimostrare (risultato dovuto a Kantorovich) che se la matrice Jacobiana è non singolare, partendo da (0) una approssimazione iniziale x sufficientemente buona, il processo * iterativo genera una successione convergente alla radice x L ordine di convergenza è quadratico La sensibilità del metodo alla scelta del punto iniziale è molto più marcata che nel caso scalare Il costo richiesto ad ogni passo per la risoluzione del sistema lineare è molto elevato per n grande La matrice Jacobiana può essere malcondizionata dando luogo a soluzioni non necessariamente accurate. VARIANTI METODO DI NEWTON 32

33 Varianti metodo di Newton Valutazione ciclica della matrice Jacobiana: si mantiene la stessa matrice Jacobiana per un certo numero p>1 di iterazioni: metodo di Newton modificato. L aumento di efficienza è pagato da una velocità di convergenza più bassa. Risoluzione inesatta dei sistemi lineari: si risolvono i sistemi lineari con un metodo iterativo (facendone solo alcuni passi); per esempio Jacobi, Gauss-Siedel o Gauss-Siedel con rilassamento: metodi di Newton inesatti. Approssimazione Jacobiana con rapporti incrementali: ad ogni passo si considera al posto della matrice Jacobiana una sua approssimazione mediante rapporti incrementali n-dimensionali (come vantaggio non si 2 deve calcolare le n derivate parziali costituenti J(x) Fx e Fx ( J ), k 0 ( k) ( k) ( k) ( k ) ( hj j) ( ) h j ( k) hj 33

34 Metodi di iterazione funzionale Come nel caso monodimensionale il problema può essere riformulato in modo da trovale la soluzione come punto fisso di una opportuna funzione di iterazione Data G:, trovare x tale che G( x ) x n n * n * * Si considerano metodi iterativi della forma x G( x ) ( k1) ( k) * Teorema: Se x è punto fisso di G, condizione sufficiente per la convergenza alla radice, del metodo iterativo è che esistano due numeri positivi K e ρ, con K<1, tali che si abbia * Gx ( ) K, xd x: x x purché x (0) * sia scelto in ; in tal caso x è l unico punto fisso di G in D D 34

35 Per quanto riguarda l ordine di convergenza, il teorema monodimensionale non può essere esteso direttamente, tuttavia se esistono continue le derivate seconde delle componenti di G, si può dimostrare che condizione sufficiente perché il metodo (se converge al punto fisso) converga linearmente è che sia * Gx ( ) 0 * Se Gx ( ) 0la convergenza è almeno quadratica ed è esattamente quadratica se risulta non nulla almeno una delle matrici hessiane H * i( x ) Gi Gi G i 2 x1 x1x2 x1xn Gi Gi Gi 2 xnx1 xnx2 x n x x * 35