Metodi Numerici con elementi di Programmazione (A.A )

Transcript

1 Metodi Numerici con elementi di Programmazione (A.A ) Metodi Numerici Appunti delle lezioni: Approssimazione di dati e funzioni Approssimazione ai minimi quadrati

2 Docente Vittoria Bruni Ufficio: Via A. Scarpa, Pal. B, I piano, Stanza n. 16 Tel Ricevimento: Giovedì Testi consigliati: Calcolo Numerico, L. Gori, Ed. Kappa, 2006 Esercizi di Calcolo Numerico, L. Gori-M.L. Lo Cascio, F. Pitolli, Ed. Kappa, 2007 Il materiale didattico è disponibile sul sito nella pagina dedicata al corso Metodi Numerici con elementi di Programmazione 1

3 Approssimazione ai minimi quadrati 2

4 Approssimazione ai minimi quadrati Problema. Data la tabella {x i, y i }, i = 0,..., n, si vuole trovare una funzione analitica che approssimi i dati. In questo caso la tabella è il risultato di misure sperimentali ciascuna delle quali è affetta da un errore di misura ε i. Metodo di approssimazione: si sceglie la funzione approssimante ϕ M in modo da minimizzare n [ϕ M (x i ) y i ] 2 Scarto quadratico oppure, introducendo i pesi w i > 0, i, n w i [ϕ M (x i ) y i ] 2 Scarto quadratico pesato 3

5 Caso lineare Funzione approssimante ϕ M (x) dipende linearmente da M parametri: a 0, a 1,..., a M M << n ϕ M (x) = a 0 ψ 0 (x) + a 1 ψ 1 (x) a M ψ M (x) dove {ψ k (x)} k=0,...,m è una base per lo spazio di approssimazione Metodo di approssimazione: si minimizza lo scarto quadratico σ 2 (a 0, a 1,..., a M ) = n a 0 ψ 0 (x i ) + a 1 ψ 1 (x i ) a M ψ M (x i ) }{{} ϕ M (x i ) Risolvere il problema dell approssimazione ai minimi quadrati vuol dire individuare i coefficienti reali a k che rendono minimo σ 2 (a 0,..., a M ). Nota. L approssimante ai minimi quadrati in generale non passa per i valori {x i, y i } ma vicino ad essi. y i 4 2

6 Polinomio ai minimi quadrati Funzione approssimante: ϕ M (x) = P M (x) = a 0 + a 1 x + + a M 1 x M 1 + a M x M M << n Metodo di approssimazione: si minimizza lo scarto quadratico σ 2 (a 0, a 1,..., a M ) = n [a 0 + a 1 x i + + a M 1 x M 1 + a M x M i } {{ i } P M (x i ) y i ] 2 Risolvere il problema dell approssimazione polinomiale ai minimi quadrati vuol dire individuare il polinomio P M, cioè i coefficienti reali a k, per il quale σ è minimo. 5

7 Minimizzazione Per minimizzare σ bisogna annullare il gradiente σ2 a k = 0 k = 0, 1,..., M 2 n (a 0 +a 1 x i + +a M 1 x M 1 i +a M x M i y i ) x k i = 0 k = 0, 1,..., M n a 0 x k i + a 1 n x k+1 i + + a M n x M+k i = n y i x k i k = 0, 1,..., M Per trovare i coefficienti incogniti a k bisogna risolvere il sistema lineare ottenuto (sistema delle equazioni normali). Per verificare che la soluzione del sistema sia un minimo bisogna [ 2 σ 2 ] n studiare l hessiano = 2 x k+j a j a i = 2H. k 6

8 Sistema delle equazioni normali Definizioni: s k := n x k i v k := n y i x k i k = 0, 1,..., M Il sistema delle equazioni normali diventa s 0 a 0 + s 1 a s M a M = v 0 s 1 a 0 + s 2 a s M+1 a M = v 1 HA = B... s M a 0 + s M+1 a s 2M a M = v M A = [a 0, a 1,..., a M ] T B = [v 0, v 1,..., v M ] T H = s 0 s 1 s M s 1 s 2 s M+1 s M s M+1 s 2M IR M+1 M+1 7

9 Unicità della soluzione Definiamo il vettore Y = [y 0, y 1,..., y n ] T B = V T Y H = V T V dove V = 1 x 0 x 2 0 xm 0 1 x 1 x 2 1 xm 1 1 x n x 2 n x M n IR n+1 M+1 è la matrice di Vandermonde dei nodi {x i }. Per ogni X IR M+1 si ha X T HX = (V X) T (V X) = V X Inoltre, per la regolarità di V, l uguaglianza vale se e solo se X = 0. H è definita positiva e quindi regolare Il sistema delle equazioni normali ammette un unica soluzione. La matrice hessiana 2H è definita positiva la soluzione corrisponde a un minimo. Nota. La matrice H è malcondizionata 8

10 Esempio La forza F (x) necessaria per allungare una molla fino alla lunghezza x è data da F (x) = k(x l) (Legge di Hooke) dove k è la costante elastica e l è la lunghezza a riposo della molla. Nella tabella qui di seguito sono riportate le misure sperimentali relative a una particolare molla. x F (x) Determinare la costante elastica della molla

11 Retta di regressione Problema. Costruire il polinomio di grado 1 P 1 (x) = a 0 +a 1 x che approssima i dati {x i, y i }, i = 0,..., n >> 1 nel senso dei minimi quadrati. Equazioni normali Soluzione a 0 s 0 + a 1 s 1 = v 0 a 0 s 1 + a 1 s 2 = v 1 a 0 = v 0s 2 v 1 s 1 s 0 s 2 s 2 1 a 1 = s 0v 1 s 1 v 0 s 0 s 2 s 2 1 Esempio Approssimando ai minimi quadrati i dati relativi alla molla si ottiene a 0 = e a 1 = Il coefficiente a 1 fornisce l approssimazione della costante elastica. Per questi valori dei coefficienti si ha σ 2 (a 0, a 1 ) = 6 [a 0 + a 1 x i y i ] 2 = P 1 (x) x 10

12 Interpretazione probabilistica - 1 Siano x una variabile deterministica e y = a 0 + a 1 x la variabile dipendente, legata a x da una relazione lineare. Nel caso in cui i dati {x i, y i + ε i } siano affetti da rumore con errore statistico ε i. Definizione. A partire dai dati {x i, y i } si definiscono la varianza e la covarianza rispettivamente come var(x) = 1 n + 1 dove i (x i x) 2 cov(x, y) = 1 n + 1 x = 1 n + 1 sono le medie osservate. i x i ȳ = 1 n + 1 i y i i (x i x)(y i ȳ) 11

13 Interpretazione probabilistica - 2 Ipotesi: 1) x è una variabile deterministica 2) E(ε i ) = 0 (valore atteso) 3) var(ε i ) costante per ogni i 4) cov(ε i, ɛ j ) = 0 per ogni i j Nel metodo dei minimi quadrati si minimizza la quantità σ 2 (a 0, a 1 ) = i (a 0 + a 1 x i y i ) 2 = i ε 2 i Se valgono Hp. 1-4 i coefficienti a 0 e a 1, soluzione del problema di minimo, possono essere scritti come a 1 = (n + 1)( i x i y i ) ( i x i )( i y i ) (n + 1)( i x 2 i ) ( i x i ) 2 = cov(x, y) var(x) a 0 = ( i y i )( i x 2 i ) ( i x i )( i x i y i ) (n + 1)( i x 2 i ) ( i x i ) 2 = ȳ a 1 x = ȳ cov(x, y) var(x) x 12

14 Approssimazione trigonometrica Se la funzione o i dati che si vogliono approssimare hanno un andamento periodico si sceglie come classe di funzioni approssimanti l insieme T M dei polinomi trigonometrici. T M := t M(x) = M k=0 ( ak cos(k x) + b k sin(k x) ), a k, b k IR k, x [0, 2π) Interpolazione: si usa quando si vogliono interpolare pochi dati periodici non affetti da errori Approssimazione discreta ai minimi quadrati: si usa quando si vogliono interpolare molti dati periodici affetti da errori I coefficienti a k, b k nell approssimazione ai minimi quadrati (discreta) o nell interpolazione costituiscono l Analisi di Fourier Discreta di una funzione (segnale). 13

15 Esercizio La tabella seguente riporta le misure della densità relativa ρ dell aria a diverse altezze h. h (km) ρ Si approssimi ρ con un polinomio di secondo grado e si stimi il valore di ρ in corrispondenza di h = 10.5 km. 14

16 Si cerca il polinomio p 2 (h) = a 0 + a 1 h + a 2 h 2 i cui coefficienti sono le soluzioni del seguente sistema dove s 0 s 1 s 2 s 1 s 2 s 3 s 2 s 3 s 4 a 0 a 1 a 2 = v 0 v 1 v 2 s 0 = 6 h 0 i = 7 s 1 = 6 h 1 i = = s 2 = 6 h 2 i = = s 3 = 6 h 3 i = s 4 = 6 h 4 i =

17 v 0 = 6 h 0 i ρ i = v 1 = 6 h i ρ i = v 2 = 6 h 2 i ρ i = Risolvere il sistema e verificare che a 2 = a 1 = a 0 = e σ 2 (a 0, a 1, a 2 ) = 6 (a 0 + a 1 h i + a 2 h 2 i ρ i) 2 =

18 Quindi p 2 (h) = h h 2 da cui p 2 (10.5) =

19 Esercizio Trovare il polinomio di secondo grado che meglio approssima i seguenti dati ai minimi quadrati: x i y i

20 E necessario risolvere il seguente sistema a 0 a 1 a 2 = da cui si deduce facilmente che [a 0 a 1 a 2 ] T = [0 0 1] T e quindi p 2 (x) = x 2 Se i valori y i sono affetti da errore, cioè y i = [ ], il sistema diventa a 0 a 1 a 2 = da cui [a 0 a 1 a 2 ] T = [ ] T e quindi p 2 (x) = x x 2 19

21 Riferimenti bibliografici L. Gori, Calcolo Numerico: Cap L. Gori, M.L. Lo Cascio, F. Pitolli, Esercizi di Calcolo Numerico: Es ,

22 Esercizi d esame 21

23 ESERCIZIO 1 Data la tabella i x i 0 1/6 1/4 1/3 1/2 f i ) scrivere l espressione del polinomio interpolatore relativo ai tre nodi equispaziati nell intervallo chiuso [0, 0.5]; 1.2) sapendo che f (k) (x) (k + 4 x )4 k 1, k 1, per x [0, 0.5], dare una maggiorazione in modulo dell errore di troncamento che si commette approssimando f(1/3) con il polinomio costruito al punto (1.1); 1.3) dare una maggiorazione in modulo dell errore di propagazione. 22

24 Soluzione 1.1) I nodi da utilizzare sono x 0, x 2, x 4, il polinomio interpolatore sarà quindi un polinomio di grado al più 2. L espressione di Lagrange fornisce p 2 (x) = f 0 l 0 (x) + f 2 l 1 (x) + f 4 l 2 (x) = l 1 (x) l 2 (x) dove l 0 (x) = 8(x 1 4 )(x 1 2 ) l 1(x) = 16 x (x 1 2 ) l 2(x) = 8 x (x 1 4 ). 1.2) Per il modulo dell errore di troncamento vale la maggiorazione E 2 (x) x(x 1 4 )(x 1 2 ) 3! max f (3) (x) x [0,0.5] Poiché per x [0, 0.5] si ha f (3) (x) (3+4 x )16 80, in x = 1/3 si ottiene E 2 ( 1 3 ) = <

25 1.3) Per il modulo dell errore di propagazione vale la maggiorazione E ( 1 3 ) ɛ 2 l i ( 1 3 ) dove l errore sui dati è ɛ = , come si può dedurre dai dati. L errore di propagazione è trascurabile rispetto all errore di troncamento, quindi possiamo supporre che l approssimazione non abbia nessun decimale esatto. In realtà la maggiorazione dell errore è pessimistica, in quanto dalla tavola si deduce che E( 1 3 ) = f 3 p 2 ( 1 ) < quindi l approssimazione ha un decimale esatto.

26 ESERCIZIO 2 Data la seguente tabella delle differenze divise i x i f i ) determinare il polinomio interpolatore di grado minimo che produce un approssimazione del valore della funzione nel punto x = 1.95 con errore di troncamento in modulo inferiore a ; 2.2) indicato con p(x) il polinomio determinato al punto 2.1 e sapendo che f 5 è dato con errore , valutare l effetto dell errore di propagazione su p(1.95). 24

27 Soluzione 2.1) Sia p n (x) il polinomio di grado n che interpola i dati in n + 1 nodi. L errore di troncamento in un punto x dell intervallo di interpolazione è dato da dove f (n+1) (τ) (n+1)! E n (x) = π n (x) f (n+1) (τ) (n + 1)!, τ (x 0, x n ), f[x 0, x 1,..., x n+1 ]. Poichè la tabella data contiene 6 nodi, per poter stimare l errore di troncamento usando i valori in tabella, il polinomio interpolatore deve essere al più di grado 4. Sia n = 1. Scegliendo i nodi x 1 e x 2, E 1 (1.95) = (1.95 x 1 )(1.95 x 2 ) f[x 0, x 1, x 2 ] = = = >

28 Come nodo aggiuntivo è stato scelto x 0 in quanto f[x 0, x 1, x 2 ] è già calcolato nella tabella data. In alternativa, volendo scegliere come ulteriore nodo x 3, è necessario prima completare alcune parti della tabella delle differenze divise. Sia n = 2. Scegliendo i nodi x 0, x 1 e x 2, E 2 (1.95) = (1.95 x 0 )(1.95 x 1 )(1.95 x 2 ) f[x 0, x 1, x 2, x 3 ] = = < Anche in questo caso f[x 0, x 1, x 2, x 3 ] è dato in tabella. Quindi il polinomio cercato è da cui p 2 (x) = f 0 + (x x 0 )f[x 0, x 1 ] + (x x 0 )(x x 1 )f[x 0, x 1, x 2 ] p 2 (1.95) = ( ) =

29 2.2) Il polinomio p 2 non dipende dal valore della funzione nel nodo x 5, quindi l errore su f 5 non si propaga sul valore di p 2 (1.95).

30 ESERCIZIO 3 Si consideri il polinomio di secondo grado che interpola una funzione f(x) C (IR) nei nodi simmetrici x 0 = a, x 1 = 0, x 2 = a. 3.1) Dare una maggiorazione in modulo dell errore di troncamento valida per ogni punto 1 x 1 nel caso in cui f(x) = sin(x) e l intervallo di interpolazione sia I = [ 1, 1]; 3.2) dare una maggiorazione in modulo dell errore di propagazione valida per ogni punto 1 x 1 nel caso in cui i valori di f siano dati con 5 decimali esatti. 26

31 ESERCIZIO 4 Si vuole costruire la retta di regressione relativa ai dati in tabella i x i -1.5 ξ ξ 1.4 y i dove 0.5 ξ 1.0, 4.1) studiare il numero di condizionamento della matrice dei coefficienti del sistema delle equazioni normali in funzione del parametro ξ e stabilire per quali valori di ξ si ha il condizionamento migliore; 4.2) per il valore minimo di ξ individuato al punto precedente, scrivere l equazione della retta di regressione. 27

32 Traccia della Soluzione La matrice dei coefficienti del sistema delle equazioni normali è ( ) ( ) s0 s H = = s 1 s ξ la sua matrice inversa è H 1 1 = 7(2ξ ) 0.49 ( 2ξ ) Poichè H è simmetrica e definita positiva si ha K 1 (H) = K (H) K 2 (A) = λ max λ min Studiando il condizionamento rispetto alla norma infinito, si ha una funzione dipendente da ξ. Si può verificare che il minimo di K (H) 28

33 è in corrispondenza di ξ = 1 da cui è possibile determinare la retta di regressione risolvendo il sistema ( ξ ) ( a0 a 1 ) = ( )

34 ESERCIZIO 5 Si consideri la seguente tabella relativa alla funzione f(x) = x 0 g(t)dt, con f, g C (R) i x i f i approssimare g(t)dt usando l espressione del polinomio interpolatore di Newton di terzo grado della funzione f nell intervallo [0, 0.375]; 5.2 dare una stima dell errore di troncamento. 29

35 Soluzione La tavola alle differenza divise della funzione f(x) è i x i f[x i ] f[x i, x j ] f[x i, x j, x k ] f[x i, x j, x k, x h ] f[x i, x j, x k, x h, x l ] Scegliendo i nodi x 0, x 1, x 2, x 3, il polinomio di Newton di terzo grado p 3 (x) che approssima la funzione f(x) nell intervallo [0, 0.375] è p 3 (x) = f[x 0 ] + (x x 0 )f[x 0, x 1 ] + (x x 0 )(x x 1 )f[x 0, x 1, x 2 ]+ +(x x 0 )(x x 1 )(x x 2 )f[x 0, x 1, x 2, x 3 ] = 30

36 = x x(x 1/8) x(x 1/8)(x 1/4) il cui valore nel punto x = 1/6 da un approssimazione dell integrale 1/6 0 g(t)dt, cioè p 3 (1/6) = Una stima dell errore di troncamento che si commette approssimando f(1/6) con p 3 (1/6) è data da E(1/6) π 4 (1/6)f[x 0, x 1,..., x 4 ], dove π 4 è il polinomio nodale relativo ai 4 nodi x 0, x 1, x 2, x 3 e f[x 0,..., x 4 ] è il primo termine omesso della tavola alle differenze divise. Quindi, E(1/6)

37 ESERCIZIO Illustrare dettagliatamente le tipologie di errore tipiche dell approssimazione di dati e funzioni, con particolare riferimento all errore di troncamento dell interpolazione polinomiale. 6.2 Si consideri la funzione f C (R) così definita: f(x) = 3x 3 0.5x x x R, scegliere opportunamente nodi equidistanti nell intervallo [x δ, x + δ], con δ R +, affinchè la parabola costruita su di essi produca una stima di f(x 2 δ ) con tre decimali esatti. Si trascurino gli errori di arrontondamento. 31

38 ESERCIZIO 7 7.1) Illustrare dettagliatamente l interpolazione polinomiale e l approssimazione polinomiale ai minimi quadrati evidenziandone similitudini e differenze. Per almeno un caso, dimostrare esistenza e unicità del polinomio. 7.2) Assegnati i valori della funzione f(x) = 1 x+1 nei nodi x 0 = 0, x 1 = 0.5 e x 2 = 1, confrontare l errore commesso approssimando il valore di f nel punto x = 0.6 usando il polinomio p(x) che interpola la funzione nei nodi assegnati e la parabola q(x) che meglio approssima la funzione nei punti assegnati nel senso dei minimi quadrati. 32

39 ESERCIZIO 8 La seguente tabella riporta i valori esatti della funzione f(x) C ([ 1, 2.5]) in corrispondenza dei punti x 0, x 1,..., x 4 [1, 2.5] i x i f(x i ) Indicato con p(x) il polinomio che interpola f(x) nei nodi in tabella, dare una stima dell errore che si commette approssimando f(0) con p(0). 8.2 Indicato con p 1 (x) il polinomio che interpola f(x) nei nodi x 0 e x 1, confrontare l errore stimato al punto precedente con l errore che si commette approssimando f(0) con p 1 (0). 8.3 Dare una stima dell errore che si commette approssimando f(0) con p 1 (0) quando si costruisce p 1 (x) usando i valori perturbati di f(x) riportati nella tabella seguente i x i f i