Appunti di Calcolo Numerico. Capitolo 4

Documenti analoghi
Appunti di Calcolo Numerico. Capitolo 3

Calcolo Numerico. Corso di Laurea in Ingegneria Elettronica Appello del 17 gennaio A(x) =

Lezione 25. La procedura GS termina correttamente se e solo se applicata ad una matrice invertibile.

1. Complemento ortogonale di un vettore non nullo Abbiamo visto che nel piano

* MINIMI QUADRATI * (29.01) Definizione (approssimazione nel senso dei minimi quadrati).

Fattorizzazione QR e matrici di Householder

PROGRAMMA DEL CORSO DI GEOMETRIA E ALGEBRA. A.A

Spazi vettoriali euclidei.

PROGRAMMA DEL CORSO DI GEOMETRIA E ALGEBRA. A.A

REGISTRO DELLE LEZIONI

0.1 Spazi Euclidei in generale

La lunghezza dei vettori e legata alle operazioni sui vettori nel modo seguente: Consideriamo due vettori v, w e il vettore v + w loro somma.

backslash (\): left matrix division

Complementi di Algebra e Fondamenti di Geometria

0. Introduzione al linguaggio matematico

Prodotto interno (prodotto scalare definito positivo)

4. Sottospazi vettoriali Piani e rette in E 3 O

Algebra lineare. Laboratorio di programmazione e calcolo CdL in Chimica. Pierluigi Amodio

Autovalori e autovettori, matrici simmetriche e forme quadratiche (cenni) (prof. M. Salvetti)

0. Introduzione al linguaggio matematico

Matematica II, aa

Facoltà di Scienze Statistiche, Algebra Lineare 1 A, G. Parmeggiani - Programma

Si dimostra che queste funzioni godono delle proprietà delle norme (ossia sono norme).

CORSO DI LAUREA IN INGEGNERIA DELLE TELECOMUNICAZIONI

v w u O Osserviamo che tale segmento ha la stessa lunghezza del vettore w tale che u+w = v cioe del vettore w = v u. Cosi si ha

0. Introduzione al linguaggio matematico

6.2 Problema generale di approssimazione

25 - Funzioni di più Variabili Introduzione

UNIVERSITA DEGLI STUDI DI PAVIA REGISTRO DELLE LEZIONI-ESERCITAZIONI- SEMINARI. Corso di laurea INGEGNERIA ELETTRONICA/INFORMATICA.

NOME COGNOME MATRICOLA CANALE

Nozioni e notazioni: concetti primitivi di insieme, elemento ed appartenenza.

Esame scritto di Geometria I

Problemi di Calcolo Numerico

Una approssimazione allo spazio della fisica classica. Spazi affini euclidei.

ANALISI MATEMATICA 4. Prova scritta del 24 gennaio 2013

2 Sistemi lineari. Metodo di riduzione a scala.

Registro dell insegnamento. Facoltà Ingegneria... Insegnamento GEOMETRIA... Settore Mat03... Corsi di studio Ingegneria Meccanica (M-Z)...

Matematica per Economia Finanza e Management

variabili. se i limiti esistono e si chiamano rispettivamente derivata parziale rispetto ad x e rispetto ad y.

(E) : 4x 181 mod 3. h(h 1)x + 4hy = 0

FONDAMENTI DI ALGEBRA LINEARE E GEOMETRIA INGEGNERIA INDUSTRIALE 27 GENNAIO 2014

A.A. 2014/2015 Corso di Algebra Lineare

Programma del corso Geometria 1 Docente: Giovanni Cerulli Irelli

La forma normale di Schur

Esonero di Analisi Matematica II (A)

FONDAMENTI DI ALGEBRA LINEARE E GEOMETRIA

Matematica per Economia Finanza e Management

Sapienza Università di Roma Corso di laurea in Ingegneria Energetica Geometria A.A ESERCIZI DA CONSEGNARE prof.

INGEGNERIA EDILE ARCHITETTURA ELEMENTI DI ALGEBRA LINEARE E GEOMETRIA 19 GIUGNO 2012

1) Quali dei seguenti sottoinsiemi del campo dei numeri reali ℝ sono sottospazi vettoriali?

Esercizi 2. Soluzioni. 1. Siano dati i vettori 1 1, 1 R 3.

NOME COGNOME MATRICOLA CANALE

3. Vettori, Spazi Vettoriali e Matrici

MATRICI E SISTEMI LINEARI

Programma delle lezioni svolte nel corso CLEM di Matematica Generale, Lettere M-Z, Prof. F. Manzini.

Esonero di GEOMETRIA 1 - C. L. Matematica 21 Febbraio M 2 (R) a + 2b d = 0.

Esercizi di Complementi di Matematica (L-Z) a.a. 2015/2016

Capitolo 3 Matrici. Marco Robutti. Facoltà di ingegneria Università degli studi di Pavia. Anno accademico

Scomposizione ai valori singolari.

INGEGNERIA EDILE ARCHITETTURA ELEMENTI DI ALGEBRA LINEARE E GEOMETRIA 25 FEBBRAIO a a. A a = 1 a 0

APPUNTI DI ALGEBRA LINEARE

Applicazioni lineari e diagonalizzazione. Esercizi svolti

Il problema lineare dei minimi quadrati

Registro delle lezioni

ed un operazione di moltiplicazione per scalari reali u u 2u

ESERCIZI DI GEOMETRIA E ALGEBRA LINEARE (II PARTE) In ogni sezione gli esercizi sono tendenzialmente ordinati per difficoltà crescente.

1 PRELIMINARI 1.1 NOTAZIONI. denota l insieme vuoto. a A si legge a appartiene a A oppure a è elemento di A.

ATTENZIONE: : giustificate le vostre argomentazioni! Geometria Canale 3. Lettere J-PE (Prof P. Piazza) Esame scritto del 12/02/2014. Compito A.

NOME COGNOME MATRICOLA CANALE

Algebra delle matrici

Matematica per Economia Finanza e Management

A.A GEOMETRIA CDL IN INGEGNERIA MECCANICA FACOLTÀ DI INGEGNERIA CIVILE ED INDUSTRIALE SOLUZIONI TEST 4

3. Vettori, Spazi Vettoriali e Matrici

(E) : 2x 43 mod 5. (2 + h)x + y = 0

SPAZI VETTORIALI CON PRODOTTO SCALARE A =

Capitolo IV SPAZI VETTORIALI EUCLIDEI

Analisi Numerica: Introduzione

Corso di Geometria Meccanica, Elettrotecnica Esercizi 11: soluzioni

Matematica per Economia Finanza e Management

Algebra/Algebra Lineare,

(2) Dato il vettore w = (1, 1, 1), calcolare T (w). (3) Determinare la matrice A associata a T rispetto alla base canonica.

ESERCIZI DI ALGEBRA LINEARE (II PARTE) In ogni sezione gli esercizi sono tendenzialmente ordinati per difficoltà crescente.

VETTORIALE E PRODOTTO MISTO. PIANI E RETTE DI

Spazi euclidei, endomorfismi simmetrici, forme quadratiche. R. Notari

Geometria della programmazione lineare

NOME COGNOME MATRICOLA CANALE

LEZIONE 12. v = α 1 v α n v n =

Intersezione e somma di sottospazi vettoriali

4 Autovettori e autovalori

Lezione 10 27/11/09. = 0 = x y + 2z = 0. Le componenti del vettore v devono essere quindi soluzione del sistema linere omogeneo. { x y +2z = 0 x z = 0

21. (cenni di) Geometria analitica del piano.

Soluzione. (a) L insieme F 1 e linearmente indipendente; gli insiemi F 2 ed F 3 sono linearmente

LAUREA IN INGEGNERIA CIVILE Corso di Matematica 2 II a prova di accertamento Padova Docenti: Chiarellotto - Cantarini TEMA n.

Volumi in spazi euclidei 12 dicembre 2014

ANALISI MATEMATICA L-C, B-S

Sottospazi vettoriali

Definizione 1. Una matrice n m a coefficienti in K é una tabella del tipo. ... K m, detto vettore riga i-esimo, ed a im

y = cos x y = (y ) 2 + c : giustifichino le due affermazioni. y = y y = y 2 y = y(1 y) y = xy Applicazioni Equazioni delle cinetica chimica:

Transcript:

Appunti di Calcolo Numerico Capitolo 4 Approssimazione nel senso dei minimi quadrati Maurizio Ciampa Dipartimento di Matematica - Università di Pisa

Gli esercizi contrassegnati dal simbolo sono leggermente più astratti rispetto agli altri Quelli contrassegnati dal simbolo richiedono direttamente, o comunque riguardano, l uso del calcolatore A chi legge si raccomanda di riprodurre al calcolatore i dialoghi con Scilab proposti e di prendere spunto da essi per crearne di nuovi per ottenere Scilab visitare la pagina https://wwwscilaborg/)

4 Approssimazione nel senso dei minimi quadrati In questo Capitolo si affrontano due problemi che richiedono di determinare un vettore che rende minimo il valore di una somma di quadrati: il problema di determinare la soluzione di un sistema di equazioni lineari nel senso dei minimi quadrati ed il problema di determinare la funzione che meglio approssima dati assegnati nel senso dei minimi quadrati 4 Definizione Soluzione di un sistema nel senso dei minimi quadrati) Siano A R n k e b R n Un vettore x R k è una soluzione del sistema Ax = b nel senso dei minimi quadrati se verifica una delle tre proprietà equivalenti: A) Per ogni y R k si ha: Ax b Ay b ; B) Per ogni y R k si ha: Ax b Ay b ; C) Il vettore x è un minimo assoluto della funzione n : R k R, norma del residuo, definita da: nx) = Ax b Si osservi che se x è soluzione di Ax = b allora è anche soluzione di Ax = b nel senso dei minimi quadrati Infatti: nx ) = e per ogni x R k si ha nx) 4 Definizione Funzione che meglio approssima dati assegnati nel senso dei minimi quadrati) Siano I un intervallo non degenere, F un sottospazio vettoriale di dimensione finita dello spazio delle funzioni continue da I in R, x,, x k numeri reali in I e y,, y k numeri reali Un elemento f di F è una funzione che meglio approssima i dati x, y ),, x k, y k ) nel senso dei minimi quadrati se: Per ogni f F si ha: f x ) y ) + + f x k ) y k ) fx ) y ) + + fxk ) y k ) ovvero se f è un minimo assoluto della funzione SQ : F R, scarto quadratico, definita da: SQf) = fx ) y ) + + fxk ) y k ) Interpretando i dati come coordinate di punti in un piano cartesiano, lo scarto quadratico ha un semplice significato geometrico Il valore SQf) è somma di k + addendi Il j-esimo addendo è il quadrato della lunghezza del segmento individuato, sulla retta verticale di ascissa x j, dal valore fx j ) e dall ordinata del j-esimo dato y j Il valore SQf) è una misura dello scostamento del grafico di fx) dai dati Si osservi che, contrariamente a quanto richiesto nei problemi di interpolazione, i numeri reali x,, x k non devono necessariamente essere distinti Esercizi E Nella fugura seguente sono rappresentati i dati x), il grafico della funzione f in rosso) e quello della funzione g in blu) Determinare SQf), SQg) e decidere quale funzione tra f e g meglio approssima i dati nel senso dei minimi quadrati 8 6 4 4 6 8 4 6 8 4 8 6 4 4 6 8 4 6 8 9 7 5 3 3 5 7 9 3 5 7 9 3

E Dimostrare che SQf) = se e solo se f interpola i dati 4 Migliore approssimazione in spazi con prodotto scalare Alla ricerca delle soluzioni di un sistema nel senso dei minimi quadrati e delle funzioni che meglio approssimano i dati nel senso dei minimi quadrati premettiamo la nozione di migliore approssimazione in uno spazio con prodotto scalare e la sua ricerca Sia V uno spazio vettoriale su R con prodotto scalare Indicato con a b il prodotto scalare di a e b, si indica con a la norma di a indotta dal prodotto scalare: a = a a Siano poi W un sottospazio vettoriale di V di dimensione finita e v un elemento di V 43 Definizione Migliore approssimazione in uno spazio con prodotto scalare) Un elemento w di W è una migliore approssimazione di v in W se verifica una delle due proprietà equivalenti: A) Per ogni w W si ha: v w v w ; B) Il vettore w è un minimo assoluto della funzione d : W R, distanza da v, definita da: dw) = v w Come vedremo, la nozione di migliore approssimazione in uno spazio con prodotto scalare è strettamente connessa a quella di proiezione ortogonale: 44 Definizione Proiezione ortogonale) Un elemento w di W è proiezione ortogonale di v su W se il vettore v w è ortogonale a W, ovvero se: Per ogni w W si ha: v w ) w = ) Sia w,, w j un insieme di generatori di W La condizione ) è equivalente a: v w ) w i = i =,, j Allora una combinazione lineare a w + + a j w j è proiezione ortogonale di v su W se e solo se per i =,, j si ha: v a w + + a j w j ) ) w i =, ovvero se e solo se: v w = a w + + a j w j ) w = a w w ) + + a j w j w ) v w j = a w + + a j w j ) w j = a w w j ) + + a j w j w j ) ) Posto: a = a a j, F = w w w j w w w j w j w j, c = v w v w j la condizione ) si riformula: una combinazione lineare a w + + a j w j è proiezione ortogonale di v su W se e solo se la colonna a è soluzione del sistema F x = c delle equazioni normali 45 Teorema di esistenza ed unicità della proiezione ortogonale) Esiste un solo elemento di W proiezione ortogonale di v su W Dimostrazione Sia w,, w r una base ortonormale di W sicuramente esistente) Allora la matrice F del sistema delle equazioni normali è la matrice identica ed il sistema ha una sola soluzione: v w a = v w r 4

L unico elemento di W proiezione ortogonale di v su W è: w = v w w + + v w r w r Si osservi che il Teorema appena dimostrato prova che le equazioni normali F x = c hanno sempre almeno una soluzione Infatti: le componenti di ciascuna soluzione delle equazioni normali sono coordinate, rispetto ai generatori di W, della proiezione ortogonale L esistenza della proiezione ortogonale w garantisce l esistenza di almeno una combinazione lineare dei generatori di W tale che a w + + a j w j = w Inoltre, se w,, w j sono generatori linearmente dipendenti e quindi non una base) di W allora esistono infinite combinazioni lineari che generano lo stesso elemento w In tal caso il sistema F x = c ha infinite soluzioni in particolare: la matrice F non è invertibile) Se, invece, gli elementi sono generatori linearmente indipendenti e quindi una base) di W allora esiste una sola combinazione lineare che genera l elemento w In tal caso il sistema F x = c ha una sola soluzione in particolare: la matrice F è invertibile) 46 Teorema di esistenza ed unicità della migliore approssimazione) La proiezione ortogonale w di v su W è l unica migliore approssimazione di v in W, ovvero: w è l elemento di W più vicino a v Dimostrazione Per ogni w W si ha: v w = v w ) + w w) Il primo addendo, per definizione, è ortogonale a W ed il secondo è un elemento di W Allora, per il Teorema di Pitagora: e quindi: v w ) + w w) = v w + w w v w = v w + w w Poiché w w e si ha w w = se e solo se w = w, allora: a) v w v w ovvero v w v w : w è una migliore approssimazione; b) v w = v w, ovvero v w = v w, se e solo se w = w : w è l unica migliore approssimazione 47 Esercizio ) Siano V = R 4 con prodotto scalare canonico, W = span { Determinare la migliore approssimazione di v in W } e v = Soluzione: Occorre determinare la proiezione ortogonale w di v su W Poiché si ha un solo generatore di W, le equazioni normali si riducono ad una equazione in una incognita Si ha: F = =, c = v = e le equazioni normali sono: x = Si ottiene l unica soluzione a = w = da cui: 5

Per il Teorema di esistenza ed unicità della migliore approssimazione in uno spazio con prodotto scalare, la migliore approssimazione di v in W è w ) Siano V = R 4 con prodotto scalare canonico, W = span {, Determinare la migliore approssimazione di v in W } e v = Soluzione: Come nel caso precedente, occorre determinare la proiezione ortogonale w di v su W Poiché si hanno due generatori di W, le equazioni normali sono un sistema di due equazioni in due incognite Poiché i generatori sono dipendenti, il sistema ha infinite soluzioni Si ha: F = [ 4 4 8 S = { [, c = [ e le equazioni normali sono: F x = c L insieme delle soluzioni è: [ } + λ, λ R Tutti gli elementi di S individuano lo stesso elemento di W : + λ ) λ = = w Si ottiene, come giusto, lo stesso elemento di W ottenuto nel punto precedente Per il Teorema di esistenza ed unicità della migliore approssimazione in uno spazio con prodotto scalare, la migliore approssimazione di v in W è w 3) Siano I = [, π e V = CI) con prodotto scalare definito da: Siano infine: f g = π π ft)gt) dt W = span {, cos t, sen t } e v = t Determinare la migliore approssimazione di v in W Soluzione: Come nel caso precedente, occorre determinare la proiezione ortogonale w di v su W Si osservi che in questo esempio lo spazio vettoriale V ha dimensione infinita Poiché si hanno tre generatori di W, le equazioni normali sono un sistema di tre equazioni in tre incognite Poiché i generatori sono indipendenti, il sistema ha una soluzione Si ha: = π π dt = v = 8 3 π cos t = cos t cos t = v cos t = 4 sen t = cos t sen t = sen t sen t = v sen t = 4 π e le equazioni normali sono: L unica soluzione è: x = a = 4 3 π 4 4 π 8 3 π 4 4 π 6

da cui: w = 4 3 π + 4 cos t 4π sen t Per il Teorema di esistenza ed unicità della migliore approssimazione in uno spazio con prodotto scalare, la migliore approssimazione di v in W è w L elemento determinato è il minimo assoluto su W della funzione d : CI) R definita da: Osservazione: Serie di Fourier df) = v f = [ π π t ft) ) dt Sia g CI) Si ricordi che, introdotto in CI) il prodotto scalare definito nel punto 3) dell Esercizio, e posto: a = g, a k = g cos kt, b k = g sen kt k =,, si chiama serie di Fourier generata dalla funzione g la serie: a + ovvero, introdotte le somme parziali: ak cos kt + b k sen kt ) k= s t) = a, s j t) = a + la successione: s t), s t), Posto: j ak cos kt + b k sen kt ) j =,, k= W k = span {, cos t, sen t,, cos kt, sen kt } k =,,, la migliore approssimazione w k di g in W k, ovvero il minimo assoluto su W k della funzione d : CI) R definita da: df) = g f = [ π π gt) ft) ) dt è s k Poiché W W W, la successione ds ), ds ), ds ), è non crescente, dunque convergente Un risultato classico dell Analisi Matematica mostra che lim ds k ) =, risultato che si esprime anche con l asserto: gt) = a + ak cos kt + b k sen kt ) nel senso della convergenza in media k= Si osservi che la sola continuità di gt) non assicura la validità puntuale dell uguaglianza in tutti i punti dell intervallo I Si consideri ad esempio il caso I = [, π e gt) = t Per ogni j si ha s j ) = s j π) perciò se lim s j ) = g) allora lim s j π) = g) Ma g) gπ), dunque la convergenza puntuale della serie non può sussistere sull intero intervallo I Lo studio della convergenza della successione s t), s t), ovvero del significato dell uguaglianza precedente è argomento vasto e non elementare Esercizi E3 Sia W = span{ w,, w j } un sottospazio vettoriale di V, spazio vettoriale su R con prodotto scalare Dimostrare che v V è ortogonale a W se e solo se: v w i = i =,, j Si veda, ad esempio: JE Marsden: Elementary Classical Analysis, Capitolo 7

E4 Sia V uno spazio vettoriale su R con prodotto scalare Dimostrare il Teorema di Pitagora: Siano a e b due elementi di V Allora: a b = a + b = a + b E5 Si consideri un sistema di riferimento cartesiano nello spazio Siano poi π il piano di equazione 3x x = e P il punto di coordinate 4,, ) a) Verificare che P π Posto V = R 3 con prodotto scalare canonico, W = { x R 3 : 3x x = } e: b) Determinare una base di W ; v = 4 c) Determinare la migliore approssimazione w di v in W ; d) Il punto P di coordinate le componenti di w è il punto di π più vicino a P Determinare la distanza di P da π 4 Calcolo delle soluzioni di un sistema nel senso dei minimi quadrati Siano A R n k di colonne a,, a k R n, b R n e si consideri R n con prodotto scalare canonico Allora: Le soluzioni di Ax = b nel senso dei minimi quadrati sono le coordinate rispetto ad a,, a k della migliore approssimazione di b in span{ a,, a k }, ovvero della proiezione ortogonale di b su span{ a,, a k } Infatti: La migliore approssimazione di b in span{ a,, a k } è il minimo assoluto y della funzione d : span{ a,, a k } R definita da: dy) = b y = y b Allora, posto y = Ax, per ogni x R k si ha Ax span{ a,, a k } e quindi: Ax b = Ax b y b = Ax b Dunque, per definizione, x è una soluzione di Ax = b nel senso dei minimi quadrati Le componenti di x sono coordinate rispetto ad a,, a k della migliore approssimazione y Le coordinate rispetto ad a,, a k della migliore approssimazione di b in span{ a,, a k }, ovvero della proiezione ortogonale di b su span{ a,, a k }, sono le soluzioni del sistema delle equazioni normali definite dai generatori a,, a k Ricordando che per ogni a, b R n si ha a b = b T a, il sistema delle equazioni normali definite dai generatori a,, a k si scrive: ovvero: A T Ax = A T b 48 Teorema Le soluzioni di Ax = b nel senso dei minimi quadrati sono le soluzioni del sistema delle equazioni normali: A T Ax = A T b 49 Osservazione Si consideri il sistema delle equazioni normali relative ad Ax = b Come già osservato, il sistema ha sempre almeno una soluzione Si ha inoltre: 8

i) La matrice A T A R k k delle equazioni normali è simmetrica e semidefinita positiva La matrice è poi definita positiva, in particolare invertibile, se e solo se le colonne di A sono linearmente indipendenti Infatti: Per ogni x R k si ha: A T Ax x = x T A T Ax = Ax) T Ax = Ax Ax = Ax dunque la matrice A T A è semidefinita positiva Inoltre, si ha: A T Ax x = Ax = se e solo se Ax = e quindi A T A è definita positiva se e solo se la condizione Ax = è equivalente a x =, ovvero se e solo se le colonne di A sono linearmente indipendenti ii) Sia SA, b) R k l insieme delle soluzioni di Ax = b nel senso dei minimi quadrati Sussistono i risultati seguenti: 3 Esiste un solo elemento di minima norma in SA, b) La funzione da R n in R k che associa a b l elemento di minima norma in SA, b) è un applicazione lineare La matrice k n che la definisce si chiama pseudoinversa di A e si indica con A + Se n k e le colonne di A sono linearmente indipendenti allora SA, b) ha un solo elemento: x = A T A) A T b Dunque x è l elemento di minima norma in SA, b) e la matrice pseudoinversa di A è: Se, inoltre, n = k allora A + = A A + = A T A) A T La ricerca delle soluzioni del sistema Ax = b nel senso dei minimi quadrati è dunque ricondotta alla costruzione e soluzione delle equazioni normali Un procedimento numericamente preferibile alla determinazione della soluzione delle equazioni normali si ottiene estendendo la nozione di fattorizzazione QR al caso di matrici non quadrate 4 Definizione fattorizzazione QR, caso non quadrato) Sia A R n k con n k La coppia U, T è una fattorizzazione QR di A se: A = UT il fattore sinistro U è una matrice n k ad elementi reali con colonne ortonormali rispetto al prodotto scalare canonico in R n ; il fattore destro T è una matrice k k ad elementi reali triangolare superiore La ricerca di una fattorizzazione QR può essere effettuata, se le colonne di A sono linearmente indipendenti, con la procedura GS definita nel Paragrafo 7 del Capitolo Esistono procedure per la ricerca di una fattorizzazione QR più generali di GS e ad essa preferibili da un punto di vista numerico La funzione predefinita qr di Scilab realizza una di queste ultime qr Questa funzione predefinita restituisce una coppia di matrici che approssima una fattorizzazione QR di una matrice assegnata Precisamente, se A è una matrice n k con n k e: [U,T = qra, e ) allora la coppia U,T approssima una fattorizzazione QR di A Come già osservato le colonne di A possono essere linearmente dipendenti Si ricordi che una matrice simmetrica M R n n è semidefinita positiva se per ogni x R n si ha Mx x Se, inoltre, Mx x > per tutti gli x, la matrice è definita positiva Se x e Mx = allora Mx x = ed M non è definita positiva, ovvero: Se M è definita positiva allora Mx = se e solo se x =, ovvero M è invertibile 3 Si veda, ad esempio: L Aceto e M Ciampa: Complementi di Algebra e Fondamenti di Geometria, Capitolo 4, Decomposizione ai valori singolari http://paginedmunipiit/~a8363/x-appuntiphp) 9

4 Esempio Sia: A = Una fattorizzazione QR si determina utilizzando opportunamente la procedura GS Procedendo come nell Esempio 3: Primo passo Si cercano Ω = ω, ω ) R 3 a colonne ortogonali e Θ R triangolare superiore con uno sulla diagonale tali che ΩΘ = A, ovvero tali che, dette a, a le colonne di A: ω = a, ω θ + ω = a Se esistono matrici siffatte allora, necessariamente: ω = a, θ = ω a ω ω = e quindi: Dunque: Ω = ω = a ω =, Θ = [ Secondo passo Si normalizzano le colonne di Ω lasciando inalterato il risultato del prodotto Posto: = diag ω, ω ) = diag, ) si pone: U = Ω =, T = Θ = [ Se A è una matrice a colonne linearmente indipendenti e U, T ) è una fattorizzazione QR di A allora: A + = A T A) A T = T T T ) T T U T = T T T ) T T U T = T U T Per la matrice in esame si ha allora: [ A + = [ = [ Siano A a colonne linearmente indipendenti e U, T una fattorizzazione QR di A Si ha: Il sistema delle equazioni normali A T Ax = A T b è equivalente al sistema T x = U T b Infatti, tenuto conto che U T U = I, si ricava: A T A = T T T e A T b = T T U T b dunque il sistema delle equazioni normali si riscrive: T T T x = T T U T b

L asserto si ottiene considerando che se le colonne di A sono linearmente indipendenti allora la matrice T, e quindi T T, è invertibile Infatti, ragionando per assurdo: Se T y = per qualche y allora Ay = UT y = per qualche y, ovvero: le colonne di A sono linearmente dipendenti Si ha, inoltre: 4 c A T A) = c T ) ) ovvero: Le proprietà di condizionamento di T sono quasi sempre) migliori di quelle di A T A Dunque: un procedimento per la ricerca delle soluzioni del sistema Ax = b nel senso dei minimi quadrati numericamente preferibile alla costruzione e soluzione delle equazioni normali A T Ax = b è quello di calcolare una coppia U, T fattorizzazione QR di A e poi risolvere il sistema T x = U T b 4 Osservazione backslash) Scilab ha una funzione predefinita per la ricerca delle soluzioni di un sistema di equazioni lineari: backslash backslash Questa funzione predefinita restituisce un vettore che approssima una soluzione o una soluzione nel senso dei minimi quadrati del sistema di equazioni lineari descritto dai dati di ingresso Precisamente, detta u la precisione di macchina, dati A matrice n k e b colonna ad n componenti, backslasha,b) o, più usualmente, A\b, restituisce la colonna a k componenti così determinata: Se n = k allora: [S, D, P = EGPPA); Se det D = allora: rcond = ; altrimenti: rcond = una stima di c A) ; Se rcond > u allora: A\b = SI D, SAS, Pb) ) ; Se n k oppure rcond u allora: 43 Esempio Siano: A\b = una colonna che approssima una soluzione di Ax = b nel senso dei minimi quadrati determinata utilizzando opportunamente una fattorizzazione QR di A A = [, b = La matrice A non è invertibile ma b è uguale alla prima colonna di A e il sistema ha infinite soluzioni: [ [ SA, b) = + λ, λ R Le soluzioni di Ax = b nel senso dei minimi quadrati coincidono con le soluzioni In Scilab si ha: -->A = [,;,; b = [, ; [ -->x = A \ b Warning : matrix is close to singular or badly scaled rcond = computing least squares solution see lsq) D+ x = 4 Si veda, ad esempio: M Ciampa: Calcolo Numerico http://paginedmunipiit/~a8363/x-appuntiphp), Osservazione 5 punto c)

Dopo aver avvisato l utilizzatore che la stima di c A) è inferiore a u 5 e quindi c A) è maggiore di u) 4 4 ), Scilab assegna ad x un valore che approssima una delle soluzioni di Ax = b nel senso dei minimi quadrati: -->x == [, ans = F T -->format5) -->x x = 9999999999999998889777 Si osservi che l elemento di SA, b) approssimato da Scilab non è quello di minima norma 43 Calcolo delle funzioni che meglio approssimano dati assegnati nel senso dei minimi quadrati Siano I un intervallo non degenere, F un sottospazio vettoriale di dimensione finita dello spazio delle funzioni continue da I in R, x,, x k numeri reali in I e y,, y k numeri reali Ricordiamo che un elemento f di F è una funzione che meglio approssima i dati x, y ),, x k, y k ) nel senso dei minimi quadrati se: Per ogni f F si ha: f x ) y ) + + f x k ) y k ) fx ) y ) + + fxk ) y k ) ovvero se f è un minimo assoluto della funzione scarto quadratico SQ : F R definita da: SQf) = fx ) y ) + + fxk ) y k ) Sia f,, f j una base di F Il problema si traduce allora nella ricerca di a,, a j R tali che a f x) + + a j f j x) sia un minimo assoluto della funzione SQ Poiché per ogni f F si ha: allora: Posto: si riscrive: SQf) = fx ) y ) + + fxk ) y k ) = SQ a f x) + + a j f j x) ) = a = a a j, A = fx ) y fx k ) y k a f x ) + + a j f j x ) y a f x k ) + + a j f j x k ) y k f x ) f j x ) f x k ) f j x k ) e b = SQ a f x) + + a j f j x) ) = Aa b Osservato che A e b sono la matrice e colonna del sistema di equazioni che traduce le condizioni di interpolazione dei dati con elementi di F e ricordata la definizione di soluzione del sistema Ax = b nel senso dei minimi quadrati si deduce che: Le coordinate delle funzioni che meglio approssimano i dati nel senso dei minimi quadrati sono le componenti delle soluzioni nel senso dei minimi quadrati del sistema che traduce le condizioni di interpolazione dei dati y y k

44 Esercizio Determinare gli elementi di P R) che meglio approssimano i dati: nel senso dei minimi quadrati, ),, ),, ),, ) Soluzione Sia, x una base di P R) Il sistema che traduce le condizioni di interpolazione dei dati con un elemento di P R) è Ax = b con: A = e b = I coefficienti che individuano gli elementi di P R) che meglio approssimano i dati sono le soluzioni del sistema nel senso dei minimi quadrati Poiché le colonne di A sono linearmente indipendenti il sistema ha una sola soluzione nel senso dei minimi quadrati Il sistema delle equazioni normali è: da cui: e l elemento cercato è: [ 4 3 3 5 x = x = [ 7 8 [ 4 p x) = 7 8 x Si osservi che, detta b la proiezione ortogonale di b sul sottospazio di R 4 generato dalle colonne di A si ha: b = Ax e quindi: Ax b = Dunque: l elemento p migliore approssimazione dei dati x i, b i+ ), i =,, 3 interpola i dati x i, b i+ ), i =,, 3 Le nozioni di soluzione di un sistema di equazioni lineari nel senso dei minimi quadrati e di funzione che meglio approssima i dati nel senso dei minimi quadrati possono essere estese modificando le funzioni n e SQ con l introduzione di un coefficiente positivo, detto peso, per ciascun addendo L esempio seguente illustra queste estensioni 45 Esercizio Sia F un sottospazio vettoriale di dimensione due dello spazio delle funzioni continue da I in R e p, p, p numeri reali positivi Determinare gli elementi di F minimi assoluti della funzione SQ : F R definita da: SQf) = p fx ) y ) + p fx ) y ) + p fx ) y ) Soluzione Per ogni f F si ha: SQf) = p fx ) y ) + p fx ) y ) + p fx ) y ) = p fx ) y ) p fx ) y ) p fx ) y ) Procedendo come sopra si ottiene che, detta f, f una base di F e posto: [ a a =, = diag p a, p, f x ) f x ) p ), A = f x ) f x ) e b = f x ) f x ) y y y si riscrive: SQ a f x) + a f x) ) = Aa b 3

Si deduce che: Le coordinate delle funzioni che meglio approssimano i dati nel senso dei minimi quadrati, con pesi p, p, p, sono le componenti delle soluzioni nel senso dei minimi quadrati del sistema Ax = b Queste ultime sono le soluzioni del sistema delle equazioni normali: A T Ax = A T b Esercizi E6 Siano: A =, b = Determinare una fattorizzazione QR di A utilizzando la procedura GS ed utilizzarla per calcolare le soluzioni del sistema Ax = b nel senso dei minimi quadrati E7 Verificare che in Scilab dopo gli assegnamenti: -->A = [,,;,, ; -->[U,T = qra, e ); la coppia U, T) è un approssimazione della fattorizzazione QR di A: U =, T = [ Confrontare la fattorizzazione con quella ottenuta nell Esempio 4 E8 Siano A e A + come nell Esempio 4 Determinare A + A e AA + Il primo risultato giustifica il termine pseudoinversa utilizzato per la matrice A + Dimostrare che per ogni B R n k a colonne linearmente indipendenti si ha: B + B = I E9 Utilizzare la funzione backslash per determinare gli elementi di P R) che meglio approssimano i dati:, ),, ),, ),, ) nel senso dei minimi quadrati e disegnare, su uno stesso piano cartesiano, i dati ed il grafico dell elemento ottenuto E Sia F : R 3 R definita da: F x) = x + x + 3x 3 + x x + x 3 ) + x 4x + ) Determinare una matrice A R n 3 ed una colonna b R n tali che per ogni x R 3 si abbia: Determinare poi il minimo assoluto di F F x) = Ax b E Assegnato un sistema di riferimento cartesiano in un piano π, siano c,, c j R i vettori delle coordinate di j punti distinti di π Si consideri la funzione λ : R R definita da: λx) = x c + + x c j Dare un interpretazione geometrica della funzione λ 4

Determinare A R j e b R j tali che per ogni x R si abbia: λx) = Ax b Siano: [ c = [, c = [, c 3 = Determinare il minimo assoluto di λ E Assegnato un sistema di riferimento cartesiano in un piano π, siano c,, c j R i vettori delle coordinate di j punti distinti di π Assegnati k,, k j numeri reali positivi, si consideri la funzione EP : R R definita da: EPx) = k x c + + k j x c j Dare un interpretazione meccanica della funzione EP Determinare A R j e b R j tali che per ogni x R si abbia: EPx) = Ax b Siano: [ c = [, c = [, c 3 = e k = k =, k 3 = 4 Determinare il minimo assoluto di EP 5