Minimi quadrati e problemi di distanza minima

Transcript

1 Minimi qudrti e problemi di distnz minim Considerimo un mtrice rettngolre B, con elementi b ij, i 1,..., n, j 1,..., m, con m < n (quindi, più righe che colonne. Voglimo risolvere il sistem linere (1 Bx b, dove b R n è un vettore dto. Dl teorem dell dimensione dell lgebr linere sppimo che l soluzione, se esiste, è unic se e solo se B è di rngo mssimo (cioè esiste un minore m m di B che è non-singolre. Dl Teorem di Rouché Cpelli si s che l soluzione esiste se e solo se il rngo di B coincide con il rngo dell mtrice (B b, ottenut ggiungendo B l colonn dt dl termine noto b. Quello che qui voglimo fre è però dre un senso ll soluzione di (1 per B di rngo mssimo e per qulunque vlore di b R n, cioè nche se il rngo di (B b è diverso d m (il che vuol dire, in quest situzione, che è ugule m + 1. L ipotesi è dunque solmente: (* B si di rngo mssimo e si b R n. Risolvere signific minimizzre Bisogn dre un senso opportuno ll prol soluzione : l ide è di considerre soluzione il vettore x R m che minimizz l distnz fr Bx e b, cioè ( x R m è tle d minimizzre ψ(x Bx b m b ij x j b i. Per prim cos mostrimo che ψ h effettivmente un minimo: dl momento che è continu (è un polinomio di secondo grdo in m vribili, dunque è infinitmente differenzibile, è sufficiente mostrre che ψ(x + per x + (1. Siccome si h ψ(x ( Bx b, bst provre che Bx +. Or Bx Bx Bx B T Bx x, e quindi l mtrice qudrt B T B è semi-definit positiv (cioè B T Bx x per ogni x. D ltr prte B T Bx x se e solo se Bx, e questo vviene se e solo se x, dl momento che B è di rngo mssimo. Quindi B T B è definit positiv (cioè B T Bx x > per ogni x. Essendo ovvimente simmetric ((B T B T B T (B T T B T B, si deduce che il suo utovlore minimo µ min è strettmente positivo, e che Bx B T Bx x µ min x +. Chimimo dunque x un punto di minimo di ψ: esso è un punto stzionrio di ψ e per individurlo clcolimo il grdiente di ψ. Si h, per k 1,..., m: ψ (x [ n m ] b ij x j b i x k x k m m b ij x j b i b ij x j b i x k m m x j b ij x j b i b ij. x k (1 Se ψ(x +, fisst l sogli M ψ( esiste r > per cui per x > r si h ψ(x M. D ltro cnto, dl Teorem di Weierstrss ψ h un minimo sull insieme chiuso e limitto B r x R m x r}, cioè si h ψ(x ν per x r, vendo definito ν min Br ψ(x; in prticolre ψ( ν. Di conseguenz, per x > r si h ψ(x M ψ( ν, e cosí ν risult il vlore di minimo di ψ non solo in B r m in tutto R m. 1

2 Siccome si conclude che x j 1 se j k x k se j k, ψ x k (x m b ij x j b i b ik. D ltr prte b ik (B ik (B T ki, quindi possimo riscrivere Ogni punto stzionrio x di ψ dunque soddisf grd ψ(x B T (Bx b. (3 B T Bx B T b. Avendo già verificto che, se B è di rngo mssimo, l mtrice B T B è simmetric e definit positiv, dunque non-singolre, l soluzione di (3 è unic, quindi c è un solo punto stzionro di ψ, e questo punto stzionrio è l unico punto di minimo x di ψ. In conclusione, per risolvere il sistem (1, nel senso dto d (, bisogn trovre l unic soluzione x del sistem (3. Quest soluzione viene chimt soluzione i minimi qudrti. Un esempio: rett di regressione linere Si vuole rispondere ll domnd: qul è l rett y αx + β che pss per tre o più punti non llineti? Se i punti sono (x i, y i, i 1,..., n, con n 3, si vuole risolvere il sistem (4 αx 1 + β y 1 αx + β y... αx n + β y n. Se i punti (x i, y i non sono llineti, il sistem (4 non h soluzione. Però si può provre risolverlo nel senso dei minimi qudrti. L mtrice che esprime il sistem linere (4 è l mtrice n x 1 1 x B x n 1 Se per lmeno un coppi di indici distinti i 1 e i si h x i1 x i (cioè se nel pino (x, y i punti non sono tutti su un rett verticle l mtrice B risult di rngo mssimo. Dunque bst risolvere B T B ( α B T β y 1 y... y n. Si h B T B x i x i n x i, BT y 1 y... y n x i y i, y i

3 per cui (5 n n n x i y i x i y i α n n x i x i n n n n x i y i x i x i y i β n. n x i x i Un ltro problem: polinomio di distnz minim L domnd è: qul è il polinomio di grdo N che h distnz minim d un funzione F ssegnt? Il primo problem è definire il concetto di distnz fr funzioni. Possimo procedere in questo modo: se bbimo due funzioni F e G, definite e (per esempio continue in un intervllo [, b], un prodotto sclre fr di loro può essere definito come F, G F (x G(x dx. [Controllte che quest definizione soddisfi tutte le proprietà di un prodotto sclre.] Avendo un prodotto sclre si h un norm: F F, F 1/ (scrivimo F per distinguerl dll norm euclide di un vettore, che è indict con ; vendo un norm si h un distnz: dist(f, G F G. L domnd inizile dunque si riformul cosí: dt un funzione F, definit e continu in [, b], determinre il polinomio P N (x di grdo N che minimizz l distnz (l qudrto d F, cioè che minimizz P N F (P N (x F (x dx. Siccome un polinomio di grdo N si scrive come P N (x N jx j, si trtt di trovre i coefficienti j, j, 1,..., N, che minimizzno l funzione di N + 1 vribili Q(,..., N N dx j x j F (x. Si può dimostrre che in R N+1 quest funzione Q h un vlore minimo (. Come l solito, per trovre un punto di minimo cerchimo un punto stzionrio. Clcolimo il grdiente di Q (derivndo sotto il segno ( Se proprio lo volete spere... Scrivimo (,..., N. L funzione Q è un polinomio di secondo grdo nelle N + 1 vribili, 1,..., N, dunque è infinitmente differenzibile in R N+1. Come nel cso precedente, per vedere che h un minimo bst mostrre che Q( + per +. Si h Q( ( P N F, quindi bst dimostrre che P N N ix j + per +. Definimo q( N jx j. Un prim osservzione è che q( se e solo se il polinomio N jx j è nullo, cioè se e solo se. Siccome q è un funzione continu, dl Teorem di Weierstrss h minimo m 1 sull insieme chiuso e limitto S 1 v R N+1 v 1}, e, per qunto ppen detto, questo minimo deve soddisfre m 1 >. Siccome si h q(tw tq(w per ogni t > ed ogni w R N+1, preso R N+1,, si deduce ( q( q (si è considerto t > e w S 1. q ( 3 m 1 +

4 di integrle, operzione che è giustifict nel cso in questione: Siccome si conclude che Q b (,..., N k N dx j x j F (x k Q k (,..., N j x j F (x k N N j x j F (x x j j dx. k j 1 se j k k se j k, ( N j x j F (x x k dx. j x j F (x dx Se definimo per j, k,..., N gli elementi kj dell mtrice A e le componenti f k del vettore f come kj x j+k dx, f k F (x x k dx, bbimo ottenuto che grd Q (A f, e dunque i punti stzionri di Q sono le soluzioni del sistem linere (6 A f. L mtrice A è chirmente simmetric, ed è nche definit positiv. Inftti, per v R N+1 si h Av v k, kj v j v k k, v j v k x j x k dx N v j x j N v k x k dx k N v j x j dx. Quindi Av v, e Av v se e solo se il polinomio N v jx j è nullo, cioè se e solo se tutti i coefficienti v j sono nulli (ossi v. Si può dunque concludere che l mtrice A è non-singolre, e il sistem (6 h soluzione unic, cioè l funzione Q h un unico punto stzionrio, l unico suo punto di minimo. In conclusione, il polinomio P N (x N jx j di distnz minim dll funzione F è univocmente determinto di coefficienti, 1,..., N soluzione del sistem (6. [Approfondimento sul tem: Si noti che il problem potrebbe essere semplificto se vessimo rppresentto il polinomio P N trmite un bse polinomile più stut (lo spzio dei polinomi di grdo N definiti in un intervllo [, b] sono uno spzio vettorile di dimensione N + 1, dunque un qulunque sistem di N + 1 polinomi di grdo N fr loro linermente indipendenti sono un bse. L bse che bbimo utilizzto nell esempio precedente sembr l più semplice, essendo dt di polinomi 1, x,..., x N. M se d ess pplichimo il procedimento di ortonormlizzzione di Grm Schmidt, utilizzndo il prodotto sclre,, trovimo un bse ortonormle di polinomi. Chimimoli L j (x, j, 1,..., N: in prticolre si verific fcilmente che L j è di grdo j. Or si cercno i coefficienti â, â 1,..., â N del polinomio P N (x N âjl j (x in modo tle che esso si 4

5 di distnz minim dll funzione F. Ripetendo il procedimento di minimizzzione or presentto si rriv fcilmente verificre che il vettore â R N+1 cercto è l soluzione del sistem linere (7 Â â f, ove â kj L j (xl k (x dx, fk F (xl k (x dx. Or un osservzione importnte: siccome l bse di polinomi L j è ortonormle rispetto l prodotto sclre,, si h che 1 se j k L j (xl k (x dx se j k, e di conseguenz l mtrice Â è l mtrice identità! L soluzione di Â â f è dunque â f! In conclusione: utilizzndo l bse di polinomi ortonormli L j (si chimno polinomi di Legendre, il polinomio di distnz minim dll funzione F è P N (x â j L j (x, â j F (xl j (x dx, di clcolo immedito (se si hnno disposizione i polinomi di Legendre L j... V infine osservto che questi polinomi, oltre poter essere determinti ogni volt che occorr prtire d 1, x,..., x N trmite il procedimento di Grm Schmidt, sono stti clcolti esplicitmente per ogni grdo N trmite un formul di ricorrenz e sono riportti nei libri che trttno di questi rgomenti. Per esempio, nell intervllo [ 1, 1] si h L (x ( 3, L 1 (x x, L (x x 1 7 ( 5, L 3 (x x3 3 x,....] Un ltro problem: polinomio trigonometrico di distnz minim Un problem simile l precedente è quello di trovre un polinomio trigonometrico Q N di distnz minim d un dt funzione (continu F. (Per polinomio trigonometrico si intende un funzione del tipo Q N (x A + [A j cos(jx + B j sin(jx] ; per esempio, noi considerimo qui nel seguito un funzione dell form Q N (x N B j sin(jx, e l intervllo [, π]. Si trtt dunque di minimizzre l funzione S(B 1,..., B N N B j sin(jx F (x dx, che è un polinomio di secondo grdo rispetto lle N vribili B (B 1,..., B N. [In modo molto simile l cso precedente si può vedere che S h minimo in R N. L unico pssggio che richiede un ttimo di riflessione è l ffermzione che ( π N B j sin(jx dx se e solo se B : m questo srà chiro fr un ttimo...] 5

6 Siccome Come l solito cerchimo i punti stzionri, derivndo sotto l segno di integrle: si conclude che S π (B 1,..., B N N dx B j sin(jx F (x S (B 1,..., B N B j sin(jx F (x B j sin(jx F (x dx N N B j sin(jx F (x sin(jx B j dx. B j 1 se j k se j k, B j sin(jx F (x sin(kx dx. M il sistem sin(jx, j 1,..., N è ortogonle rispetto l prodotto sclre, considerto nell intervllo [, π], dto che vle (integrzione per prti... (8 sin(jx sin(kx dx π se j k se j k. Dunque imponendo che S ( π N B j sin(jx F (x sin(kx dx per ogni k 1,..., N, si verific immeditmente che l unico punto stzionrio di S soddisf B k π F (x sin(kx dx, k 1,..., N. Si conclude quindi che il polinomio trigonometrico di minim distnz d F è dto d Q N (x B j sin(jx, B j π F (x sin(jx dx. Si può vedere che mndndo N ll infinito l distnz di Q N d F tende, cioè che F si può sviluppre in serie: l su serie di Fourier! [Per chi non h mi sentito prlre di un serie quest ffermzione è un po misterios: dicimo che F coincide con l somm degli infiniti ddendi B j sin(jx, j 1,,....] N [Or è nche chiro che B j sin(jx dx se e solo se B : inftti innnzitutto si h N B j sin(jx per ogni x [, π], e dunque moltiplicndo per sin(kx e integrndo su [, π] si ottiene B j sin(jx sin(kx, k 1,..., N. Quindi usndo (8 ne segue subito π B k per k 1,..., N, cioè B.] 6