Analisi e confronto tra metodi di regolarizzazione diretti per la risoluzione di problemi discreti mal-posti

Transcript

1 UNIVERSIA DEGLI SUDI DI CAGLIARI Facoltà d Ingegnera Elettronca Corso d Calcolo Numerco 1 A.A. 00/003 Anals e confronto tra metod d regolarzzazone drett per la rsoluzone d prolem dscret mal-post Docente: Prof. Guseppe Rodrguez Studente: Gampaolo Serra

2 Introduzone Molt prolem pratc d nteresse scentfco, ed esprml sotto forma d un sstema d equazon lnear, rsultano dffcl da rsolvere a causa del valore grande del numero d condzonamento della loro matrce A de coeffcent. Il numero d condzonamento d una matrce è una msura quanttatva d come la soluzone d un prolema venga nfluenzata da una perturazone ne dat o, equvalentemente, d quanto un errore su dat possa essere amplfcato ne rsultat. Affermare che un prolema è dffcle da rsolvere non vuol dre che non s possa calcolare una soluzone, ma che, per le tecnche standard dell algera lneare, non esste una soluzone unca che dpenda con contnutà da dat. La rsoluzone d quest prolem rchede, pertanto, una anals dversa da quella classca: devono essere utlzzat metod pù sofstcat che calcolno una soluzone approssmata ma sgnfcatva. Questo è l oettvo de metod d regolarzzazone. In alcun cas l mal-condzonamento della matrce è dovuto ad una cattva formulazone del modello matematco, n altr è una propretà ntrnseca della formulazone del prolema stesso. Un approcco al trattamento del mal-condzonamento, qualunque sa stata la sua causa, prevede la conoscenza della SVD della matrce A. In partcolare de valor sngolar d tale decomposzone, perché l rapporto tra l pù grande valore sngolare e quello pù pccolo defnsce propro l numero d condzonamento della matrce. La trattazone numerca d un sstema d equazon mal-condzonato dpende dal tpo d malcondzonamento. C sono due mportant class d prolem da consderare e molt prolem pratc appartengono ad una d queste: prolem a rango non peno e prolem dscret mal post. I prm sono caratterzzat da una matrce A avente un cluster (grappolo) d pccol valor sngolar e un en determnato gap tra valor sngolar pù grand e quell pù pccol. Questo mplca che uno o pù rghe e colonne d A sono quas una comnazone lneare d altre o d tutte le rmanent rghe e colonne. Percò, la matrce A contene nformazon rdondant, e la chave per trattare numercamente quest prolem è estrarre le nformazon lnearmente ndpendent o l rango numerco n A e rformulare l prolema con una matrce en-condzonata. I second, nvece, sorgono dalla dscretzzazone d prolem mal-post. In questo caso tutt valor sngolar d A n meda decadono gradualmente a zero. Poché nello spettro de valor sngolar non c è un gap rlevante, non è possle ndvduare per queste matrc un rango numerco. Per prolem dscret mal-condzonat, allora, l oettvo è trovare un uon lancamento tra la norma del resduo e la norma (o sem-norma) della soluzone. A metod d regolarzzazone per la rsoluzone de prolem dscret mal-post è dedcato l pacchetto d Matla Regularzaton ools [1]. Questo pacchetto contene un nseme d routnes asate su effcent algortm che permettono all utente d analzzare e d rsolvere prolem dscret mal-post, attraverso le pù note stratege d regolarzzazone. In questa tesna, tra le dverse routnes messe a dsposzone dal pacchetto s è scelto d utlzzare quelle costrute su metod d regolarzzazone drett adatte, soprattutt, a prolem d dmenson non troppo grand ( n mnore d 1000 ). Oettvo L oettvo della tesna è mettere a confronto le routnes del pacchetto d Matla Regularzaton ools [1], svluppate per l anals e la soluzone de prolem dscret mal-post. In partcolare questo lavoro s propone d analzzare e d confrontare alcune delle pù note stratege per la regolarzzazone della soluzone d tal prolem, attraverso due de pù utl strument per la scelta del parametro d regolarzzazone, mess a dsposzone dal pacchetto: l crtero della curva L e l metodo GCV. ra le dverse stratege d regolarzzazone sono stat scelt seguent 1

3 metodo drett: l metodo d khonov, la decomposzone a valor sngolar troncata (SVD) e la sua forma generalzzata (GSVD). Descrzone della tesna La prma parte della tesna è dedcata alla descrzone de prolem mal-post ovvero l contesto dove lo studo delle stratege d regolarzzazone è stato svluppato [3]. uttava l attenzone è stata rvolta soprattutto a prolem dscret mal-post, e agl strument che l anals numerca offre per studarne la rsoluzone. In partcolare s rportano la defnzone e le propretà della decomposzone a valor sngolar, la SVD, e della sua forma generalzzata, la GSVD [] e [3]. Inoltre, prendendo spunto da qualche esempo, s evdenzano qual sono le dffcoltà che s ncontrano nella rsoluzone de prolem dscret mal-post, e la necesstà d ntrodurre adeguate stratege d regolarzzazone. A queste è rservata la seconda parte d questo lavoro, nel quale s esamnano, tra tant metod d regolarzzazone present n letteratura, metod drett come l crtero d khonov, la SVD troncata o SVD, e la sua forma generalzzata GSVD [] e [3]. Al termne della seconda parte, s ntroducono pù mportant metod per la scelta del parametro d regolarzzazone [3]. In partcolare la curva L e la GCV che rcoprono un ruolo fondamentale per l confronto tra dvers metod d regolarzzazone. La terza parte della tesna, nfne, rporta rsultat del confronto tra dvers metod d regolarzzazone quando quest utlzzano, come crtero per la scelta del parametro, o la curva L o la funzone GCV.

4 Prma Parte: prolem dscret mal-post. I prolem mal-post sorgono aastanza spesso n molte aree dell ngegnera e, n generale, delle scenze nella forma d prolem nvers. Un prolema nverso s presenta ogn qual volta s ha l nteresse a determnare la struttura nterna d un sstema fsco dalle msure del comportamento del sstema stesso; ovvero quando s vuole determnare un segnale n ngresso sconoscuto ( nput) che produce n uscta un segnale (output) che può essere msurato, nota la struttura del sstema (system). In contrasto a prolem drett dove l nteresse è l comportamento del sstema (output) dato l ngresso (nput) o la struttura nterna (system). In forma analtca un prolema nverso s presenta come Ω system* nputdω= output Il classco esempo d un prolema lneare mal-posto è l equazone ntegrale d Fredholm d prma spece che può sempre essere scrtta come τ 0 K ( s, t) f ( t) dt = g( s), 0 s ς dove l termne noto g e l kernel K sono funzon note, mentre f è l ncognta da determnare. L ntegrazone, quando l kernel K è una funzone a quadrato ntegrale, ha un effetto d smorzamento sulla funzone f. L operazone nversa, quella d rsolvere l equazone ntegrale per l calcolo della f, nvece tende ad amplfcare la funzone g del termne noto. Se la funzone g è una funzone oscllante, come spesso avvene n pratca, nell nversone l kernel tende ad amplfcare le oscllazon d g. Se non s vuole osservare un aumento smodato d tal oscllazon, con nevtale esplosone della norma della soluzone f, g deve essere suffcentemente smorzata. Dal punto d vsta matematco, la condzone sullo funzone g, prende l nome d condzone d Pcard e, come verrà charto meglo ne prossm paragraf, garantsce che la norma della soluzone, rsult stale e non rcheda alcuna regolarzzazone. Questo punto d vsta non tene conto degl effett dsastros de dvers tp d error che possono tormentare la rsoluzone d un prolema dscreto mal-posto. Per charre questo fatto s ntroduce ora la forma dscreta dell equazone ntegrale d Fredholm. Nella pratca l kernel dell equazone s rcava da una opportuna dscretzzazone del modello matematco, mentre l termne noto g è l rsultato d un numero fnto d msure. L equazone ntegrale dventa allora: τ 0 k ( ) ( ), 1,..., t f t dt = = m con k = K( s, t) e g( s ) =. 3

5 Il prolema, così formulato, è faclmente esprmle nella forma d un sstema d equazon lnear Ax= e, n generale, è affetto da dvers tp d error sa n A che n. Una prma sorgente d error è l processo d dscretzzazone utlzzato per la costruzone del sstema lneare che, nevtalmente, genera error d approssmazone sa n A che n. Un altra sorgente d error sono gl error d msura; quest pù spesso s aggungono al termne noto. Infne, non è possle evtare gl error d arrotondamento contenut ne calcol d A e, che possono essere nterpretat come perturazon de dat d ngresso A e. La prncpale dffcoltà nella rsoluzone d un prolema dscreto mal-posto è dovuta propro a quest error, che a causa dell enorme numero d condzonamento della matrce tendono ad essere amplfcat dal kernel al momento dell nversone; l effetto dsastroso rsultante è una soluzone nstale e qund naccettale. In questo caso è evdente che la condzone d Pcard non è verfcata ed è percò necessaro ncludere qualche tpo d regolarzzazone, ndspensale per stalzzare la soluzone del prolema. Nel pacchetto Matla [1], sono present alcune routnes che generano de prolem test dscretzzando propro un prolema mal-condzonato come l equazone d Fredholm d prma spece. al prolem test sono utlzzat n questa tesna per provare l effcaca de dvers metod d regolarzzazone. La SVD e la sua forma generalzzata GSVD I mglor strument per l anals de prolem mal-post sono la SVD, ossa la decomposzone a valor sngolar, d A e la sua generalzzazone, la GSVD della coppa d matrc (A,L). La SVD e la sua forma generalzzata rducono le dffcoltà assocate al mal-condzonamento d A, n pù la GSVD d (A,L) fornsce mportant nformazon sul prolema della regolarzzazone convolgendo entrame le matrc A e L. La matrce L è tpcamente una matrce denttà, o una matrce dagonale; assume la forma d una matrce rettangolare, con p < n. mxn Dal punto d vsta analtco la SVD è defnta come: sa Aє una matrce quadrata o rettangolare con m n n A= UΣ V = uσ v = 1, mxn nxn dove U = ( u1,..., un), V = ( v1,..., vn) sono matrc con colonne ortogonal, tal che UU= VV= I n, e dove la matrce dagonale Σ = dag( σ1,..., σ n ) ha element dagonal non negatv che decrescono secondo l ordne σ1 σ... σ n 0. I numer σ sono chamat valor sngolar d A, mentre vettor u e v sono vettor sngolar snstr e destr d A, rspettvamente. La SVD è defnta per qualunque valore d m e n; se m<n, semplcemente la SVD s applca alla matrce A e s scamano U e V. Dal punto d vsta geometrco, la SVD d A fornsce due as d vettor ortogonal, le colonne d U e V, tal che la matrce dventa dagonale quando trasformata rspetto a queste as. I valor sngolar sono sempre en condzonat rspetto alle perturazon della matrce, e questo l rende partcolarmente adatt per l anals de prolem mal-condzonat. Infatt s può dmostrare dalla defnzone d norma Eucldea d una matrce che A = σ1 e che l cond A A A σ σ n 1 ( ) = 1 /. 4

6 Ne prolem dscret mal-condzonat la SVD evdenza due peculartà : valor sngolar decadono gradualmente a zero senza nessun partcolare gap nello spettro; vettor destr e snstr tendono ad avere molt camament d segn ne loro element, all aumentare dell ndce e mentre σ decrescono. Per vedere come la SVD penetra nel mal-condzonamento d A, s consderno le relazon seguent che seguono dalla defnzone d SVD : n A= uσ v = 1 Av = σ u Av = σ per = 1,, n. S nota che per pccol valor σ, rspetto a A = σ 1,esste una certa comnazone lneare delle colonne d A, caratterzzata dalle component del vettore sngolare destro v, tale che Av = σ è pccolo. In altre parole, uno o pù σ pccol mplcano che A è quas a rango non peno, e vettor v assocat a pccol σ, sono vettor appartenent al nucleo d A. Da questo e dalle caratterstche d A s deduce che la matrce n un prolema dscreto mal-condzonato è sempre molto malcondzonata, e l suo nucleo ha per as de vettor con molt cam d segno. Un altro aspetto de prolem dscret mal condzonat nel quale la SVD resce a far charezza è l effetto d smorzamento tpcamente assocato ad un kernel a quadrato ntegrale. S può notare, nfatt, che come σ decrescono, vettor sngolar u e v aumentano le loro oscllazon. S consder ora l prodotto Ax, con x vettore artraro. Usando la SVD, s ottene x= Ax = n ( ) = 1 n = 1 Questo mostra charamente che a causa della moltplcazone per σ le component alle alte frequenze d x sono pù smorzate n Ax rspetto alle component a assa frequenza. Nel prolema nverso nvece l calcolo d x da Ax= v x v σ ( ) v x u n u x = v σ = 1 mostra che σ s trovano al denomnatore generando l effetto opposto: amplfcano le component alle alte frequenze del termne noto. La GSVD della coppa d matrc (A,L) è una generalzzazone della SVD d A nel senso che valor sngolar generalzzat della coppa (A,L) sono essenzalmente le radc quadrate degl AALL,. autovalor generalzzat della coppa d matrc ( ) mxn pxn Sa A e L tale che m n p, che l nucleo d A sa dsgunto dal nucleo d L (questa condzone permette d trovare una sola soluzone), e che L aa le rghe a rango peno. La GSVD è una decomposzone d A e L nella forma 5

7 Σ 0 A= U X 0 In p 1, 1 L= V ( M,0 ) X. mxn pxp nxn Le colonne d U e V sono ortogonal, UU= I n, e VV= I p ; X è non sngolare con colonne che sono AA-ortogonal ; Σ e M sono matrc dagonal pxp : Σ= dag( σ1,, σ p), M = dag( µ 1,, µ p). Inoltre gl element dagonal d A sono non negatv e ordnat n modo che 0 σ1 σ p 1 e 1 µ 1 µ p 0e verfcano la relazone σ + µ = 1, = 1,, p. In defntva valor sngolar generalzzat γ d (A,L) sono defnt come rapport γ = σ / µ, = 1,, p, e sono n ordne non decrescente. Come per la SVD, le coppe ( σ, µ ) sono en condzonate rspetto alle perturazon d A; noltre la GSVD d (A,L) fornsce tre nuove as d vettor lnearmente ndpendent ( le colonne d U,V,e X) tal che le due matrc A e L dventano dagonal quando trasformate n queste nuove as. Ne prolem dscret mal-post se la matrce L è una matrce en-condzonata, n genere è così, s può mostrare che anche la matrce X è en-condzonata. Pertanto, è la matrce dagonale Σ che deve mostrare l mal-condzonamento d A. Quando γ σ per pccol σ, valor sngolar generalzzat decadono gradualmente a zero così come valor sngolar ordnar. pxn Inoltre, la matrce L ha sempre un nucleo non trascurale; nfatt, nella GSVD, le ultme n pcolonne de vettor sngolar destr x della matrce X sono vettor d ase del nucleo d L e percò tal che Lx = 0, = p+ 1,, n Come per vettor della SVD, anche gl x avranno frequent cam d segno n corrspondenza de pù pccol γ. La SVD e la GSVD possono essere calcolate attraverso le routne csvd e cgsvd mplementate nel pacchetto Matla [1]. Le caratterstche d un prolema dscreto mal-posto Ne paragraf precedent s è accennato al fatto che, n assenza d error ne dat A e, la soluzone x d un prolema mal-posto è stale e non rchede una regolarzzazone, se la condzone d Pcard è verfcata. Questo concetto può essere meglo charto nell amto de prolem dscret n cu la condzone d Pcard è espressa n termn d valor sngolar e d autovettor. In questo caso s dce che la condzone d Pcard è verfcata quando: tutt valor sngolar della matrce A non perturata decadono gradualmente a zero; corrspondent vettor sngolar snstr e destr tendono ad avere dvers cam d segno ne loro element all aumentare dell ndce, e qund al dmnure 6

8 de corrspondent valor sngolar; noltre coeffcent u decadono, n meda, a zero e,al peggo, con la stessa veloctà de valor sngolar. Questo può essere mostrato con un esempo. Il prolema test scelto è un equazone ntegrale d Fredholm d prma spece dscretzzata n un sstema d equazon lnear Ax = dove la matrce A è generata dalla routne aart(n) del pacchetto Matla [1], con n=16 e è un vettore per l momento non perturato. La matrce L, approssmazone d un operatore d dervata seconda, è una matrce a anda en condzonata che è calcolata con la routne get_l del pacchetto Matla [1]. Nella fgura seguente vengono mostrat valor sngolar σ della matrce A, calcolat con la SVD e valor sngolar generalzzat γ della coppa d matrc (A,L), calcolat con la GSVD. 10 valor sngolar d A 10 0 sgma 10 0 valor sngolar generalzzat d (A,L) 10 - gamma In entram grafc s può notare che non è presente un evdente gap tra valor ne due spettr e questo conferma che è un prolema dscreto mal-posto; noltre valor sngolar σ sono n ordne decrescente, mentre valor sngolar generalzzat γ sono n ordne crescente e n numero nferore p = n-, n accordo a come sono stat defnt. Comunque, sa nel caso de σ e sa n quello de γ, appare evdente che decadono monotoncamente: prm all aumentare dell ndce, second al 15 dmnure dell ndce. uttava, n corrspondenza d σ14 = γ14 = 10, s osserva una pccola varazone dell andamento de punt del grafco che tendono ad assestars verso un valore dverso da zero; questo fenomeno s può attrure agl error d arrotondamento nel calcolo della decomposzone della matrce, dovut alla precsone del calcolatore. La soluzone del prolema dscreto mal-posto, dopo la decomposzone a valor sngolar della matrce è nella forma: 7

9 n u x = v σ = 1 l termne noto non perturato soddsfa la condzone d Pcard se coeffcent d Fourer tendono a zero con la stessa veloctà de valor sngolar σ (o de γ nel caso s sa usata la GSVD); questo mentre, al decrescere de σ, corrspondent vettor sngolar u e v, tendono ad oscllare con frequent cam d segn, come vettor snstr e destr u, v, x al decrescere de valor d γ. u condzone d Pcard con la SVD e mperturato σ u u /σ condzone d Pcard con la GSVD e mperturato σ /µ u u /σ Dal grafco è evdente che per prolem dscret mal-post, non affett da error, la condzone d Pcard è verfcata. uttava, per valor pccol de coeffcent u nzano a veders gl effett degl error d arrotondamento; quest tendono a rdurre la pendenza dell andamento verso zero, arrestandola n corrspondenza d un lvelloτ c fssato dalla precsone del calcolatore. u Gl effett sono evdent anche nelle component della soluzone, che n corrspondenza degl σ stess ndc, suscono un aumento ndesderato della norma. Gl error attrul alla precsone del calcolatore non sono, comunque, un prolema perché loro effett sono senza duo trascural rspetto a quell dsastros, per esempo, degl error d msura. Nelle applcazon real un prolema dscreto mal-posto non è mmune agl error, anz quest sono present n forma e n msura dversa sa n A che n. L effetto d quest error s osserva sa su valor sngolar σ, sa su coeffcent d Fourer u. In questo caso, è ancora vero che valor sngolar decrescono monotoncamente, ma tendono ad assestars ad un lvello τ A determnato dagl error n A; noltre, anche coeffcent decadono, n meda, ma tendono ad assestars ad un 8

10 lvello τ determnato dagl error n ( s vuole far notare che τ A e τ sono pù grand rspetto alla precsone del calcolatore τ c ). I due lvell d errore τ A e τ per valor sngolar e per coeffcent d Fourer, rspettvamente, determnano quanta nformazone sul sstema non perturato può essere estratta dal sstema affetto dagl error. Se s assume che valor sngolar sano lvellat su τ A per A e coeffcent sano lvellat su τ per, allora c s può aspettare d recuperare quelle component della decomposzone a valor sngolar della soluzone, nelle qual gl error n σ e n u non sono u domnant, ossa le component per cu mn( A, ). σ La stuazone tpca è che gl error d msura n sono pù grand degl altr tp d error n A e, e l errore relatvo sul termne noto è percò pù grande dell errore relatvo sulla matrce A A / A In questa stuazone, coeffcent /, dove e A sono l termne noto e la matrce de coeffcent affett da errore. u tendono a lvellars su τ per, prma che σ tendano a lvellars su τ A, e pertanto s possono recuperare le prme component SVD della soluzone. Le rmanent n component sono, nvece, domnate dagl error e per questo devono essere fltrate nella regolarzzazone della soluzone. Quando coeffcent d Fourer della soluzone v x, n meda, decrescono con,è utle defnre l lmte d rsoluzone ηres come l pù pccolo coeffcente da e A perturat. Se domnano gl error sul termne noto, coè, se A v x che può essere recuperato, allora per tutt gl < A s ha che σ sono quas ugual a quell della matrce mperturata; mentre coeffcent d Fourer della soluzone sono exact format da due component, v x= v x + ( u ) / σ. Per =, le due component sono exact approssmatvamente della stessa dmensone, vx u / σ τ / σ e segue che l lmte d rsoluzone effettvo è η res τ = v x quando A >. exact σ Se domnano, nvece, gl error nella matrce, coè, se A <, allora per tutt gl < s ha exact exact v x v x / τ A. Inoltre, per < A s ha σ σ, mentre per > A gl error ne valor sngolar domnano e σ τ A, e percò s ha v x u / τ A. Per = A, s ha σ A rsoluzone effettvo è ora τ e l lmte d A η res u exact = v x A τ A quando A <. In entram cas, η res ndca la dmensone della pù pccola componente SVD che può essere recuperata nella soluzone. 9

11 Se, per esempo, gl element della perturazone e= sono a meda nulla e non correlat con matrce d varanza σ I, allora l valore aspettato d 0 m e soddsfa ξ ( e ) = mσ 0 e l valore aspettato de coeffcent d Fourer d e è dato da : ξ ( ue ) = σ, = 1,, n. 0 Come conseguenza, coeffcent d Fourer u del termne noto perturato, s lvellano a τ σ 0, perché sono domnat da ue per valor grand dell ndce. Allo stesso modo, se gl element della perturazone della matrce E = A A sono normalmente dstrut con meda nulla e devazone standard σ 0, s può rcavare che l valore aspettato d E è approssmatvamente σ 0 m. Qund, se tutt valor sngolar d A decadono gradualmente a zero, allora valor sngolar d A sono lvellat a τ A σ0 m. S vuole ora applcare, quanto detto su prolem dscret mal-post, al prolema test aart, nel quale s suppone che gl error sulla matrce A sano trascural rspetto a quell sul vettore. S suppone, pertanto, d aggungere al termne noto della routne aart, ntrodotta sopra, un errore e a meda nulla e covaranza par a σ I, con σ 0 = *10, s ottene che 0 m = + e dove e= è l errore la cu norma ha un valore aspettato par a ξ ( e ) = mσ 0 e è l termne noto senza perturazone. Il grafco mostra che la condzone d Pcard non è soddsfatta e che la soluzone tende ad esplodere. ale condzone è venuta meno perché coeffcent d Fourer u _ err del termne noto perturato sono domnat da ue e tendono al valore τ σ 0 nvece che a zero. La stessa cosa s può dre per coeffcent calcolat con la GSVD. La soluzone, n entram cas, è domnata da termn della somma corrspondent a pù pccol σ (o γ ); quest, enfatzzando propro le oscllazon de vettor sngolar u e v corrspondent, portano ad una soluzone con molte varazon d segno che appare completamente casuale. 10

12 10 0 la condzone d Pcard con la SVD e perturato σ u -err u -err /σ la condzone d Pcard con la GSVD e perturato σ /µ u -err u -err /σ L anals svolta evdenza la necesstà d smorzare o fltrare contrut alla soluzone de pccol valor sngolar avent ndce > ( o per γ < ), e recuperare, per, coeffcent d exact τ Fourer della soluzone maggor del lmte d rsoluzone ηres = v x. σ Questo è cò che s chede a metod d regolarzzazone quando s vuole rsolvere un prolema dscreto mal-posto con dat perturat. La soluzone regolarzzata da ess prodotta deve avere, allora, la seguente forma generale: u x = f v se L= I n n reg = 1 σ u reg = + = 1 σ = p+ 1 p n ( ) se L In x f x u x I numer f sono fattor d fltro per l partcolare metodo d regolarzzazone. I fattor d fltro devono essere tal che, come σ decrescono, corrspondent f tendano a zero. In questo modo u contrut v de pù pccol σ alla soluzone sono fltrat. σ La dfferenza tra var metod d regolarzzazone s trova nel modo n cu quest fattor d fltro sono defnt. 11

13 Seconda Parte: metod d regolarzzazone. La prncpale dffcoltà ne prolem dscret mal-post è che sono essenzalmente ndetermnat a causa del cluster d pccol valor sngolar d A. Allo scopo d stalzzare l prolema e sceglere una soluzone approssmata, ma stale e sgnfcatva, è necessaro aggungere ulteror nformazon sulla soluzone desderata. Questo è l proposto de metod d regolarzzazone. Il prncpale approcco usato nella regolarzzazone d prolem dscret mal post è rchedere che la norma-, o una approprata semnorma, della soluzone sa pccola. Quando questa condzone è ntrodotta, s può anche rnuncare al fatto che Ax sa uguale a nel sstema lneare e, nvece, cercare una soluzone che fornsca l gusto compromesso tra mnmzzare la norma x e mnmzzare la norma del resduo Ax. L dea che c è detro è che una soluzone regolarzzata con una pccola norma ( o sem-norma ) e una convenente pccola norma del resduo, non è troppo lontana dalla soluzone del prolema. La forma d regolarzzazone pù nota tra metod drett è l metodo d khonov. La regolarzzazone alla khonov Il metodo d khonov s asa sull dea d una soluzone regolarzzata x λ, defnta come l mnmo della comnazone pesata della norma del resduo e della norma ( o sem-norma) della soluzone. ale soluzone è data da: { λ } x = arg mn Ax + Lx λ dove l parametro d regolarzzazone λ controlla l peso dato alla mnmzzazone. Il parametro d regolarzzazone è defnto dal fattore d fltro caratterstco del metodo d khonov f σ = σ + λ per L= I per = 1,, n n f γ = γ + λ per L I per = 1,, p n In corrspondenza de pù pccol valor sngolar σ, un valore grande d λ ( equvalente ad una forte regolarzzazone) favorsce una pccola norma (o sem-norma) della soluzone, pagandola n termn d una larga norma del resduo; mentre un valore pccolo d λ (ossa una deole regolarzzazone) ha l effetto opposto. Il parametro d regolarzzazone λ è molto mportante n quanto controlla le propretà della soluzone regolarzzata; per questo deve essere scelto con molta cura. Dalla scelta del parametro d regolarzzazone, noltre, dpendono lmt d perturazone per l metodo d khonov. Pù grande è, nfatt, l valore d λ, pù pccolo è l numero d condzonamento del metodo, e percò la soluzone regolarzzata è meno sensle alle perturazon; ma è anche vero che l aumento d λ causa la crescta dell errore d regolarzzazone. 1

14 La SVD troncata e la sua generalzzazone GSVD Una mportante osservazone, rguardo la regolarzzazone d khonov, è che l malcondzonamento d A è evtato rformulando l prolema con una nuova matrce en-condzonata a rango peno. Un modo dfferente d trattare l mal-condzonamento d A è d rcavare un nuovo prolema con una matrce en-condzonata, ma a rango non peno. Questa è l dea che c è detro la SVD e la sua forma generalzzata GSVD. Quest metod sono stat svluppat nell amto de prolem a rango non peno, ma mantengono la loro valdtà anche per prolem dscret mal-post. Per prolem con rango numerco non en-determnato, non sempre un troncamento come quello della SVD o della GSVD conduce ad una soluzone regolarzzata. uttava, sotto opportune condzon, per ogn parametro k d troncamento valdo, esste sempre un parametro d regolarzzazone λ tale che la soluzone della GSVD ( la soluzone SVD, se L= In ) sa vcna alla soluzone d khonov [3]. I metod SVD e GSVD sono molto utl dal punto d vsta teorco per la loro semplctà che l rende pù semplc da analzzare rspetto al metodo d khonov. Per esempo, fattor d fltro per quest metod sono semplcemente zer e uno. Per la SVD: f = 1 se k, f = 0 altrment; per la GSVD: f = 0 se n k, f = 0 altrment, dove k è l parametro d troncamento. La condzone, che permette d utlzzare quest due metod anche per l calcolo d una soluzone regolarzzata, s ha quando tra valor sngolar generalzzat non c è un evdente gap, ossa quando γ p k ωk = sa pccolo. Quando, nello spettro de valor sngolar (generalzzat), non c è un γ p ( k 1) evdente gap, allora entra n goco la condzone d Pcard. Un teorema mostra che quanto pù veloce è l decadmento relatvo de coeffcent d Fourer tanto pù xk è vcno a x λ, e lo stesso vale per l resduo. Il lmte d perturazone ne metod SVD e GSVD è fssato dalla condzone che E < σ k σ k + 1 dove E è la perturazone della matrce A. al metod sono usualmente applcat a prolem dscret mal-post quando la perturazone della matrce A è dello stesso ordne della precsone d macchna o dell errore d approssmazone. L effettvo lmte d perturazone è percò determnato dagl error nel termne noto che come aamo gà vsto è fssato da η res τ = v x per A. exact σ Per questa ragone, la rchesta che E < σ σ + 1, per quest prolem, è sempre soddsfatta. k k Metod per la scelta del parametro d regolarzzazone Nessun crtero d regolarzzazone è completo senza un metodo per la scelta del parametro, sa esso un parametro contnuo λ ( n khonov), sa esso un parametro dscreto k ( n SVD o GSVD). I metod per la scelta del parametro d regolarzzazone s possono dvdere n due class: metod che s asano sulla conoscenza, o una uona stma, della norma dell errore e ; metod che non rchedono la norma dell errore e. La prma classe è utlzzata quando sono dsponl nformazon affdal sulla e e su questo s asa per esempo l prncpo d dscrepanza [3]. Quando, nvece, non s conosce alcuna nformazone sulla norma dell errore s rcorre a que metod ler dal vncolo della conoscenza d 13

15 e, chamat qualche volta metod eurstc. ra quest, n questa tesna, sono utlzzat due de pù not: quello che s asa sulla funzone GCV e quello che s asa sulla curva L, [3]. Il metodo della funzone GCV Questo metodo per la scelta del parametro d regolarzzazone non utlzza alcuna nformazone sulla norma dell errore, anz cerca d estrarre questa nformazone dal termne noto. Per fare cò, s asa su consderazon statstche, secondo le qual un uon parametro d regolarzzazone può essere prevsto omettendo alcun dat del termne noto. In partcolare, se s trascura un qualsas elemento del termne noto, allora dalla soluzone regolarzzata s resce a prevedere ene l parametro e, la sua scelta saree ndpendente da una trasformazone ortogonale d. Pertanto l metodo GCV cerca d mnmzzare l errore quadratco medo Ax λ, dalle nformazon rcavate dal termne noto. Poché non s conosce mente, ma s conosce una sua msura, l metodo GCV calcola la funzone G ( λ ) Ax V λ = = trace I # ( m AA ) ( λ ) ( λ ), dove la funzone V ( λ ) è defnta da V ( λ ) = Ax λ ( λ ), e vene utlzzata per stmare la e o la devazone standard dell errore su dat 0 V λ è rportata n un grafco n funzone d λ, su un ampa scala, consste d una parte patta e una parte dove V ( λ ) cresce con λ. Il valore corrspondente alla parte patta della curva è una stma d σ 0. La stma della norma dell errore è nvece data da dove Vp ( λ ) è l valore d ( ) 0 ( ) ξ ( e ) = mσ mvp λ, σ. Se ( ) V λ n corrspondenza della parte patta della curva. La zona d transzone tra la parte patta del grafco e la parte n cu la curva cresce con λ corrsponde ad un ntervallo d λ, nel quale s trova l parametro d regolarzzazone ottmale. La funzone ( λ ), nvece, è defnta da # ( λ ) = ( ) = ( ) = ρ( λ) m p, = 1 trace I AA m n p f m 14

16 con ρ( λ) p = f, se L In = 1, oppure ρ( λ) ( ) = n p p + f, se L In = 1 Essa cresce lentamente al crescere d λ, da m n per λ = 0, a m ( n p) per λ. Inoltre, s vuol far notare che G ( λ ) è una funzone contnua quando l parametro d regolarzzazone è contnuo, come nella regolarzzazzone d khonov. Per metod d regolarzzazone con parametro dscreto, come la SVD o la GSVD, la funzone GCV consste d un nseme dscreto d punt. In generale, l metodo GCV cerca d localzzare l punto d transzone dove V ( λ ) passa da un andamento lentamente varale con λ, ad una rapda crescta. uttava anzché lavorare con la λ, funzone V ( λ ), l metodo GCV usa la funzone G ( λ ). Pù precsamente, la funzone ( ) monotoncamente crescente, è tale che G ( λ ) ha un mnmo n quell ntervallo d valor d λ ndvduato dalla sopracctata zona d transzone d V ( λ ). Pertanto, l metodo GCV sosttusce l prolema della localzzazone del punto d transzone d V ( λ ) con un prolema numerco en defnto, che consste nel trovare l mnmo della funzone G ( λ ). La routne gcv mplementata all nterno del pacchetto d Matla [1], calcola propro questo mnmo.. Il metodo della curva L Un altro metodo per la scelta del parametro d regolarzzazone che non usa nformazon sulla norma dell errore, è l crtero asato sulla defnzone della curva L. Essa è costtuta da una curva parametrca le cu coordnate sono la norma ( o sem-norma ) della soluzone regolarzzata Lx, e la corrspondente norma del resduo Axreg, con λ parametro d regolarzzazone come parametro. La curva L mostra l compromesso per la mnmzzazone d queste due quanttà, che è l oettvo d ogn metodo d regolarzzazone. Questa curva è contnua quando l parametro d regolarzzazone è contnuo, come nella regolarzzazzone alla khonov. Per metod d regolarzzazone con parametro dscreto, come la SVD o la GSVD, la curva L consste d un nseme dscreto d punt. Se la condzone dscreta d Pcard è soddsfatta, la curva L è formata da un ramo vertcale e da un adacente ramo orzzontale. Il ramo orzzontale corrsponde ad una soluzone sovra-regolarzzata, ossa l parametro d regolarzzazone è troppo grande e la soluzone è domnata dagl error d regolarzzazone. Il ramo vertcale, altresì, corrsponde ad una soluzone sotto- regolarzzata dove l parametro d regolarzzazone è troppo pccolo e la soluzone è domnata dagl error d perturazone. È mportante sottolneare che la curva L deve essere rappresentata n scala logartmca per enfatzzare due dvers ram e soprattutto per dstnguere le nformazon, n essa contenute, dall nevtale rumore. L dea detro l crtero della curva L è che l parametro d regolarzzazone è scelto n corrspondenza del punto della curva che ndvdua l angolo tra l ramo vertcale e quello orzzontale. La ragone d questa scelta è che l angolo della curva L corrsponde ad una soluzone nella quale gl error d perturazone e quell d regolarzzazone sono lancat. Infatt, questo angolo separa l ramo orzzontale della curva dove domnano gl error d regolarzzazone, dal ramo vertcale dove domnano gl error d perturazone. Per avere una defnzone operatva d angolo, s defnsce angolo della curva L l punto reg 15

17 ( ς ( λ), η( λ )) = ( log Axreg,log Lxreg ) della curva che ha la massma curvatura. La curvatura è una quanttà puramente geometrca ndpendente dalle trasformazon del parametro d regolarzzazone. Percò l crtero della curva L è, per defnzone, equvalente al calcolo del parametro d regolarzzazone che massmzza la curvatura. uttava, non sempre rsulta facle determnare un metodo numerco affdale che calcol l punto d massma curvatura. In molte stuazon, nfatt, s è lmtat a conoscere solo un numero fnto d punt ( ς, η) della curva. Questo è l caso, per esempo, che s presenta con la SVD o con la sua forma generalzzata, dove la curva L non è dfferenzale e rsulta dffcle valutare l massmo della curvatura. Dal punto d vsta numerco, la curva L dscreta consste, pertanto, d un numero d punt dscret corrspondent a dfferent valor del parametro d regolarzzazone, per l quale s valutano ς ( λ ) e η ( λ ). In molt cas capta che quest punt s dspongano a grappolo (cluster), rendendo mpossle qualsas valutazone sulla curvatura. Per esempo, se c è un grappolo d pccol valor sngolar per pù pccol coeffcent del termne noto, allora la curva L, per la SVD, ha un grappolo d punt per valor corrspondent del parametro k. Questa stuazone non s verfca nella regolarzzazone d khonov, perché tutte le component della soluzone vanno gradualmente a zero, come fattor d fltro camano da zero ad uno. Per rsolvere l prolema numerco, quando l parametro d regolarzzazone è dscreto, s defnsce una curva dfferenzale, assocata a punt dscret, n modo che sa capace d sroglare l grovglo de punt scartando dettagl troppo fn, ma che allo stesso tempo mantenga la forma generale della curva L. ale curva è costruta n pù pass, attraverso delle curve splne cuche che s adattano a punt dscret della curva L. Le curve splne agscono su un nseme d punt alla volta, approssmando localmente, l andamento della curva dscreta, trascurando tropp dettagl de grappol, ma conservando la forma ad L complessva. Su questa dea è costruto l algortmo mplementato nelle routnes l_curve e l_corner del pacchetto Matla [1]. al routnes permettono, dunque, d calcolare l angolo della curva splne, quando l parametro d regolarzzazone è dscreto, e d determnare l punto nella curva L orgnale che è pù vcno all angolo della curva approssmata. S vuole ora concludere questa parte della tesna adottando le stratege d regolarzzazone e metod per la scelta del parametro d regolarzzazone, vst sopra, per la determnazone d una soluzone regolarzzata del prolema test aart. S suppone, come sopra, che gl error sulla matrce A sano trascural rspetto a quell sul vettore, che al termne noto venga aggunto un errore e a meda nulla e covaranza par a σ I, con 0 m σ 0 = *10, e tale che = + e dove e= è l errore e è l termne noto con perturazone. La routne aart fornsce, nseme alla matrce A e al termne noto del prolema, anche la soluzone x la cu norma, per n=16, è x = A questo prolema s applca l metodo d khonov tramte la routne tkhonov assocata prma al crtero della curva L ( routne l_curve) e po a quello della funzone GCV (routne gcv) [1]. Nella fgura sotto vengono rportat l grafco della curva L, nella quale è ndcato anche l valore del parametro d regolarzzazone λ = , n corrspondenza del quale s trova l angolo della curva; e l grafco della funzone GCV, nel quale è ndcato anche l parametro d regolarzzazone λ = , n corrspondenza del quale ho l mnmo della funzone. 16

18 La routne tkhonov, nseme alla routne l_curve, determnano una soluzone regolarzzata cu norma rsultante è reg _ l x la reg _ l x = e l errore relatvo sulla norma rsulta qund x xreg _ l err = = Mentre la stessa routne, assocata alla routne gcv,determna la x soluzone regolarzzata x, la cu norma rsulta par a x reg _ gcv = 1.6 e l errore relatvo reg _ gcv x xreg _ gcv sulla norma rsulta err = = x curva ad L, kh. angolo a e funzone GCV, mnmo a λ = e e sem-norma soluzone L x e e e e-006 G(λ) norma resduo A x λ I rsultat ottenut evdenzano quanto la soluzone regolarzzata sa vcna alla soluzone, e come l metodo d regolarzzazone d khonov funzon ene nella rsoluzone d un prolema dscreto mal-posto come quello consderato. A rsultat altrettanto soddsfacent s pervene applcando l metodo della SVD tramte la routne tsvd assocata, prma al crtero della curva L (routne corner [4]), e po a quello della funzone GCV (routne gcv). Nel fgura seguente sono rportat l grafco della curva L e l grafco della funzone GCV nel caso n cu l parametro d regolarzzazone sa dscreto. S vuole evdenzare per maggor charezza che, se nel metodo d khonov, ad una soluzone sovraregolarzzata corrsponde un parametro d regolarzzazone λ grande, nel metodo della SVD ad una soluzone sovra-regolarzzata corrsponde un parametro d regolarzzazone k pccolo e vceversa. Questa è la ragone per cu l grafco della funzone GCV dscreta appare speculare rspetto a quello della funzone GCV contnua dell esempo precedente. Inoltre, s vuole sottolneare un altro fatto: la curva L dscreta, n questo esempo, è approssmata tramte la routne corner [4] che s asa su un algortmo dfferente rspetto a quello mplementato nelle routne l_curve e l_corner,usate nell esempo precedente. Questa scelta è stata olgata perché, nel pacchetto Matla [1], non sono dsponl le routne delle curve splne cuche sulle 17

19 qual s asa la l_corner. Comunque, anche tramte la routne corner, s gunge a determnare altrettanto ene l parametro d regolarzzazone dscreto per l quale s ha l massmo della curvatura, ossa l angolo della curva L. Il valore così trovato è ndcato nel grafco ed è par a k = ; per questo valore del parametro s è calcolata una soluzone regolarzzata del prolema test x, la cu norma rsulta par a x _ = L errore relatvo sulla norma rspetto alla soluzone k_ l è, nvece, k l xk_ l x x err = = Dal grafco della funzone GCV dscreta s rcava, nvece, che l mnmo della funzone s ha per un parametro d regolarzzazone k =, che la norma della soluzone regolarzzata è x _ = e che l errore relatvo è k gcv x x err = = k_ gcv x Anche se due metod sono asat su algortm dfferent, n questo prolema test, s è gunt comunque a rsultat assolutamente soddsfacent. Questo fatto mostra che, anche tramte la SVD, s può arrvare a de rsultat confrontal con quell ottenut dal metodo d khonov. Lo scopo dell ultma parte della tesna è propro quello d mettere a confronto dvers metod d regolarzzazone, per stalre quale tra quest conduca a rsultat mglor curva ad L, SVD angolo a 10 - funzone GCV, mnmo a k = Lx k G(k) A*x k - -err k 18

20 erza parte: confronto tra metod d regolarzzazone. In quest ultma parte vengono generat, n amente Matla, alcun prolem mal post utlzzando due prolem test fornt dal pacchetto Matla [1], come le routne aart e shaw. Entrame fornscono una matrce de coeffcent A molto mal-condzonata, un termne noto non perturato e la soluzone x ; quest ultma rsulta molto utle per verfcare la accuratezza e la precsone della soluzone regolarzzata x reg calcolata con metod d regolarzzazone. Al termne noto d cascun prolema test è stata aggunta una perturazone casuale e con dstruzone gaussana, a meda µ = 0 e devazone standard σ 0 = 1, moltplcata, noltre, per un opportuno vettore v tale che vσ 0. Il vettore v è stato ntrodotto per studare come e cama la soluzone regolarzzata de due prolem al varare del lvello d rumore su dat. L anals d cascun prolema nza con l calcolo della SVD (o della GSVD) de coeffcent della matrce, dal quale s rcavano corrspondent valor sngolar. A causa dell elevato malcondzonamento delle matrc, s rcorre alla determnazone d una soluzone regolarzzata tramte tre dvers metod d regolarzzazone: khonov con valor contnu del parametro d regolarzzazone, la SVD troncata (SVD) e la sua forma generalzzata (GSVD) con valor dscret del parametro d regolarzzazone. Per cascuno d quest metod l parametro è calcolato tramte l metodo della curva L e l metodo GCV. Nel caso della curva L sono state utlzzate due dverse routne: la routne corner [4], con valor dscret del parametro, quando la soluzone regolarzzata è calcolata tramte l metodo SVD o GSVD, ma che non può accettare valor contnu del parametro. La routne l_curve [1], per valor contnu del parametro, quando la soluzone regolarzzata è calcolata tramte l metodo d khonov; non puo, però, essere usata con valor dscret del parametro a causa della ndsponltà nel pacchetto Matla [1] d alcune routne sulle splne cuche. Per queste ragon n questa tesna sono usate entrame. Il prolema non s pone per l altro metodo la GCV; nfatt, nel pacchetto Matla sono present tutte le routne necessare sa per l calcolo della GCV a valor contnu del parametro, sa per l calcolo della stessa con valor dscret del parametro. A questo punto del lavoro, s passa prma a confrontare due metod grafc con cascun metodo d regolarzzazone, allo scopo d ndvduare quale comnazone tra crter d regolarzzazone e metod d scelta del parametro, porta alla determnazone della mglore soluzone regolarzzata. Infne, tre metod d regolarzzazone sono stat mess a confronto utlzzando l solo metodo grafco della GCV. ale confronto, non avree rsultat sgnfcatv se fatto anche con la curva L, perché s mettereero sullo stesso pano routne dverse per l calcolo della curva L come l_curve e corner. Prolema test aart Il prmo nseme d test è svolto utlzzando ancora una volta la routne aart( n ), come prolema test dscreto e mal-posto da analzzare e rsolvere con le stratege d regolarzzazone. In questo caso, però, s è scelto n = 64 e un termne noto perturato = + e con un errore e a meda nulla e devazone standard vσ 0 con σ 0 = 1 e v un vettore le cu component vanno da 14 valor molt pccol 10 vcn, alla precsone del calcolatore, a valor che, ncrementat ad ogn 19

21 passo d un ordne d grandezza, dventano sempre pù vcn all untà termne noto è perturato da un lvello d rumore compreso tra 10. In altre parole l e * In questo modo s vuole vedere come s comportano dvers metod d regolarzzazone e crter della scelta del parametro, quando vara l lvello delle perturazon su dat. Il prmo metodo d regolarzzazone utlzzato n questo test è l metodo d khonov con parametro λ contnuo errore relatvo con metodo d khonov lc gcv 10-1 errore=norm(x-xreg)/norm(x) devazone standard σ0 Il grafco mostra l errore relatvo della soluzone regolarzzata, al varare della devazone standard, sa quando l metodo d khonov usa la curva L, sa quando usa la funzone GCV. Come era facle prevedere, all aumentare del lvello d rumore s osserva l aumento dell errore relatvo della soluzone regolarzzata; tuttava s vuole evdenzare, ancora una volta, come la regolarzzazone aa lmtato dann del mal-condzonamento della matrce, mantenendo l errore 1 relatvo della norma della soluzone su valor mnor d *10, sa nel caso della curva L, che per la funzone GCV. Da una lettura qualtatva de due grafc, due metod per la scelta del parametro 13 d regolarzzazone semrano equvalers, a parte quando, per σ 0 = 10 o un lvello d rumore e -13 =.555*10, la funzone GCV conduce ad un errore pù grande rspetto a quello commesso con lo stesso metodo, dalla curva L. La ragone appare pù chara dalla fgura seguente. Nel grafco della funzone GCV, s nota che per un errore d perturazone con devazone standard 13 par a σ 0 = 10, è calcolato un valore del parametro d regolarzzazone λ che non concde con quello per l quale s ha l mnmo della funzone. Questo avvene perché, ne prolem dscret malpost, ndvduare l parametro λ che mnmzza la G ( λ ) non è sempre facle; nfatt, sa l errore d perturazone, sa l errore d regolarzzazone sono funzon che varano lentamente rspetto a λ e trovare un unco mnmo n una zona della funzone molto patta può condurre ad error ne calcol, soprattutto quando l parametro ottmale è molto pccolo. In questo caso la GCV sottostma l 0

22 parametro d regolarzzazone causando una sotto-regolarzzazone della soluzone che porta ad error relatv pù grand. Nel grafco della curva L, nvece, a partà d lvello d rumore, l parametro d regolarzzazone calcolato corrsponde ad una uona approssmazone del parametro per l quale s ha l massmo della curvatura funzone GCV,kh. mnmo a λ =.4319e curva ad L, kh. angolo a λ =.8771e e G(λ) sem-norma soluzone L x e e e e e e λ norma del resduo A x - Una anals pù precsa del grafco dell errore può essere fatta, fssando due valor della devazone standard, e n corrspondenza d quest confrontare gl error relatv per cascuno de due metod pres n consderazone. e 8-8 Per esempo, per una σ 0 = 10 e un corrspondente lvello d rumore par a =.555*10 l errore relatvo del metodo d khonov con la curva L è , mentre con la funzone e -4 GCV è Per un lvello d rumore par, nvece, a =.555*10 gl error relatv sono , e rspettvamente con la curva L e la funzone GCV. In entram cas rsultat mglor s ottengono con la curva L. 1

23 Il secondo metodo d regolarzzazone adottato è l metodo della SVD con parametro k dscreto errore relatvo con metodo SVD lc gcv errore=norm(x-xreg)/norm(x) devazone standard σ0 Una prma anals della fgura sopra evdenza che, l errore relatvo sulla norma della soluzone è aumentato rspetto al caso precedente. In questo esempo l metodo SVD ha avuto un effetto meno regolarzzante sulla soluzone, sa con la curva L, sa con la funzone GCV. La ragone è che per prolem con rango numerco non en defnto, non sempre l troncamento porta alla mglore 11 9 soluzone regolarzzata. Inoltre, s può osservare che per 10 σ 0 10 par ad un lvello d e rumore compreso tra.555*10.555*10, l errore relatvo sulla soluzone è 9 quas uguale per entram metod grafc; per σ 0 > 10 l errore relatvo con la GCV, nvece, e 5-5 rsulta mnore. In partcolare per σ 0 = 10 e =.555*10, la curva L scegle un valore del parametro d regolarzzazone che non concde con quello per l quale s ha l massmo della curvatura. Questo fondamentalmente accade quando l punto, corrspondente all angolo della curva, fa parte d un cluster d punt, ved fgure successve. All nterno d un grovglo d punt, l metodo della curva L non sempre resce a trovare l massmo della curvatura, e quando fallsce genera un 11 aumento dell errore relatvo. Mentre per valor d σ 0 < 10, per qual sono rchest parametr d regolarzzazone pccol, la GCV tende a sottostmare l parametro d regolarzzazone e a trovare un mnmo che non concde con l mglore parametro. L effetto rsultante sulla soluzone è una sottoregolarzzazone che porta ad un aumento della norma e qund dell errore relatvo. Anche n questo secondo esempo, come nell esempo precedente d khonov, s estraggono dal grafco gl error relatv n corrspondenza d due lvell d rumore campone uno asso

24 e -8 =.555*10 e l altro pù alto e -4 =.555*10 allo scopo d evdenzare meglo, dal punto d vsta numerco, rsultat ottenut. Per quest lvell d rumore s ottengono seguent error relatv : e per la curva L; e per la funzone GCV. In questo caso, l metodo SVD con la GCV porta a rsultat leggermente mglor funzone GCV,SVD,σ0=1e-5,mnmo a k = 5 curve ad L,SVD,σ0=1e-5,angolo a k= G(k) x k k A*x k - funzone GCV,SVD,σ0=1e-5,mnmo a k = 5 curve ad L,SVD,σ0=1e-5,angolo a k= G(k) x k k A*x k

25 L ultmo metodo d regolarzzazone consderato è la forma generalzzata della SVD, la GSVD errore relatvo con metodo GSVD 10 1 lc gcv errore=norm(x-xreg)/norm(x) devazone standard σ0 e Dalla fgura s può notare che per un lvello d rumore < la GCV e la curva L conducono ad un errore relatvo confrontale. Questo non accade, nvece, quando l lvello d e rumore è > ; nfatt n questo caso la curva L trova un parametro d regolarzzazone corrspondente al massmo d una curvatura che non è l angolo della curva; l effetto rsultante è una norma della soluzone e qund un errore relatvo enorme. L errore nel calcolo del parametro è causato da cluster, coè da que punt della curva che s dspongono a grappolo, come s vede nella fgura sotto, che rendono mpossle una valutazone sulla curvatura. La presenza d quest cluster n alcun cas è dovuta al fatto che, se l lvello d rumore sul termne noto è troppo grande, come n questo caso, s ha un grappolo d pccol valor sngolar per pù pccol coeffcent del termne noto; n questa stuazone la curva L per la SVD ha un grappolo d punt per valor corrspondent del parametro k e da qu la dffcoltà geometrca d trovare l parametro ottmale. In questo terzo esempo, per gl stess lvell d rumore degl esemp precedent s ottengo seguent error relatv: e per la curva L; e Il metodo GSVD con la curva L porta ad un errore relatvo sulla soluzone senslmente pù pccolo. 4