I METODI DI DISCESA. Il teorema afferma quindi che risolvere il sistema (1) equivale a minimizzare la funzione (2).

Transcript

1 I MEODI DI DICE. Genealità sui metodi di discesa Pe la isoluzione di un sistema lineae b con matice eale simmetica e definita ositiva un alta famiglia di metodi iteativi è data dai così detti metodi di discesa. Il isultato teoico alla base di questi metodi è il seguente: eoema: ia R nn matice simmetica e definita ositiva alloa la soluzione del sistema lineae b coincide con il unto di minimo della seguente funzione quadatica n n n F b b aij i j bi i i j i ove la foma quadatica Q è ositiva e 0. Il teoema affema quindi che isolvee il sistema equivale a minimizzae la funzione. Dimostazione: e consideiamo il sistema e sostituiamo in esso al osto di un vettoe tentativo si otteà un vettoe esiduo di comonenti.... n - b La soluzione del sistema si otteà modificando successivamente il vettoe in modo tale che il vettoe diventi seme iù iccolo fino a scomaie; si ha cioè che il vettoe * coisonde a * - b 0.

2 Oa consideiamo la funzione quadatica: F b e cechiamo il suo unto di minimo. questo scoo deiviamo azialmente la funzione quadatica ed eguagliamo a zeo le deivate; e il fatto che la Q è ositiva il unto tovato saà oio il minimo della F. F i n j a ij j b i 0 i.. n ma questo equivale a scivee F * - b 0. Quindi il vettoe * che minimizza la funzione F coincide con la soluzione del sistema lineae ; vicevesa la soluzione del sistema con matice simmetica definita ositiva minimizza la coisondente funzione quadatica. Il isultato di questo teoema ci emette di affemae che e la isoluzione di sistemi lineai con matice simmetica definita ositiva in geneale ossono essee usati i metodi e deteminae il minimo di una funzione quadatica noti come metodi di discesa. Questi metodi consistono nel deteminae a atie da un vettoe iniziale una diezione ootuna e nel coeggee in questa diezione in modo che il valoe della funzione quadatica F nel nuovo unto t diminuisca cioè F t < F. Peché ciò avvenga il aameto t e la diezione devono essee scelti in modo ootuno. I diffeenti metodi di discesa sono caatteizzati dalla scelta della diezione di discesa fa le diezioni di discesa ammissibili.

3 La deteminazione del aameto t che emette di endee minima la F nella diezione è quello che diffeenzia i metodi suddetti quando vengono imiegati e la soluzione del sistema lineae b quindi in cui sia nota da quando vengono imiegati e deteminae il minimo di una funzione qualsiasi in cui quindi la matice è la matice delle deivate aziali seconde e quindi non è nota.. celta del aameto t Nel caso in cui la matice sia nota si vede infatti che F t t F t è una funzione quadatica in t. t t b t t Pe deteminane il minimo isetto a t basta consideae df dt t b t b t e uguaglialo a 0; si ottiene e il aameto t il valoe t b min 3 Questo significa che una volta deteminata la diezione ovveo scelto il metodo di minimizzazione la elazione 3 ci fonisce il valoe da assegnae al aameto t e ottenee il minimo valoe ossibile della F lungo la diezione. 3

4 Ossevazione: il valoe di t fonito dalla 3 ci fonisce un minimo e F in quanto se effettuiamo la deivata seconda in t otteniamo d dt F Che è una quantità ositiva e ogni diezione di. Nel caso in cui il metodo venga alicato e deteminae il minimo di una funzione e quindi la matice non sia nota il valoe di t ottimale si ottiene isolvendo un oblema di minimo monodimensionale e la funzione Ft. Nel unto di minimo ottenuto usando la fomula 3 e il valoe del aameto t abbiamo il seguente isultato: eoema: Nel unto di minimo t min ottenuto muovendosi lungo la diezione con t dato dalla 3 il vettoe esiduo b isulta otogonale alla diezione cioè ' 0 * Dimostazione: Essendo ' ' b t b t i ottiene ' t che isulta 0 scegliendo t secondo la 3. 4

5 3. Condizioni di ammissibilità e la diezione di discesa Pe quanto iguada la scelta delle diezioni di discesa se si considea la elazione t min si uò affemae che non deve essee otogonale al esiduo o in modo equivalente non deve essee otogonale al gadiente di F F eché questo oteebbe a t min 0. e inolte consideiamo lo sviluo in seie di aylo della F cioè F t F t F... e ichiediamo che nel unto t si abbia F t < F e t 0 4 alloa la diezione deve soddisfae la seguente condizione F < 0 che aesenta la condizione di diezione ammissibile. Questa condizione ci dice che l angolo fa la nuova diezione di discesa e il gadiente della F deve avee coseno negativo icodiamo che F F cosθ dove l angolo θ è l angolo fa i due vettoi cioè l angolo θ deve essee maggioe di π/. Poiché la condizione di ammissibilità e la diezione di discesa è data in funzione del gadiente della F i metodi di discesa vengono anche chiamati metodi del gadiente. Es: Inteetazione geometica dei metodi di discesa Nel caso n la funzione Fcost è aesentata da ellissi concentiche il cui cento coincide con il minimo della funzione quadatica F e costituisce la 5

6 soluzione del oblema. Il seguente gafico mosta quanto affemato dalla condizione di ammissibilità e la diezione di discesa. 4. Metodo della Discesa iù Riida teeest Descent Il metodo di Discesa iù Riida teeest Descent è caatteizzato dalla scelta ad ogni asso della diezione come l antigadiente della F calcolato nell iteato - -esimo ovveo F b. 5 Questo significa che ad ogni asso il vettoe coincide con la diezione di massima endenza e F. In questo caso la 6 diventa e t min t. min 6

7 5. Metodo del Gadiente Coniugato In questo metodo la scelta della diezione di discesa tiene conto non solo del gadiente della F - cioè di - ma anche della diezione di discesa -. In aticolae nel metodo del Gadiente Coniugato al geneico asso atendo dal unto - che è stato ottenuto muovendosi lungo la diezione - e in cui è stato calcolato il esiduo - otogonale a - si sceglie la nuova diezione di discesa come quella aatenente al iano π - assante e - e individuato dai due vettoi otogonali - e -. Più ecisamente si ha γ... 6 Il iano π - inteseca la funzione F con un ellisse assante e -. Poiché - ea stato scelto come unto di minimo nella diezione - in - l ellisse isulta tangente alla diezione di discesa -. Poiché il unto di minimo nel iano π - coincide con il cento dell ellisse il aameto γ - saà scelto in modo che la diezione unti veso il cento dell ellisse cioè sia il coniugato isetto all ellisse di -. Ciò significa che deve soddisfae la seguente elazione: 0. 7 ostituendo l esessione γ nella 7 si ottiene γ. * * Utilizzando tale valoe nella 6 si ottiene la nuova diezione e il nuovo unto viene calcolato come unto di minimo nella diezione cioè con 8 7

8 ... 9 i noti che in 8 gioca il uolo di t nelle fomule del aagafo ecedente e quindi la 9 aesenta il valoe che assume nel unto di minimo nella diezione. Le elazioni 6 ** 8 e 9 definiscono sostanzialmente il metodo del gadiente coniugato. Ci avvaliamo oa di alcuni isultati che emettono di semlificane le fomule iducendone la comlessità comutazionale. La ima semlificazione si ottiene ossevando che e il esiduo è ossibile definie una fomula icosiva che lo aggiona utilizzando una quantità che è necessaia anche e calcolae alte gandezze cioè cioè b b. 0 La seconda semlificazione segue dal seguente eoema: Nel metodo del gadiente coniugato le diezioni di discesa con.. fomano un sistema di diezioni coniugate mente i vettoi esidui con 0.. fomano un sistema otogonale cioè

9 Ossevazione: Poiché in R n non si ossono avee iù di n vettoi che costituiscono un sistema otogonale in linea teoica questa classe di metodi aatiene ai metodi dietti oiché viene costuita una successione { } 0.. di vettoi tali che * b quando n-. In atica eò a causa degli eoi di aotondamento il metodo non temina al asso n- e viene quindi utilizzato come metodo iteativo. In molti casi comunque si veifica che il numeo di iteazioni che occoono e aggiungee la ecisione ichiesta è di gan lunga infeioe alla dimensione del sistema e questo ende il metodo molto utile e oblemi di gosse dimensioni. Utilizziamo oa il fatto che i esidui in due assi successivi sono otogonali e ottenee un ulteioe oietà di otogonalità. Infatti sostituendo nella elazione che esime il isultato geneale l esessione di ottiene 0 data dalla e utilizzando la oietà di otogonalità 8 si 0 γ 0. Mediante questi isultati è ossibile tovae una nuova esessione e il aameto dato dalla 9. Infatti oiché si ottiene γ

10 .. 3 Da questa fomula si vede che se il esiduo non è nullo è seme ositivo. Utilizzando oa la fomula icoente 0 e il esiduo e la nuova esessione 3 di è ossibile tovae una fomula comutazionalmente iù efficiente e γ -. Dalla fomula icoente del esiduo si ottiene e quindi [ ] ostituendo oa la fomula di si ottiene e quindi l esessione di γ - diviene [ [? ]. 4 ]. 0

11 In definitiva l algoitmo del Gadiente Coniugato uò essee schematizzato come segue: celto 0 abitaio si calcola b si ende - 0 Pe If γ ε %test di convegenza non soddisfatto % Calcolo la nuova diezione di discesa γ else %ECI:test di convegenza soddisfatto etun Ossevazione: l algoitmo del gadiente coniugato così ottimizzato necessita di un unica moltilicazione matice e vettoe e ogni iteazione. Velocità di Convegenza La velocità di convegenza di un metodo iteativo si uò misuae consideando di quanto si è idotto l eoe iniziale alla -esima iteazione. Pe misuae l eoe si definisce la noma indotta dalla matice simmetica definita ositiva su come

12 . Pe il metodo del gadiente teeest Descent vale la seguente elazione K K * 0 * Petanto definendo l eoe al asso e * si ha 0 e K K e dove K è l indice di condizionamento di dato da K - ma / min. anto iù K è alto tanto iù il aoto K K e quindi tanto iù è lenta la convegenza. Pe il metodo del gadiente coniugato vale la seguente elazione K K * 0 * cioè 0 e K K e che mosta come la convegenza di questo metodo u imanendo seme legata all indice di condizionamento di sia iù veloce di quella del metodo di teeest Descent a aità di valoi di K. Comunque se la matice è molto mal condizionata uò accadee che siano necessai molti assi di iteazione e ottenee la convegenza.

13 Poiché l obiettivo dei metodi iteativi è quello di ottenee una buona aossimazione della soluzione del sistema b con mediamente oche iteazioni sono state studiate tecniche di econdizionamento che tasfomano il oblema oiginale in un oblema equivalente ma meglio condizionato. Ossevazione: Poiché la funzione quadatica F data dalla assegnata la Fcost aesenta l esessione di un ieellissoide con eccenticità legata dal aoto ma min ossiamo die che ad una matice mal condizionata coisonde un ieellissoide molto allungato mente ad un K iccolo coisonde un ieellissoide iù aotondato. Metodo del Gadiente Coniugato Pecondizionato i considei la tasfomazione detta asfomazione di Conguenza con non singolae e scelta in modo tale che K < K. i osseva che le tasfomazioni di conguenza in genee non mantengono gli auto valoi ma ne mantengono il segno. lloa il sistema oiginale b è equivalente al seguente sistema econdizionato con e b b. b Pe questo nuovo sistema l algoitmo del gadiente coniugato diventa 3

14 celto Pe abitaio si calcola b If si ende ε %test di convegenza non soddisfatto % Calcolo la nuova diezione di discesa γ γ 0 else %ECI:test di convegenza soddisfatto etun Patendo da ci si chiede come è ossibile esimee il nuovo algoitmo in temini delle gandezze oiginali. Il desideio di esimee l algoitmo in temini della matice di atenza è dovuto essenzialmente al fatto che la matice econdizionata  esenta una stuttua iù comlicata e in genee isulta iù densa isetto alla matice. Inolte si ceca di isamiae il costo della tasfomazione di conguenza. 4

15 5 Petanto si sostituiscono nell algoitmo dato le nuove gandezze con la loo definizione: Poiché b b si ha che b b b. Consideando oi i ottiene. 5 Pe calcolae il valoe bisogna calcolae i due odotti scalai. da cui onendo ~ 6 si ha ~. 7 Quindi

16 6 ~ ~. Oa è ossibile scivee il nuovo iteato del metodo econdizionato come ~ da cui moltilicando e si ha ~. nalogamente consideando il esiduo si ha ~ moltilicando e - e icodando che si ottiene ~ cioè ~. Pe calcolae γ utilizziamo la 7 e otteniamo ~ ~ ~ γ. Infine consideiamo ~ γ e moltilicando e si ha ~ γ da cui segue che ~ ~ γ.

17 utti questi calcoli ci hanno emesso di ottenee le fomule di base e il metodo del gadiente coniugato econdizionato scitto in temini delle gandezze oiginali iù un nuovo vettoe ~. e conoscessimo eslicitamente le matici e che comaiono nella tasfomazione di conguenza saebbe facile calcolae ~. In ealtà le matici e sono definite imlicitamente in quanto assegnata simmetica e definita ositiva e ottenee un buon econdizionatoe noi cechiamo una matice M simmetica definita ositiva che aossimi tale che M - I. Poiché M è simmetica e definita ositiva essa uò essee definita come in quanto è non singolae. Peciò si ottiene che cioè M ~ ~ M M. Questo significa che e calcolae il nuovo esiduo occoe isolvee questo sistema lineae con la matice M che aossima. L algoitmo del gadiente coniugato econdizionato diviene quindi: 7

18 celto 0 abitaio si calcola 0 0 b si calcola ~ 0 0 M e si ende Pe ~ ~ ~ 0 If ~ ~ Risolvi ~ M ~ ε %test di convegenza non soddisfatto % Calcolo la nuova diezione di discesa γ ~ ~ ~ ~ ~ γ else %ECI:test di convegenza soddisfatto etun i osseva che la diffeenza sostanziale dell algoitmo econdizionato sta nella isoluzione ad ogni asso di un sistema lineae; è evidente che e MI l algoitmo si iduce a quello non econdizionato. Oa quindi il oblema diviene quello di costuie una matice M che aossima e che sia facile da invetie. Pima eò vogliamo ci soffemiamo a caie eché dal oblema econdizionato b con 8

19 siamo assati al oblema di costuie la matice M con M matice che aossima. Questo è giustificato dal fatto che se consideo di emoltilicae  e avendo suosto invetibile ottengo M cioè è simile a M e quindi la tasfomazione di conguenza saà tanto miglioe quanto iù iduce l indice di condizionamento di cioè ma M cond cond M M min. Quindi tanto iù M aossima tanto iù c è la seanza che M l identità cioè sia con un indice di condizionamento ossimo ad. aossimi 9

20 Calcolo di ossibili econdizionatoi In letteatua esistono numeose ossibilità di econdizionatoi e il oblema è ancoa oggetto di amie iceche.. Pecondizionatoi Diagonali i definisce la matice M come la matice diagonale con gli elementi di sulla diagonale cioè e quindi M Diag a... a nn D M. Diag... D a ann Questa scelta coisonde a consideae la matice che comae in e che coisonde a M ai a Diag... D a a nn. Questa scelta è molto semlice in quanto ende il sistema M ~ isolvibile; utoo eò non seme ota a buoni isultati. facilmente. Pecondizionatoi basati sulla fattoizzazione di Cholesy incomleta Poiché la matice è simmetica e definita ositiva l idea è di consideae una matice tiangolae infeioe G che esenti una qualche stuttua sasa e aossimi al meglio ossibile il fattoe tiangolae infeioe L della fattoizzazione di Cholesy di LL e scegliee MGG. 0

21 Questa scelta ci assicua che M è simmetica definita ositiva e il sistema M ~ è facilmente isolvibile data la fattoizzazione MGG e la sasità dei fattoi tiangolai G e G. La matice che coisonde a questa scelta di M isulta essee Infatti G. M G G quanto iù G I. Il calcolo di G viene fatto in genee eseguendo una fattoizzazione aziale di che consiste nel oe a 0 i valoi di G che coisondono ai valoi a ij nulli e calcolando solo gli alti. Ossevazione finale: Il metodo del gadiente ichiede che la matice sia simmetica e definita ositiva. Esiste eò la ossibilità di estendelo a matici qualsiasi uchè non singolai. Dato il sistema lineae b lo si sostituisce con il sistema b In cui la matice è simmetica e definita ositiva. Oa è ossibile alicae il metodo del gadiente. Pe valutae l algoitmo occoe eò consideae sia il costo sueioe in temini di comlessità comutazionale dovuto all intoduzione dei odotti matice e vettoe sia la convegenza iù lenta oichè l indice di condizionamento è iù elevato dovuto al fatto che K K.