Metodi iterativi per la risoluzione di sistemi lineari

Transcript

1 Corso della scuola di dottorato: NUMERICAL METHDS FR INVERSE PRBLEMS Metodi iterativi er la risoluzioe di sistemi lieari Dottoradi: Mario Cascetta Efisio Casti Nicola Cau

2 Itroduzioe ltre ai metodi diretti er la risoluzioe di u sistema lieare, si ossoo usare i metodi iterativi che si dimostrao efficieti e stabili ache quado si hao delle matrici di gradi dimesioi. Scoo di questo lavoro è valutare la otezialità di alcui di questi metodi al variare dei arametri che caratterizzao il sistema attraverso delle serimetazioi umeriche. Metodi iterativi I metodi iterativi er la risoluzioe di u sistema lieare geerao, artedo da u vettore iiziale (), ua successioe di vettori defiiti () co =,2,..., che, fissate determiate iotesi, coverge alla soluzioe del roblema. A differeza dei metodi diretti, i metodi iterativi o richiedoo è la modifica della matrice del sistema è la sua effettiva memorizzazioe, ma è sufficiete oter accedere i qualche modo ai suoi elemeti, risultado articolarmete coveieti el caso di matrici di gradi dimesioi, strutturate o sarse. Agli errori serimetali e di arrotodameto, si aggiugoo gli errori di trocameto, derivati dal fatto che la soluzioe cercata deve essere ecessariamete arossimata trocado la successioe er u idice sufficietemete grade. Ifie, è ossibile ridurre di molto il temo di elaborazioe, eseguedo u mior umero di iterazioi i quei casi i cui o sia richiesta u elevata accuratezza modificado il criterio di arresto. I metodi che verrao adoerati i questa sede soo i segueti: Metodo di Jacobi; Metodo di Gauss Seidel; Metodo del gradiete. Per la risoluzioe di sistemi lieari del tio A=b, si utilizzao dei metodi iterativi lieari e stazioari del rimo ordie come quelli aea citati ed assumoo la forma del tio: ( +) = B Il sistema cosiderato è lieare erchè lo è la relazioe che lo esrime, stazioario erchè la matrice B o cambia all avazare dell iterazioe e del rimo ordie oiché il vettore (+) diede solo da quello recedete (). E oortuo, erò, dare alcue defiizioi riguardati la covergeza e la cosisteza del metodo i esame. + f

3 U metodo si dice globalmete covergete se dato u vettore iiziale () er ogi che: Metre si dice cosistete se: lim ) ( = = ( + ) = R si ha Ioltre, va sottolieato che la cosisteza è ua codizioe ecessaria er la covergeza e che u metodo uò essere cosistete e o covergete, ma o il suo cotrario. La covergeza del metodo cosiderato diede essezialmete dalla matrice B; vi soo, ifatti, due teoremi che stabiliscoo le codizioi er la covergeza.. U metodo iterativo lieare è covergete se esiste ua orma cosistete di B er la quale si abbia B < che, er le rorietà matriciali, comorterebbe e dove co e si itede l errore sulla soluzioe. 2. U metodo iterativo lieare è covergete se e solo se il raggio settrale della matrice di iterazioe B è iferiore all uità ρ ( B) <. I liea di riciio, artedo dall equazioe A=b, è ortuo scrivere la matrice A come differeza di due matrici: A = P-N i cui det( P ). Sostituedo all equazioe che diveta: ( P N ) = b P = N + b E ifie si trasforma arbitrariamete i u metodo iterativo: ( + ) = P N + P ( +) Che è ua forma aaloga a quella idicata i recedeza ( = B + f ). b Metodo di Jacobi Per rima cosa è ecessario scomorre la matrice A ella maiera seguete (slittig additivo): a A = D E F = a 22 a M a a L M a M M M Nel caso articolare del metodo di Jacobi si cosiderao le segueti matrici: a a a,, 2 L M M

4 P = D N = E + F Che ortao oi alla forma caoica: ( + ) = D ( E + F) + D Se ivece lo si vuole esrimere i forma di coordiate diveta: = bi aij aii j= j i ( + ) j j b co i=,2 Come ultima osservazioe, si uò dire che, oiché la comvergeza è globale, o diede dal vettore iiziale (). Metodo di Gauss-Seidel Partedo semre dallo slittig additivo effettuato i recedeza, il metodo di Gauss- Seidel oe la seguete situazioe: P = D E N = F Sostituedo ell equazioe riciale orta ad avere: = ( ) ) ( D E F ) + ( D E) b ( + ) che ermette di ricavare (+) risolvedo u sistema triagolare iferiore; esrimedo l equazioe i forma di coordiate si ha: i ( ) ( ) + = bi aij j aij j aii j= j= i+ ( + ) i i=,2.; Il metodo di Gauss Seidel o è arallelizzabile, i quato la comoete di (+) diede dai comoeti aveti idice comreso tra e i-; oostate ciò, erò, i molte occasioi coverge iù velocemete del metodo di Jacobi e co umero di iterazioi decisamete iferiore. No è detto che i metodi di Gauss Seidel e Jacobi siao direttamete alicabili a ua matrice A, erché otrebbe avere zeri i diagoale, ertato sarebbe oortuo effettuare rima qualche cambio di riga, ioltre, va aggiuto che la covergeza è globale, erciò o diede dal vettore iiziale ().

5 Metodo del gradiete coiugato Il metodo del gradiete coiugato è ua variate del metodo del gradiete semlice da cui differisce er ua scelta iù accurata delle cosiddette direzioi di discesa, cosetedo di covergere a soluzioe tramite u umero di iterazioi molto iferiore alla dimesioe del sistema, utile sorattutto se si oera co sistemi lieari di dimesioe estremamete elevata. Per comredere la teoria, erò è oortuo fare qualche asso idietro e caire, iù i geerale, da dove asca il metodo del gradiete. Sia A ua matrice simmetrica defiita ositiva e si cosideri la seguete forma quadratica: T T φ y = y Ay y 2 ( ) b Tale fuzioe raggiuge il suo valore miimo el uto i cui si aulla il suo gradiete: φ (y) = 2 Τ ( Α + Α ) y - b = Ay - b = Si osserva, duque, che il roblema della miimizzazioe aea mostrato equivale a trovare la soluzioe del sistema lieare A = b. Nel caso del gradiete semlice, la soluzioe si trova miimizzado la fuzioe φ(y) co u metodo iterativo o stazioario del tio: ( +) = + α d a artire da u vettore iiziale (), lugo le direzioi di decrescita d (), co assi di lughezza α. I questo caso, la direzioe d () è quella di massima discesa (steeest descet), ossia quella oosta alla direzioe del gradiete della fuzioe φ (y) el uto (). Nel metodo del gradiete coiugato, ivece, si arte dall assuto er cui u vettore () risulta ottimale risetto ad ua determiata direzioe se è risettata la seguete codizioe: ( ) φ ( λ) φ + λ R Il vettore () è ottimale risetto a se e solo se la direzioe è ortogoale al residuo r (), cioè: T r = Sostituedo ell equazioe riciale della fuzioe φ(y) si avrà la situzioe seguete: ( + λ) = T T ( + λ) A( + λ) ( λ) b φ + 2 Eseguedo i calcoli si arriva ad ua forma iù semlificata: φ ( + λ) = φ T T 2 T ( ( ) + ( ) A λ ( ) r ) λ 2

6 Derivado risetto a λ e aullado la derivata si avrà che: d φ dλ Poiché () è ottimale risetto a, T T ( + λ) = Aλ r ) = φ ( deve avere u miimo er λ =, che sarebbe ua soluzioe baale, metre imoedo T r() = si avrebbe effettivamete la soluzioe λ = o baale che dimostrerebbe la tesi. Il roblema del metodo del gradiete semlice è che l ottimalità del vettore risetto ad ua certa direzioe rimae solamete er il rimo asso dell iterazioe; co il gradiete coiugato si vuole fare i modo che l ottimalità del vettore -esimo, quidi er i assi successivi al rimo, risetto ad ua certa direzioe vega ereditata da tutti i successivi elemeti della successioe. Si suoe erciò, che () sia ottimale risetto a, e quidi che T r () =, e si oga: ( +) = + q Perchè ache (+) sia ottimale risetto a è ecessario che = T r ( +) T = T ( r Aq) = Aq Che sigifica che le direzioi e q devoo essere A-ortogoali o A-coiugate; artedo co () =r () e cosiderado direzioi del tio ( + ) ( + ) = r β La codizioe ecessaria è che (+) e () siao due direzioi A-coiugate, cioè che: si traduce ella codizioe β data da: β T ( ) ( ) A = + = T ( +) ( ) Ar T ( ) ( ) A Effettuado ua scelta del arametro β di questo tio si ha che: ( i) T ( ) ( ) A + = i=,2..,- cioè che la direzioe (+) è A-coiugata co tutte le direzioi geerate recedetemete. Il fatto che il vettore (+) seguete: co α dato dalla seguete esressioe: ( +) = + α α = T r T A

7 sia ottimale risetto alle direzioi (i), co i =,...,, sigifica che lugo tali direzioi o è ossibile far dimiuire ulteriormete il valore della fuzioe obiettivo φ (y), e giustifica il fatto che l algoritmo coverga alla soluzioe esatta i u umero fiito di iterazioi. Risultati I risultati riortati ei grafici segueti voglioo orre a cofroto i tre metodi adoerati, che si ricordao essere il metodo di Jacobi, di Gauss- Seidel, e del gradiete coiugato. Le matrici di rova (simmetriche, defiite ositive) soo geerate dal seguete comado resete i Matlab: A = sradsym(,desity,rc,id) Dove co si idica la dimesioe della matrice, co desity la desità (ossia la quatità di valori diversi da zero reseti all itero della matrice), il fattore rc, che rareseta il reciroco del umero di codizioameto (idica, i ratica, quato la matrice sia diagoale) ed, ifie, il arametro id, che osto uguale ad cosete di geerare ua matrice simmetrica defiita ositiva. Fatto ciò, si soo costruiti gli algoritmi caratterizzati da u ciclo while, al cui itero è stato imlemetato u criterio di arresto er otteere la covergeza che si verifica quado la differeza della orma della soluzioe e del residuo co quelle otteute ell iterazioe recedete risulta iferiore ad u determiato valore. Nel caso dei metodi iterativi er la risoluzioe di sistemi lieari, al asso è ossibile otteere ua maggiorazioe er l errore e () = () i termii del vettore residuo r () =b A (). Eseguedo alcui assaggi matematici, si arriva ad u criterio di arresto esresso come segue: ( ) r b τ Poiché otrebbe verificare ua o covergeza del metodo, si è deciso di fissare u umero massimo di iterazioi, al fie di evitare u loo ifiito iseredo u ciclo if dove si imoe l arresto immediato al suerameto di u determiato umero di cicli.

8 Passado alle serimetazioi umeriche, si è artiti fissado la dimesioe della matrice (=), ed il fattore rc ari a,9 (matrice fortemete diagoale) e si soo cofrotati i tre metodi (fig. ). N di iterazioi = rc=,9 D Jacobi Gauss-Siedel Grad. Coiug.,,2,3,4,5,6,7,8,9 d Figura : Numero di iterazioi ecessarie al variare della desità. Nella figura si è osservato che il umero di iterazioi o cambia sostazialmete co l aumetare della desità della matrice che sazia ell itervallo [,], co il metodo di Gauss- Seidel che richiede u umero di iterazioi iferiore risetto agli altri due. Nella figura 2 si è fatto variare il arametro rc (che i ratica rareseta il reciroco del umero di codizioameto), metre si soo mateute costati la desità e la dimesioe della matrice. Si è otato che all aumetare di rc, il umero di iterazioi decresce sesibilmete er tutti i metodi, ma co il metodo di Jacobi che, er valori bassi, o arriva a covergeza e er valori maggiori richiede semre u umero di iterazioi sueriore. N di iterazioi =; d =,5 Jacobi Gauss-Seidel Gradiete coiugato,,2,3,4,5,6,7,8,9 Parametro rc Figura 2

9 Nella figura 3 si è modificata la dimesioe della matrice di arteza, osservado come il umero di iterazioi teda a salire fio ad aiattirsi. 3 d =,3 rc =,7 N di iterazioi Dimesioe matrice Figura 3 Jacobi Gauss-Siedel Grad. Coiug. Ifie si soo rovati i tre metodi iotizzado ua situazioe articolare: da u lato u valore molto basso della desità (quidi alta sarsità della matrice) e, cotemoraeamete, u basso valore di rc che comorta ua diagoalizzazioe miore della matrice stessa (figura 4). N di iterazioi d =, rc =, Jacobi Gauss-Siedel Grad. Coiug Dimesioe matrice () Figura 4 I risultati soo mostrati ella figura 3 sora, dove si ota come il metodo di Jacobi abbia u icco di iterazioi richieste er la risoluzioe del roblema er matrici co dimesioe itoro a 5, metre er valori iù elevati il umero di iterazioi tede a decrescere letamete. Nel caso degli altri due, si arte co u umero di iterazioi limitato er matrici iccole, metre, al crescere della dimesioe delle stesse, cresce umero di iterazioi fio a stabilizzarsi co valori iù bassi el caso del metodo del gradiete coiugato.