SISTEMI LINEARI. Sistema di m equazioni in n incognite:

Transcript

1 SISTEI LINERI Sistem di m eqzioi i icogite: j i,,m ij j i () Solzioe del sistem: -pl che soddisfi tli eqzioi Trttimo solo sistemi qdrti m i ci R, R I tl cso R solzioe di () se e solo se: ) - oppre ) rk() oppre ) Teorem di Crmer Se det() solzioe del sistem dt d: det( ) i i () det() co i i-esim colo Costo comptziole di (): (+)! Flops Se 5, 9 flops time i! NLISI DI STBILIT' PER SISTEI LINERI Nmero di codiziometo di mtrice C : - : k() co orm mtricile idott (*) Poiché: k() più k() è grde, mggiore è l seslità dell solzioe di lle pertrzioi ei dti (*) Norm mtricile idott: R :

2 Defiedo: distp() mi δ p p : + δ sigolre Si pò dimostrre che: distp() k () p Qidi, mggiore è k(), più vicio è il comportmeto di +δ d mtrice sigolre NB: il determite di mtrice o è idice di codiziometo Si possoo iftti trovre mtrici co determite piccolo e mero di codiziometo grde e vicevers B R, ij - i < j, ij i > j Esempio: B detb, k(b) - Teorem Si mtrice qlqe Per ogi idott: ρ() Dimostrzioe: Si λ ρ() e tovettore d esso ssocito, e si ρ() λ λ λ D tle teorem si h pre: k() - λ λ m mi Teorem Per mtrice qdrt si h: ρ() < < per qlche idott Teorem Si qlqe e l orm si tle che < llor I+ è o sigolre e: ( I+ ) Dimostrzioe

3 Poiché < ρ() < Pertto I+ è o sigolre poiché i soi tovlori o possoo essere lli Qidi: (I + )(I + ) - I D ci: (I + ) - + (I+) - I (I + ) - I - (I + ) - ( I+ ) + (I+ ) (I+ ) ( ) e poiché per ipotesi < si h che ( ) > e qidi: ( I+ ) I modo logo, si po dimostrre che: ( I ) Vedimo or l relzioe di k() co le pertrzioi si dti Idichimo co δ, δ, δ le pertrzioi s,,, rispettivmete llor il sistem d risolvere e : ( + δ)( + δ) + δ e sppoimo che esso si risolto esttmete Dimo stim dell errore reltivo s i fzioe di δ, δ Teorem 4 Si R, sppoimo che -, δ R tli che: δ < llor R, solzioe di, R, e tle che: δ k() k() δ / δ + δ Dimostrzioe Per ipotesi: δ < δ δ <

4 Pertto (I + - δ) è ivertle poiche soo soddisftte le ipotesi del teorem Si h: ( I+ δ ) δ D ( + δ)( + δ) + δ si h: + δ + δ + δδ + δ δ( + δ) δ - δ δ ( + δ) - (δ - δ) (I + - δ) - - (δ - δ) Pssdo lle orme: δ ( I+ δ ) ( δ + δ ) ( δ + δ ) Dividimo per : δ δ δ δ δ + δ δ δ + δ : qidi: δ k() k() δ / δ + δ Teorem 5 Co le ipotesi del teorem 4 si sppog che si che δ llor: k() δ δ k() δ Dimostrzioe Si dimostr solo l prim disggliz perché l secod è cosegez del teorem 4 δ - δ δ Α δ δ δ e poiché si h: δ k() δ che d l tesi Vedimo or ltro modo, di tipo litico, per ricvre k() Sio, F R,, f R, ε + R, det() ( + ε F) () ( ε ) + ε f () 4

5 Si ε piccolo, det( + εf) L solzioe dell () e dt d: (ε) ( + εf) - ( + εf) Derivimo l () rispetto d ε ell' itoro dello zero: F(ε) + ( + εf) (ε) f Per ε si h: F() + () f D ci: () - (f - F()) (ε) () + ε () ( ε ) () () ε () () ε (f F()) () ε f () + F ε f + F k() εf + εf Qidi, il mero di codiziometo k() e correlto ll errore d: Notimo che: k() k() errore si risltti errore si dti I Qto più k() è prossimo d tto pi è e codiziot Pero l cooscez di o è fcile d otteere odo empirico (lisi posteriori) Pertrre i dti e vedere l'iflez si risltti Se l mtrice o è ml codiziot si pò risolvere il sistem Esempio di mtrice ml codiziot: l mtrice di Hilert H

6 k(h) Correlzioe tr k() e ρ(): k() ρ() ρ( - ) k() mλ λ σ miλ λ σ Pertto, prim di risolvere mericmete sistem liere, ci si deve ccertre che l mtrice dei coefficieti si o sigolre e e codiziot L risolzioe meric prevede de possli strtegie: qelle ste si metodi diretti e qelle ste si metodi itertivi L scelt del tipo di metodo si s essezilmete sl tipo di mtrice e slle risorse disposizioe: tempo di clcolo e spzio di memori Iftti, metre i metodi diretti soo dtti i sistemi co mtrici piee, i metodi itertivi soo dtti i sistemi co mtrici sprse, coteeti cioe molti zeri ccpimoci prim dei metodi diretti Poiche, come vedremo, il risltto di tli metodi e sempre sistem trigolre, occpimoci prim di risolvere tle sistem Risolzioe di sistemi trigolri Si dto il segete sistem liere o degeere: l l l l l l L Poiché det(l) l, l solzioe è qidi dt d: / l ( ( l l )/ l l )/ l 6

7 I geerle si h qidi (metodo delle sostitzioi i vti): /l i i i j l ij j l i,, Costo comptziole: mero di moltipliczioi e divisioi (+)/ mero di ddizioi e sottrzioi ( - )/ per totle di flops etodo delle sostitzioi idietro Si deve risolvere il sistem: U ovvero: / i i ij ji+ j i -,, 7

8 etodi diretti L solzioe è ottet co mero fto di pssi etodo di elimizioe di Gss Si co det() : Si Se ciò o si h si scmi l prim rig co delle sccessive i ci il coefficiete di si diverso d zero Si mi i per i,, e ggigimo ll i-esim eqzioe l prim moltiplict per mi Si h: + () () () () () () dove: () ij ij + mij i, j,, () i i + mi i,, perimo llo stesso modo dll secod eqzioe moltiplicdo per mi () l psso - si ottiee sistem trigolre che si risolve co il metodo dell sostitzioe ll'idietro Il costo comptziole del metodo di Gss e 4 Perché il metodo di Gss fzioi è ecessrio che gli elemeti sio diversi d zero Ciò o è comqe sfficiete grtire che ei pssi sccessivi gli elemeti digoli o si llio Iftti si: 4 5, i,, () i Eppre: () d ci 6 () 8

9 imo qidi isogo di codizioi più restrittive s Vedremo più vti che se ttti i miori pricipli di soo o lli llor che gli elemeti digoli i ttti i pssi di elimizioe sro o lli Notimo che l mtrice h il secodo miore priciple gle zero Scmido i () l secod e l terz rig il metodo fzio Per evitre ioltre prolemi di rrotodmeto si so le teciche del pivot przile e del pivot totle Pivot przile l j-esimo psso si cerc l rig I coteete il mssimo elemeto dell j-esim colo: Ij m ij i j e si scmi l rig i co l rig I Pertto l primo psso: I m i j i Pivot totle Si trov il mssimo elemeto dell mtrice: IJ m e si scmio l i,j ij rig i co l rig I e l colo j co l colo J Il metodo del pivot totle è più preciso m isog memorizzre l'ordie di elimizioe delle vrli e qidi si occp molt memori Per fr vedere l ecessità del pivotig imo il segete esempio: + y + y y 9999 solz litic G yg solz co Gss Riscrivedo il sistem: + y + y G, yg 9

10 etodi di fttorizzzioe Soo riformlzioe mtricile del metodo di Gss Cosistoo el trovre mtrice S o sigolre e formre sistem eqivlete qello origile S S, S U U mtrice trigolre speriore Se S è trigolre iferiore lo è pre S - : S - U LU Fttorizzzioe LU : L trigolre iferiore, l Gss Fttorizzzioe LL T : L co elemeti digoli positivi Cholesky Fttorizzzioe QR : Q ortogole, R trigolre speriore Hoseholder Riformlzioe mtricile del metodo di Gss I vtggi di fttorizzre el prodotto LU derivo dl ftto che L ed U o dipedoo dl termie oto Poiché il costo comptziole dell procedr di elimizioe è flops si h risprmio di operzioi se si devoo risolvere più sistemi lieri che ho l stess mtrice Si : e: L m m co mi i i, Il prodotto L eqivle l primo psso di Gss I geerle, il psso i-esimo e L i, dove: Li m m ji i co mji ji j i+, ll fie si h: U L-L- LL Poimo: L ~ L- L U L ~ ; - L ~ U e poedo L - L ~ si h: LU

11 L solzioe di LU si trov i de pssi: i) si poe: Ly e si risolve per y ) d: U y si trov L fttorizzzioe LU pò essere comit co il pivotig przile e co lo sclig dei fttori medite l premoltipliczioe di mtrici di permtzioe I No c'è comqe icità ell scelt di L ed U se L ed U soo geeriche Ciò si pò vedere i de modi: L l L l L l L Ugglido i term si ho eqzioi che però cotegoo og ( ) + icogite per totle di + icogite; di esse vo qidi determite ritrrimete II Sio LU ed LU de fttorizzzioi di : LU LU L - L UU - Poiché l mtrice sstr è trigolre iferiore e qell destr è trigolre speriore, perche esse sio gli devoo ecessrimete essere digoli Idicdo tle mtrice digole co D, si h: L LD, U D - U Scegliedo come costti ritrrie del pto I : l l l si h il metodo di Doolittle che è il metodo di fttorizzzioe eqivlete ll'elimizioe gssi Scegliedo ivece:

12 si h il metodo di Crot D pto di vist comptziole, è possle memorizzre le mtrici L ed U ell stess re di memori di Comqe, o sempre esiste fttorizzzioe LU di Esempio: Seee esist - o è possle fttorizzre Ivece l mtrice I +, che è sigolre, h fttorizzzioe LU Teorem C, det(k) k,, - L, U : LU Corollrio Sotto le stesse ipotesi del teorem, esiste 'ic fttorizzzioe di Doolittle e si h che: det() i Dimostrzioe del corollrio Si dimostr per idzioe Per k si h: LU ovvero l Si ver l tesi per k-, cioè Lk-, Uk- per i qli si i: k- Lk-Uk-, k- det(k-) i e dimostrimo che: k k LkUk k ) Π i det( Effettimo il prodotto locchi: L k U k w k c v T kk T kk L U Lk-Uk- k- vero per le ipotesi di idzioe Lk-w c det(lk-) w : Lk-w c

13 v T Uk- T det(k-) det(lk-)det(uk-) det(uk-) v : U v T k v T w + kk kk, kk kk - v T w v, w, kk soo ici che kk è ico k LkUk, det(k) det(lk)det(uk) k i Le ipotesi del teorem pero o soo fcili d verificre Se e tle che det() P mtrice di permtzioe : P LU Per de tipi di mtrici o è ecessrio o scmio di righe o di coloe per versi l fttorizzzioe LU: digolmete domiti, simmetriche defte positive etodo di Cholesky Teorem Si t(,), T, T > per esiste lmeo L trigolre iferiore : LL T Se si impoe che l > l fttorizzzioe è ic Dimostrzioe Per il criterio di Sylvester: det(k) > k Per il teorem precedete esiste 'ic fttorizzzioe LU Poedo: L L L L si h: kk pk k p k- kk + p pk kk k- kk - p pk k k- k kj ki ij + kk kj ki ij kj kj kj kk i i i d ci si h il metodo di Cholesky: k> j ij i ij k ik kj i,,

14 4 / i k ik Il costo comptziole di qesto metodo e met di qello di Gss e cioe Tle metodo è il migliore per le mtrici simmetriche defte positive poiché o distrgge l simmetri dell mtrice I metodi fi qi visti tilizzo mero di operzioi se è l'ordie dell mtrice ostrimo pero che i lci csi specili, come qello delle mtrici tridigoli, tle costo e di ordie se il metodo e tilizzto d hoc Sistemi tridigoli ij : i - j > Scrivimo l mtrice, che h - elemeti, come prodotto di de mtrici prticolri le ci icogite soo i α, i,, e i γ, i,,- c c c α α α α γ γ γ α αγ c i αi + iγi- i,, αiγi ci i,,- α γ c/α αi i - iγi- i,, γi ci/αi i,,- Costo comptziole: 8-7 flops

15 I metodi di fttorizzzioe modifico l mtrice zile e, se qest è sprs, cioè h molti zeri, si ho prolemi di memori I tli csi e pi coveiete tilizzre i metodi itertivi etodi itertivi I metodi itertivi geero sccessioe di vettori { (k) }k N che si sper coverg ll solzioe di L mtrice o viee modifict Si t(,), det() Poimo: - N ( - N) + N N + - U decomposizioe o splittig di si dice regolre se: det(), -, N U metodo itertivo è detto covergete se per qlqe vettore zile l sccessioe { (k) }k N è covergete Teorem Si - N o splittig regolre di e si: - N λ < llor: I) è o sigolre II) Il metodo itertivo ssocito tle splittig è covergete III) - λ - che dà limite ll'errore commesso Dim: I) per ssrdo si sigolre y h lmeo solzioe o le: y : ( - N)y, y - Ny y - Ny λ y λ : ssrdo III) Poimo: P - N, e - e Pe- P e e P e λ e II) lim e lim limλ e poiché λ < 5

16 Codizioi ecessrie per l covergez di metodo itertivo di fcile verific: - poiché il determite di mtrice è il prodotto degli tovlori, llor se det( - N) lmeo o degli tovlori è e qidi il metodo o pò covergere - Poiché l trcci (*) di mtrice è l somm degli tovlori, llor se tr( - N) lmeo o degli tovlori è e qidi il metodo o pò covergere Qidi: det( - N) <, tr( - N) < soo codizioi ecessrie per l covergez del metodo (*) ricordimo che: t () i Teorem Codizioe ecessri e sfficiete perché metodo itertivo si covergete è che ρ( - N) < etodo di Jcoi Si dto sistem liere di ordie co,, Ricvimo le compoeti: ( ) ( ) ( ) / / / Prtedo d vettore zile ritrrio () R si geer l sccessioe (k) dlle relzioi: (k+ ) (k+ ) (k+ ) (k) (k) ( ) (k) (k) ( ) (k) (k) ( ) / / / 6

17 Per sistem geerle, il metodo di Jcoi è: i (k+ ) (k) (k) i ij i ij j j i,, j j i+ etodo di Gss-Seidel Poiché ell prim sommtori si so le compoeti "vecchie" si pò sre vrite che tiee coto delle "ove" compoeti e ciò dà logo l metodo di Gss-Seidel che i geerle è più veloce del metodo di Jcoi i (k+ ) (k+ ) (k) i i ij j ij j i,, j j i+ Formlzioe mtricile dei metodi di Jcoi e Gβ-Seidel Decompoimo : D - E - F dove D è l digole di, E l s prte iferiore ed F qell speriore (D - E - F) D (k+) (E + F) (k) + (k+) D - (E + F) (k) + D - L mtrice: J D - (E + F) e l mtrice di Jcoi Il metodo di Jcoi coverge se è strettmete digolmete domite (cs) ovvero se: > ij j j i i,, si h: (D - E) (k+) F (k) + (k+) (D - E) - F (k) + (D - E) - GS (D - E) - F che dà il metodo di Gβ - Seidel Coverge se è simmetric deft positiv (codizioe sfficiete): ij ji T > e coverge che se è strettmete digolmete domite Tli metodi soo molto leti se ρ( - N), dove: 7

18 D, N E + F i Jcoi D - E, N F i Gss-Seidel Per ccelerre l covergez si so i metodi di rilssmeto etodo SR (Sccessive ver-reltio) Tle metodo cosiste el clcolre itert di Gss-Seidel ed effettre correzioe dipedete d prmetro ω: (k+) ω ˆ (k+) + ( - ω) (k) dove ˆ (k+) è il psso (k+) di GS Ricvimo tle schem: ω ω D + ω(d - E - F) ω + D D - ωe D + ω(f - D) + ω Se ω si h GS Se ω l prte sstr è trigolre iferiore Itrodcimo L ed R: L D - E, R D - F (k+) H(ω) (k) + ω(d - ωe) - dove: H(ω) (D - ωe) - [D(-ω) + ωf] [D(I - ωl)] - D[(-ω)I + ωr] (I - ωl) - D - D[(-ω)I + ωr] (I - ωl) - [(-ω)i + ωr] Covergez per SR Teorem ρ(h(ω)) ω- ω R Pertto SR diverge se ω oppre ω e si h covergez per: < ω < Dim: Sio λi gli tovlori di H(ω) Si h: i λ i det(h(ω) ) det[(i - ωl) - ] det[(-ω)i + ωr] - ω Pertto deve esistere lmeo λi tle che λi - ω e perché ci si covergez deve essere - ω < cioè < ω < Se è simmetric deft positiv, < ω < è codizioe ecessri e sfficiete 8

19 Se è strettmete digolmete domite, < ω è codizioe ecessri e sfficiete Criterio di rresto per i metodi itertivi Dt tollerz ε, metodo itertivo si deve fermre qdo: (k+ ) (k) (k) < ε Poiché ciò potree o verificrsi mi, isog itrodrre ltro criterio di rresto dto dl mero mssimo di iterzioi d esegire Velocità di covergez Stimimo il mero k di iterzioi ecessrie per ridrre l'errore zile di fttore -m o più e (k) -m e () e (k) ( - N) k e -m e () ( - N) k -m ρ(( - N) k ) (ρ( - N)) k (ρ( - N)) k -m k log (ρ( - N)) - m perche si i covergez, deve essere ρ( - N) < e qidi: m k logρ ( N) R -log(ρ( - N)) velocità di covergez m k R ggiore è R (e qidi più piccolo è ρ) miore è k etodo del grdiete Per mtrici simmetriche defte positive, l risolzioe del sistem liere: 9

20 è eqivlete trovre il pto di mmo R dell form qdrtic: φ (y) yt y - y T clcoldo iftti il grdiete di φ, che h compoeti: ϑφ ϑy i i,, si h: φ(y) ( T + )y - y - poiché T Pertto: φ(y) Prolem: determire mmo di φ prtedo d () R e qidi scegliere opporte direzioi lgo le qli vvicirsi d Tle direzioe o è ot priori Si: (k+) (k) + αk d (k) αk lghezz del psso lgo l direzioe d (k) U delle scelte per tle direzioe e direzioe di disces pi rpid: metodo steepest descet φ( (k) ) (k) - - r (k) d (k) φ( (k) ) αk si clcol mmizzdo φ: φ( (k+) ) ( (k) + αk r (k) ) T ( (k) + αk r (k) ) - ( (k) + αk r (k) ) T ( k ) T ( k ) ϑφ r r αk ( k ) T ( k ) ϑα k r r Ciò h semplice iterpretzioe geometric el cso Si dig(λ, λ), < λ λ, (, ) T Le crve φ (, ) c descrivoo sccessioe di ellissi Se λ λ si ho dei cerchi e il metodo coverge i sol iterzioe poiché l direzioe del grdiete pss per il cetro Se ivece λ >> λ il metodo coverge letmete NB Se l mtrice o è simmetric il metodo è pplicto ll mtrice T che è simmetric e si risolve il sistem eqivlete: T T L covergez del metodo è migliort se come direzioe di disces o si sceglie qell più ripid, determit dl grdiete, m si sceglie l direzioe coigt Si h qidi il metodo dei grdieti coigti

21