UNIVERSITA DEGLI STUDI DI CAGLIARI Fcoltà di Ingegneri Corso di Lure Specilistic in Ingegneri per l Ambiente e il Territorio TESINA DI CALCOLO NUMERICO Anlisi dell errore nei metodi di risoluzione dei sistemi lineri Docente Studente Prof. Giuseppe Rodriguez Pirroni Nicol mtr. 34769 Anno ccdemico 2007/2008
Indice Introduzione...3 Cpitolo Sistemi lineri...4 Cpitolo 2 Risoluzione dei sistemi lineri...6 2. Metodi diretti per l risoluzione di sistemi lineri...6 2. Sistemi digonli...6 2.2 Sistemi ortogonli...7 2.3 Sistemi tringolri...7 2.4 Algoritmo di Guss o di tringolrizzzione...8 2.5 Algoritmo di Guss con pivoting przile...9 2.6 Fttorizzzione di Cholesky...9 2.7 Fttorizzzione QR...9 Cpitolo 3 Implementzione degli lgoritmi... 3. Script principle... 3.2 Function fttlu...2 3.3 Function fttplu...2 3.4 Function chole...3 3.5 Function fttqr...4 Cpitolo 4 Anlisi dell errore sull fttorizzzione...6 4. confronto con gli lgoritmi di Mtlb...6 4.2 Fttorizzzione delle mtrici csuli...8 4.3. Fttorizzzione delle mtrici di Hilbert...20 4.4. Fttorizzzione delle mtrici di Pscl...23 Cpitolo 5 Anlisi dell errore sull soluzione...25 5. Mtrici rndom...25 5.2 Mtrici di Hilbert...27 5.3 Mtrici di Pscl...29 2
Introduzione Nel seguente elborto vengono nlizzti lcuni metodi diretti per l risoluzione dei sistemi lineri. Sono stti vlutti gli errori commessi nell fttorizzzione e nell risoluzione, implementndo gli lgoritmi in mbiente Mtlb ed nlizzndo irisultti. 3
4 Cpitolo Sistemi lineri Un sistem di equzioni lineri (o sistem linere) è un insieme di equzioni lineri, che devono essere verificte tutte contempornemente: in ltre prole, un soluzione del sistem è tle se è soluzione di tutte le equzioni. L soluzione è, quindi, l'insieme di vlori n che, sostituiti lle incognite, rende le equzioni delle identità. Un sistem di equzioni lineri è il dto di un certo numero m di equzioni lineri in n incognite, e può essere scritto nel modo seguente: = + + + = + + + = + + + m n m n m m n n n n b b b, 2,2, 2 2, 2 2,2 2,, 2,2, L M L L dove,..., n sono le incognite e i numeri ij, detti i coefficienti, sono elementi di un cmpo, d esempio dei numeri reli o complessi. Anche i termini noti b i sono elementi del cmpo. Un n-upl (,..., n ) di elementi nel cmpo è un soluzione se soddisf tutte le m equzioni. Usndo le mtrici ed il prodotto fr mtrici e vettori si possono seprre gevolmente i coefficienti, le incognite ed i termini noti del sistem, e scriverlo nel modo seguente: = n n mn m m n n b b b M M M M M O M M M M M O M M L L L L 2 2 2 2 22 2 2 In modo molto più schemtico, si scrive b A = dove: n j i i j A, ) ( = = è l mtrice dei coefficienti,;
b = b,... b ) il vettore dei termini noti; ( n =,..., ) l soluzione. ( n Con quest rppresentzione, l soluzione del sistem linere è determint dll: = A Clcolre l invers dell mtrice dei coefficienti, dispetto dell semplicità con cui l formul è scritt, non è mi bnle nei problemi di ingegneri. Inftti si è in presenz di problemi di tipo numerico che devono poter essere trttti su un clcoltore. b Crtteristic fondmentle per l risoluzione, è che il sistem linere bbi un soluzione unic che dipend con continuità di dti e dlle perturbzione che su di esso sono introdotte dll mtemtic e dgli lgoritmi: si in sostnz ben posto. Un problem è ben posto se esso possiede, in un prefissto cmpo di definizione, un e un sol soluzione e quest dipende con continuità di dti. In cso contrrio, viene detto ml posto. Qundo non c è dipendenz tr l perturbzione sui dti e quell sull soluzione con continuità il problem è instbile. L influenz che le perturbzioni hnno sul risultto è dett condizionmento ed è misurbile ttrverso il numero di condizionmento. Quindi il problem deve essere nche ben condizionto. 5
Cpitolo 2 Risoluzione dei sistemi lineri 2. Metodi diretti per l risoluzione di sistemi lineri I sistemi di equzioni lineri sono i problemi numerici che si incontrno più spesso nelle ppliczioni dell Mtemtic. Per l loro risoluzione, differenz dell qusi totlità dei problemi non lineri, sono disponibili lgoritmi finiti, i cosiddetti metodi diretti. Esistono numerosi metodi diretti, spesso bsti su idee molto diverse tr loro, m che condividono l stess strtegi di bse. Quest consiste nel trsformre, medinte un lgoritmo con un numero finito di operzioni, un sistem linere generico in un sistem equivlente, m dotto di un struttur prticolre che ne rend più semplice l risoluzione. L ppliczione dei metodi diretti per l risoluzione di un sistem linere trmite clcoltore vviene ttrverso l implementzione di un lgoritmo. Un lgoritmo è un sequenz univoc di un numero finito di operzioni elementri che stbilisce come clcolre l soluzione di un problem, ssegnti certi dti inizili. E importnte che l lgoritmo si ben strutturto l fine di grntire un bss propgzione dell errore. E possibile sviluppre un lgoritmo stbile solo in presenz di un problem ben condizionto. Esistono lcuni sistemi lineri venti un struttur prticolre che li rende risolvibili trmite lgoritmi con un complessità computzionle inferiore rispetto l cso generle: Sistemi digonli; Sistemi ortogonli; Sistemi tringolri. 2. Sistemi digonli Il cso più semplice si h in presenz di un mtrice dei coefficienti che si di tipo digonle, cioè Il sistem si present sotto l form n D = ( d,... d n ) i= D = b Di ftto non è un sistem, m n equzioni non ccoppite, l cui risoluzione è dt dll: 6
bi i = d L complessità computzionle è pri ο (n), mentre il condizionmento è m( di ) K = min( d ) Ciò implic che il problem può essere mlcondizionto ed esserci mplificzione degli errori con rischio di overflow se min( d ) m( d ). i i i i 2.2 Sistemi ortogonli In questo cso, l mtrice dei coefficienti è ortogonle, cioè l trspost è ugule ll invers: Q T = Q Quindi il vettore delle soluzioni è clcolbile con: i = n j= q T ij b j = n j= q ji b j L complessità computzionle è pri ο ( n 2 ), ed h un buon condizionmento, con K=. 2.3 Sistemi tringolri I sistemi di tipo tringolre hnno l mtrice dei coefficienti che può essere tringolre superiore od inferiore. Rispettivmente, sono rppresentti così: U = b L = b Si consideri un sistem tringolre di tipo inferiore: si può subito trovre l unic incognit dell prim equzione: b = l Questo vlore può quindi essere sostituito nell second equzione e così vi: d ogni psso è possibile clcolre l vribile in digonle, fino ll n. L lgoritmo in questo cso è detto di 7
disces o forwrd substitution. In presenz di un mtrice tringolre superiore si procede llo stesso modo m prtendo dl bsso(lgoritmo di rislit o bckwrd substitution). 2 Per entrmbi le situzioni, l complessità computzionle è pri ο ( n ), e sono dei problemi che 2 possono essere mlcondizionti. 2.4 Algoritmo di Guss o di tringolrizzzione Con l lgoritmo di Guss si entr nel cso generle di sistem linere. Si bs sui principi di equivlenz dei sistemi lineri. Un sistem linere rest equivlente se si eseguono le seguenti operzioni elementri: moltipliczione di un equzione per uno sclre; sostituzione di un equzione con l somm dell stess con un ltr; scmbio di equzione. Attrverso queste operzioni, l lgoritmo di Guss trsform il sistem linere in uno tringolre 3 n superiore. Il costo computzionle è pri ο ( ), ed n 3 è l ordine di grndezz mssimo ccettto 3 per l risoluzione di sistemi lineri. Il metodo così presentto funzion solo per mtrici digonlmente dominnti per righe( purché non singolri) e per colonne, cioè per mtrici con gli elementi digonli non nulli e per mtrici simmetriche definite positive. Può cpitre che l elemento digonle si molto piccolo, in tl cso si possono generre degli overflow. Di ftto, con questo metodo il condizionmento del sistem finle può umentre in mnier significtiv. Quest ultimo problem può essere ovvito trmite il pivoting przile. L lgoritmo di Guss oper l fttorizzzione A = LU, cioè trsform l mtrice d origine nel prodotto di due mtrici tringolri. Quindi il sistem divent: LU = b ponendou = y, si ottengono due sistemi tringolri fcilmente risolvibili in csct: Ly = b U = y Prtendo d quest form si rriv ll fttorizzzione A=LU=LDR, dove l U è ugule l prodotto di un mtrice digonle D per un mtrice R tringolre superiore crtterizzt dll vere in digonle dei coefficienti pri. 8
2.5 Algoritmo di Guss con pivoting przile Con il pivoting przile si elimin i rischio di overflow e si riduce l propgzione dell errore prticmente costo zero perché non si hnno operzioni in virgol mobile. Operndo col pivoting, d ogni psso l lgoritmo ricerc il mggiore elemento digonle kk presente sotto digonle. L lgoritmo di Guss oper l fttorizzzione PA = LU dove P è l mtrice di permutzione, un mtrice ortogonle che h l funzione di permutre le colonne di A. 2.6 Fttorizzzione di Cholesky L fttorizzzione di Cholesky, che deriv sempre dll LU, è pplicbile mtrici simmetriche definite positive e trsform l mtrice dei dti i questo modo: A = R Il vntggio consiste nell vere un solo fttore, ed inoltre si dimezz l complessità computzionle 3 n di un mezzo rispetto ll lgoritmo di Guss ο ( ). Il sistem finle si present nell form: 6 R T T R T R y = b R = b R = y 2.7 Fttorizzzione QR Un mtrice, non necessrimente qudrt, può essere decompost nel prodotto: A = QR dove Q è un mtrice ortogonle ed R un mtrice tringolre superiore delle stesse dimensioni di A. Il vntggio principle è nel buon condizionmento del sistem finle: QR = b R = y Qy = b R = y In prtic permette di risolvere un sistem linere senz peggiorre il condizionmento. Per i clcolo di QR è necessrio clcolre l mtrice di Householder, un mtrice elementre definit come: H = I T 2ww = I vv β T 9
L second espressione è preferibile perché non contiene operzioni in virgol mobile, ed in ess i termini sono così definiti: I = mtrice identità; β = σ σ + ) ( σ = = primo vettore colonn dell mtrice A v = ke k = sign( ) σ e = primo vettore dell bse cnonic. 2 3 L complessità computzionle è pri ο ( n ), il doppio dell lgoritmo di Guss con pivoting, m 3 con il vntggio di vere un condizionmento che cresce di meno. 0
Cpitolo 3 Implementzione degli lgoritmi 3. Script principle Gli lgoritmi precedentemente descritti sono stti implementti su mtlb versione 6.5. Le fttorizzzioni sono richimte come functions d 3 script principli che generno, trmite un loop in i, un numero di mtrici vribile con n crescente:. lg_rndom.m: gener 80 mtrici csuli con n =5, 0,,95, 200; 2. lg_hilb.m: gener 9 mtrici con n = 3 2 ; 3. lg_pscl.m: gener 37 mtrici con n = 3 40. Il primo lgoritmo gener mtrici composte d numeri csuli. Un mtrice rndom moltiplict per se stess divent simmetric, crtteristic fondmentle per l riuscit degli lgoritmi di fttorizzzione. Il secondo e terzo script generno delle mtrici simmetriche che di bse sono ml condizionte: il loop è più corto perché, nche per n piccolo, l lgoritmo si blocc in qunto l mtrice divent numericmente singolre. Ad ogni mtrice è imposto un vettore soluzione i cui elementi sono dei coefficienti tutti pri, e si clcol il termine noto b del sistem linere A=b. In tl modo è possibile vere un confronto tr l soluzione ver e quell trovt dopo l fttorizzzione dell mtrice dei coefficienti. Infine, ll interno del loop è clcolto nche il numero di condizionmento dell i-esim mtrice genert, poi memorizzto in un vettore:
All interno del loop, sono presenti le chimte lle diverse fttorizzzioni, che hnno come vribili di input A e b, ed in uscit il vettore soluzione e i termini dell fttorizzzione. Subito dopo l chimt ci sono le istruzioni di memorizzzione dell dimensione dell errore sull soluzione e sull fttorizzzione. Ad esempio, per l fttorizzzione QR srà: 3.2 Function fttlu Quest funzione esegue l tringolrizzzione dell mtrice secondo il metodo di Guss, risolve il sistem tringolre superiore U=b e restituisce, L, U. 3.3 Function fttplu Quest è molto simile ll precedente, contiene il loop del pivoting di colonn seguito d quello per l tringolrizzzione. Rispetto ll funzione precedente, quest restituisce nche l mtrice di permutzione P. 2
3.4 Function chole Quest funzione esegue l fttorizzzione di Cholesky, quindi restituisce oltre che il vettore, l mtrice R. 3
3.5 Function fttqr L ultim funzione chimt, esegue un fttorizzzione di tipo QR, e restituisce Q, R ed. Il primo pssggio di fttorizzzione, fuori d ogni loop clcol l prim mtrice di Householder. Nel loop, per k che prte d 2, vvengono tutti i successivi pssggi. 4
5
Cpitolo 4 Anlisi dell errore sull fttorizzzione Il confronto delle diverse fttorizzzione è stto ftto clcolndo l norm dell errore sull fttorizzzione, mentre l errore sul clcolo del sistem linere è stto clcolto con l norm dell differenz tr il vettore soluzione clcolto e quello dto: Fttorizzzione A=LU Fttorizzzione PA=LU Fttorizzzione di Cholesky Fttorizzzione QR 4. confronto con gli lgoritmi di Mtlb Un volt implementti gli lgoritmi di fttorizzzione, sono stti confrontti con quelli di Mtlb misurndo ncor l norm sull errore di fttorizzzione: Fttorizzzione A=LU Fttorizzzione di Cholesky Fttorizzzione QR Di grfici che seguono, si not come l funzione fttlu gener un errore che sostnzilmente coincide con quello di Mtlb, mentre l fttorizzzione fttplu h un ndmento più vribile, con l curv che medimente st sopr quell reltiv ll fttorizzzione LU senz pivoting (Figur ). L funzione chole h ddirittur un errore inferiore rispetto quello reltivo ll lgortimo di Mtlb, soprttutto per mtrici con n>60, mostrndo come esso si potenzilmente migliorbile. L discontinuità nell curv è dovut ll presenz in quel punto di un errore nullo (Figur 2). Per qunto rigurd l fttorizzzione QR, l lgoritmo implementto fttqr gener un errore che oscill rispetto quello custo dll lgoritmo di Mtlb(Figur 3). 6
Figur Figur 2 7
Figur 3 Di seguito sono stti utilizzti gli lgoritmi implementti. 4.2 Fttorizzzione delle mtrici csuli Confrontndo in uno stesso grfico gli errori dovuti ll fttorizzzione, si not che i vlori inizili si ttestno d un ordine di grndezz di 0-6 per poi crescere ll umentre delle dimensioni dell mtrice. All fttorizzzione di Cholesky corrisponde l dimensione dell errore più piccol: per n grnde si ttest ttorno d un ordine di grndezz pri 0-4. L fttorizzzione che mplific mggiormente l errore è l QR (Figur 4). 8
Figur 4 Nel grfico successivo si può vedere l errore in relzione l condizionmento dell mtrice di prtenz (Figur 5). 9
Figur 5 4.3. Fttorizzzione delle mtrici di Hilbert Anlizzndo il comportmento degli lgoritmi sulle mtrici ml condizionte di Hilbert per n fino 2, si può notre che l fttorizzzione di Cholesky gener un errore nullo per n = 3 0, mentre l errore dell fttorizzzione QR h un ndmento ltlennte prtire d un ordine di grndezz sopr le ltre curve m che poi segue un ndmento costnte ttorno l vlore di 0-5. Anche l lgoritmo fttlu si dimostr bbstnz stbile, mentre fttplu mostr un crescit esponenzile. Entrmbi gli lgoritmi di Guss comunque sono poco dtti per le mtrici di Hilbert, perché cusno, per n >2, il blocco dello script perché l mtrice divent numericmente singolre (Figur 6). 20
Figur 6 Si può vedere questo grfico nche in relzione l numero di condizionmento, che cresce inizilmente poi si stbilizz per n 5 ttorno vlori dell ordine di grndezz pri 0-9 (figur 7 e 8). 2
Figur 7 In reltà, l lgoritmo di fttorizzzione QR è quello più dtto per mtrici ml condizionte come quell di Hilbert: ciò si evince portndo le dimensioni dell mtrice di Hilbert fino 200, ed pplicndo fttqr e chole, gli unici tr gli lgoritmi utilizzti che non si bloccno per n>2. Osservndo il grfico reltivo, si not l stbilità dell errore indipendentemente dl numero di condizionmento crescente, mentre l fttorizzzione di Cholesky mostr un ndmento proporzionle l numero di condizionmento (Figur 8). 22
Figur 8 4.4. Fttorizzzione delle mtrici di Pscl A differenz delle mtrici di Hilbert, il condizionmento delle mtrici di Pscl, ument l crescere di n senz mi stbilizzrsi (Figur 9). Ciò implic che nche con l lgoritmo per l fttorizzzione QR, ben presto si rggiungono dimensioni dell errore che divengono inccettbili. D notre che per n<3, l fttorizzzione di Cholesky e quell di Guss senz pivoting, producono un errore nullo, mentre quell di Guss con pivoting risult inffidbile (Figur 0). In questo cso tuttvi nessuno degli lgoritmi si blocc. 23
Figur 9 Figur 0 24
Cpitolo 5 Anlisi dell errore sull soluzione 5. Mtrici rndom L errore sull soluzione h un ndmento oscillnte e crescente prescindere dll lgoritmo di fttorizzzione utilizzto ( figur ). Figur Sembr che tle ndmento oscilltorio segu il condizionmento dell mtrice dei coefficienti (figur 2). Inftti relzionndo il numero di condizionmento con l errore si può notre un proporzionlità. L figur 3, reltiv ll fttorizzzione LU è rppresenttiv nche delle ltre. 25
Figur 2 26
Figur 3 5.2 Mtrici di Hilbert Su queste mtrici ml condizionte, per n fino 4, l risoluzione del sistem gener un errore che si tiene bsso per l fttorizzzione di Guss con e senz pivoting, mentre cresce velocemente se l mtrice dei coefficienti è stt trttt con l fttorizzzione di Cholesky o QR (figur 4). Aumentndo n fino 200 per i soli lgoritmi di fttorizzzione QR e Cholesky, si conferm un rpid crescit inizile dell errore sull soluzione ed un successiv stbilizzzione dello stesso ( figur 5). 27
Figur 4 Figur 5 28
5.3 Mtrici di Pscl Per questo tipo di mtrici ml condizionte, c è un divergenz di comportmenti second dell lgoritmo usto. L fttorizzzione QR e quell di Guss con pivoting rrivno rpidmente vlori non tollerbili dell errore, nche per n piccolo. L lgoritmo di Guss senz pivoting e l fttorizzzione di Cholesky, portno d vere un errore sull soluzione che è nullo per n = 3 30, mentre successivmente segue l ndmento degli ltri errori (figur 6). Figur 6 Per curiosità è possibile osservre l ndmento dell errore sull soluzione per gli lgoritmi di Cholesky e QR per n fino 200. Anlogmente ll errore sull fttorizzzione, continu crescere in funzione del condizionmento dell mtrice dei coefficienti (figur 7). 29
Figur 7 30