SOLUZIONE DI SISTEMI LINEARI

Transcript

1 Metodi di clcolo numerico per l soluzione di sistemi di equzioni lineri Equzione linere: 1 X X N X N = b incognite: X 1,..., X N coefficienti: 1, 2,..., N, b Soluzione dell equzione: tupl (X 1,...X N ) che l verific Esempio: SOLUZIONE DI SISTEMI LINEARI L tern (1,1,5) è un soluzione dell'equzione linere: X 1-2X 2 + X 3 = 4 1

2 SISTEMI LINEARI Si trovno in molti cmpi dell'ingegneri (es: circuiti elettrici), nell soluzione di equzioni differenzili, Un sistem linere di m equzioni in n incognite è un sistem di m equzioni nelle n incognite X 1, X 2,...,X N 11 X X N X N = b 1 21 X X N X N = b 2... M1 X 1 + M2 X MN X N = b M Risolvere un sistem di questo tipo, signific trovre un insieme di vlori per le vribili che soddisfi simultnemente tutte le equzioni 2

3 Ovvimente vi ricordte : SISTEMI LINEARI Simo interessti i sistemi in cui il numero di equzioni è ugule l numero di incognite: m = n In questo cso l soluzione è unic Se il numero di equzioni è minore delle incognite, l soluzione non è unic Se il numero di equzioni è mggiore delle incognite, è possibile che: lcune equzioni sino dipendenti (combinzioni lineri) d ltre (e si possono eliminre) Oppure il sistem si indeterminto 3

4 SISTEMI LINEARI Rppresentzione comptt (trmite mtrici): A * X = B dove A (mtrice dei coefficienti): N N A =.. N1... NN B vettore dei termini noti e X quello delle soluzioni: B = b 2. b 1 b N X = X 1 X 2. X N Queste equzioni hnno soluzione unic se det(a) è diverso d zero (mtrice non singolre) 4

5 RISOLUZIONE DI SISTEMI LINEARI Si possono pplicre due metodi: metodi diretti, bsti su trsformzioni in sistemi di equzioni equivlenti; forniscono sempre l soluzione estt metodi indiretti o itertivi, bsti su successive pprossimzioni. Forniscono soluzioni non estte (pprossimte): grdo di precisione specificto dll utente e influenz tempo di esecuzione Criteri di Scelt: metodi diretti hnno numero di operzioni d eseguire finito e prefissto, che dipende dlle dimensioni dell mtrice; quelli itertivi non è detto che convergno Se mtrice sprs convengono in genere quelli itertivi poiché tempo di clcolo è proporzionle numero degli elementi diversi d zero 5

6 METODI DIRETTI L'ide principle è quell dell'eliminzione: si ricv d un'equzione un prticolre incognit e l si sostituisce nelle rimnenti si diminuisce di 1 dimensione del problem. Qundo si rriv determinre un vlore, si procede ritroso e si trovno gli ltri Equivlenz: Due sistemi di equzioni lineri nello stesso numero di incognite sono equivlenti se hnno stesse soluzioni Si può ottenere un sistem equivlente: scmbindo due due le equzioni moltiplicndo ogni equzione per un costnte divers d zero sommndo d ogni equzione un'ltr equzione moltiplict per un costnte 6

7 EQUIVALENZA DI SISTEMI LINEARI Esempio: 2X + Y - Z = 5 3X - 2Y + 2Z = -3 X - 3Y -3Z = -2 Dividimo ogni equzione per il coefficiente di X: X + Y/2 -Z/2 = 5/2 X -2Y/3 + 2Z/3 = -1 X - 3Y -3Z = -2 Sottrimo l prim equzione dll second e dll terz: X + Y/2 -Z/2 = 5/2-7Y/6 + 7Z/6 = -7/2-7Y/2-5Z/2 = 9/2 Dividimo per il coeff. del primo termine: X + Y/2 -Z/2 = 5/2 Y - Z = 3 Y + 5Z/7 = 9/7 7

8 8 Sottrendo l second equzione dll terz: X +Y/2 -Z/2 = 5/2 Y -Z = 3 12Z/7 = -12/7 Il sistem divent in form tringolre superiore Or si può clcolre direttmente il vlore delle incognite: Z = -1 Y = 3-1 =2 X=5/2-1/2-2/2= 1 = X EQUIVALENZA DI SISTEMI LINEARI

9 2 Fsi: METODO DI GAUSS Tringolrizzzione dell mtrice dei coefficienti Eliminzione ll indietro => Clcolo dell soluzione Tringolrizzzione Eliminzione dell incognit X 1: se 11 è diverso d zero si può eliminre X 1 dlle righe 2,3,...n sommndo ll generic rig i- m l prim moltiplict per m i1 = - i1 / 11 (i = 2, 3,, n) Dopo quest operzione, nell mtrice risultnte mnchernno i coeff. i1 i=2,3,...n mentre il generico elemento ij (2)= ij -m i1 1j (2) 22 L (2) N2 L L L L 1N (2) 2N L (2) NN 9

10 METODO DI GAUSS Ad ogni psso k del procedimento (ripetuto n-1 volte) si elimin X k con l stess tecnic: m ik = - (k) ik / (k) kk ( i = k+1,..n) (k+1) ij = j (k) i -m ik (k) kj ( i=k+1,...n) (j = k+1,..n+1) Si ottiene un mtrice tringolre superiore: (1 ) 11 (1 ) 12 ( 2 ) 22 L 0 L L L L (1 ) 1 N ( 2 ) 2 N L ( n ) NN 10

11 11 METODO DI GAUSS l psso k-esimo vle: Numero di clcoli d eseguire è proporzionle n 3 /3 ) ( 1 ) ( ) ( ) ( ) ( ). ( k ii N i j j k ij k i i k NN k N X b X b X N + = = =

12 METODO DI GAUSS Algoritmo di tringolrizzzione: for (k=1; k<n; k++) for (i=k+1; i<=n; i++) { m ik = ik (k)/ kk (k) for (j = k; j<=n; j++) ij (k+1) = ij (k) - m ik * kj (k) Il sistem tringolre così ottenuto può essere risolto fcilmente con l procedur seguente 12

13 METODO DI GAUSS: Eliminzione Algoritmo di eliminzione ll'indietro: Dt un mtrice U(n x n) tringolre superiore non singolre, e un vettore Y di dimensione n l soluzione del sistem UX = Y x n = y n /u nn ; for (i = n-1; i>=0; i--) { for (j=i+1; j<=n; j++) x i =x i +u ij *x j ; x i = (y i - x i )/u ii ; 13

14 METODO DI JORDAN VARIANTE: se l generico psso k-esimo il processo di eliminzione non viene effettuto solo sulle righe successive ll k-esim m nche sulle precedenti ottenimo dopo n pssi un sistem digonle (metodo di Jordn) In prticolre, l formul: (k+1) ij = (k) ij -m ik * (k) kj j = k+1,, n si pplic per ogni i d 1 n e diverso d k Non richiede l propgzione indietro, m è computzionlmente più costoso O(n 3 /2); preferibile il metodo di Guss 14

15 Metodo di GAUSS : ESEMPIO Tringolzione: 2X 1 -X 2 +X 3-2X 4 =0 2X 2 -X 4 =1 X 1-2X 3 +X 4 =0 2X 2 +X 3 +X 4 =4 Psso 1: 2X 1 -X 2 +X 3-2X 4 =0 2X 2 -X 4 =1 1/2X 2-5/2X 3 +2X 4 =0 2X 2 +X 3 +X 4 =4 Psso 2: 2X 1 -X 2 +X 3-2X 4 =0 2X 2 -X 4 =1-5/2X 3 +9/4X 4 =-1/4 +X 3 +2X 4 =3 Psso 3: 2X 1 -X 2 +X 3-2X 4 =0 2X 2 -X 4 =1-5/2X 3 +9/4X 4 =-1/4 +29/10X 4 =29/10 15

16 Metodo di Guss : ESEMPIO Prtendo dll'ultim equzione (del sistem tringolre finle) ottenimo: X 4 =1 X 3 (-1/4-9/4X 4 )(-2/5) = 1 X 2 =(1+X 4 )/2 = 1 X 1 = (X 2 -X 3 +2X 4 )/2 = 1 16

17 PIVOTING Problem: se kk =0, processo di tringolrizzzione impossibile: m ik = ik / kk => divisione per zero! Scmbio di equzioni: Soluzione (ovvi): se kk (k) =0 ed esiste rk (k) 0 si scmbi l equzione r-sim con l equzione k-sim: => il nuovo kk è diverso d zero Quindi, per poter eseguire il metodo di costruzione dell mtrice tringolre, d ogni psso si procede con un eventule scmbio di equzioni 17

18 Ulteriore Problem: PIVOTING Ad ogni psso k, se il vlore ssoluto di kk è prossimo llo zero, l propgzione degli errori viene mplifict Soluzione: Pivoting Occorre scmbire l equzione k-sim con un equzione (r-sim) tle che il vlore ssoluto di rk risulti: il più grnde tr tutti gli ik dell sottomtrice (i=k,..., N) (ricerc sull colonn dell sottomtrice) => pivoting przile il più grnde tr tutti gli ij (i=k,..n; j=k,..n) (ricerc sulle righe e sulle colonne dell sottomtrice): in questo cso si provvede nche d un eventule scmbio di incognite (se j k) => pivoting completo k r r : k r k rk = mx k i N ik k s r,s : rs = mx i=k,..n ij j=k,..n 18

19 PIVOTING Pivoting completo è procedimento costoso Generlmente, pivoting przile dà risultti soddisfcenti Può ccdere che l sol tecnic di pivoting non si sufficiente limitre l propgzione di errori. Ad esempio: se tutti gli elementi dell mtrice A hnno vlore vicino llo zero se gli elementi di A hnno vlori molto diversi tr loro (ordini di grndezz) In questi csi è necessrio ri-equilibrre l mtrice con un procedimento di Scling 19

20 SCALING Si normlizzno gli elementi di ciscun rig dell mtrice ssumendo come vlore di riferimento, quello del pivot dell rig d i (dimensione): d i = mx ij j = 1,..., N Quindi, l generico psso k-esimo si ssume come equzione pivotle (fr le n-k rimnenti) l r-sim, in modo tle che: d rk r = mx i= k,..., N d ik i 20

21 GAUSS: Pivoting #include <stdio.h> #include <mth.h> #define N 4 typedef flot mtrice[n][n+1]; // PERCHE???? void pivot(mtrice A, int k, int dim) { // pivoting int i, mx; // przile flot tmp; printf("pivot l psso %d...\n", k); mx=k; for (i=k+1; i<dim; i++) if (fbs(a[i][k])>fbs(a[mx][k])) mx=i; if (mx!=k) for(i=0; i<dim+1;i++) { tmp=a[k][i]; A[k][i]=A[mx][i]; A[k][i]=tmp; return; 21

22 GAUSS: Tringolr. + Eliminzione void tringolrizz(mtrice A, int dim) { int i, j, k; flot m; for (k=0; k<dim; k++) { pivot(a,k,dim); for (i=k+1; i<dim; i++) { m=-a[i][k]/a[k][k]; for (j=k; j<dim+1; j++) A[i][j]=A[i][j]+m*A[k][j]; return; void elim_indietro(mtrice A,flot *X,int dim) { int i,j; for (i=dim-1; i>=0; i--) { for (X[i]=0, j=i+1; j<dim; j++) X[i] -= A[i][j]*X[j]; X[i] += A[i][dim]; X[i]/=A[i][i]; return; 22

23 GAUSS: Invoczione void leggi_m(mtrice M,int righe,int colonne); void stmp_v(flot *V, int dim); min() { mtrice A; flot X[N]; leggi_m(a, N, N); tringolrizz(a,n); elim_indietro(a,x,n); printf("\nrisultto:\n"); stmp_v(x, N); return 0; 23

24 GAUSS: Funzioni Ausilirie void leggi_m (mtrice M,int righe,int colonne){ int i,j; for (i=0; i<righe; i++) for (j=0; j<colonne; j++) { printf( Coeff. M[%d][%d]?", i, j); scnf("%f", &(M[i][j])); for (i=0; i<righe; i++) { printf("\ntermine noto %d?",i); scnf("%f", &(M[i][colonne])); void stmp_v (flot *V, int dim) { int i; for (i=0; i<dim; i++) printf("\t%f\n", *(V+i)); 24

25 DECOMPOSIZIONE LU (o Doolittle) A.X=b Hp: supponimo di poter esprimere l mtrice A come prodotto di due mtrici A=L.U dove L è un mtrice tringolre inferiore U è un mtrice tringolre superiore L = U = α α 21 α α Ν1 α Ν2.. α ΝΝ β 11 β 12.. β 1N 0 β 22.. β 2 N β ΝΝ 25

26 DECOMPOSIZIONE LU Allor A.X=(L.U).X=L.(U.X)=b il sistem originrio è equivlente ll coppi di sistemi lineri: [1] L.Y=b [2] U.X=Y bbimo rddoppito il numero di equzioni d risolvere, m i due sistemi sono già in form tringolre [1] viene risolto con sostituzione in vnti (forwrd substitution) [2] viene risolto con sostituzione indietro (bckwrd substitution) PROBLEMA: come relizzre l decomposizione LU? 26

27 DECOMPOSIZIONE LU = α α. α Ν A α α 0. = 22 Ν N 1 α ΝΝ 22 N β N 2 N. NN β β = β β β 1 N 2 N. ΝΝ Ogni elemento dell mtrice A è ottenuto come combinzione linere di elementi delle due mtrici L, U (prodotto rig per colonn): ij =α i1.β 1j + α i2.β 2j + + α in.β Nj 27

28 In questo cso prticolre, essendo molti elementi delle due mtrici L, U nulli, vlgono le semplificzioni: i<j i DECOMPOSIZIONE LU j ij =α i1.β 1j +α i2.β 2j +...+α ii.β ij i=j i j ij =α i1.β 1j +α i2.β 2j +...+α ii.β jj i>j i j ij =α i1.β 1j +α i2.β 2j +...+α ij.β jj 28

29 DECOMPOSIZIONE LU Per clcolre gli elementi di L e U è necessrio risolvere un sistem di N 2 equzioni in (N 2 +N) incognite Fissimo rbitrrimente il vlore di N incognite, ponendo α ii =1 (i=1,, N) e ricvimo gli ltri vlori Mppimo gli elementi di L e di U in un unic mtrice LU: β β.. β LU = α α Ν1 β α Ν Il sistem N 2 x N 2 può essere risolto con gli usuli metodi (es. Guss) m, grzie ll prticolre configurzione delle mtrici L e U, è possibile nche ottenere l soluzione direttmente in N 2 pssggi. β β 1N 2 N. ΝΝ 29

30 ALGORITMO DI CROUT Stbilisce semplicemente l ordine con cui clcolre gli elementi di L e U: 1) si pong α ii =1 (i=1,, N) 2) per ogni j=1, 2,, N: i = 1,2,.. j β ij = ij i 1 k = 1 α ik β kj i = j + 1, j + 2,.., N α ij = 1 β jj ( ij j 1 k = 1 α ik β kj ) 30

31 ALGORITMO DI CROUT In prtic, si consider un colonn per volt dell mtrice LU (j=1,..n): j=1 i<=j i=1: 11 =α 11 β 11 -> β 11 = 11 (i<=j) i>j i=2: 21 =α 21 β 11 -> α 21 = 21 / β 11 i=3: 31 =α 31 β 11 -> α 31 = 31 / β i=n: N1 =α N1 β 11 -> α N1 = N1 / β 11 j=2 i<=j i=1: 12 =α 11 β 12 -> β 12 = 12 (i<=j) i=2: 22 = α 21 β 12 + α 22 β 22 ->β 22 = 22 - α 21 β 12 i>j i=3: 32 =α 31 β 12 +α 32 β 22 ->α 32 =( 32 α 31 β 12 )/β i=n: N2 =α N1 β 12 +α N2 β 22 ->α N2 =( N2 α N1 β 12 )/β

32 ALGORITMO DI CROUT Ad ogni psso dell lgoritmo, si utilizzno vlori già clcolti nei pssi precedenti Grficmente, gli elementi dell mtrice LU vengono clcolti nell ordine: U L Problem: stbilità dell lgoritmo di Crout => necessità di pivoting Applichimo l lgoritmo di Crout su un permutzione P dell mtrice A, ottenut con pivoting przile P.A=L.U 32

33 SOLUZIONE SISTEMI LINEARI trmite DECOMPOSIZIONE LU #include <stdio.h> #include <stdlib.h> #include "mtrici.h" mtrice A, LU; flot X[N]; int min() { leggi_m(a, N, N); ludcmp(a, LU, N); lu_sol(lu,x,n); stmp_v(x, N); 33

34 CALCOLO DELLA MATRICE LU void ludcmp (mtrice A, mtrice LU, int dim) { int i,j,k; for(j=0; j<dim; j++) { for(i=0; i<=j; i++) { LU[i][j]=A[i][j]; for(k=0;k<i;k++) LU[i][j] -= LU[i][k]*LU[k][j]; for (i=j+1; i<dim; i++) { LU[i][j]=A[i][j]; for (k=0; k<j; k++) LU[i][j]-=LU[i][k]*LU[k][j]; LU[i][j]/=LU[j][j]; /* copi dei termini noti nell'ultim colonn di LU */ for (i=0; i<dim; i++) LU[i][dim]=A[i][dim]; return; 34

35 CALCOLO DELLA SOLUZIONE void lu_sol (mtrice LU, flot *X, int dim) { int i, j; flot Y[N]; /*LY=b sostituzione in vnti: ottengo Y */ for (i=0; i<dim; i++) { Y[i]=LU[i][dim]; /* termine b[i]*/ for (j=0; j<i; j++) Y[i] -= LU[i][j]*Y[j]; /*UX=Y: sostituzione ll'indietro */ for(i=dim-1; i>=0; i--) { X[i]=Y[i]; /*termine noto Y[i] */ for(j=i+1; j<dim; j++) X[i] -= LU[i][j]*X[j]; X[i]/=LU[i][i]; return; 35

36 INVERSIONE DI MATRICE QUADRATA Dt un mtrice qudrt A di ordine N non singolre, si definisce mtrice invers di A l mtrice qudrt A -1 di ordine N: A -1 * A = I dove I è l mtrice Identità di ordine N (tle che gli elementi sull digonle principle sino uguli 1 e tutti gli ltri sino uguli 0) Clcolo dell mtrice invers comodo per risolvere più sistemi di equzioni lineri con l stess mtrice dei coefficienti: AX=b AX=b... 36

37 MATRICE INVERSA Inftti il sistem si può scrivere come: A X = b e moltiplicndo per A -1 si ottiene: X = A -1 * b Se indichimo con q i,j (i,j=1,...n) gli elementi dell mtrice invers: k = 1,..N : N q = i = 1 ik ki 0 se i k 1 se i = k Risoluzione di N 2 equzioni lineri in N 2 incognite Per risolverle, bst risolvere N sistemi lineri ognuno di essi ottenuto per un vlore di j 37

38 MATRICE INVERSA Ciscuno è un sistem linere di n equzioni in n incognite che rppresentno l j colonn di A -1 (q 1,j, q 2,j,...,q n,j ) Per j=1: i=1 (k=1,..n) 1,k.q k,1 =1 i=2 (k=1,..n) 2,k.q k,1 =0... i=n (k=1,..n) n,k.q k,1 =0 Per ogni j, l colonn dei termini noti coincide con l colonn j- esim dell mtrice unitri Si devono risolvere n sistemi lineri con l stess mtrice dei coefficienti Invece di risolvere seprtmente n sistemi, si possono ottenere i vlori q k,j pplicndo metodo di eliminzione digonle o tringolre 38

39 METODI ITERATIVI Utilizzti come lterntiv i metodi diretti qundo l mtrice è di ordine elevto o sprs Non lterno mi l mtrice inizile Esempio: 10X 1 + X 2 + X 3 = 24 -X X 2 + X 3 = 21 X 1-2X X 3 = 300 Si ricv d ogni equzione un divers incognit in funzione delle rimnenti: X 1 = (24 -X 2 -X 3 )/10 X 2 = (21 + X 1 -X 3 )/20 X 3 = (300 -X 1 +2X 2 )/100 Si prende un soluzione di tenttivo (d es: (0, 0, 0)) e poi si iter fino trovre un soluzione soddisfcente 39

40 METODO DI JACOBI (o delle sostituzioni simultnee) Dt un mtrice A qudrt di dimensione N, con ii diverso d 0 (per ogni i) ed un vettore b, prtire d un vettore di tenttivo X (0) si costruisce l successione X (k) medinte l formul: i = 1,..., N X ( k + 1) 1 i = ii b Il metodo richiede due vettori X old (vlori delle incognite ll iterzione precedente) e X new (vlori delle incognite ll iterzione corrente) All fine di ogni ciclo si pone X new --> X old. Le componenti sono costruite in modo indipendente (possibilità di prllelismo) Il metodo può nche non convergere (fissre bene i vlori di primo tenttivo) i N j= 1, j i ij X ( k ) j 40

41 METODO DI JACOBI: Esempio Scrivimo le equzioni precedenti come: X 1 = X 2-100X 3 X 2 = 24-10X 1 - X 3 X 3 = 21 +X 1-20X 2 prtendo d (0, 0, 0) non si converge mi (2, 1, 3) 41

42 METODO DI JACOBI void copi(flot *V1, flot *V2, int dim); int jcobi (mtrice A, flot *X, int dim, flot cc) { int i,j,k, sol=0; flot Xnew[N], err, errmx; for (k=1; k<=maxiter &&!sol; k++) { errmx=0; for (i=0; i<dim; i++) { Xnew[i]=A[i][dim]; for(j=0; j<dim; j++) if (j!=i) Xnew[i] -= A[i][j]*X[j]; Xnew[i]=Xnew[i]/A[i][i]; err=fbs(xnew[i]-x[i]); if (err>errmx) errmx=err; if (errmx<cc) sol=1; else copi(x, Xnew, dim); if (!sol) { printf("%d iterzioni!!", k); exit(); else return k; 42

43 METODO DI GAUSS-SEIDEL Diversmente d Jcobi, ppen si clcol un vlore, lo si utilizz Non è grntit l convergenz, m se converge, lo f più rpidmente del metodo di Jcobi Esempio: 10X 1 + X 2 + X 3 = 24 -X X 2 + X 3 = 21 X 1-2X X 3 = 300 Trsformimo le equzioni nell form: X 1 = (24 -X 2 -X 3 )/10 X 2 = (21 + X 1 -X 3 )/20 X 3 = (300 -X 1 +2X 2 )/100 Si prte con un vlore di tenttivo (es:(0, 0)) per X 2 e X 3 Si clcol X 1 e si utilizz subito per clcolre X 2 Si utilizzno nuovi vlori di X 1 e X 2 per clcolre X 3, e così vi 43

44 METODO DI GAUSS-SEIDEL Dt un mtrice A di dimensione N con ii diverso d 0 ed un vettore b, prtire d un vettore di tenttivo X (0) si costruisce l successione X (k) pplicndo l formul: i X = 1,.. N ( k + 1) 1 i = ii b Il metodo richiede un solo vettore X i i 1 j= 1 ij X ( k + 1) j N j= i+ 1 ij X ( k ) j 44

45 METODO DI GAUSS-SEIDEL #define MAXITER 1000; int Gseidel (flot **A, flot *b, int N, flot xcc, flot **X) { /*restituisce numero iterzioni, A mtrice coefficienti, b vettore termini noti, xcc precisione, X vettore soluzioni */ int i, j, k, sol=0; flot err, errmx; for (k=1; k<=maxiter sol; k++){ /*ciclo pprox.success.*/ errmx=0; for (i=0; i<n; i++) { /*i indice di rig */ y=x[i]; X[i]=b[i]; for(j=0; j<n; j++) if (i!=j) X[i]=X[i]-A[i][j]*X[j]; X[i]=X[i]/A[i][i]; /*vlore i-sim incognit psso k*/ if (err=fbs(y-x[i])<errmx) errmx=err; if (errmx<xcc) sol=1; if (!sol) printf( troppe iterzioni\n ); else return k; 45