Capitolo 2. Algebra Lineare numerica 79. a ij x i x j

Transcript

1 Capitolo 2. Algebra Lineare numerica 79 Se c 0 e c sono nulli, allora la funzione q (x) = x Ax = n i=1 j=1 n a ij x i x j è detta comunemente forma quadratica (omogenea) ed è omogenea di grado 2. 3 A partire da una forma quadratica q (x) = x Ax, con A matrice quadrata, la forma quadratica x Bx con è B = 1 2 (A + A ) equivalente a q (x), nel senso che x Ax = x Bx, x IR n. Quindi ci occuperemo solo di forme quadratiche associate a matrici simmetriche. Inoltre, c è una relazione biunivoca fra una forma quadratica e la matrice simmetrica ad essa associata. Una forma quadratica è detta: definita-positiva se risulta definita-negativa se risulta semi-definita-positiva se risulta semi-definita-negativa se risulta x [0] x Ax > 0; x [0] x Ax < 0; x [0] x Ax 0, x [0] : x Ax = 0; x [0] x Ax 0, x [0] : x A x = 0; indefinita se la forma può assumere sia valori positivi che valori negativi, cioè esistono vettori x 1 ed x 2 tali che ( x 1 ) Ax 1 ( > 0, x 2 ) Ax 2 < 0. 3 Ricordiamo che una funzione f : IR n IR m è detta omogenea di grado k se f (αx) = α k f (x), α 0. M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

2 Scomposizione in valori singolari Ogni forma quadratica appartiene ad una ed una sola delle 5 categorie ora precisate. Per classificare una forma quadratica si può applicare uno dei seguenti due criteri. Questi criteri classificano una forma quadratica basandosi su proprietà della matrice simmetrica dei coefficienti. Per questo spesso gli aggettivi definita-positiva, definita-negativa, ecc., sono attribuiti direttamente alla matrice. Primo criterio di riconoscimento Sia A [0] una matrice reale e simmetrica, con autovalori λ 1, λ 2,..., λ n. Allora: A è definita-positiva λ j > 0, j, A è definita-negativa λ j < 0, j, A è semi-definita-positiva λ j 0, j, ed h {1,...,n} : λ h = 0, A è semi-definita-negativa λ j 0, j, ed h {1,...,n} : λ h = 0, A è indefinita h,k {1,...,n} : λ h > 0, λ k < 0. Secondo criterio di riconoscimento Sia A [0] una matrice reale e simmetrica, di ordine n. Allora A è: definita-positiva tutti i suoi n minori di nord-ovest sono positivi; definita-negativa i suoi n minori di nord-ovest hanno segni alterni iniziando col segno negativo, cioè la loro successione ha i segni {,+,,+,, }; semi-definita-positiva tutti i suoi (2 n 1) minori principali sono 0, in più è det(a) = 0; semi-definita-negativa i minori principali di ordine pari sono 0 e quelli di ordine dispari sono 0, in più è det(a) = 0; indefinita non si verifica alcuno dei 4 casi precedenti. 2.2 Scomposizione in valori singolari In questo paragrafo presentiamo uno strumento molto importante in analisi numerica (ma non solo). Infatti, la scomposizione in valori singolari è utile, per esempio, per risolvere sistemi di equazioni lineari, per risolvere problemi di minimi quadrati, per determinare il rango di una matrice, per studiare la Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

3 Capitolo 2. Algebra Lineare numerica 81 sensibilità della soluzione di un sistema lineare rispetto a perturbazioni nei dati (la cosiddetta analisi di condizionamento). Data una matrice A IR m n, in generale, con m non necessariamente uguale ad n, il problema (2.1.6) di ricerca di autovalori ed autovettori può non avere alcun senso. Non si può perciò arrivare ad una fattorizzazione del tipo (2.1.13). È però possibile fattorizzare ogni matrice A in un modo comunque molto utile. Tale fattorizzazione è detta scomposizione in valori singolari (SVD singular value decomposition) ed ha la seguente forma: A = USV, dove U IR m m, V IR n n sono matrici ortogonali e S IR m n è pseudodiagonale non-negativa. Vedremo tra poco che gli elementi diagonali di S svolgono un ruolo importante. Teorema Sia A IR m n, allora: 1. A A IR n n è simmetrica; 2. A A è definita o semi-definita positiva, cioè ha autovalori non-negativi; 3. il rango di A A è pari al rango di A. Dimostrazione. Il punto 1 si verifica semplicemente. Il punto 2 si dimostra notando che x (A A) x = (x A ) (Ax ) = Ax 2 0 per la definizione di norma euclidea di un vettore. Il punto 3 è una conseguenza diretta del teorema Definizione Si dicono valori singolari della matrice A le radici quadrate degli autovalori di A A: σ i = λ i, con λ i autovalore di A A, i = 1,...,n. Siccome A A è simmetrica e definita o semi-definita positiva, i suoi autovalori sono non negativi, quindi la loro radice quadrata è un numero reale: i valori singolari di una matrice sono quindi numeri non negativi. Teorema Sia A IR m n, allora esistono due matrici ortogonali U IR m m, V IR n n tali che A = USV, (2.2.1) dove la matrice S IR m n, pseudodiagonale e non-negativa, ha sulla diagonale principale i p = min {m,n} valori singolari di A. M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

4 Scomposizione in valori singolari Non riportiamo la dimostrazione, piuttosto noiosa, che può essere ottenuta per induzione. Osserviamo che nel caso n > m la diagonale di S contiene solo m autovalori di A A, trascurando (n m) autovalori di A A che sono sicuramente nulli (si veda a pag. 75). Il numero di valori singolari è quindi p = min {m,n}. Si usa ordinare gli elementi diagonali di S, e quindi le corrispondenti colonne di U e di V, in modo tale che σ 1 σ 2 σ p 0. La matrice U è detta matrice dei vettori singolari di destra, mentre V è detta matrice dei vettori singolari di sinistra 4. Le m colonne di U sono dette vettori singolari di destra, le n colonne di V sono dette vettori singolari di sinistra. La matrice S ha quindi il seguente aspetto: σ σ S = 0 0 σ n, se m n, σ S = 0 σ , se m n σ m 0 0 Si può dimostrare che data una matrice quadrata, il numero di autovalori non nulli è pari al rango della matrice. Posto allora k = rk(a), per il teorema (punto 3) si ha σ 1 σ k > σ k+1 = = σ p = 0. La SVD di una matrice non è unica. Per l esattezza, nella (2.2.1) la matrice S è unicamente determinata, cioè i min {m,n} valori singolari di una matrice sono unicamente determinati, mentre le matrici U e V possono essere scelte in diversi modi. È facile rendersene conto considerando, per esempio, la matrice identità I che ammette la SVD I = V IV, con V una qualunque matrice ortogonale. Si può anche osservare che se U e V verificano la (2.2.1) per una 4 La terminologia è fuorviante se si guarda la (2.2.1). Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

5 Capitolo 2. Algebra Lineare numerica 83 dta matrice A, allora, α 0, anche ( αu, 1 α V ) è una coppia di matrici di vettori singolari per A. In generale, è possibile normalizzare i vettori singolari di A; una normalizzazione comune è quella di prendere vettori singolari, di destra e di sinistra, con norma unitaria. Questa normalizzazione è quella introdotta automaticamente dal comando svd di MATLAB e SCILAB. Per ottenere la scomposizione in valori singolari con SCILAB e MATLAB, esiste la funzione svd. Tale funzione può essere usata in modo molto flessibile. Infatti, se servono solo i valori singolari, basta assegnare un solo output s = svd(a); per ottenere il vettore colonna s dei p valori singolari di A in ordine decrescente. Per ottenere la SVD completa, allora l istruzione con 3 output diventa [U,S,V] = svd(a); Presentiamo ora alcuni risultati utili. Teorema Le matrici A ed A hanno gli stessi valori singolari. Inoltre, i vettori singolari destri (sinistri) di A coincidono con quelli sinistri (destri) di A. Dimostrazione. Sia m n, allora per la (2.2.1) abbiamo AV = US, V A = S U, A U = V S, A = V S U. Il caso m n è analogo. Teorema Se A è quadrata, allora det(a) = n i=1 σ i. Dimostrazione. Il determinante di una matrice quadrata è pari al prodotto degli autovalori (si riveda il paragrafo ), det ( A A ) = n i=1 λ i = n i=1 σ2 i ; inoltre, per il teorema 2.1.4, abbiamo det (A A) = [det (A)] 2, quindi possiamo concludere che [det(a)] 2 = n i=1 σ2 i, da cui si ricava det(a) = n i=1 σ i. Teorema Se A è quadrata, simmetrica, allora i valori singolari coincidono con il modulo degli autovalori. Inoltre, se A è definita o semi-definita positiva, allora la SVD coincide con la scomposizione spettrale (2.1.13). M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

6 Scomposizione in valori singolari Dimostrazione. Sia A IR n n, simmetrica, allora i suoi autovalori λ i, i = 1,...,n sono reali e sono loro associati agli autovettori x i, i = 1,...,n ortogonali: Ax i = λ i x i, A Ax i = λ i A x i, ( A A ) x i = λ 2 i xi, cioè, per la definizione 2.2.2, i valori singolari di A sono proprio λ 2 i = λ i, i = 1,...,n. Inoltre A è diagonalizzabile quindi ammette la scomposizione (2.1.13) A = XDX, (2.2.2) con D = diag ( λ 1 λ n ) e X = [ x 1 x n ]. Se A è definita o semidefinita positiva allora λ i 0, i = 1,...,n, quindi σ i = λ i, i = 1,...,n e la (2.2.2) è analoga alla (2.2.1). In generale il legame fra autovalori e valori singolari non è sempre così immediato. Ricordiamo inoltre che la teoria degli autovalori e dei valori singolari può essere presentata in generale per matrici complesse. Qui ci occupiamo solo di matrici reali, ma sappiamo che una matrice reale non simmetrica può avere autovalori complessi. Un risultato, che non dimostriamo è presentato nel seguente teorema. Teorema La SVD di una matrice reale è sempre reale (valori e vettori singolari reali). Un risultato che ci verrà utile nel seguito è il seguente. Teorema Data una matrice A simmetrica e definita positiva, i valori singolari della matrice (A + αi), con α 0, sono pari ai valori singolari di A, tutti aumentati della costante α. Dimostrazione. Se A è simmetrica e definita positiva, anche (A + αi), con α 0, lo è. Infatti, è facile verificare che se λ (positivo siccome A è definita positiva) è autovalore di A, allora (A + αi) x = λx, α 0, ha soluzioni λ i = λ + α λ > 0. Quindi per il teorema i valori singolari di A e di (A + αi) sono uguali ai rispettivi autovalori: λ i e λ i +α, i = 1,...,n. Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

7 Capitolo 2. Algebra Lineare numerica Scomposizione economica Supponiamo che A IR n m sia rettangolare con m > n. Matrici del genere si trovano, per esempio, nell analisi di sistemi lineari sovradimensionati, come può essere un modello lineare econometrico, dove il numero di m osservazioni supera, e di molto, il numero n di variabili esplicative. Come si vedrà nel paragrafo 2.2.7, in questi casi la SVD della matrice A può fornire delle informazioni preziose. Nella scomposizione (2.2.1) la matrice quadrata U è di grandi dimensioni: ha m 2 elementi. Osserviamo che le ultime (m n) righe di S sono nulle, perciò nel prodotto US le ultime (m n) colonne di U non svolgono alcun ruolo. Si può allora ricorrere ad una SVD che faccia economia di calcoli, accontentandosi di una cosiddetta economy-sized SVD, dove solo le prime n colonne di U sono calcolate, mentre la matrice S dei valori singolari è composta dalle prime n (quelle non nulle) righe di S: A = Ũ SV, (2.2.3) Ũ IR m n, V IR n n, S IR n n diagonale, non-negativa, con i valori singolari di A sulla diagonale principale. Per il caso n > m è semplice derivare un risultato analogo, ma riferito alla matrice V. In MATLAB e SCILAB, la funzione svd prevede anche la possibilità di fare economia. Infatti, per ottenere la scomposizione economica (2.2.3) l istruzione è [Ue,Se,V] = svd(a,0); [Ue,Se,V] = svd(a, e ); //(SCILAB accetta anche questa forma) Esercizio A partire da una matrice A IR m n con m molto maggiore di n, per esempio m = 1000 e n = 3, misurare il tempo di calcolo della SVD completa e della SVD economica. Il confronto fra i due tempi di calcolo può variare a seconda del processore, ma, in ogni caso, è rilevante; tanto più rilevante quanto più m è elevato. Riguardo alla SVD, MATLAB e SCILAB dispongono di altre funzioni utili: svds e sva rispettivamente. Con queste funzioni si possono calcolare solo alcuni valori e vettori singolari. Si rinvia alla guida in linea per i dettagli. Nei paragrafi che seguono presentiamo alcune interpretazioni ed applicazioni della SVD. M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

8 Scomposizione in valori singolari Interpretazione geometrica In questo paragrafo cerchiamo di fornire una descrizione intuitiva di una interpretazione geometrica della SVD. Come visto nel paragrafo 2.1.9, una matrice A IR m n può essere associata alla funzione lineare che trasforma un vettore x IR n in un vettore y = Ax IR m. Si parla cioè di trasformazione lineare. Consideriamo ora l iper-sfera unitaria P = {x IR n : x = 1}, cioè l insieme dei vettori di norma 1: in IR 2 si tratta della circonferenza con centro [0] e raggio 1, in IR 3 è la sfera (superficie sferica) con centro [0] e raggio 1. Si può dimostrare che una trasformazione lineare trasforma P IR n in un iper-ellisse Q IR m. La SVD di A fornisce in modo ordinato molte informazioni riguardo la trasformazione lineare associata ad A. Proposizione Consideriamo l iper-sfera P IR n e la sua immagine Q = Im A (P) tramite la trasformazione lineare f (x) = Ax. L iper-sfera P è trasformata in un iper-ellisse Q IR m tale che: il k-esimo semi-asse di Q è collineare al k-esimo vettore singolare sinistro di A (cioè U k ), k = 1,...,p; la lunghezza del k-esimo semi-asse di Q è pari al k-esimo valore singolare di A (cioè σ k ), k = 1,...,p; i vettori singolari destri di A sono le controimmagini dei primi p vettori singolari sinistri di A: AV k = σ k U k, k = 1,...,p. Normalizzando i vettori singolari in modo tale che abbiano norma unitaria, la trasformazione lineare associata ad A trasforma l iper-sfera P nell iperellisse Q i cui p semi-assi sono dati dai vettori σ k U k. Osserviamo che se σ k = 0, significa che un semiasse è collassato: per immaginare cosa significa, pensiamo ad una trasformazione f = Ax : IR 3 IR 3 in cui la sfera unitaria diventa un ellisse che giace su di un piano passante per l origine. Esempio Consideriamo la trasformazione lineare f : IR 2 IR 2 associata alla matrice [ ] A =. (2.2.4) La figura mostra come il cerchio unitario si trasforma in un ellisse. Sono evidenziati anche i semiassi dell ellisse e le loro controimmagini. Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

9 Capitolo 2. Algebra Lineare numerica Figura 2.2.1: Trasformazione lineare caratterizzata dalla matrice (2.2.4): a sinistra il cerchio unitario P, a destra l ellisse Q immagine di P. Sono evidenziati i semiassi di Q e le loro controimmagini in P. Esercizio Per rendersi conto del significato della proposizione , si consiglia di ripetere quanto fatto nell esempio lavorando con trasformazioni IR 2 IR 2 rappresentabili graficamente su di un piano. Disegnare sullo stesso grafico: il cerchio unitario, l ellisse generata dalla trasformazione lineare, i suoi semi-assi, i vettori singolari destri e sinistri. In questo modo è facile rendersi conto degli effetti di una trasformazione lineare. Per esempio, può essere interessante confrontare quello che succede con le seguenti matrici di trasformazione [ 1 3 [ ], [ ], ], [ [ ] [ 4, Se consideriamo una matrice A IR n n, non singolare, la trasformazione lineare f (x) = Ax è invertibile: la trasformazione inversa è f 1 (y) = A 1 y ], ]. Teorema I valori singolari di A 1 sono i reciproci di quelli di A; i vettori singolari destri (sinistri) di A 1 sono pari ai vettori singolari sinistri (destri) di A. M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

10 Scomposizione in valori singolari Non diamo la dimostrazione formale di questo risultato, ma invitiamo il lettore a riflettere sulle trasformazioni (invertibili) fra spazi lineari, magari con l ausilio dei disegni ottenuti nell esercizio Attenzione: usando il comando svd per verificare il risultato del teorema , i valori singolari di A e di A 1 sono automaticamente ordinati in ordine decrescente. Lo stesso avviene per l ordine delle colonne di U e di V (i vettori singolari). Il teorema è un caso particolare dei risultati più generali che vedremo nel paragrafo Norma di matrici indotta Introduciamo ora una norma di matrici derivata dalla norma di vettore. Anche se il discorso può essere trattato in modo più generale, come già detto, noi useremo solo la norma euclidea. Definizione Data una matrice A IR m n, si definisce norma di matrici indotta dalla norma di vettore (detta anche 2-norma, norma spettrale, norma di energia) lo scalare Ax A = max x =[0] x, che è equivalente, grazie alle proprietà della norma di vettore, a 5 A = max Ax. (2.2.5) x =1 La norma (2.2.5) ha una chiara interpretazione geometrica: si tratta del fattore di massima dilatazione operata su di un vettore non nullo dalla trasformazione lineare associata ad A. Detta in modo equivalente, si tratta della lunghezza del semi-asse maggiore dell iper-ellisse Q, cioè proprio il più grande valore singolare σ 1. Si può dimostrare che, in modo analogo, il più piccolo valore singolare σ p è pari alla lunghezza del semi-asse minore di Q. In formule: 5 Infatti, σ 1 = max Ax = A, σ x =1 Ax x 1 x A x «= x = 1 x A x x, dove il vettore fra parentesi tonde ha norma unitaria. p = min Ax. (2.2.6) x =1 Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

11 Capitolo 2. Algebra Lineare numerica 89 Il comando norm, quando applicato ad una matrice, calcola proprio la norma indotta appena presentata. Il calcolo è effettuato ricorrendo alla SVD di A Interpretazione in termini di rango di matrici La SVD di una matrice può essere utile per calcolarne il rango: il rango di A è pari al numero di valori singolari positivi. Quindi per calcolare il rango di una matrice basta contare il numero di valori singolari positivi. Inoltre, la SVD non si limita a fornire informazioni qualitative riguardo il rango di A. Essa è infatti importante per misurare quanto una matrice è di rango k (notiamo che la frase virgolettata può apparire assurda). Teorema Siano A,B IR m n e siano σ 1 σ p i valori singolari di A, allora 1. se rk(a + B) < p, allora B σ p ; 2. B IR m n con B = σ p tale che rk(a + B) < p. Dimostrazione. Punto 1. Se rk(a + B) < p allora x [0] tale che (A + B)x = [0], cioè Ax = Bx. È addirittura possibile scegliere x in modo tale che la sua norma sia unitaria: x = 1. Per la (2.2.6) σ p = min x =1 Ax Ax = Bx B x = B. Punto 2. Se σ p = 0, allora rk(a) < p e basta scegliere B = [0]. Invece, se σ p > 0, per la (2.2.6) σ p = min Ax. Si può allora scegliere x =1 x con norma unitaria e tale che σ p = Ax. È facile verificare che la matrice B = Ax (x ) IR m n è tale che rk(a + B) < p. Infatti, x [0] ed inoltre (A + B)x = ( A Ax (x ) ) x = A(x x x ) = [0]. M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

12 Scomposizione in valori singolari Questo teorema a prima vista può sembrare molto astratto, perciò merita alcune parole di commento. Il punto 2 mostra che il più piccolo valore singolare di A indica la norma della più piccola matrice B che, sommata ad A, produce una matrice (A + B) di rango minore di p, dove piccola significa proprio nel senso della norma di matrici indotta dalla norma di vettore (definizione ). In altre parole, (A + B) è la matrice di rango minore di p più vicina ad A. Il più piccolo valore singolare di A misura perciò la distanza di A dall insieme delle matrici di rango minore di p. Tale distanza è definita nello spazio delle matrici di ordine pari a quello di A sulla base della norma (2.2.5). Se A è di rango pieno, (A + B) è la più vicina matrice di rango non pieno (una cosiddetta rank deficient matrix). Se A è quadrata, σ n misura la distanza di A dall insieme delle matrici singolari. Questa è anche l origine del termine valori singolari. La distanza misurata dal più piccolo valore singolare è una grandezza da valutare relativamente alla norma della matrice, cioè al più grande valore singolare. Infatti, se ad esempio con A IR 3 2, abbiamo σ 2 = 10 3 e A = σ 1 = 10 2 la matrice è solidamente di rango 2, mentre così non è se σ 2 = 10 3 e A = σ 1 = Per cui un indicatore può essere il rapporto σn σ 1. Il comando rank di MATLAB e SCILAB calcola il rango di matrici proprio contando il numero di valori singolari positivi. Inoltre tale comando permette di imporre una tolleranza per considerare una nozione un po più robusta di rango. Ad esempio, la matrice ha rango 3. A = A = [ ; 1 3-2; 1-1 2] A = rank(a) ans = Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

13 Capitolo 2. Algebra Lineare numerica 91 Notiamo però che il più piccolo valore singolare di A è σ (mentre il più grande è σ ). Questo segnala che A è vicina all insieme delle matrici singolari. Osserviamo infatti che la terza colonna di A molto vicina alla somma fra la prima e l opposto della seconda colonna. La matrice A ma assomiglia alla matrice A + C = = con C = Anzi, dal teorema sappiamo che esiste addirittura una matrice B con rango pari a σ 3, quindi inferiore a quello di C, tale che det(a + B) = 0. Se vogliamo allora una misura del rango di A più robusta possiamo, ad esempio, scrivere: rank(a,1e-4) ans = 2. Cioè, con una tolleranza di 10 4 (ma anche, ad esempio ), A ed (A + C) hanno lo stesso rango 2. Per evitare gran parte dei problemi generati da errori di troncamento dei numeri macchina, il comando rank ha come tolleranza predefinita max {n,m} A macheps. Questa tolleranza ha lo scopo di evitare che, a cusa delle approssimazioni numeriche prodotte dall uso della precisione finita, possa essere attribuito alle matrici un rango più elevato di quello corretto. Se la matrice in questione è ottenuta tramite calcoli intermedi, è possibile considerare tolleranze più severe del tipo max {n,m} A Esempio Consideriamo una matrice A IR 3 2, con σ 2 = 10 3 e A = σ 1 = In questo caso la matrice è solidamente di rango 2, mentre così non è se σ 2 = 10 3 e A = σ 1 = Infatti, nel secondo caso otteniamo rank(a,3*s(1)*1e-9) ans = 1., M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

14 Scomposizione in valori singolari SVD e pseudoinversa La SVD permette il calcolo della pseudoinversa di una matrice A in modo semplice e senza dover calcolare alcuna inversa come ad esempio nella formula che compare nel teorema (questo fatto rende i calcoli più veloci ed affidabili). Teorema Sia USV la SVD della matrice A IR m n. Allora la matrice A ottenuta dal prodotto A = V S U, (2.2.7) con S IR n m pseudodiagonale con elementi diagonali ( S ) ii = { 1 σ i, se σ i 0 0, se σ i = 0, i = 1,...,p, (2.2.8) è una pseudoinversa di S È facile verificare che la (2.2.7) è una pseudoinversa controllando che essa soddisfa le condizioni della definizione Lasciamo il controllo come esercizio. La pseudoinversa (2.2.7) è già scomposta in valori singolari, anche se i valori singolari non sono in ordine decrescente. Si deduce quindi che i valori singolari della pseudoinversa sono reciproci dei valori singolari positivi di A. Inoltre, A ha lo stesso rango di A: il numero di valori singolari positivi è il medesimo. Corollario Se A è quadrata ed invertibile, allora i valori singolari di A sono reciproci dei valori singolari di A. Il corollario ripropone il risultato del teorema Il comando MATLAB e SCILAB pinv(a) calcola la pseudoinversa della matrice A usando proprio il teorema , in quanto il procedimento è numericamente stabile. È inoltre possibile ignorare i valori singolari più piccoli di una determinata soglia tol > 0: pinv(a,tol). Nel paragrafo vedremo come il teorema è utile in un problema di minimi quadrati lineari. Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

15 Capitolo 2. Algebra Lineare numerica Interpretazione numerica La soluzione di un sistema lineare del tipo Ax = b è comune in molte discipline. Nelle applicazioni gli elementi della matrice A e del vettore b sono dei dati e spesso sono misurati sperimentalmente o stimati, quindi soggetti ad errori di misura e di approssimazione. Cerchiamo di capire come varia la soluzione del sistema lineare Ax = b al variare degli elementi di A e di b. Ammettiamo cioè che A e b siano misurati con errore, ci chiediamo allora come si riflettono gli errori di misurazione sulla soluzione del sistema. Studiamo il problema considerando un sistema quadrato ed invertibile. Le conclusioni che possiamo trarre varranno però più in generale anche per sistemi rettangolari. Consideriamo il sistema Ax = b, A IR n n, b IR n, (2.2.9) con A invertibile, perciò con soluzione x = A 1 b unica. Introduciamo una perturbazione b nel termine noto. Sia (x + x) la soluzione del sistema perturbato Dalle (2.2.9) e (2.2.10) si ottiene A(x + x) = b + b. (2.2.10) x = A 1 b. Grazi alle proprietà della norma, abbiamo ed inoltre Si ottiene allora x = A 1 b x = A 1 b A 1 b Ax = b b = Ax A x ; se b [0] 1 x A b. x x A A 1 b b. (2.2.11) Se invece consideriamo variazioni A IR n n negli elementi della matrice A in modo tale che (A + A) sia invertibile, la soluzione (x + x) del problema perturbato (A + A)(x + x) = b M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

16 Scomposizione in valori singolari è tale che cioè Ax = (A + A)(x + x) = b, Ax = Ax + A x + A(x + x), A x + A(x + x) = [0] x = A 1 A(x + x). Sfruttando le proprietà della norma, abbiamo x = A 1 A(x + x) x = A 1 A(x + x) A 1 A (x + x), x (x + x) A A 1 A A. (2.2.12) Nelle formule (2.2.11) e (2.2.12) compare la quantità A A 1. Tale quantità è detta numero di condizionamento di A ed è indicata µ (A). Il numero di condizionamento è un indicatore di quanto è sensibile la soluzione di un sistema lineare rispetto a variazioni nei dati. Ricordiamo che il massimo valore singolare di A è pari a σ 1 = A, mentre il massimo valore singolare di A 1 è 1 σ n = A 1. Il numero di condizionamento di una matrice è perciò dato dal rapporto fra il massimo ed il minimo valore singolare µ (A) = σ 1 1. σ n Discorso molto simile può essere fatto per un sistema rettangolare, lavorando con la pseudoinversa. Il risultato è il medesimo: µ (A) = σ 1 σ p. Definizione Una matrice è detta ben condizionata per la soluzione di un sistema lineare se il suo numero di condizionamento non è troppo grande. Due utili proprietà del numero di condizionamento sono: µ (αa) = µ (A), α 0; µ (A) = 1 A = αb, con α 0 e B matrice ortogonale. Per cui le matrici meglio condizionate sono quelle ortogonali. Per ottenere il numero di condizionamento esiste il comando cond. Il comando rcond può essere utile in quanto fornisce una stima del reciproco Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

17 Capitolo 2. Algebra Lineare numerica 95 del numero di condizionamento. Il comando rcond è più veloce di cond ed il risultato va interpretato al contrario: più rcond è prossimo a 0 più la matrice è malcondizionata. Segnaliamo che in SCILAB tali comandi funzionano solo per matrici quadrate. Naturalmente la definizione resta vaga a causa delle parole troppo grande. Proprioqui deve intervenire la valutazione della persona che deve risolvere il problema numerico, in relazione al problema reale che si sta modellizzando. In linea di principio, la valutazione dipende dal grado di accuratezza dei dati e dalla precisione necessaria nei risultati. Infatti µ (A) indica di quante volte può essere amplificato un errore nei dati: tanto più i dati sono precisi, tanto più alto può essere il numero di condizionamento; d altro canto una alta precisione dei risultati necessita di un basso numero di condizionamento. Tornando all interpretazione data nel paragrafo 2.1.9, una matrice mal condizionata è associata ad una trasformazione lineare che deforma notevolmente lo spazio vettoriale. Infatti, un alto numero di condizionamento µ (A) significa che il semiasse maggiore dell iperellisse Q IR m immagine dell ipersfera unitaria è parecchio più lungo del semiasse minore. In altre parole Q è molto schiacciata ed allungata Alcuni esempi Un sistema lineare Presentiamo ora un esempio che ha lo scopo di illustrare il significato pratico di condizionamento 6. Supponiamo che per ricavare le 3 componenti del vettore x sia possibile effettuare 3 misurazioni sperimentali indipendenti che conducono al sistema lineare x = (2.2.13) Chiamiamo A la matrice dei coefficienti, il suo determinante non è nullo (det(a) ), perciò il sistema (2.2.13) ha un unica soluzione che si può facilmente trovare con il comando A\b 6 Questo esempio è tratto dalla pagina webhttp:// con alcuni adattamenti. M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

18 Scomposizione in valori singolari ans = Dove b = [ ] è il membro di destra. Concludiamo quindi che x = [ ] è il risultato che stiamo cercando. Abbiamo supposto che i nostri dati fossero il risultato di una misurazione sperimentale, soggetta quindi ad errore. Se lo strumento usato per misurare b è accurato solo fino al primo decimale, è inutile riportare le cifre decimali successive: modifichiamo allora il sistema (2.2.13) arrotondando b x = [ La matrice dei coefficienti è la ] stessa, quindi calcoliamo la soluzione: x che però non ha nulla a che vedere con x. Proviamo allora ad arrotondare anche gli elementi della matrice A e risolviamo il sistema x = x , Cosa è successo? Prima di disperarci analizziamo la matrice A. Essa ha rango pieno, infatti det(a) 0, ma quanto è pieno? Calcoliamo i valori singolari di A svd(a) Con un numero di condizionamento µ (A) è facile aspettarsi comportamenti strani. La distanza di A dalle matrici di rango 2 è pari a ; considerando che la norma di A è circa 100, si vede che A è quasi una matrice di rango 2. In termini geometrici significa che la sfera unitaria è fortemente deformata dalla trasformazione lineare associata alla matrice A... Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

19 Capitolo 2. Algebra Lineare numerica 97 Data la matrice A, allora non abbiamo molte speranze. L unica alternativa è tornare a fare esperimenti e sfruttarne i risultati. Supponiamo allora che un nuovo esperimento permetta di scrivere la seguente equazione [ ] x = (2.2.14) Aggiungendo questa equazione alle 3 usate in precedenza si ottiene il sistema sovradimensionato x = , la cui matrice dei coefficienti ha i valori singolari [ ] ed è perciò una matrice di rango 3, ma in modo robusto. Inoltre, il teorema di Rouché-Capelli mi assicura che la soluzione di questo sistema esiste. Ora posso cercare di risolvere il sistema 3 3 che si ottiene con la (2.2.14) al posto della terza equazione del sistema (2.2.13): x = (2.2.15) Il numero di condizionamento di questa matrice di coefficienti è , valore che rende tranquilli. Infatti, le soluzioni del sistema (2.2.15) senza arrotondamenti, arrotondando solo il membro di destra e arrotondando anche i coefficienti sono, rispettivamente, x = , x = , x = Inoltre, siccome i numeri provengono da misurazioni, se la teoria che ha permesso si scrivere le equazioni è corretta (una volta controllato il teorema di Rouché-Capelli), allora anche la terza equazione, quella esclusa nel sistema (2.2.15), deve essere soddisfatta dalla soluzione trovata: [ ] = Questo esempio è costruito appositamente per mettere in evidenza che:. M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

20 Scomposizione in valori singolari per misurare sperimentalmente n grandezze, la teoria dei sistemi lineari sembra suggerire che n equazioni indipendenti sono sufficienti, ma l analisi di condizionamento ci porta a richiedere più equazioni, si usa cioè un sistema sovradimensionato (come spesso accade nelle discipline empiriche); quando ci sono equazioni ridondanti, la scelta di quali equazioni ignorare non produce sempre lo stesso risultato. Un problema di unità di misura Immaginiamo di dover risolvere il sistema lineare [ ] x = b, in cui x 1 è misurato in chilogrammi, mentre x 2 in m 3. Il numero di condizionamento di questa matrice è , un valore piuttosto alto. Per migliorare la situazione è sufficiente un accorgimento innocuo. Se cambiamo l unità di misura di x 1, passando dai chilogrammi ai quintali, la nuova matrice dei coefficienti [ ] ha numero di condizionamento pari a , decisamente inferiore. Problemi di questo tipo possono presentarsi quando operiamo con sistemi parametrici, le cui variabili hanno unità di misura diverse, ad esempio: PIL (10 13 e), tasso di interesse (t 1, con t tempo in anni), volatilità (l unità di misura è il quadrato di quella della variabile aleatoria), prezzo del petrolio (decine di dollari), indice dei prezzi (numero indice normalizzato per essere circa 1 o circa 100), ecc.. Un problema di minimi quadrati Nelle scienze applicate non si procede nel modo seguito nell esempio visto poco sopra: solo un matematico teorico può accontentarsi di 3 equazioni (indipendenti) per ottenere 3 incognite. Adottando un approccio empirico, nessuna informazione deve andare sprecata, cioè per stimare 3 incognite quante più equazioni riesco ad avere, tanto meglio è. Certo, in questo modo diventa facile (anzi è praticamente sicuro) ritrovarsi con equazioni incompatibili, ma una soluzione dei minimi quadrati è sicuramente utile. Vediamo quini come la SVD può aiutare anche per la stima OLS. Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

21 Capitolo 2. Algebra Lineare numerica 99 Il vettore ˆx IR n è detto soluzione dei minimi quadrati per il sistema Ax = b + ε, con A IR m n, x,b,ε IR n, quando ˆx = arg min x IR n Ax b 2. Si può dimostrare che, se il rango di A è n, la soluzione dei minimi quadrati si ottiene con la formula ˆx = ( A A ) 1 A b, (2.2.16) in cui la matrice (A A) 1 A non è altro che una pseudoinversa di A (si rivedano i teoremi e ). Anche un problema di minimi quadrati può essere malcondizionato. Consideriamo la matrice A = dove rk(a) = 2. Calcoliamo ora la soluzione dei minimi quadrati in corrispondenza ai vettori b = usando il comando A\b ˆx = [ 2 0, b = ] [, ˆx Lo stesso risultato si ottiene con le istruzioni Aps = inv(a *A)*A ; oppure, è meglio usare Aps = pinv(a); seguite da,, b = ] [, ˆx , ]. M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

22 Scomposizione in valori singolari xhat = Aps*b xhat0 = Aps*b0 xhat00 = Aps*b00 Il valore dei regressori è instabile. La matrice A infatti ha rango 2, ma basta guardarla meglio e ci si accorge che la seconda colonna è circa il doppio della prima. La matrice A è vicina a matrici di rango 1, per sapere quanto è sufficiente calcolare i valori singolari: σ , σ Quando A non è di rango pieno, la soluzione dei minimi quadrati non è unica. Il numero di condizionamento, che per A è elevato µ (A) , ci avverte che ci possono essere dei problemi numerici anche nel caso di ricerca della soluzione dei minimi quadrati. Anzi, nel caso dei minimi quadrati il problema è più grave. Infatti, osserviamo che la matrice dei coefficienti del sistema n n ( A A ) ˆx = A b, da cui deriva la (2.2.16), ha numero di condizionamento µ (A A) = µ (A) 2 > µ (A). 7 Per evitare l instabilità di ˆx è possibile introdurre una correzione nel calcolo della pseudoinversa. Applichiamo allora il teorema , ma modificando la regola (2.2.8) come segue ( S ) ii = { 1 σ i, se σ i > ε 0, se σ i ε, i = 1,...,p, con ε > 0 e piccolo, ma non troppo. Consideriamo cioè solo i valori singolari significativi. In questo modo il problema dei minimi quadrati diventa stabile. Infatti, con la tolleranza ε = , la pseudoinversa di A, calcolata col comando pinv(a,1e-3), ha rango 1 [ ] A e la soluzione dei minimi quadrati diventa 8 [ ] [ 0.4 ˆx =, ˆx ], ˆx [ È facile dimostrare quest ultima relazione. Infatti, con m n e rk(a) = n, per il teorema 2.2.1, la matrice A A è quadrata, simmetrica con autovalori positivi. Per il teorema 2.2.6, i valori singolari di A A sono uguali ai suoi autovalori. Ma per la definizione 2.2.2, gli autovalori di A A sono il quadrato dei valori singolari di A. Il risultato è quindi immediato. Si noti però che in generale µ(ab) µ(a) µ(b). 8 Volendo essere più precisi, i valori non sono proprio identici, tenendo tutte le cifre ]. Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

23 Capitolo 2. Algebra Lineare numerica 101 Abbiamo così risolto un fastidioso problema che in Statistica ed Econometria è noto come collinearità delle esogene. Il numero di condizionamento della matrice dei dati, può quindi essere usato come indicatore di collinearità. Analisi per componenti principali L analisi per componenti principali (PCA: principal component analysis) è una importante tecnica statistica multivariata non parametrica. Spesso si dispone di dati provenienti dalla misurazione di numerose variabili. Queste variabili possono apparire confuse e ridondanti. L uso di molte variabili, oltre ad appesantire i calcoli, può produrre anche problemi di collinearità. A partire da un insieme di variabili è possibile ridurre il numero di variabili da considerare, senza perdere troppe informazioni? La PCA risponde proprio a questa domanda. Consideriamo la matrice X IR m n che raccoglie m misurazioni di n variabili, con m > n. Per semplicità assumiamo che ogni variabile abbia media nulla. Cerchiamo di esprimiere il sistema introducendo una trasformazione (lineare) delle variabili, in modo tale che le nuove variabili spieghino nel miglior modo possiblile la variazione nelle n variabili di partenza. L obiettivo è quindi cercare di catturare la variazione delle variabili X. Tale obiettivo può essere visto come il problema di approssimare la matrice varianza-covarianza V di X. Per costruzione, una matrice di varianza-covarianza è simmetrica e definita o semi-definita positiva. Il teorema ci fornisce la seguente scomposizione spettrale n V = λ i w i ( w i), i=1 dove ( λ i,w i) sono le coppie autovalore-autovettore della matrice V. Gli autovalori sono tutti non negativi e le matrici ottenute dal prodotto esterno degli autovalori hanno tutte rango 1. Ordinando gli autovalori dal più grande al più piccolo si nota che: le matrici λ i w i ( w i) hanno norma λi decrescente con i; disponibili (format long per MATLAB e format( v,17) per SCILAB), i valori sono:»»» ˆx =, ˆx , ˆx M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

24 Scomposizione in valori singolari le matrici λ i w i ( w i) sono tra loro ortogonali; la matrice V può essere diagonalizzata: V = W DW, con D matrice diagonale degli autovalori e W matrice le cui colonne sono gli autovettori di V. Sotto le ipotesi fatte, la matrice di varianza-covarianza campionaria V è pari a 1 m X X, per cui, ricordando la definizione 2.2.2, gli autovalori λ i non 1 sono altro che il quadrato dei valori singolari di m X. Questa osservazione permette di interpretare la PCA. Infatti, scomponendo 1 m X in valori singolari otteniamo 1 m X = USV. Osserviamo che per la scomposizione spettrale di V abbiamo ( ) 1 m X X w i = λ i w i, (2.2.17) mentre per la scomposizione in valori singolari di 1 m X abbiamo ( ) 1 X v i = σ i u i, (2.2.18) m con σ i, u i e v i valore singolare e vettori singolari di destra e sinistra, rispettivamente. Premoltiplicando entrambi i membri della (2.2.18)per m 1 X si ottiene 1 m X Xv i 1 = σ i X u i. (2.2.19) m Dalle (2.2.17) e (2.2.19), si capisce che gli autovettori w i 1 di m X X sono collineari ai vettori singolari di sinistra v i 1 di m X (ed anche ad X u i ), mentre i valori singolari di 1 m X sono, per definizione, pari alla radice quadrata degli autovettori di 1 m X X. Consideriamo allora il vettore Y i = Xv i ottenuto combinando le variabili secondo i pesi dati dalle componenti di v i. La relazione (2.2.18) indica che questo vettore è pari a mσ i u i, dove ricordiamo che u i è un vettore singolare di destra con norma unitaria. Il vettore Y i può essere visto come il vettore delle osservazioni di una nuova variabile definita combinando le n variabili considerate. La media di Y i è 0 (come per le n variabili), mentre la sua varianza è var ( Y i) = 1 m ( Y i ) Y i = ( v i) X Xv i = σ 2 i ( u i ) u i = σ 2 i. Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

25 Capitolo 2. Algebra Lineare numerica 103 Ricordando che i vettori singolari sono fra loro ortogonali, calcoliamo la covarinza fra Y i = Xv i ed Y j = Xv j, con i j: cov ( Y i,y j) = 1 ( Y i ) Y j = ( v i) X Xv j m ( = σ i σ j u i ) u j = 0. Le nuove variabili Y i = Xv i hanno quindi varianza pari al quadrato dei 1 corrispondenti valori singolari di m X e sono fra loro non correlate. Queste variabili sono dette componenti principali delle n variabili. Quindi se vogliamo spiegare una parte della varianza di un insieme di variabili, possiamo considerare le prime k componenti principali Y 1,...,Y k : al posto della matrice di dati X si considera la matrice X k = k i=1 Y i che ha matrice di varianzacovarianza V k = k ( i=1 σ2 i u i ) u i, spiegando così una quota Q k di varianza pari a k Q k = σi 2 i=1 n σi 2 i=1 Essendo le componenti in ordine non crescente di varianza spiegata, è chiaro che per spiegare, diciamo la metà della varianza, occorre considerare non più della metà delle componenti. Spesso, nella pratica, un piccolo numero di componenti riesce a spiegare una quota importante di varianza.. Compressione di immagini L esempio proposto in questo paragrafo ricorda l analisi per componenti principali e trova applicazione in diversi ambiti, quando occorre trasmettere, memorizzare o usare informazioni voluminose. Qui applichiamo la tecnica per comprimere immagini digitalizzate. Nella PCA lo scopo è approssimare una matrice di varianza-covarianza individuando le componenti principali di un vettore di variabili aleatorie. Noi ci occupiamo di approssimare la matrice associata ad un immagine, in modo da ottenere una immagine abbastanza simile all originale. Dal punto di vista geometrico lo scopo è quello di lavorare in uno spazio di dimensione ridotta, scegliendo la matrice che meglio approssima quella associata all immagine originale. La tecnica proposta permette di selezionare in modo ottimale questo spazio e la matrice approssimante. Prima di iniziare, occorre un risultato preliminare. M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

26 Scomposizione in valori singolari Teorema Data la SVD (2.2.1) di una matrice A IR m n vale la seguente rappresentazione p A = USV = σ i U i ( V i), (2.2.20) dove le matrici σ i : i=1 [ σ i U i ( V i) ] sono ortogonali fra loro ed hanno norma pari a σ i U i ( V i) [ σ i U j ( V j) ] = 0, se h k, σ i U i ( V i) = σi. Siccome i valori singolari sono presi in ordine decrescente, nella rappresentazione (2.2.20) il peso delle matrici al membro di destra decresce al crescere di i. Le matrici associate ai primi valori singolari di A aiutano ad approssimare A più delle altre. Da qui l idea di troncare la somma per ottenere una approssimazione di A. Nel digitalizzare un immagine in scala di grigi, è possibile associare all immagine una matrice A i cui elementi, compresi fra 0 (bianco) ed 1 (nero), rappresentano la saturazione del pixel in posizione (i,j). In questo caso l immagine sarà alta m pixel e larga n. Se vogliamo salvare l immagine in questo modo ho bisogno di m n numeri. Pensiamo allora di approssimare A, con la matrice  a cui sarà associata un immagine che assomiglierà il più possibile all originale. Attraverso la SVD di A possiamo studiare il rango di A e come sono distribuiti i valori singolari. Per esempio, consideriamo l immagine muro.bmp (figura 2.2.2) che ha pixels 9, quindi necessita di numeri per essere salvata o trasmessa. La figura mostra che la dimensione dei valori singolari di A diminuisce rapidamente. Inoltre, il primo valore singolare pesa per oltre il 30% di 267 i=1 σ i, mentre i primi 50 valori singolari ne spiegano oltre il 70%. Tutti i valori singolari di A sono positivi, ciò significa che il rango di A è 267. Si può però osservare che solo 52 valori singolari sono maggiori di 0.01 σ 1, vale a dire che A non è lontana dalle matrici di rango Vediamo allora di approssimare A con una matrice di rango non elevato, speriamo di non superare rango Di solito il numero di pixel è espresso larghezza altezza, qui invece, per uniformità con quanto visto in precedenza, lo indichiamo come altezza larghezza. 10 Se vogliamo essere più esigenti, possiamo notare che solo 108 valori singolari sono maggiori di σ 1. Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

27 Capitolo 2. Algebra Lineare numerica 105 Figura 2.2.2: immagine originale La figura mostra l immagine associata ad  = k σ i U i ( V i), (2.2.21) i=1 per diversi valori di k. La percentuale di qualità dell immagine è data dal rapporto k q = σ i i= σ i i=1 Per sapere invece di quanto abbiamo compresso l immagine, ci dobbiamo chiedere quanti numeri dobbiamo fornire per ottenere Â. Dalla (2.2.21) si vede che è necessario conoscere k valori singolari, k colonne U i IR n e k colonne V i IR m, per un totale di k (1 + n + m) numeri. La percentuale di compressione è perciò k (1 + n + m) c =. m n Dalla figura si può concludere che un approssimazione di rango 50 permette di ottenere un immagine, utile per gran parte degli scopi, usando circa 1 3 delle informazioni contenute nell immagine originale, ma con una fedeltà all originale superiore al 70%. M.A. Maggi Materiale didattico gratuito 8 ottobre 2008

28 Fattorizzazioni valori singolari percentuale cumulata Figura 2.2.3: Valori singolari dell immagine Esercizio Scrivere un algoritmo per la compressione di immagini attraverso la SVD. Consigliamo di usare immagini in scala di grigi,e di sfruttare le funzioni imread e imrwrite di MATLAB Fattorizzazioni Data una matrice A è spesso utile scomporre o fattorizzare A per razionalizzare le informazioni in essa contenute in modo più pratico o efficiente. Nel paragrafo 2.2 si è visto che riscrivere una matrice come il prodotto di 3 matrici particolari è estremamente vantaggioso per diversi motivi. Ora ci occupiamo di esprimere una matrice come il prodotto di 2 matrici con determinate proprietà Fattorizzazione LU (di matrice invertibile) La fattorizzazione LU è nota anche come scomposizione in matrici triangolari, perché, data una matrice A, lo scopo è trovare una matrice triangolare alta ed 11 Anche in SCILAB c è la possibilità di trasformare un immagine in una matrice. Il pacchetto SIP (SCILAB Image Porcessing) comprende le funzioni imread e imwrite simili a quelle di MATLAB, ma la versione provata nel 2005 non funzionava bene. Forse è stata aggiornata. Materiale didattico gratuito 8 ottobre 2008 M.A. Maggi

29 Capitolo 2. Algebra Lineare numerica 107 una triangolare bassa tali che il loro prodotto sia proprio A. Per ragioni di sintesi, ci occupiamo solo di matrici quadrate ed invertibili. Ovviamente alcuni risultati sono generalizzabili. Consideriamo il sistema lineare Ax = b. Se A è invertibile, si può ottenere la soluzione con la formula x = A 1 b, in cui occorre calcolare l inversa di A. Il calcolo dell inversa, oltre che computazionalmente lungo, è anche rischioso quando A è malcondizionata. Consideriamo il caso in cui A è triangolare superiore, con elementi diagonali non nulli. Allora si potrebbe risolvere il sistema Ax = b semplicemente calcolando in sequenza x n = bn a nn, x n 1 = b n 1 a (n 1)n x n a e così via fino ad (n 1)(n 1) arrivare ad x 1. Vediamo quindi come risolvere il sistema trasformando A in una matrice triangolare superiore, ricorrendo solo ad operazioni elementari su A, b ed x. Procediamo seguendo il cosiddetto metodo di eliminazione di Gauss. Definiamo le seguenti operazioni elementari: la permutazione di righe e di colonne di A; l addizione ad una riga di A di un altre sua riga, moltiplicata per uno scalare α 0. Ovviamente affinché queste operazioni non alterino le soluzioni del sistema lineare è necessario che: gli elementi di b siano permutati nello steso modo delle righe di A; gli elementi di x siano permutati nello steso modo delle colonne di A; quando si somma ad una riga di A il multiplo di un altra riga, la stessa operazione venga fatta sui corrispondenti elementi di b. Per capire come opera il meccanismo di eliminazione di Gauss, consideriamo un sistema 3 3 a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 x 1 x 2 x 3 = con det(a) 0. Cerchiamo di definire una procedura per ottenere un sistema triangolare superiore. b 1 b 2 b 3 M.A. Maggi Materiale didattico gratuito 8 ottobre 2008