Richiami di Algebra Lineare

Transcript

1 Richiami di Algebra Lineare Eduardo Rossi Università degli Studi di Pavia Corso di Econometria Marzo 2015 Rossi Algebra Lineare / 41

2 Vettori Prodotto interno a : (n 1) b : (n 1) a b = a 1 b 1 + a 2 b a n b n Modulo (lunghezza): a = a a2 n Vettori ortogonali Se a e b sono vettori colonna n-dimensionali sono detti ortogonali se e solo se a b = 0 Se a a = b b = 1 sono detti ortonormali. Rossi Algebra Lineare / 41

3 Vettori linearmente indipendenti Siano a (i), i = 1,..., K vettori (n 1) i cui elementi appartengono a F. Con c i scalari c i F. Se K c i a (i) = 0 i=1 implica che c i = 0, i = 1,..., K i vettori {a (i), i = 1,..., K } sono detti linearmente indipendenti o costituiscono un insieme linearmente indipendente. Vettori linearmente indipendenti Se un insieme di vettori (non nulli) a (i) F, i = 1,..., K sono mutualmente ortogonali, cioè i j a (i) a (j ) = 0, allora sono linearmente indipendenti. Rossi Algebra Lineare / 41

4 Spazio vettoriale Spazio vettoriale Una collezione non vuota di elementi V è detta spazio lineare (o spazio vettoriale, o spazio lineare vettoriale) sull insieme F se e solo se esistono due 1 addizione vettoriale 2 moltiplicazione scalare Rossi Algebra Lineare / 41

5 Base Sia V n un generico spazio vettoriale a n dimensioni su F, supponiamo a (i) V n i = 1, 2,..., m m n Se ogni vettore, b, in V n, può essere scritto come m b = c i a (i) c i F i=1 allora l insieme {a (i) : i = 1, 2,..., m} ricopre lo spazio vettoriale S n. Rossi Algebra Lineare / 41

6 Base Una base per lo spazio vettoriale V n è una copertura dello spazio con dimensione minima, cioè un insieme di vettori linearmente indipendenti di dimensione minima che copre V n. Esempio: V n = R n {e i : i = 1,..., n} e 1 = Questo è un insieme ortonormale: e i e j = 0, e i = Rossi Algebra Lineare / 41

7 Base Una base non è unica, ma tutte le basi per un dato spazio vettoriale contengono lo stesso numero di vettori. Questo numero è la dimensione dello spazio vettoriale: dim(v n ). Supponiamo che dim(v n ) = n allora può essere mostrato che ogni altro sottoinsieme di n + i vettori è linearmente dipendente per i 1 e che nessun insieme con meno di n vettori può riempire V n. Uno spazio vettoriale che possiede una base con un numero finito di vettori è finito dimensionale. Ogni elemento dello spazio vettoriale è una combinazione lineare unica dei vettori della base. Rossi Algebra Lineare / 41

8 Base Se {a (i) : i = 1, 2,..., n} è una base per uno spazio vettoriale V n ogni vettore in V n, b, è esprimibile in modo univoco in termini di questa base. b = m i=1 b (1) i a (i) = m i=1 b (2) i a (i) dove b (1) i, b (2) i i = 1, 2,..., m sono appropriati insiemi di scalari. questo implica m 0 = (b (1) i b (2) i )a (i) i Ma una base è un insieme linearmente indipendente; quindi, possiamo concludere: (b (1) i b (2) i ) = 0 b (1) i = b (2) i i = 1, 2,..., m Rossi Algebra Lineare / 41

9 Algebra delle matrici Sia a ij F i = 1,..., m j = 1, 2,..., n a 11 a a 1n a 21 a a 2n A =... a m1 a m2... a mn A = {a ij } (m n) La j -esima colonna di A è a j a 1j a 2j. a mj Rossi Algebra Lineare / 41

10 Algebra delle matrici La i-esima riga è Trasposizione Matrice simmetrica Matrice diagonale [a i1, a i2,..., a in ] A = {a ji } A = A a ij = 0 i j A = diag(a 11,..., a nn ) Rossi Algebra Lineare / 41

11 Matrice triangolare superiore a ij = 0 i > j Matrice triangolare inferiore a ij = 0 i < j Matrice identità Matrice nulla I n Matrice idempotente (n n) : a ii = 1, a ij = 0 i j 0 m n = {0} AA = A Rossi Algebra Lineare / 41

12 Operazioni A, B matrici con elementi in F, c, α F. Si ha: i. Moltiplicazione scalare c A = {ca ij } ii. Addizione matriciale A + B = {a ij + b ij }, A (n m), B (n m) iii. Moltiplicazione matriciale A (m n) B (n p) n AB = a is b sj In generale AB BA. s=1 Rossi Algebra Lineare / 41

13 Rango Rango Il rango colonna di A (m n) è il massimo numero di colonne linearmente indipendenti. Il rango riga di A è il massimo numero di righe linearmente indipendenti. Il rango riga di A è uguale al rango colonna di A. (r( ) indica il rango). r(a) min (m, n) Sia A (m n), m n. A ha rango pieno se e solo se r(a) = m Sia A (m m). A è non singolare quando r(a) = m Rossi Algebra Lineare / 41

14 Inversa Sia A (m m), l inversa B, se esiste, è definita dalla proprietà AB = BA = I n Sia A (m m), A è invertibile se e solo se r(a) = m Per le matrici quadrate le espressioni invertibile, nonsingolare, rango pieno, sono sinonimi. Rossi Algebra Lineare / 41

15 Spazi delle colonne e delle righe Spazio delle colonne Sia A (m n). Lo spazio delle colonne, indicato con C (A), è l insieme dei vettori colonna m-dimensionali C (A) = {ξ : ξ = Ax} con x (n 1) Spazio delle righe E l insieme dei vettori riga n-dimensionali: R(A) = {ζ : ζ = ya} con y (1 m) Rossi Algebra Lineare / 41

16 Spazi delle colonne e delle righe Lo spazio delle colonne di A è uno spazio vettoriale che è coperto dalle colonne di A. La dimensione di C (A) è il rango di A. dim [C (A)] = r(a) Lo spazio delle righe è uno spazio vettoriale coperto dalle sue righe e la dimensione di questo spazio è anche uguale al rango di A poichè il rango riga di A è uguale al rango colonna. Rossi Algebra Lineare / 41

17 Rango e spazio nullo Spazio nullo Lo spazio nullo di A, indicato con N (A), è l insieme N (A) = {x : Ax = 0} La dimensione dello spazio nullo è detta nullità di A, indicata con n(a). Sia A (p q), allora r(a) + n(a) = q Sia A (p q), sia B una matrice non singolare di ordine q, D = AB. Allora r(d) = r(a) Rossi Algebra Lineare / 41

18 Rango Siano A (p q) e B (q r), poniamo D = AB allora r(d) min [r(a), r(b)] Moltiplicare due (o un numero finito di) matrici produce una matrice il cui rango non può eccedere il rango più piccolo tra quelli delle matrici nel prodotto. Il prodotto di matrici nonsingolari è nonsingolare. Moltiplicare una matrice per una matrice nonsingolare non cambia il suo rango. Rossi Algebra Lineare / 41

19 Traccia A matrice quadrata di ordine m. La sua traccia è tr(a) = m i=1 a ii tr(a + B) = tr(a) + tr(b) tr(ab) = tr(ba) Rossi Algebra Lineare / 41

20 Determinante A matrice quadrata di ordine m. Determinante A = ( 1) s a 1j1 a 2j2... a mjm j 1, j 2,..., j m è una permutazione dei numeri 1, 2,..., m. s = 0, 1 dipende se il numero delle trasposizioni richieste per ristabilire j 1, j 2,..., j m nella sequenza naturale 1, 2,..., m è pari o dispari. La somma è rispetto a tutte le possibili permutazioni. Rossi Algebra Lineare / 41

21 Proprietà del determinante Proprietà 1. A = A 2. A (m m), B (m m) è ottenuta scambiando la k-esima riga con la r-esima riga di A (k r) B = A 3. A (m m) con due righe identiche: A = A (m m), gli elementi nella riga r sono zero: A = 0 5. B : B i = ka i, B = k A. 6. B : B r = A r + ka s, B = A. Rossi Algebra Lineare / 41

22 Cofattore e minori Sia A una matrice quadrata di ordine m e sia B ij la matrice ottenuta cancellando da A la sua i-esima riga e j-colonna. B ij è il Minore complementare. Il Cofattore dell elemento a ij di A: A ij = ( 1) i+j B ij Sia A una matrice quadrata di ordine m. Allora A = A = m a ij A ij j =1 m a ij A ij i=1 Rossi Algebra Lineare / 41

23 Matrice Aggiunta Un importante risulato è il seguente: AB = A B Sia A una matrice invertibile di ordine m, allora A 1 = 1/ A Matrice aggiunta A, (m m). Sia A ij il cofattore dell elemento i, j di A, a ij. B (A ij ) i, j = 1, 2,..., m L aggiunta di A è: agg(a) = B Rossi Algebra Lineare / 41

24 Inversa L inversa di A, matrice di ordine m invertibile, è A 1 = agg(a) A (AB) 1 = B 1 A 1 Rossi Algebra Lineare / 41

25 Matrici partizionate a blocchi A (m n): [ A11 A A = 12 A 21 A 22 ] A 11 : (m 1 n 1 ) A 12 : (m 1 n 2 ) A 21 : (m 2 n 1 ) A 22 : (m 2 n 2 ) B (m n), partizionata in modo conforme: [ ] B11 B B = 12 B 21 B 22 [ A11 + B A + B = 11 A 12 + B 12 A 21 + B 21 A 22 + B 22 ] Rossi Algebra Lineare / 41

26 Operazioni con matrici a blocchi [ C11 C C = 12 C 21 C 22 ] C 11 : (n 1 q 1 ) C 12 : (n 1 q 2 ) C 21 : (n 2 q 1 ) C 22 : (n 2 q 2 ) [ ] [ ] A11 A AC = 12 C11 C 12 A 21 A 22 C 21 C 22 [ A11 C = 11 + A 12 C 21 A 11 C 12 + A 12 C 22 A 21 C 11 + A 22 C 21 A 21 C 12 + A 22 C 22 ] A (m m) [ A11 A A = 12 A 21 A 22 A ij (m i m j ), i, j = 1, 2, m 1 + m 2 = m. ] Rossi Algebra Lineare / 41

27 Matrice triangolare a blocchi Se A 21 = 0, allora Se A 12 = 0, allora Se A = A 11 A 22 A = A 11 A 22 [ ] A11 0 A = 0 A 22 A = A 11 A 22 Rossi Algebra Lineare / 41

28 Determinante matrice a blocchi Sia A una matrice quadrata partizionata di ordine m: [ ] A11 A A = 12 A 21 A 22 A = A 22 A 11 A 12 A 1 22 A 21 A = A 11 A 22 A 21 A 1 11 A 12 Rossi Algebra Lineare / 41

29 Matrici ortogonali Vettori ortogonali Siano a, b (m 1). Mutualmente ortogonali se e solo se: a b = 0 Vettori ortonormali: a b = 0 a a = 1 a a = 1 Sia Q una matrice quadrata di ordine m. E detta ortogonale se e solo se le sue colonne sono ortonormali. Sia Q una matrice quadrata di ordine m con vettori ortonormali, allora è non singolare, perchè le sue colonne sono linearmente indipendenti. Rossi Algebra Lineare / 41

30 Matrici ortogonali Sia Q una matrice ortogonale di ordine m, allora 1 2 Q = Q 1 Q = 1 o Q = 1 Rossi Algebra Lineare / 41

31 Matrici idempotenti Matrici idempotente A (m m) è detta idempotente se e solo se AA = A Se A è una matrice di ordine m idempotente, allora i suoi autovalori sono 0 o 1. Sia A una matrice idempotente di ordine m e rango r, allora tr(a) = r(a) Rossi Algebra Lineare / 41

32 Matrici definite e semidefinite Siano A (m m) e x (m 1) Forma quadratica x Ax 0 x Semidefinita postiva x Ax > 0 x 0 Definita positiva x Ax 0 x Semidefinita negativa x Ax < 0 x 0 Definita negativa Se A = 1 2 (B + B ) A risulta simmetrica: A = A Rossi Algebra Lineare / 41

33 Matrici definite e semidefinite [ ] 1 x Ax = x 2 (B + B ) x = 1 2 x Bx x B x = 1 2 x Bx x Bx = x Bx Di conseguenza le proprietà delle forme quadratiche in B sono estese a quelle in A. Rossi Algebra Lineare / 41

34 Definitezza e semidefinitezza positiva Sia A una matrice di ordine m. Se A è una definita positiva, è anche semidefinita positiva. Il contrario non è vero. Sia A una di ordine m, allora 1 Se A è una definita positiva: a ii > 0 i = 1,..., m 2 Se A è una semidefinita positiva: a ii 0 i = 1,..., m Sia A una matrice definita positiva di ordine m, allora esiste una matrice triangolare inferiore L, tale che: A = LL. Rossi Algebra Lineare / 41

35 Matrici simmetriche Sia A una matrice simmetrica di ordine m. Allora A è definita positiva se e solo esiste una matrice S di dimensione (n m) e r(s) = m, n m tale che A = S S E semidefinita positiva se e solo se r(s) < m Se A è una matrice definita positiva A > 0 tr(a) > 0 Rossi Algebra Lineare / 41

36 Matrici simmetriche Se A è una matrice semidefinita positiva A = 0 tr(a) 0 Se A è simmetrica e definita positiva, A 1 è simmetrica e definita positiva. Rossi Algebra Lineare / 41

37 Matrici simmetriche Se A (m m) è simmetrica e definita positiva allora esiste una matrice non singolare K (m m) tale che KAK = I K K = A 1. Siano A e B due matrici definite positive, entrambe di ordine m. Se B A è definita positiva allora A 1 B 1 è definita positiva. Se B A è semidefinita positiva allora A 1 B 1 è semidefinita positiva. Rossi Algebra Lineare / 41

38 Derivate Se f (x) : S R n R dove x = (x 1,..., x n ): f (x) x = f (x) x 1. f (x) x n f (x) [ x = f (x) x 1... (a x) x = a (a x) x = a ] f (x) x n Rossi Algebra Lineare / 41

39 Derivate Matrice Hessiana: 2 f (x) x x = 2 f (x) x 1 x f (x) x n x f (x) x 1 x 1. 2 f (x) x n x n Matrice Jacobiana: y x = y = f (x) f (x) : S R n R m y 1 x y m x 1... y 1 x n. y m x n (m n) Rossi Algebra Lineare / 41

40 Derivate y ( ) y x = x Se n = m determinate Jacobiano (o Jacobiano): y. x Ax x = A (x Ax) x x A x = A = x x Ax + x x A x = Ax + A x = (A + A )x Rossi Algebra Lineare / 41

41 Derivate Se A è simmetrica x Ax x = x Ax x + x A x x = Ax + A x = 2Ax 2 x Ax x x = (A + A )x x = A + A Se A è simmetrica x Ax x x = 2 Ax x = 2A Rossi Algebra Lineare / 41