Un algoritmo rank-revealing per la risoluzione nel senso dei minimi quadrati di sistemi lineari a rango non pieno

Transcript

1 Un algoritmo rank-revealing per la risoluzione nel senso dei minimi quadrati di sistemi lineari a rango non pieno G. Rodriguez Dipartimento di Matematica e Informatica, Università di Cagliari viale Merello 92, Cagliari, Italy in collab. con A. Aricò (Dip. di Matematica e Informatica, Cagliari) Giornate di Algebra Lineare Numerica ed Applicazioni Padova, febbraio 2007

2 Minimi quadrati mediante eliminazione Gaussiana Ax = b, A R m n, rank(a) = n m Metodo di Peters-Wilkinson [1970] [ ] L1 PAQ = U, L 1, U R n n L 2 L T Ly = L T (Pb), U(Q T x) = y Applicato a matrici sparse in [Björck et al. 1988].

3 Minimi quadrati mediante eliminazione Gaussiana Ax = b, A R m n, rank(a) = n m Metodo di Peters-Wilkinson [1970] Metodo della matrice aumentata [Siegel 1965, Bartel et al. 1970, Björck 1992] [ ] [ ] I A r A 0 x = [ ] b, r = b Ax 0 Applicato con successo in [Arioli et al. 1989] e esteso in [Duff et al. 1990] al caso di matrici sparse con pivoting di Bunch-Kaufman.

4 Minimi quadrati e complemento di Schur Metodo proposto per matrici di Toeplitz in [Kailath et al. 1994] e studiato e implementato in [GR 2006] per matrici con struttura di Toeplitz e Cauchy generalizzata. Ax = b M A = I m A 0 A 0 A b 0 I n 0 S m+n (M A ) = (A A) 1 A b = x LS Poiché M A ha struttura di displacement è possibile applicare l algoritmo di Schur generalizzato. Inoltre la matrice pseudoinversa ha struttura di displacement b = I m S m+n (M A ) = A,

5 Calcolo del complemento di Schur di M A Schema di calcolo la struttura viene convertita da Toeplitz a Cauchy generalizzata, mediante trasformate veloci viene applicato l algoritmo di Schur generalizzato

6 Calcolo del complemento di Schur di M A Schema di calcolo la struttura viene convertita da Toeplitz a Cauchy generalizzata, mediante trasformate veloci viene applicato l algoritmo di Schur generalizzato Vantaggi M A, pur avendo struttura di displacement, non è Toeplitz-like, mentre M C è Cauchy-like il passaggio alla struttura di Cauchy consente l uso del pivoting parziale o totale algoritmo fast O(27γ(m + n) 2 ) e bassa occupazione di memoria O(3γ(m + n)) (γ = rank (M A )) facilmente applicabile ad altre strutture di displacement

7 Restrizione del pivoting Nel calcolo del complemento di Schur S r (M), l azione del pivoting parziale (o totale) deve essere ristretta alle prime r righe (e colonne) di M. Infatti se [ ] [ ] [ ] M11 M M = 12 Pr 0 Qr 0, P = e Q = M 21 M 22 0 I m r 0 I n r allora e [ ] Pr M PMQ = 11 Q r P r M 12 M 21 Q r M 22 S r (PMQ) = S r (M).

8 Blocchi parzialmente ricostruibili D t C CD s = G C H C C ij = φ i ψ j t i s j

9 Blocchi parzialmente ricostruibili C ij = φ i ψ j t i s j D t C CD s = G C H C D L M C M C D R = G MC H M C I m C 0 M C = C 0 C, 0 I n 0 D L = D t D s D s, D R = D t D s D t,

10 Blocchi parzialmente ricostruibili C ij = φ i ψ j t i s j D t C CD s = G C H C D L M C M C D R = G MC H M C I m C 0 M C = C 0 C, 0 I n 0 Alcuni blocchi sono parzialmente ricostruibili: D L = D t D s D s, D R = D t D s D t, blocco (3, 2) D s I n I n D s = 0 È necessario memorizzare a parte gli elementi non ricostruibili e tener conto del pivoting.

11 Ottimizzazione dei parametri ξ e η Z ξ,m A AZ η,n = G A HA, ξ, η C \ {0} φ Z φ,k = C k k

12 Ottimizzazione dei parametri ξ e η Z ξ,m A AZ η,n = G A HA, ξ, η C \ {0} D t C CD s = G C H C C ij = φ i ψ j t i s j, t m i = ξ, s n j = η

13 Ottimizzazione dei parametri ξ e η Z ξ,m A AZ η,n = G A HA, ξ, η C \ {0} Posto ξ = 1 e η = e iπϕ, sia Allora C ij = φ i ψ j t i s j, t m i = ξ, s n j = η ϕ = arg max ϕ min t i s j. i,j ϕ = gcd(m, n) m = g m, min t i s j = 2 sin πg i,j 2mn.

14 Ottimizzazione dei parametri ξ e η m=3000, n=1000, φ * = TLLS TLLS no piv φ Matrice KMS (a ij = ρ i j ) con (m, n) = (3000, 1000), ρ =.99, κ =

15 Risultati numerici ρ= ρ= TLLS TLLS no piv. QR Cholesky n Matrice KMS, m = 2n (sin.), α = m n α e n = 2000 (destra)

16 Dipendenza dal condizionamento Condizionamento di x LS rispetto ad una perturbazione in A κ LS = κ(a) + κ(a)2 tan θ η con κ(a) = A A, η = A x Ax [1, κ(a)], and θ = arccos Ax [0, b = (b, Ax) π ] 2 Householder QR è influenzato da κ LS Eq. normali + Cholesky dipende da κ(a) 2 e non da η, θ TLLS?

17 Dipendenza dal condizionamento TLLS QR Cholesky θ (degrees) TLLS QR Cholesky θ (degrees) Matrice KMS, (m, n) = (1500, 500), ρ =.99,.999 κ(a) = , , η 1

18 Complessità computazionale - metodi non strutturati complessita 10 2 tempo di calcolo flops TLLS Householder QR Cholesky n secondi TLLS Householder QR Cholesky n Confronto tra qr e chol di Matlab e la versione MEX di TLLS AMD Athlon , GNU/Linux x86 64, Matlab 64bit Matrice KMS (ρ =.99), m = 2n

19 Complessità computazionale - metodo superfast relative error TLLS TLLS no piv. superfast time in seconds TLLS TLLS no piv. superfast log 2 n log 2 n Confronto tra le versioni Matlab di TLLS e di un algoritmo superfast [Van Barel, Heinig, Kravanja 2003] Matrice rand-toeplitz, m = 2n

20 Complessità: crossover risp. ai metodi non strutturati La dipendenza da m è lineare per i metodi non strutturati e quadratica per TLLS. Cholesky n 2 (m n) Householder QR 2n 2 (m 1 3 n) TLLS 143m mn + 133n 2 Questo significa che per ogni n, all aumentare di m, si arriva ad un punto in cui i metodi non strutturati risultano più efficienti.

21 Complessità: crossover risp. ai metodi non strutturati log 10 n log(complessità/n 2 ) per Householder QR (grid) e TLLS (surf) α

22 Sistema lineare a rango non pieno Eliminiamo l ipotesi che la matrice A sia sovradeterminata e a rango pieno { Ax = b, A R m n m n, rank(a) min(m, n) Applichiamo l algoritmo TLLS I m A 0 M A = A 0 A b S m+n (M A ) =? 0 I n 0 Nel caso a rango pieno si ha x LS = S m+n (M A ) = (A A) 1 A b

23 Fase 1 Applichiamo l algoritmo di eliminazione di Gauss alle prime m colonne. Il pivoting non è indispensabile per il funzionamento dell algoritmo (lo è per la sua stabilità). I m A 0 A 0 A b 0 I n 0 I m A 0 0 A A A b 0 I n 0 Questa fase è equivalente alla costruzione delle equazioni normali. A A in generale è singolare

24 Fase 2 Supponiamo inizialmente che A A sia ben ordinata: [ ] A G11 G A = 12 G 21 G 22 con rank(a) = k e G 11 quadrata k k non singolare. Applichiamo k passi dell algoritmo di Gauss alla sottomatrice I m A 0 [ 0 A A A b A A A ] b I 0 I n 0 n 0

25 Fase 2 Supponiamo inizialmente che A A sia ben ordinata: [ ] A G11 G A = 12 G 21 G 22 con rank(a) = k e G 11 quadrata k k non singolare. Applichiamo k passi dell algoritmo di Gauss alla sottomatrice [ A A A ] G 11 G 12 c 1 b = G 21 G 22 c 1 I n 0 I k I n k 0

26 Fase 2 Supponiamo inizialmente che A A sia ben ordinata: [ ] A G11 G A = 12 G 21 G 22 con rank(a) = k e G 11 quadrata k k non singolare. Applichiamo k passi dell algoritmo di Gauss alla sottomatrice G 11 G 12 c 1 U k Z c 1 G 21 G 22 c 1 I k O n k c 2 0 Y 1 x 1 0 I n k 0 0 Y 2 x 2

27 Risultato dell algoritmo U k Z c 1 0 O n k c 2 0 Y 1 x 1 0 Y 2 x 2 soluzione di base di Ax = b x B = [ x1 x 2 ]

28 Risultato dell algoritmo U k Z c 1 0 O n k c 2 0 Y 1 x 1 0 Y 2 x 2 soluzione di base di Ax = b x B = [ x1 x 2 ] base per il nucleo di A Y = [ Y1 Y 2 ] = [ ] y 1 y n k

29 Risultato dell algoritmo U k Z c 1 0 O n k c 2 0 Y 1 x 1 0 Y 2 x 2 soluzione di base di Ax = b [ ] x1 x B = x 2 = [ G 1 11 c ] 1 0 base per il nucleo di A [ ] Y1 Y = = [ [ ] G 1 y Y 1 y n k = 11 G ] 12 2 I n k

30 Rank revealing? Rango numerico r ɛ = min E 2 ɛ rank(a + E) σ r ɛ > ɛ σ rɛ+1 L algoritmo si arresta quando C è relazione tra ɛ e τ? M rr < τ Rank revealing LU [Chan 1984], [Hwang et al. 1992]. Stime del condizionamento per matrici triangolari [Higham 1987].

31 Pivoting nella fase 2 Nella fase 2 il pivoting (su righe e colonne) è indispensabile Supponiamo di applicare il pivoting totale [ A A A ] [ b PA AQ PA ] b I n 0 Q 0 e poniamo G = PA AQ, Q = [ Q 1 Q 2 ], c = PA b. Allora G 11 G 12 c 1 G 21 G 22 c 1 Q 1 Q 2 0 U k L 1 G 12 L 1 c 1 0 O n k c 2 G 21 G Q 2 Q 1 G Q 1 G11 1 1

32 Pivoting nella fase 2 U k L 1 G 12 L 1 c 1 0 O n k c 2 G 21 G Q 2 Q 1 G Q 1 G soluzione di base di Ax = b x B = Q 1 G 1 11 c 1 = Q [ G 1 11 c ] 1, 0

33 Pivoting nella fase 2 U k L 1 G 12 L 1 c 1 0 O n k c 2 G 21 G Q 2 Q 1 G Q 1 G soluzione di base di Ax = b x B = Q 1 G 1 11 c 1 = Q [ G 1 11 c ] 1, 0 base per il nucleo di A [ Y = Q 2 Q 1 G11 1 G 1 G 12 = Q 11 G ] 12 I n k

34 Pivoting nella fase 1 Nella fase 1 il pivoting non è indispensabile M = I m A 0 A 0 A b 0 I n 0

35 Pivoting nella fase 1 Nella fase 1 il pivoting non è indispensabile, ma è determinante per la stabilità dell algoritmo. γi m A 0 M γ = A 0 1 γ A b 0 I n 0 Il parametro di scala γ regola l entità del pivoting.

36 Pivoting nella fase 1 Nella fase 1 il pivoting non è indispensabile, ma è determinante per la stabilità dell algoritmo. γi m A 0 M γ = A 0 1 γ A b 0 I n 0 Il parametro di scala γ regola l entità del pivoting. Per il metodo della matrice aumentata con equilibratura, è stato dimostrato [Björck 1992] che una buona scelta è γ = 2 1/2 σ n (A) in quanto minimizza κ 2 (M γ ), e quindi la stima in avanti dell errore sulla soluzione.

37 pivoting totale (costoso) Strategie di pivoting

38 Strategie di pivoting pivoting totale (costoso) pivoting parziale + butta via le colonne piccole

39 Strategie di pivoting pivoting totale (costoso) pivoting parziale + butta via le colonne piccole pivoting totale simmetrico (fattorizzazione LDL T )

40 Strategie di pivoting pivoting totale (costoso) pivoting parziale + butta via le colonne piccole pivoting totale simmetrico (fattorizzazione LDL T ) pivoting di Bunch-Kaufman

41 Fattorizzazione LDL T Preserva la simmetria ed è connessa a Cholesky e QR. I m A 0 I m 0 0 I m 0 0 A 0 A b 1 0 A A A b 2 0 D 0 0 I n 0 0 I n x LS Pivoting totale simmetrico se al passo k il massimo è in posizione (l, l) pivot = M ll se il massimo è in posizione (r, s) ( ) Mss M pivot = sr M rs M rr (tile pivot)

42 Da fare... implementazione nel caso strutturato test numerici (matrici con e senza struttura) indagare sulle varie strategie di pivoting confronto con RRQR, UTV, [Chan 1984] soluzione normale, up/down-dating, subset selection... matrici sparse?

43 Fine