Frame. Frame. Otteniamo il concetto di frame a partire da quello di base di Riesz facendo cadere l ipotesi di indipendenza lineare

Transcript

1 Frame Frame Otteniamo il concetto di frame a partire da quello di base di Riesz facendo cadere l ipotesi di indipendenza lineare Un frame è quindi un insieme di vettori φ i tali che esistono A > 0 e B < tali che A x 2 x,φ n 2 B x 2 n Z ma i vettori φ i possono essere linearmente dipendenti. Q: Per quale motivo dovremmo complicarci la vita rinunciando all indipendenza lineare? A: Per avere robustezza! 1

2 La robustezza dei frame (1) Supponiamo di voler trasmettere la posizione di un punto sul piano trasmettendo le sue componeneti (rispetto ad una base prefissata) Se perdo una delle due coordinate (es. a causa di un errore non recuperabile), non posso più determinare la posizione del punto a a b a b? Dove?? 2 La robustezza dei frame (2) Supponiamo ora di mandare le componenti rispetto ad un insieme di tre vettori (necessariamente linearmente dipendenti tra loro) A causa della dipendenza lineare, una componente è inutile, dato che posso ricavarla dalle altre due Se però perdo una delle tre coordinate posso ancora determinare la posizione del punto a a b a b c c Qui! c 3

3 Frame: nomenclatura Se A = B (ossia, n x,φ n 2 = A x 2 per ogni x) il frame si dice stretto Se φ n = φ m per ogni n,m il frame si dice uniforme I frame stretti sono i parenti più prossimi delle basi ortonormali. 4 Frame: nomenclatura La mappa lineare F che ad un vettore x V associa la sequenza di valori x,φ n (Fx) n = x,φn è detta operatore di analisi (frame operator in inglese) La definizione di frame garantisce che Fx l 2 (Z) per ogni x V 5

4 L operatore di analisi a dimensione finita Se dimv <, l operatore di analisi può essere rappresentato da una matrice le cui righe sono i vettori φ n trasposti x,φ 1 φ t 1 x,φ 2. = φ t 2. x x,φ N } φ t {{ N } F La definizione di frame garantisce l indipendenza lineare delle colonne di F 6 Siano φ n e ψ n due frame Frame: nomenclatura Se esiste una trasformazione lineare invertibile L tale che ψ n = Lφ n per ogni n, i due frame si dicono equivalenti Se la trasformazione L è anche unitaria (ossia, Lx = x ), i due frame si dicono unitariamente equivalenti Due frame equivalenti condividono molte (anche se non tutte) delle caratteristiche interessanti in fase di codifica Due frame unitariamente equivalenti hanno gli stessi estremi A e B (prova: esercizio) 7

5 Frame Ricostruzione Ricostruzione da frame Supponiamo di aver codificato un punto sul piano con tre componenti Il legame tra le coordinate x 1, x 2 e le componenti y 1, y 2, y 3 é dato da una matrice F 3 2 y 1 F 11 F ] 12 y 2 = F 21 F [ x1 22 x y 3 F 31 F 2 32 Q: Come faccio a ricostruire il (x 1,x 2 ) a partire dalle sue componenti? In altre parole, come risolvo il sistema lineare qui sopra? 8

6 Ricostruzione da frame Il sistema che dobbiamo risolvere ha più equazioni che incognite è sovradeterminato Possono capitare due cose: La terna [y 1,y 2,y 3 ] è compatibile con le equazioni il sistema ha una soluzione La terna [y 1,y 2,y 3 ] non è compatibile con le equazioni il sistema non ha soluzione 9 Ricostruzione da frame: inversa sinistra Se siamo sicuri che il vettore y sia compatibile con le equazioni è sufficiente trovare una matrice F L tale che F L F = I (*) Moltiplicando ambo i membri del sistema otteniamo F L y = (F L F)x = x La matrice F L è detta essere un inversa sinistra di F? Ma cosa accade se il sistema non è coerente? 10

7 Ricostruzione da frame Q: Perché il sistema può non essere coerente? A: Perché non tutti gli y R 3 possono essere ottenuti come y = Fx. In altre parole, se y non appartiene a Im(F) (lo spazio generato dalle colonne di F) il sistema non è coerente Q: Ma sono io che genero y! Perché devo considerare il caso non coerente? A: Perché y potrebbe essere corrotto da rumore (es. di quantizzazione) 11 Ricostruzione da frame: il caso non coerente Sia ŷ = Fx + ε, con ε rumore. A causa di ε, ŷ non appartiene al piano Im(F) Una cosa è certa: la componente di ŷ ortogonale a Im(F) è tutta figlia del rumore Proietto ŷ su Im(F) y ^ Questo e rumore puro rumore rumore proiettato y "buono" 12

8 Riassumendo... Per risolvere un sistema sovradeterminato y = Fx 1. Proietto y su Im(F) 2. Applico una qualsiasi inversa sinistra alla proiezione ottenuta al passo precedente Nota: Il risultato è il vettore ˆx che minimizza la distanza y Fx 2 : soluzione ai minimi quadrati ˆx è il vettore che spiega meglio i dati y. 13 Ricostruzione ai minimi quadrati Orthogonal projection Plane of ammisible coefficient triplets y P F 1 Inverse map F x Three dimensional coefficient space Original two dimensional space 14

9 Minimi quadrati: esempio tipico Supponiamo di avere coppie (V n,i n ) di tensione/corrente relative ad una resistenza R In un caso ideale le coppie stanno su una retta, ciò non è vero in presenza di rumore err= + + δ 2 1 δ 2 δ V 3 Per determinare R scelgo la retta che minimizza la somma dei δ 3 quadrati degli scarti risolvo il sistema V 1 I V = R V 2 V N I N δ 1 δ 2 ai minimi quadrati I 1 I 2 I 3 15 Pseudo-inversa La combinazione proiezione + inversa sinistra è chiaramente una mappa lineare F è una particolare inversa sinistra di F F è detta la pseudo-inversa di F Q: Come si calcola la pseudo inversa in Matlab? A: Con pinv 16

10 Struttura di un inversa sinistra L unica condizione che un inversa sinistra deve soddisfare è di mappare ogni y Im(F) nell unico x tale che y = Fx Il comportamento di un inversa sinistra su Im(F) puó essere arbitrario 17 Struttura di un inversa sinistra Algoritmo per un inversa sinistra Decomponi y = y F + y con y F Im(F) e y Im(F) Sia x F l unica soluzione di y F = Fx F Sia x = Gy, dove G è una qualsiasi mappa lineare Restituisci x F + x Nota: Al variare di G ho inverse sinistre differenti La pseudo-inversa corrisponde a G = 0 18

11 Struttura di un inversa sinistra Proiezione su Im(F) y P y F F 1 x F x I P y G x Proiezione su Im(F) Taglia qui per avere la pseudo inversa 19 Pseudo-inversa: approccio assiomatico Definition 1. Se F soddisfa le condizioni F FF = F FF F = F (F F) t = F F (FF ) t = FF F è detta una pseudo-inversa di F Si dimostra che: Property 1. Ogni matrice ha una e una sola pseudo inversa. 20

12 Pseudo-inversa Dobbiamo verificare che la definizione assiomatica di pseudo-inversa corrisponda con l idea di soluzione ai minimi quadrati. È facile verificare che FF è idempotente e simmetrica (esercizio) è la proiezione su Im(F) Il vettore ˆx = F y è la soluzione ai minimi quadrati di y = Fx 21 Pseudo-inversa: un algoritmo F è a rango pieno per colonne F t F è invertibile È facile verificare (esercizio) che se F è a rango pieno per colonne, allora (F t F) 1 F t soddisfa gli assiomi della pseudo-inversa Dato che la pseudo-inversa è unica F = (F t F) 1 F t 22

13 Pseudo-inversa: proprietà La pseudo inversa gode di alcune facili proprietà 1. Se A è invertibile, allora A 1 = A 2. (A ) = A, (A t ) = (A ) t 3. Se c 0, (ca) = c 1 A 4. Se A è una proiezione o A = 0, allora A = A 5. Se U t U = V t V = I, allora (UAV ) = V t A U t 23 Pseudo-inversa: Attenzione! Attenzione: Non è in generale vero che (BC) = C B tale uguaglianza è però verificata in alcuni casi 1. Se B è m k e C è k n, dove k è il rango di BC. 2. Se B (o C) è una matrice ortogonale, ossia B t B = I. 24

14 Calcolo della pseudo-inversa: caso generale Se F non è a rango pieno per colonne, la formula F = (F t F) 1 F t non è più valida In questo caso possiamo calcolare la pseudo-inversa usando la decomposizione a valori singolari 25 Decomposizione a valori singolari Property 2. Ogni matrice complessa F (quadrata o rettangolare) può essere fattorizzata come F = USV t dove 1. U e V sono matrici quadrate ortogonali (UU t = VV t = I) 2. S = diag ( s 1,...,s k,0,...,0 ) con s 1 s 2 s k > 0 Inoltre, la matrice S è univocamente determinata da F. I valori s i sono i valori singolari di F 26

15 Decomposizione in valori singolari e pseudo-inversa Se F = USV t, S = diag ( s 1,...,s k,0,...,0 ) è la decomposizione in valori singolari di F, allora la pseudo-inversa di F è Prova: facile esercizio F = V S U t, S = diag ( 1/s 1,...,1/s k,0,...,0 ) 27 Decomposizione a valori singolari e limiti di un frame La decomposizione a valori singolari è utile anche per calcolare gli estremi A e B di un frame. Property 3. Sia F una matrice N M rappresentante un frame. Gli estremi di detto frame sono dove s i sono i valori singolari di F Prova: esercizio A = mins 2 k = s2 M B = maxs 2 k = s2 1 k k 28

16 Decomposizione in valori singolari e basi Tramite la decomposizione in valori singolari di F si possono ottenere basi ortonormali per Im(F) e Ker(F) Property 4. Se F è una matrice N M e F = USV t, S = diag ( s 1,...,s k,0,...,0 ) è la sua decomposizione in valori singolari, allora 1. Le prime k colonne di U sono una base ortonormale di Im(F) 2. Le ultime min(n,m) k colonne di V sono una base ortonormale di Ker(F) 29 Ricostruzione da frame: dimensione infinita Q: Come cambiano le cose se lavoriamo in spazi a dimensione infinita? A: Non molto... Tutti i ragionamenti fatti prima non sfruttavano l ipotesi di dimensione finita L unica accortezza è di sostituire la matrice trasposta con l operatore aggiunto 30

17 Ricostruzione da frame: dimensione infinita Sappiamo quindi che la ricostruzione ottima ai minimi quadrati la otteniamo tramite l operatore F = (F F) 1 F (*) Per calcolare (*) ci serve l operatore aggiunto di F Q: Come lo calcoliamo? 31 Sia x V e u l 2 (Z) Aggiunto dell operatore di analisi da cui Fx,u l 2 (Z) = (Fx) n u n n Z x,φ n V u n = n Z = x, n Z φ n u n V F u = φ n u n n Z Prodotto scalare su l 2 (Z) Definizione di F Linearità Nota: F mappa l 2 (Z) in V 32

18 Aggiunto dell operatore di analisi a dim < Operatore di analisi x,φ 1 x,φ 2. x,φ N = φ 1 t φ 2 t. φ N t x Sua trasposta φ 1 φ 2 φ N u 1 u 2. u N = n u n φ n 33 Il frame duale: definizione Esplicitando F si ottiene F y = (F F) 1 φ n y n n Z = φ n y n n Z Le funzioni φ n = (F F) 1 φ n, n Z formano il frame duale 34

19 Il frame duale: proprietà 1. In spazi a dimensione finita i vettori φ n sono le colonne di F 2. Il frame duale è un frame con estremi 1/B e 1/A 3. Il duale del duale di un frame è il frame stesso 35