Marco Donatelli. 14 Febbraio 2004

Transcript

1 Proprietà regolarizzanti dei metodi Multigrid Marco Donatelli Dipartimento di Fisica e Matematica Università dell Insubria 14 Febbraio 2004

2 Outline 1 Ricostruzione di immagini Sfuocate e affette da Rumore Imposizione di Condizioni al Contorno Proprietà della Funzione di Sfuocamento (PSF) Regolarizzazione mediante Metodi Iterativi 2 Regolarizzazione Multigrid Multigrid Algebrico Framework Multilivello Regolarizzante Costo Computazionale 3 Applicazioni Un Problema Astronomico Vincolo di Non-Negatività Potenziare il Proiettore 4 Conclusioni

3 Ricostruzione di immagini Sfuocate e affette da Rumore Outline 1 Ricostruzione di immagini Sfuocate e affette da Rumore Imposizione di Condizioni al Contorno Proprietà della Funzione di Sfuocamento (PSF) Regolarizzazione mediante Metodi Iterativi 2 Regolarizzazione Multigrid Multigrid Algebrico Framework Multilivello Regolarizzante Costo Computazionale 3 Applicazioni Un Problema Astronomico Vincolo di Non-Negatività Potenziare il Proiettore 4 Conclusioni

4 Ricostruzione di immagini Sfuocate e affette da Rumore Imposizione di Condizioni al Contorno Il Sistema Lineare Imponendo condizioni al contorno (BCs), l immagine ricostruita f è ottenuta risolvendo (in qualche senso...) Af = g + n

5 Ricostruzione di immagini Sfuocate e affette da Rumore Imposizione di Condizioni al Contorno Il Sistema Lineare Imponendo condizioni al contorno (BCs), l immagine ricostruita f è ottenuta risolvendo (in qualche senso...) g = immagine sfuocata Af = g + n

6 Ricostruzione di immagini Sfuocate e affette da Rumore Imposizione di Condizioni al Contorno Il Sistema Lineare Imponendo condizioni al contorno (BCs), l immagine ricostruita f è ottenuta risolvendo (in qualche senso...) g = immagine sfuocata Af = g + n n = rumore (vettore random)

7 Ricostruzione di immagini Sfuocate e affette da Rumore Imposizione di Condizioni al Contorno Il Sistema Lineare Imponendo condizioni al contorno (BCs), l immagine ricostruita f è ottenuta risolvendo (in qualche senso...) g = immagine sfuocata Af = g + n n = rumore (vettore random) A = matrice bilivello strutturata generata dalla PSF BCs Dirichlet periodiche riflettenti antiriflettenti A Toeplitz circolante DCT III DST I + correzione

8 Ricostruzione di immagini Sfuocate e affette da Rumore Proprietà della Funzione di Sfuocamento (PSF) Funzione generatrice della PSF PSF gaussiana

9 Ricostruzione di immagini Sfuocate e affette da Rumore Proprietà della Funzione di Sfuocamento (PSF) Funzione generatrice della PSF PSF gaussiana PSF Funzione generatrice z(x)

10 Ricostruzione di immagini Sfuocate e affette da Rumore Proprietà della Funzione di Sfuocamento (PSF) Funzione generatrice della PSF PSF gaussiana PSF Funzione generatrice z(x) Il sottospazio malcondizionato di A(z) è costituito principalmente dalle alte frequenze.

11 Ricostruzione di immagini Sfuocate e affette da Rumore Regolarizzazione mediante Metodi Iterativi Metodi iterativi regolarizzanti Metodi iterativi particolarmente lenti (es: Landweber, CGNE,... ) manifestano proprietà regolarizzanti.

12 Ricostruzione di immagini Sfuocate e affette da Rumore Regolarizzazione mediante Metodi Iterativi Metodi iterativi regolarizzanti Metodi iterativi particolarmente lenti (es: Landweber, CGNE,... ) manifestano proprietà regolarizzanti. Motivazione Nei primi passi riducono l errore nelle basse frequenze (sottospazio ben condizionato). Quando passano a ridurre l errore algebrico nelle alte frequenze l errore della ricostruzione, a causa degli effetti del rumore, aumenta.

13 Regolarizzazione Multigrid Outline 1 Ricostruzione di immagini Sfuocate e affette da Rumore Imposizione di Condizioni al Contorno Proprietà della Funzione di Sfuocamento (PSF) Regolarizzazione mediante Metodi Iterativi 2 Regolarizzazione Multigrid Multigrid Algebrico Framework Multilivello Regolarizzante Costo Computazionale 3 Applicazioni Un Problema Astronomico Vincolo di Non-Negatività Potenziare il Proiettore 4 Conclusioni

14 Regolarizzazione Multigrid Multigrid Algebrico Multigrid per Matrici Strutturate Struttura del Multigrid Smoother: metodo iterativo classico (regolarizzante).

15 Regolarizzazione Multigrid Multigrid Algebrico Multigrid per Matrici Strutturate Struttura del Multigrid Smoother: metodo iterativo classico (regolarizzante). Proiettore: permette di selezionare il sottospazio in cui si vuole ridurre maggiormente l errore nelle griglie più rade ai livelli inferiori.

16 Regolarizzazione Multigrid Multigrid Algebrico Multigrid per Matrici Strutturate Struttura del Multigrid Smoother: metodo iterativo classico (regolarizzante). Proiettore: permette di selezionare il sottospazio in cui si vuole ridurre maggiormente l errore nelle griglie più rade ai livelli inferiori. Preservare la Struttura della matrice Per applicare ricorsivamente l algoritmo è necessario che il proiettore preservi la struttura (Toeplitz, Circolante,... ) delle matrici ai livelli inferiori.

17 Regolarizzazione Multigrid Multigrid Algebrico Multigrid per Matrici Strutturate Struttura del Multigrid Smoother: metodo iterativo classico (regolarizzante). Proiettore: permette di selezionare il sottospazio in cui si vuole ridurre maggiormente l errore nelle griglie più rade ai livelli inferiori. Preservare la Struttura della matrice Per applicare ricorsivamente l algoritmo è necessario che il proiettore preservi la struttura (Toeplitz, Circolante,... ) delle matrici ai livelli inferiori. Per tutte le strutture derivanti dalle BCs presentate sono stati definiti proiettori che permettono di preservare la struttura.

18 Regolarizzazione Multigrid Framework Multilivello Regolarizzante Definizione del Proiettore Struttura del Proiettore Matrice di Taglio: dimensione n n/2, permette di preservare la struttura al livello inferiore.

19 Regolarizzazione Multigrid Framework Multilivello Regolarizzante Definizione del Proiettore Struttura del Proiettore Matrice di Taglio: dimensione n n/2, permette di preservare la struttura al livello inferiore. Funzione Generatrice: seleziona il sottospazio in cui proiettare il sistema lineare.

20 Regolarizzazione Multigrid Framework Multilivello Regolarizzante Definizione del Proiettore Struttura del Proiettore Matrice di Taglio: dimensione n n/2, permette di preservare la struttura al livello inferiore. Funzione Generatrice: seleziona il sottospazio in cui proiettare il sistema lineare. Filtro passa-basso Proiettare nelle basse frequenze per ridurre gli effetti del rumore: Filtro Passa-Basso p(x, y) = (1 + cos(x))(1 + cos(y))

21 Regolarizzazione Multigrid Framework Multilivello Regolarizzante Definizione del Proiettore Struttura del Proiettore Matrice di Taglio: dimensione n n/2, permette di preservare la struttura al livello inferiore. Funzione Generatrice: seleziona il sottospazio in cui proiettare il sistema lineare. Filtro passa-basso Proiettare nelle basse frequenze per ridurre gli effetti del rumore: Filtro Passa-Basso p(x, y) = (1 + cos(x))(1 + cos(y)) Media Pesata

22 Regolarizzazione Multigrid Framework Multilivello Regolarizzante Definizione del Proiettore Struttura del Proiettore Matrice di Taglio: dimensione n n/2, permette di preservare la struttura al livello inferiore. Funzione Generatrice: seleziona il sottospazio in cui proiettare il sistema lineare. Filtro passa-basso Proiettare nelle basse frequenze per ridurre gli effetti del rumore: Filtro Passa-Basso p(x, y) = (1 + cos(x))(1 + cos(y)) Media Pesata Interpolazione Lineare

23 Regolarizzazione Multigrid Framework Multilivello Regolarizzante Framework Multilivello Regolarizzante Se abbiamo un metodo iterativo regolarizzante possiamo aumentarne le proprietà regolarizzanti e/o accelerarne la convergenza utilizzandolo come smoother nel multigrid.

24 Regolarizzazione Multigrid Framework Multilivello Regolarizzante Framework Multilivello Regolarizzante Se abbiamo un metodo iterativo regolarizzante possiamo aumentarne le proprietà regolarizzanti e/o accelerarne la convergenza utilizzandolo come smoother nel multigrid.

25 Regolarizzazione Multigrid Framework Multilivello Regolarizzante Framework Multilivello Regolarizzante Regolarizzazione Le proprietà regolarizzanti dello smoother vengono preservate perché viene combinato con un filtro passa-basso.

26 Regolarizzazione Multigrid Costo Computazionale Costo computazionale Precomputing Calcolo e memorizzazione delle PSF (matrici dei coefficienti) relative alle griglie più rade (A i+1 = Pi T A i P i ) O(log(n))

27 Regolarizzazione Multigrid Costo Computazionale Costo computazionale Precomputing Calcolo e memorizzazione delle PSF (matrici dei coefficienti) relative alle griglie più rade (A i+1 = Pi T A i P i ) O(log(n)) Ciclo Multigrid Il problema al livello j ha dimensione n j n j con n j = n/2 j.

28 Regolarizzazione Multigrid Costo Computazionale Costo computazionale Precomputing Calcolo e memorizzazione delle PSF (matrici dei coefficienti) relative alle griglie più rade (A i+1 = Pi T A i P i ) O(log(n)) Ciclo Multigrid Il problema al livello j ha dimensione n j n j con n j = n/2 j. Costo Proiezione al livello j: 7 4 n2 j, 7 8 n2 j flops.

29 Regolarizzazione Multigrid Costo Computazionale Costo computazionale Precomputing Calcolo e memorizzazione delle PSF (matrici dei coefficienti) relative alle griglie più rade (A i+1 = Pi T A i P i ) O(log(n)) Ciclo Multigrid Il problema al livello j ha dimensione n j n j con n j = n/2 j. Costo Proiezione al livello j: 7 4 n2 j, 7 8 n2 j flops. Sia W (n) il costo di una iterazione di smoother W (n) = cn 2 + O(n), c 1.

30 Regolarizzazione Multigrid Costo Computazionale Costo computazionale Precomputing Calcolo e memorizzazione delle PSF (matrici dei coefficienti) relative alle griglie più rade (A i+1 = Pi T A i P i ) O(log(n)) Ciclo Multigrid Il costo complessivo al livello j è circa c j = W (n j ) n2 j flops.

31 Regolarizzazione Multigrid Costo Computazionale Costo computazionale Precomputing Calcolo e memorizzazione delle PSF (matrici dei coefficienti) relative alle griglie più rade (A i+1 = Pi T A i P i ) O(log(n)) Ciclo Multigrid Il costo complessivo al livello j è circa c j = W (n j ) n2 j flops. Il costo totale di una iterazione di Multigrid è: log 21 2 (n) 1 8 n2 + c j < 7 2 n2 + 4 ( n ) 3 W W (n). j=1

32 Regolarizzazione Multigrid Costo Computazionale Costo computazionale per cicli più complessi Modificare il numero di Chiamate Ricorsive Una sola chiamata ricorsiva (proiezione) schema a V.

33 Regolarizzazione Multigrid Costo Computazionale Costo computazionale per cicli più complessi Modificare il numero di Chiamate Ricorsive Una sola chiamata ricorsiva (proiezione) schema a V. Aumentando il numero di chiamate ricorsive (proiezioni consecutive) l algoritmo lavora maggiormente nel sottospazio relativo alle basse frequenze, diventa però più difficile definire il criterio di arresto (il metodo accelera).

34 Regolarizzazione Multigrid Costo Computazionale Costo computazionale per cicli più complessi Modificare il numero di Chiamate Ricorsive Una sola chiamata ricorsiva (proiezione) schema a V. Aumentando il numero di chiamate ricorsive (proiezioni consecutive) l algoritmo lavora maggiormente nel sottospazio relativo alle basse frequenze, diventa però più difficile definire il criterio di arresto (il metodo accelera). γ = numero di chiamate ricorsive, il costo di una iterazione è C(γ, n) C(γ, n) ( cγ ) n 2 4 γ { O(n 2 log(n)), γ = 4 O(n 2 log 4 (γ) ), γ > W (n), γ = 1 W (n), γ = 2 3W (n), γ = 3

35 Applicazioni Outline 1 Ricostruzione di immagini Sfuocate e affette da Rumore Imposizione di Condizioni al Contorno Proprietà della Funzione di Sfuocamento (PSF) Regolarizzazione mediante Metodi Iterativi 2 Regolarizzazione Multigrid Multigrid Algebrico Framework Multilivello Regolarizzante Costo Computazionale 3 Applicazioni Un Problema Astronomico Vincolo di Non-Negatività Potenziare il Proiettore 4 Conclusioni

36 Applicazioni Un Problema Astronomico Saturno BCs Periodiche con bordo nero (esatte) PSF gaussiana + SNR = 20 Immagine originale PSF Sfuocata + SNR = 20

37 Applicazioni Vincolo di Non-Negatività Vincolo di Non-Negatività Il multigrid preserva la non-negatività? Il proiettore (media pesata e interpolazione lineare) preserva l eventuale vincolo di non-negatività.

38 Applicazioni Vincolo di Non-Negatività Vincolo di Non-Negatività Il multigrid preserva la non-negatività? Il proiettore (media pesata e interpolazione lineare) preserva l eventuale vincolo di non-negatività. Utilizzando un metodo proiettato come Smoother non si soddisfa il vincolo di non-negativita (causa: risoluzione diretta all ultimo livello).

39 Applicazioni Vincolo di Non-Negatività Vincolo di Non-Negatività Il multigrid preserva la non-negatività? Il proiettore (media pesata e interpolazione lineare) preserva l eventuale vincolo di non-negatività. Utilizzando un metodo proiettato come Smoother non si soddisfa il vincolo di non-negativita (causa: risoluzione diretta all ultimo livello). Preservare la non-negatività con il multigrid Proiettare l approssimazione calcolata ad ogni iterazione.

40 Applicazioni Vincolo di Non-Negatività Vincolo di Non-Negatività Il multigrid preserva la non-negatività? Il proiettore (media pesata e interpolazione lineare) preserva l eventuale vincolo di non-negatività. Utilizzando un metodo proiettato come Smoother non si soddisfa il vincolo di non-negativita (causa: risoluzione diretta all ultimo livello). Preservare la non-negatività con il multigrid Proiettare l approssimazione calcolata ad ogni iterazione. Utilizzare come Smoother un metodo proiettato + proiettare l approssimazione calcolata ad ogni iterazione.

41 Applicazioni Vincolo di Non-Negatività Errore Minimo e j = errore relativo alla j-esima iterazione. Metodo min j) j=1,... argmin j) j=1,... CG Rich MGM(Rich +,1) MGM(Rich,1) MGM(Rich +,1) MGM(Rich +,2) RichNE CGNE MGM(CGNE +,2) MGM(CGNE +,3)

48 Applicazioni Vincolo di Non-Negatività Andamento dell errore di ricostruzione

49 Applicazioni Vincolo di Non-Negatività Immagini Ricostruite Rich + (9 iter.). MGM(Rich +,2) + (12 iter.) CGNE + (885 iter.).

50 Applicazioni Vincolo di Non-Negatività Immagini Ricostruite MGM(CGNE +,2) + (109 iter.) MGM(Rich +,2) + (12 iter.) CGNE + (885 iter.).

51 Applicazioni Potenziare il Proiettore Potenziare il Proiettore Si può evitare di passare alle equazioni normali rafforzando le proprietà di filtraggio del proiettore con: p(x, y) = (1 + cos(x)) α (1 + cos(y)) α, α N +.

52 Applicazioni Potenziare il Proiettore Potenziare il Proiettore Si può evitare di passare alle equazioni normali rafforzando le proprietà di filtraggio del proiettore con: p(x, y) = (1 + cos(x)) α (1 + cos(y)) α, α N +. Conseguenze Computazionali Il costo computazionale di una iterazione di W-Cycle diviene ( 72α α 11 C(α, n) 16 ) + 2c n 2

53 Applicazioni Potenziare il Proiettore Potenziare il Proiettore Si può evitare di passare alle equazioni normali rafforzando le proprietà di filtraggio del proiettore con: p(x, y) = (1 + cos(x)) α (1 + cos(y)) α, α N +. Conseguenze Computazionali Il costo computazionale di una iterazione di W-Cycle diviene ( 72α α 11 C(α, n) 16 ) + 2c n 2 Condizionamento del sistema lineare: sia f j la funzione generatrice di A j e β j l ordine del suo zero in [π, π], allora β j = β 0 + 2jα (num. cond. = O(n β j j )).

54 Applicazioni Potenziare il Proiettore Potenziare il Proiettore Proiezione e Re-blurring generalizzato Il proiettore oltre ad effettuare il filtraggio, ha anche un effetto di doppio re-blurring in quanto A i+1 = P T i A i P i.

55 Applicazioni Potenziare il Proiettore Potenziare il Proiettore Proiezione e Re-blurring generalizzato Il proiettore oltre ad effettuare il filtraggio, ha anche un effetto di doppio re-blurring in quanto A i+1 = P T i A i P i. Risultati Numerici con MGM(Rich +,2) + α min j) j=1,... argmin j) j=1,

56 Applicazioni Potenziare il Proiettore Potenziare il Proiettore Proiezione e Re-blurring generalizzato Il proiettore oltre ad effettuare il filtraggio, ha anche un effetto di doppio re-blurring in quanto A i+1 = P T i A i P i. MGM(Rich +,2) + (12 iter.) MGM(Rich +,2) + (α = 4 in 38 iter.) MGM(CGNE +,2) + (109 iter.)

57 Conclusioni Outline 1 Ricostruzione di immagini Sfuocate e affette da Rumore Imposizione di Condizioni al Contorno Proprietà della Funzione di Sfuocamento (PSF) Regolarizzazione mediante Metodi Iterativi 2 Regolarizzazione Multigrid Multigrid Algebrico Framework Multilivello Regolarizzante Costo Computazionale 3 Applicazioni Un Problema Astronomico Vincolo di Non-Negatività Potenziare il Proiettore 4 Conclusioni

58 Conclusioni Riassumendo... Caratteristiche Multigrid Regolarizzante E un Framework generale che può essere utilizzato per potenziare le proprietà regolarizzanti di un qualsiasi metodo iterativo regolarizzante.

59 Conclusioni Riassumendo... Caratteristiche Multigrid Regolarizzante E un Framework generale che può essere utilizzato per potenziare le proprietà regolarizzanti di un qualsiasi metodo iterativo regolarizzante. Rispetto al metodo iterativo utilizzato come smoother l errore relativo è minore e la curva dell errore più piatta.

60 Conclusioni Riassumendo... Caratteristiche Multigrid Regolarizzante E un Framework generale che può essere utilizzato per potenziare le proprietà regolarizzanti di un qualsiasi metodo iterativo regolarizzante. Rispetto al metodo iterativo utilizzato come smoother l errore relativo è minore e la curva dell errore più piatta. Solitamente permette di ottenere un ottima ricostruzione senza ricorrere alle equazioni normali (magari potenziando leggermente il proiettore).

61 Conclusioni Riassumendo... Caratteristiche Multigrid Regolarizzante E un Framework generale che può essere utilizzato per potenziare le proprietà regolarizzanti di un qualsiasi metodo iterativo regolarizzante. Rispetto al metodo iterativo utilizzato come smoother l errore relativo è minore e la curva dell errore più piatta. Solitamente permette di ottenere un ottima ricostruzione senza ricorrere alle equazioni normali (magari potenziando leggermente il proiettore). Può essere combinato con varie tecniche come ad esempio con il vincolo di non negatività.

62 Conclusioni Lavoro futuro Teorico Dimostrazione della proprietà di regolarizzazione.

63 Conclusioni Lavoro futuro Teorico Dimostrazione della proprietà di regolarizzazione. Applicativo Estensione a tecniche che preservano i contorni dell immagine (Total Variation, Wavelet,... ).

64 Conclusioni Lavoro futuro Teorico Dimostrazione della proprietà di regolarizzazione. Applicativo Estensione a tecniche che preservano i contorni dell immagine (Total Variation, Wavelet,... ). PSF fortemente non simmetrica.

65 Conclusioni Lavoro futuro Teorico Dimostrazione della proprietà di regolarizzazione. Applicativo Estensione a tecniche che preservano i contorni dell immagine (Total Variation, Wavelet,... ). PSF fortemente non simmetrica. Rumore non uniforme (es. Poissoniano).

66 Conclusioni Lavoro futuro Teorico Dimostrazione della proprietà di regolarizzazione. Applicativo Estensione a tecniche che preservano i contorni dell immagine (Total Variation, Wavelet,... ). PSF fortemente non simmetrica. Rumore non uniforme (es. Poissoniano). Numerico/Simulativo Sperimentazione completa al variare delle diverse BCs (Multigrid ad hoc per le Matrici Strutturate risultanti).