Analisi quantitativa delle immagini. Image Restoration. Immagini & Computer S.n.c. Via Don Carlo Riva Bareggio (Mi)

Transcript

1 Analisi quantitativa delle immagini Image Restoration Immagini & Computer S.n.c. Via Don Carlo Riva Bareggio (Mi)

2 e deconvoluzione Un po di chiarezza Image restoration = insieme di procedure e funzioni atte al recupero di un segnale (immagine) nella sua forma originale. Deconvoluzione = operazione matematica utilizzata per recuperare un segnale degradato (immagine) da un processo fisico. Convoluzione = processo fisico (ottico) di creazione del segnale (Immagine)

3 definizione Image restoration ha un significato diverso da Image enhancement. Le funzioni di Image enhancement enfatizzano le caratteristiche di una immagine allo scopo di renderla più piacevole all osservatore senza introdurre migliorie dal punto quantitativo ma anzi alterandone (ed in qualche caso degradandone) il contenuto informativo. Le funzioni di Image restoration ricostruiscono, utilizzando un modello conosciuto a priori (PSF), le caratteristiche originali di una immagine allo scopo incrementarne la risoluzione, il contrasto ed il rapporto segnale / rumore. Image restoration non è una alternativa al confocale ma un complemento al suo impiego Consultare NOTA (C) per maggiori chiarimenti

4 Come si forma una immagine ottica La convoluzione è il processo ottico di creazione dell immagine. La convoluzione introduce artefatti di vario genere con la conseguente degradazione dell immagine. 1. Rumore 2. Aberrazioni (sferiche e cromatiche) 3. Errata localizzazione della luce (out of focus) Consultare NOTA (A) per maggiori chiarimenti

5 La profondità di campo A causa del profondità di campo (Depth of Field (DoF)) dell obiettivo utilizzato, viene collezionata anche la luce proveniente dai piani di fuoco adiacenti a quello principale. La DoF è un parametro correlato all obiettivo utilizzato ed è funzione principalmente della sua apertura numerica e della lunghezza d onda di emissione della luce. La DoF può essere espressa come : dtot= λn/na2 + (n/m NA)e

6 Effetto profondità di campo CCD microscope Tutta la luce presente nelle strutture comprese entro la DoF viene proiettata sul sensore CCD (o negli oculari) FOCAL PLANE cell Depth of field (DoF)

7 Riposizionamento della luce La luce proveniente dai piani di fuoco adiacenti a quello principale fornisce il proprio contributo nella formazione dell immagine. La deconvoluzione provvede a riassegnare tale contributo al corretto piano di appartenenza.

8 Effetto profondità di campo La luce proveniente dalle strutture non localizzate nel piano focale del microscopio concorre alla formazione dell effetto caligine (haze) che affligge tutte le immagini acquisite attraverso un sistema ottico widefield. Prima conseguenza di tale effetto è la riduzione della risoluzione e del rapporto segnale / rumore all interno dell immagine.

9 Recupero della risoluzione Widefield 3D Blind Profilo intensità

10 Rapporto segnale rumore Widefield PSF Stimata 3D Blind Background Segnale S/N Widefield PSF D Blind

11 Point Spread Function (PSF) Per ridistribuire correttamente la luce è necessario conoscere a priori il modello fisico che regola la diffusione della stessa nel sistema ottico in uso (descrittore della funzione di convoluzione). Tale modello fisico è conosciuto come PSF o Point Spread Function

12 Campionamento e densità La densità di campionamento rappresenta il numero di unità digitali base (pixel o voxel) catturate per unità di volume. La densità di campionamento è direttamente derivata dai parametri del sistema ottico e non può essere modificata dopo l acquisizione del volume. Il valore di campionamento critico, al di sotto del quale il processo di deconvoluzione può produrre artefatti (frange di diffrazione), è calcolato utilizzando il criterio di Nyquist Calcolo Z secondo Nyquist Δ z = λ em / (2 N (1- cos α)) Λ em = emission wavelenght N = medium index α = ½ angolo apertura obiettivo Calcolo XY secondo Nyquist Λ em = 520nm N = NA = 1.3 α = αrcsen(na/n) In pratica Δ z = 520 /(2*1.515*(1-cos α)) Δ z = 353 nm Δ xy = λ em / (4 N sen α)

13 Campionamento e densità Esempi di passi di campionamento in Z utilizzando il criterio di Nyquist Dyes Ex (nm) Em (nm) X Y Z Z/2 Dapi Fitc Alexa Rodamina Tritc Cy

14 Come misuro la PSF La PSF può essere calcolata teoricamente attraverso formule matematiche (PSF Teorica) oppure misurata direttamente sul sistema ottico (PSF sperimentale). La PSF sperimentale si misura utilizzando speciali sfere (beads) fluorescenti di piccole dimensioni (175nm). Le sfere fluorescenti vengono campionate lungo l asse Z con distanze calcolate secondo il criterio di Nyquist. La campionatura delle sfere deve avvenire nelle stesse condizioni nelle quali verrà ripreso il campione reale (Em Wavelenght, obiettivo, impostazioni telecamera, ect).

15 Come misuro la PSF Spessore lettura in Z Spessore campione La PSF è una funzione tridimensionale. Campionare lungo asse Z aumentando lo spessore reale del campione di circa il 40/50% per lato (esempio : spessore campione 10um campionare 20um totali). Ricordatevi che la PSF è funzione diretta della apertura numerica dell obiettivo e della lunghezza d onda della luce emessa dal campione. Quindi per ogni variazione di uno di questi parametri è necessario calcolare la relativa PSF.

16 Come misuro la PSF Le beads fluorescenti utilizzate per la misura della PSF sono prodotte (Molecular Probes) sotto rigidi controlli di qualità e possono essere considerate a tutti gli effetti delle sfere reali. Per quale ragione esse appaiono visualizzate in 3D come degli ovoidi? Beads fluorescenti (Widefield) Beads fluorescenti (deconvolute) PSF

17 Cosa causa l allungamento assiale delle strutture in microscopia ottica? Le ragioni sono molteplici e dipendono dalle dimensioni delle strutture in osservazione 1. Piccoli oggetti (vicini al limite fisico di risoluzione) La risoluzione assiale (Z) di un microscopio ottico è normalmente dalle 3 alle 4 volte inferiore rispetto alla sua risoluzione laterale (XY). Si consideri che il più piccolo oggetto risolvibile lateralmente (XY) è di circa 100 um mentre assialmente (Z) non si scende sotto i 300 nm. In presenza di oggetti con dimensioni prossime al limite risolutivo il difetto diventa evidente e non correggibile. 2. Grandi strutture (> 10um) In questa situazione l allungamento è causato dal differenza tra gli indici di riflessione dei media (medium) in cui sono immersi i campioni ed il mezzo presente tra copri oggetto ed obiettivo. Anche l aberrazione sferica introdotta dagli obiettivi con grande apertura numerica contribuisce all allungamento delle strutture. Consultare NOTA (B) per maggiori chiarimenti

18 Algoritmi utilizzati PSF Stimata Widefield 3D Blind Sono disponibili molteplici algoritmi di image restoration ma tutti riconducibili a due categorie : Image Restoration Quantitativa (deconvoluzione ) Image Restoration Qualitativa (Deblur / Haze removal)

19 Algoritmi utilizzati Diversi algoritmi sono disponibili per realizzare la deconvoluzione 3D ma tutti prevedono l impiego di una PSF del sistema ottico ottenibile in modi differenti : 1. PSF calcolata (Theoretical PSF) Calcolata matematicamente sulla base dei parametri generali del sistema 2. PSF Misurata Misurata direttamente sul sistema ottico 3. Blind PSF Stimata direttamente sul volume (stack immagini) durante i cicli di iterazione. Si tenga presente che: - La PSF misurata fornisce la migliore rappresentazione del sistema ma richiede una certa esperienza per essere estratta (beads fluorescenti). - La Blind PSF può introdurre soluzioni indeterminate nel calcolo delle equazioni utilizzate per la deconvoluzione ma offre un approccio più facile per l utente. - La PSF calcolata si basa su un modello generico del sistema ed è quindi la soluzione meno vicina alla realtà (ma pur sempre valida)

20 Informazioni quantitative? Gli algoritmi di deconvoluzione 3D mantengono le informazioni di intensità integrata dell immagine. Il concetto di riposizionamento della luce sul piano di origine preserva i dati del volume e garantisce che il valore misurato sull immagine elaborata sia lo stesso dell immagine di partenza. Attenzione: Alcuni altri fattori possono influire sulla quantificazione dei valori. 1. Correzione Background 2. Limitazione del range dinamico (Integer vs Floating) 3. Sovraesposizione del segnale (Clipping)

21 Qualche esempio 3D measured PSF deconvolution

22 Qualche esempio 3D estimated PSF deconvolution vs Confocale

23 Qualche esempio 3D blind deconvolution

24 Qualche esempio 3D blind deconvolution Conventional composite: Obelia 40X 3D blind: Obelia 40X

25 Qualche esempio 3D deconvolution vs confocal Widefield, deconvolved and confocal LS - 25 micron section of brain olfactory bulb of a mouse expressing green fluorescent protein (green) immunohistochemcially stained for tyrosine hydroxylase 60X Oil, 25 sections

26 Qualche esempio 3D blind deconvolution con correzione della aberrazione sferica

27 Note informative Seguono una serie di note informative a completamento di alcuni concetti espressi nella presentazione.

28 Nota (A) Image restoration Come si forma una immagine ottica Creazione di una immagine reale. l immagine della prima lente (obiettivo) è l oggetto della seconda lente (oculare) posta nel piano di fuoco. Quello che noi osserviamo attraverso gli oculari non è l oggetto originale ma la sua trasposizione ottica generata attraverso il processo di convoluzione. Obiettivo Piano di fuoco del campione Lunghezza di camera cm Piano di Fuoco Oculare Oculare Piano di Fuoco posteriore Piano di Fuoco posteriore L ingrandimento di un microscopio è il prodotto di quello dell obiettivo e dell oculare NOTA (A)

29 Convoluzione G(x) F(x) H(x) N(x) G = Immagine F = Immagine Ideale H = Point Spread Function N = Rumore (quantico ed elettronico) NOTA (A)

30 Nota (B) Image restoration Aberrazione sferica L aberrazione sferica è un effetto ottico introdotto quando i raggi oblicui (periferici) entranti nella lente sono focalizzati in una posizione differente rispetto ai raggi centrali. La causa principale della aberrazione sferica risiede nella differenza esistente tra gli indici di riflessione dei media utilizzati per interfacciare gli obiettivi (aria, olio, acqua, ect) e i media utilizzati per fissare il campione nonchè dallo spessore del campione. NOTA (B)

31 Nota (C) Image restoration Le molteplici risoluzioni di un sistema A. Risoluzione Ottica : limite di discriminazione tra due oggetti adiacenti. Determinato dalla apertura numerica dell obiettivo e dalla lunghezza d onda di emissione della luce. B. Risoluzione spaziale : limite di discriminazione del sensore CCD. Determinato dalle dimensioni della singola cella del sensore e dall ingrandimento dell obiettivo utilizzato. C. Risoluzione Immagine : caratteristica dell immagine digitale. Corrisponde al numero di pixel orizzontali / verticali che formano l immagine. NOTA (C)

32 (A) Risoluzione ottica La risoluzione ottica del microscopio è funzione della : lunghezza d onda della luce utilizzata; apertura numerica (N.A.) dell obiettivo. La risoluzione ottica del microscopio NON dipende da: ingrandimento dell obiettivo Secondo la formula generale ->R = 0,61 l / N.A. dove N.A.= n sen a (Formula descritta per la prima volta da Ernest Abbe e Carl Zeiss) Si consideri che: Maggiore e l angolo (N.A.) con cui l obiettivo è in grado di raccogliere la luce maggiore è il potere di risoluzione Maggiore è N.A. minore è la distanza di lavoro Per obiettivi in aria a è sempre minore di 90 NOTA (C)

33 (A) Risoluzione ottica Risoluzione ottica laterale Regole generali RO = 1,22 * (emwl) / (N.A. ob * N.A cond ) Fluorescenza : N.A. ob = N.A cond Campo chiaro: emwl = 500nm NOTA (C)

34 (A) Risoluzione ottica Plan Achromat Plan Fluorite Plan Apochromat Magnification N.A Resolutio n (µm) N.A Resolution (µm) N.A Resolution (µm) 4x x x x x x NOTA (C) ritorna

35 (B) Risoluzione spaziale La risoluzione spaziale rappresenta il limite dimensionale minimo di un oggetto, presente sul piano ottico, discriminabile dal sistema di acquisizione. NOTA (C)

36 (B) Risoluzione spaziale La risoluzione spaziale è funzione del pixel size del sensore CCD e del ingrandimento dell obiettivo utilizzato. 4.6 um Il pixel size è parametro intrinseco del dispositivo CCD che ne definisce le dimensioni delle singole celle. NOTA (C)

37 (B) Risoluzione spaziale Come calcolarla A causa delle caratteristiche costruttive del sensore CCD, due oggetti devono distare almeno di un pixel tra loro per poter essere discriminati. La risoluzione spaziale rappresenta la distanza minima, espressa in unità metriche, che deve intercorrere tra due oggetti proiettati sul piano di fuoco, e ben contrastati tra loro, per poter essere discriminati ed identificati come tali dal sistema di acquisizione. NOTA (C)

38 (B) Risoluzione spaziale La risoluzione spaziale è funzione del pixel size del sensore CCD e del ingrandimento dell obiettivo utilizzato. il calcolo della risoluzione spaziale si esegue come segue : Rs = (Pixel size / Ingrandimento obiettivo) A conferma di quanto espresso in precedenza il calcolo della risoluzione spaziale si modifica come segue introducendo il coefficiente di correzione: Rs = ((Pixel size / Ingrandimento) * 2.3) Esempio : Pixel size = 6.4 um Ingrandimento = 20x Risoluzione spaziale Rs = ((6.4 / 20) * 2.3) = um NOTA (C)

39 (B) Risoluzione spaziale Da considerare Se l adattatore passo C impiegato possiede una lente di riduzione (< 1.0x) il calcolo della risoluzione spaziale si modifica come segue : Rs = ((Pixel size / Ingrandimento) * 2.3) / PassoC Esempio : Pixel size = 6.4 um Ingrandimento = 20x Passo C = 0.63x Risoluzione spaziale Rs = ((6.4 / 20) * 2.3) / 0.63 = um Utilizzando la funzione di Binningdella telecamerala risoluzione spaziale si riduce come segue: Rs = (((Pixel size / Ingrandimento) * 2.3) / PassoC) * Binning Risoluzione spaziale Rs = (((6.4 / 20)*2.3)/0.63)*2 = um Analogamente in presenza di un CCD colore con filtro Bayer (più comune) la risoluzione spaziale si riduce come segue: Rs = (((Pixel size / Ingrandimento) * 2.3) / PassoC) *2 Risoluzione spaziale Rs = (((6.4 / 20)*2.3)/0.63)*2 = um NOTA (C)

40 Sistema di Acquisizione delle immagini. Adattatore passo C CCD Camera E possibile variare le dimensioni del campo inquadrato dallo specifico sensore CCD interponendo una lente, usualmente inserita nel raccordo Passo C, tra il piano di fuoco del microscopio (Tube lens) ed il sensore CCD. Il piano focale viene proiettato sul CCD ad una distanza diversa (superiore) rispetto alla distanza originale. Il Passo C risulta più alto. Lente di magnificazione Correzione della parafocalità: Viene regolato il punto di focalizzazione dell immagine fino a farla coincidere con quello visto negli oculari E importante che le lenti utilizzate per variare le dimensioni del campo inquadrato risultino otticamente corrette per le aberrazioni cromatiche che sferiche. Microscopio NOTA (C)

41 Sistema di Acquisizione delle immagini. Adattatore passo C Esempio di visualizzazione di un campo con ingrandimento 20x ripreso utilizzando lo stesso sensore CCD ma con adattatori passo C differenti. Sensore ½ Obiettivo 20X Adattatore Passo C 1.0 X Sensore ½ Obiettivo 20X Adattatore Passo C 0.70X Sensore ½ Obiettivo 20X Adattatore Passo C 0.45X NOTA (C)

42 (C) Risoluzione Immagine Caratteristica dell immagine digitale. Corrisponde al numero di pixel orizzontali / verticali che formano l immagine. Da non confondere con i DPI. 544 x 631 pixel 680 x 789 pixel NOTA (C)

43 Immagini & Computer Snc Via Don Carlo Riva 4 Bareggio (Mi) GRAZIE PER LA VOSTRA ATTENZIONE!