Lez. 15 Registrazione

Transcript

1 Lez. 15 Registrazione Prof. Giovanni Mettivier 1 Dott. Giovanni Mettivier, PhD Dipartimento Scienze Fisiche Università di Napoli Federico II Compl. Univ. Monte S.Angelo Via Cintia, I-80126, Napoli mettivier@na.infn.it

2 Oggigiorno la maggior parte delle immagini mediche sono digitali. Differenti immagini dello stesso paziente contengono differenti informazioni il più delle volte complementari. Per usare tutte queste informazioni bisogna effettuare un processo di registrazione. Giovanni Mettivier 3 Allineare spazialmente due immagini oppure stabilire un comune riferimento geometrico. Giovanni Mettivier 4

3 Giovanni Mettivier 5 Combinare le informazioni da modalità multiple di imaging Monitorare cambiamenti nella forma, dimensione o intensità dell immagine su intervalli di tempo che possono variare da alcuni secondi a molti mesi/anni. Relazionare immagini pre-operatorie a piani chirurgici al paziente reale in radioterapia o chirurgia radio-guidata. Relazionare l anatomia di un individuo a quella standard in un atals. Giovanni Mettivier 6

4 Nella registrazione le immagini vengono traslate, ruotate e corrette per le distorsioni geometriche attraverso trasformazioni geometriche per essere allineate per le analisi successive. Giovanni Mettivier 7 Le trasformazioni usano una immagine e un insieme di limitazioni matematiche come dati di ingresso, e calcolano una immagine trasformata, che è usualmente una variante geometrica dell immagine originale. E importante selezionare una trasformazione che modificherà solo le distorsioni spaziali dovute a differenze in acquisizione, es. posizione paziente/strutture, FoV. Nuove caratteristiche introdotte dai processi di registrazione non devono interferire con l informazione diagnostica. Le trasformazioni più popolari per la registrazione includono, Rigido, Affine, Proiettivo, Prospettiva, polinomiale globale Giovanni Mettivier 8

5 La registrazione tratta immagini allineate in modo che le caratteristiche corrispondenti possono essere facilmente messe in relazione. Giovanni Mettivier 9 Consideriamo per esempio, uno studio della perfusione celebrale utilizzante un agente di contrasto. In questo caso, il moviemento della testa può essere sia rotazionale che traslazionale, ed entrambi possono essere corretti per effettuare un analisi ROI delle curve intensità-tempo dalle quali i valori di perfusione sono ricavati. Giovanni Mettivier 10

6 Un ulteriore esame è lo studio della perfusione del miocardio con mezzo di contrasto. La funzione contrattile del ventricolo destro è presa in considerazione attraverso l acquisizione del tracciato ECG che fornisce il segnale di acquisizione in un opportuno punto del ciclo cardiaco. Giovanni Mettivier 11 Esempio: Imaging Cardiaco Giovanni Mettivier 12

7 Comunque, anche il moto respiratorio può causare una traslazione di circa 3 cm dalla fine dell inspirazione alla fine della espirazione, con una considerevole variazione sia in ampiezza che in periodicità, siccome la respirazione ha una componente volontaria per il suo controllo. Quindi, è necessario registrare il ventricolo sinistro attraverso un insieme di immagini per ottenere una curva di intensità. Giovanni Mettivier 13 Ci sono anche gli studi angiografici in cui lo stesso set di immagini sono acquisite prima e dopo l inserimento del mezzo di contrasto per rimuovere l intensità del tessuto statico (migliorando il contrasto del vaso). Qualsiasi movimento tra le acquisizioni deve essere corretto dalla registrazione. Come gli studi di perfusione dinamica, l angiografia è acquisita attraverso il ciclo cardiaco dinamico. Le immagini devono essere registrate per fornire curve tempo-velocità reali. Giovanni Mettivier 14

8 Immagine 3D di una CT con DSA: Vasi sanguigni nel cervello Radiografia con DSA Anche se lo stesso strumento di imaging prende le due immagini, è necessaria la registrazione per compensare piccoli spostamenti nella posizione del paziente e il movimento dell organo. Giovanni Mettivier 15 Giovanni Mettivier 16

9 Un altra classe di studi che richiede la registrazione sono gli studi seriali di lungo termine, come potrebbe essere il tracciamento del progresso della terapia tumorale. In questo caso, è necessario tracciare la dimensione e la distribuzione delle strutture su periodi di settimane e mesi Diversamente dagli studi dinamici appena menzionati, il paziente lascia lo scanner alla fine di ogni sessione di acquisizione, questo significa che sarà necessario applicare traslazioni, rotazioni e angolazioni. Giovanni Mettivier 17 Giovanni Mettivier 18

10 Giovanni Mettivier 19 I passi in un processo di registrazione sono: - Preprocessing può includere lo smooting, deblurring, edge enhancement, segmantazione - Selezione delle caratteristiche Estrazione delle regioni, punti, linee, che forniscono i controlli - Corrispondenza Stabilire la corrispondenza tra le caratteristiche tra le diverse immagini Giovanni Mettivier 20

11 - Selezione delle funzioni di trasformazione Basate sulla natura delle caratteristiche di controllo e del loro numero Determinate anche dalla presenza e dal tipo di distorsione geometrica - Ricampionamento Stabile l intensità del pixel dall immagine trasformata al sistema di coordinate dell immagine di riferimento. Giovanni Mettivier 21 Definire la trasformazione T su una delle immagini Comparare X e T(Y) utilizzando sia delle caratteristiche sia il contenuto dell immagine Rifinire T e ripetere, finchè non si raggiungono i criteri fissati Giovanni Mettivier 22

12 Dati due insiemi 3D di punti corrispondenti {x i }, {y i } Trovare il moto rigido H tra l insieme dei punti: Dove H è una trasformazione rigida 6-DOF In coordinate omogenee: Giovanni Mettivier 23 Una classe di processi di registrazione esamina la correlazione dell immagine. Se due immagini sono fondamentalmente identiche, differenziandosi al più di un fattore di scala uniforme, allora il rapporto delle intensità dei pixel dovrebbe essere costante sull intera immagine. Se una delle immagini è poi traslata relativamente all altra, la deviazione standard del rapporto dell intensità cambierà. Giovanni Mettivier 24

13 Un approccio al problema della registrazione potrebbe allora essere traslare iterattivamente una immagine relativamente all altra, e calcolare la deviazione standard del rapporto dei pixel ad ogni step, concludendo il processo con la versione che fornisce il valore più basso. Il tempo di esecuzione del programma può essere minimizzato specificando i limiti alla traslazione e alla rotazione basata sulle tipiche caratteristiche del moto visto nello studio. Giovanni Mettivier 25 Nel programmare questo processo: - Iterare traslazione di una immagine su x, y, f - Calcolare il rapporto delle immagini (cercare per /0) - Mascherare l immagine rapporto per >0.2 - Rimuovere NaN dalla immagine rapporto - Calcolare la media e la deviazione standard della immagine rapporto - Comparare media e deviazione standard con altre prove per uguagliare la media e minimizzare la deviazione standard Giovanni Mettivier 26

14 Per esempio, in uno studio di perfusione celebrale dinamico, non è possibile per la testa del paziente ruotare più di alcuni gradi, quindi non è necessario fare valutazioni su rotazioni maggiori di 45. Nello stesso modo, in uno studio di perfusione del miocardio, la respirazione non po causare una traslazione del cuore maggiore 10 cm, quindi non c è bisogno di effettuare iterazioni basate su questo grado di traslazione. Una tale informazione a priori è spesso usata nello stabilire limiti condizionali nella registrazione dell immagine. Giovanni Mettivier 27 Questo metodo è limitato principalmente ai casi dove c è solo traslazione (in una o due dimensioni) e rotazione. Esso non corregge per distorsione angolari o geometriche (come po accadere con certe radiografie o procedure MRI). Giovanni Mettivier 28

15 Correlazione è un approccio su base statistica al problema della registrazione. Non è un metodo di registrazione, ma è usato come una metrica di similitudine per la valutazione il risultato di alcune operazione di trasformazione contro una riferimento (spesso come parte di una operazione sequenziale come precedentemente discusso). Giovanni Mettivier 29 Assumiamo una immagine di template T, e una immagine test I, la correlazione 2D normalizzata è data da: Giovanni Mettivier 30

16 Quando il template uguaglia l immagine di test (forse con l eccezione di un fattore di scala di intensità) il valore della correlazione raggiungerà il suo picco. Calcola C su tutte le possibili traslazioni (e rotazioni, se applicabile). Usa il C normalizzato per prevenire le variazioni di intensità di immagine locale dall influenza del confronto. Giovanni Mettivier 31 Nota che la correlazione è legata al più intuitivo indice che semplicemente somma le differenze in valori pixel tra l immagine di test e di riferimento. Un altra misura di similitudine tra l immagine di test e quella di riferimento è il coefficiente di correlazione: Giovanni Mettivier 32

17 dove µ T e σ T sono la media e la deviazione standard dell immagine template, con µ 1 e σ 1 essendo i valori corrispondenti dell immagine di test. Questa quantità esprime la correlazione nella scala assoluta [-1, 1] Questo può dare una indicazione lineare del grado di similitudine tra le immagini. Questo è di aiuto nel dare una misura quantitativa della confidenza nel match, e agisce come un criterio per l interruzione del processo iterativo. Giovanni Mettivier 33 Nel metodo della correlazione, ogni immagine è trasformata attraverso una traslazione, rotazione, etc, e poi viene effettuata la correlazione. Quando la correlazione è immagini sono registrate. massimizzata, le due Per una questione di efficienza, le dimensioni delle immagini dovrebbero essere una potenza intera di due per premettere l applicazione dell algoritmo di FFT. Giovanni Mettivier 34

18 Un problema con questi metodi statistici è che le immagini rumorose possono produrre picchi di correlazione che non sono facilmente discernibili. La soluzione è l applicazione di un filtro (preferibilmente scelto in base alle caratteristiche del rumore) alle immagini. Ci sono altre funzioni oltre ai metodi di correlazione tradizionali che possono migliorarne l efficienza. Giovanni Mettivier 35 Metodo di Barnea e Silverman Questo metodo è l argoritmo di rivelazione della similitudine sequenziale (SSDA) introdotto da Barnea e Silverman (1972), che propose due miglioramenti rispetto alla velocità di calcolo e la strategia di ricerca. In questo caso, la misura di similitudine è basata sulla differnza assoluta tra i valori dei pixel è data come: Questo è computazionalmente più efficiente che calcolare gli errori al quadrato. Giovanni Mettivier 36

19 Il calcolo del valore normalizzato è anche semplificato: Nel quale T^ e I^ sono le intensità medie dell immagine di template e quella di test rispettivamente (o regioni di test nell immagini). Giovanni Mettivier 37 Il secondo miglioramento del metodo di Barnea e Silverman è stata la strategia di ricerca nella quale in ogni finestra dell immagine, la misura della di similitudine era registrata se superava una soglia. Per ogni finestra, veniva valutato il numero di misure e la finestra con maggio misure era assunta aver prodotto la migliore registrazione. Giovanni Mettivier 38

20 In generale, i metodi statistici possono lavorare bene su dataset di immagini acquisite nella stessa modalità. Per la registrazione tra diverse modalità, è qualche volta preferibile usare metodi basati su caratteristiche o su proprietà invarianti della trasformata di Fourier. Giovanni Mettivier 39 Sebbene la registrazione utilizzante la rappresentazione nello spazio delle frequenze può sembrare meno intuitiva, bisogna ricordare che nel dominio di Fourier, le seguenti operazioni hanno la loro controparte: -Traslazione - riflessione - rotazione - ingrandimento Giovanni Mettivier 40

21 I metodi di Fourier per la registrazione sono robusti in presenza di rumore correlato e dipendente dalla frequenza. Questi metodi sono applicabili solo ad allineamenti rigidi. Il metodo di registrazione di Fourier di base è la correlazione di fase. Questo metodo può essere utilizzato per registrare immagini che sono state traslate. Ci sono delle estensioni del metodo che riescono a tener conto anche della rotazione Giovanni Mettivier 41 Metodo di Kuglin e Hines Il metodo della correlazioe di fase è stato proposto da Kuglin e Hines (1975). Ricordiamo che la FFT di una immagine è una quantità complessa: Giovanni Mettivier 42

22 Il quadrato del modulo descrive la potenza per ogni componente della frequenza, e l angolo di fase è dato da: Giovanni Mettivier 43 Questo metodo si basa sullo teorema di Shift. Se abbiamo due immagini che differiscono solo di uno spostamento: Le due immagini hanno lo stesso modulo di Fourier, ma differiscono in fase di un grado direttamente proporzionale allo spostamento. Perciò, il cross power spetrum dovrebbe fornire una differenza di fase tra le due immagini. Giovanni Mettivier 44

23 Il cross power spectrum è dato da: Il teorema di Shift garantisce che la fase del cross power spectrum è uguale alla differenza di fase tra la rappresentazione delle immagini nello spazio delle frequenze. Giovanni Mettivier 45 Prendendo la IFT del cross power spectrum otterremo una funzione che è approssimativamente nulla ovunque tranne per un impulso nella posizione che rappresenta lo spostamento necessario per registrare le due immagini. Giovanni Mettivier 46

24 Consideriamo le due immagini del cervello traslate tra di loro: Giovanni Mettivier 47 I moduli della FFT sono identici: Giovanni Mettivier 48

25 Il valore asooluto (cross power) spectrum stesso non appare particolarmente rilevate: Giovanni Mettivier 49 La IFT del cross power spectrum, comunque, rivela un singolo picco: Giovanni Mettivier 50

26 Dove si trova? Giovanni Mettivier 51 Siccome MatLab definisce (N/2)+1 punti dal centro, lo spostamento dalla prima immagine alla seconda è dato da x = +4 e y = -3. Questo shift registra le immagini e fornisce una differenza nulla tra le due immagini. Giovanni Mettivier 52

27 La rotazione è semplice da trattare nel dominio di Fourier siccome una rotazione può essere espressa come un semplice spostamento in coordinate polari. Di Castro e Morandi hanno proposto un metodo in due passaggi per trattare allo stesso tempo con la traslazione e la rotazione. Giovanni Mettivier 53 Motodo Di Castro e Morandi Inizia calcolando il cross power spectrum come una funzione dell angolo di rotazione stimato (φ) e usa le coordinate polari per semplificazione: Giovanni Mettivier 54

28 Perciò prima determina φ tale che la IFT fornisce l approssimazione migliore dell impulso. La rimanente traslazione è data dalla posizione dell impulso. Note che (specialmente per) le immagini a bassa risoluzione, può essere necessaria l interpolazione per quei valori della trasformata dopo la rotazione siccome possono non cadere nelle posizioni della griglia discreta. La trasformata può essere applicata a immagini zero-padded per migliorare l approssimazione della trasformata dopo la rotazione. Giovanni Mettivier 55 Una variazione di queste tecniche che può offrire vantaggi nella velocità di calcolo è basata sull uso del power cepstrum delle immagini. Il cepstrum è lo spettro di potenza del logaritmo dello spettro di potenza dell immagine. Prima approssima l angolo di rotazione come prima. Poi si usa lo spettro di potenza per determinare la traslazione come prima Siccome sono usati i logaritmi, le immagini sono sommate piuttosto che moltiplicate e questo offre un vantaggio nella velocità di processamento. Giovanni Mettivier 56

29 Point mapping methods sono quelle tecniche usate quando la natura del dis-allineamento è sconosciuto o difficile da ricavare. Un esempio di questo potrebbe essere l imaging cardiaco dove strutture si muovono l una rispetto all altra come conseguenza del moto respiratorio, che a sua volta è non sincronizzato con il ciclo cardiaco. Giovanni Mettivier 57 Steps nel mappaggio: - Determinare caratteristiche rilevanti - Selezionare i punti di controllo - Mappaggio spaziale - Ricampionamento Giovanni Mettivier 58

30 La selezione dei punti di controllo è determinante per l accuratezza del risultato. I punti di controllo possono essere intrinseci (es. piccole arterie) o estrinseche (oggetti deliberatamente posizionati, fiducial markers) Si preferiscono, generalmente, sempre marker intrinseci. Giovanni Mettivier 59 Immagine stereotassica Metodo invasivo Markers - Invasivi (osso) - non invasivi (pelle) Si ottiene un set 3D di punti utilizzabile per la registrazione Giovanni Mettivier 60

31 Contenuto dell immagine Registrazione in base al valore del pixel/voxel Riferimenti anatomici Oggetti segmentati come riferimento Oppure superfici 3D Giovanni Mettivier 61 Una volta che i punti di controllo sono stati selezionati, le relative posizioni nell immagine di test devono essere identificate, e lo loro locazioni registrate. Questo può essere sia un processo manuale o automatizzato. In questo stadio è necessario una elevata accuratezza. Una volta che le coppie di coordinate dei punti di controllo nell immagini di test e di riferimento sono state determinate, la trasformazione è applicata. Giovanni Mettivier 62

32 Richiamiamo che la traslazione e la rotazione sono date da: Includendo lo scaling, il processo può essere espresso come: Giovanni Mettivier 63 Giovanni Mettivier 64

33 Per casi in cui non c è distorsione geometrica tra due immagini, è possibile ottenere la registrazione specificando due o più punti di controllo. Un punto di controllo è piazzato su una caratteristica che è comune per entrambi le immagini. Per esempio, in molte immagini MR della testa, le arterie ed il cervello sono degli eccellenti punti di controllo per il loro alto contrasto e le piccole dimensioni. Giovanni Mettivier 65 Se la sola differenza geometrica tra le due immagini è la rotazione e lo spostamento, la trasformazione lineare fornirà la registrazione propria. Questo è anche conosciuto come una traslazione di corpo rigido. Giovanni Mettivier 66

34 Il problema della registrazione tra le modalità è complica dal fatto che la risoluzione di un metodo (PET) è molto più basso dell altro (MR). L approccio generale in questo caso sarebbe interpolare l immagine a più bassa risoluzione fino ad uguagliare la dimensione del pixel dell immagine a più alta risoluzione (es > 2562) prima di posizionare i punti di controllo. Giovanni Mettivier 67 Come risultato delle acquisizioni tra le diverse modalità è anche necessario correggere per una differenza di scaling lineare. Il processo della registrazione delle immagini è qualche volta riferita come fusione delle immagini. Questo anche include casi dove immagini funzionali a bassa risoluzione sono registrate su immagini di riferimento anatomica ad alta risoluzione della stessa modalità Giovanni Mettivier 68

35 In più, il caso di uno scaling uniforme, noi possiamo performare la trasformazione usando una trasformazione affine. Questo richiede la conoscenza di tre punti di controllo per generare i sei parametri: Giovanni Mettivier 69 Questo può essere ottenuto con matrici di notazione come: dove X è la matrice di coordinate x di output, W è la matrice delle coordinate di input, e A il vettore dei coefficienti, m è il numero di punti di controllo. Componenti del vettore A sono per traslazione, rotazione e scaling. Giovanni Mettivier 70

36 Lo stesso processo è effettuato per le coordinate y: I coefficienti possono essere determinati come: Giovanni Mettivier 71 Rotazione, traslazione e scaling possono essere determinate dai vettori A e B: Giovanni Mettivier 72

37 La trasformazione Affine è un sottoinsieme lineare delle trasformazioni polinomiali più generali: dove N è il numero di punti non conosciuti Giovanni Mettivier 73 La trasformazione polinomiale generale può coreggere per distorsione geometriche così come la traslazione e rotazione. Comunque, un grande numero di punti di controllo è richiesto (dipendendo dall ordine del polinomio che è stato stato usato). E importante non usare una trasformazione polinomiale dove una Affine è sufficiente siccome facendo così si possono introdurre significanti errori. Giovanni Mettivier 74

38 E importante notare che quando una immagine è trasformata, alcune (o più) delle nuove locazioni dei pixel avranno valori frazionali, cioè, ci sono posti decimali in x e y tale che essi cadono tra indici di pixel interi. Quindi è necessario effettiare un ricampionamento per eliminare questo problema. Il ricampionamento è un processo di interpolazione che rende l immagine di uscita in una matrice indicizzata intera. Giovanni Mettivier 75 Giovanni Mettivier 76

39 Il più semplice (e veloce) metodo di ricampionamento è il nearest neighbor resampling nel quale i valori del nuovo pixel preso sul valore del pixel più vicino. Questo può introdurre comunque artefatti, in particolare lo stair-casing effetto lungo i bordi dritti. Più accurato è il ricampionamento con interpolazione bi-lineare che basa il valore del nuovo pixel in base ai sui 4-vicini. Questo prende più tempo del nearest-neighbor ed sfumerà i bordi, ma l artefatto stair-casing sarà significativamente ridotto. Giovanni Mettivier 77 L interpolazione bilineare è definita come: I(X,Y) = W u.v I(u,v) + W u+1,v I(u+1,v) + W u,v+1 I(u,v+1) + W u+1,v+1 I(u+1,v+1) dove u e v rappresentano le parti intere di X e Y. X e Y possono assumere valori frazionali E dove: W u,v = (u+1-x)(v+1-y) W u+1,v = (x-u)(v+1-y) W u,v+1 =(u+1-x)(y-v) W u+1,v+1 = (x-u, y-v) Giovanni Mettivier 78

40 Il metodo dell interpolazione cubic spline è realizzato sulle righe e poi sulle colonne. Date le intensità I -1, I 0, I 1, I 2, la curva cubic spline che approssima questi valori nel range 0<u<1 è data da: dove b -1 (u) = (-u 3 +3u 2-3u +1 )/6 B 0 (u) = (3u 3-6u 2 +4)/6 B 1 (u) = (-3u 3 +3u 2 +3 u+1 )/6 B 2 (u) = u 3 /6 Per interpolare le intensità, è necessario determinare I j da I i : Giovanni Mettivier 79 La trasformazione rigida è usata per tener conto del movimento soggetto/struttura nei casi dove l oggetto mantiene la sua forma e dimensione (es. testa). Essa è una combinazione di traslazioni (1D o 2D), rotazione, e variazioni di scala. Le trasformazioni affini sono più generali e possono trattare distorsioni geometriche più complesse rimanendo allo stesso tempo computazionalmente stabile. Giovanni Mettivier 80

41 Trasformazioni proiettive correggono per le distorsioni dovute alla proiezione delle strutture variando le distanze della sorgente di radiazione e del piano del rivelatore. La conoscenza a priori della locazione delle strutture è necessaria, ma questa può spesso essere ottenuta dai piani ortogonali delle immagini. La distanza/angolo di un trasduttore può introdurre riduzione/ingrandimento che è dipendente dalla posizione nel volume di imaging. Giovanni Mettivier 81 Le trasformazioni proiettive tengono conto della distorsione che avvengono quando un oggetto 3D è proiettato su un piano 2D. Le distorsioni proiettive appaiono come cambiamenti nelle dimensioni dell oggetto con distanze da l piano di rivelazione e la sorgente di radiazione. Giovanni Mettivier 82

42 Oggetti più vicini alla sorgente ricevono un maggior ingrandimento. M = d/z al piano del rivelatore. Giovanni Mettivier 83 Usando l espressione per il caso mono-energetico, l espressione generale per il segnale del rivelatore può essere riformulata per prendere in considerazione l ingrandimento dipendente dalla profondità di una sorgente puntiforme. Definire l elemento di integrale di linea dr come: L integrazione lineare ora prende posto lungo una linea definita come x = zx d /d e y = zy d /d. Giovanni Mettivier 84

43 Sostituendo noi abbiamo: o in termini di ingrandimento (d/z): Giovanni Mettivier 85 Il posizionamento laterale e la profondità relativa determina la posizione (x,y) sul rivelatore. Giovanni Mettivier 86

44 La dimensione apparente di un oggetto tiltato varia con la profondità, posizione laterale, e angolo di tilt. Giovanni Mettivier 87 Nel caso di un tilt del piano, la trasformazione proiettiva può essere usata (rettificazione); Giovanni Mettivier 88

45 dove (x p, y p ) sono le coordinate del piano soggetto e (x i, y i ) sono le coordinate del piano immagine. I termini a sono costanti che dipenderanno dalla orientazione relativa del paino soggetto e immagine. Se nessuno dei metodi su menzionati sono adeguati per performare le correzioni distorsione, la trasformazione polinomiale può essere tentata. Tali circostanze possono includere distorsioni non lineari dovute alla deformazione dell oggetto. Giovanni Mettivier 89