Fusione delle Immagini in Radioterapia Riccardo Ragona Università di Torino

Transcript

1 Fusione delle Immagini in Radioterapia Riccardo Ragona Università di Torino Introduzione Transformazioni Algoritmi Visualizzazione Validazione Applicazioni Conclusioni

2 Perche la Fusione delle Immagini? CT MRI PET Risoluzione spaziale Contrasto tessuti molli Attività metabolica

3 Tipologia delle Immagini Immagini Mono-Modalità Prodotte dalla stessa modalità di imaging ( MR : T1 versus T2??) Immagini Multi-Modalità Prodotte da differenti modalità di imaging

4 Tipologia della Fusione Mono-Modalità Multi-Modalità Da Modello a Paziente Da Paziente a Modello

5 Tipologia delle Immagini Classe Anatomica Funzionale 3D CT, MR, US PET, SPECT, fmri. 2D CR, DRR, EPID Scintigrafia Planare

6 Dataset di Immagini E un problema 3D!

7 DICOM DICOM-RT Patient Study Study Image RT S.S RT Dose RT Plan RT Image Segmentazione RT Treatment Record

8

9

10 Confronto delle Immagini : Terminologia (Co-)Registrazione delle Immagini 1. Processo che crea una relazione fra due datasets 2. Comporta una trasformazione di coordinate di un dataset Fusione delle Immagini 1. Sintesi di due o più segnali appartenenti a differenti datasets in un singolo dataset

11 Registrazione delle Immagini E il requisito fondamentale per la Fusione delle Immagini

12 Registrazione & Fusione Immagini 2 datasets? MR SPECT

13 La Registrazione deve tener conto delle : Differenze nella geometria di acquisizione Orientamento, ingrandimento e spessore Slice Differenze nella posizione del paziente Lettino, setup e movimenti del Paziente Deformazioni dell anatomia - resezione/deformazione/crescita Tumore - differente riempimento retto/vescica/ - movimento organi: prostata, fegato, polmone

14 Scopo della Fusione di Immagini Diagnostico ( Radiodiagnostica & Med Nucleare ) Anatomico-Morfologico ( Radioterapia )

15 Registrazione di 2 datasets di immagini Medesimo Paziente?

16 Imaging in Radioterapia Studio A = Dataset Primario Elevata risoluzione spaziale ed accuratezza geometrica

17 Imaging in Radioterapia Informazioni per il calcolo della dose

18 Fusione delle Immagini in Radioterapia Introduzione Transformazioni Algoritmi Visualizzazione Validazione Applicazioni Conclusioni

19 Registrazione di 2 datasets di immagini

20 Trasformazioni geometriche Rigida Affine Proiettiva Deformabile

21 Trasformazione geometrica Rigida traslazione, rotazione e scala Affine Anche shearing (linee parallele) Proiettiva Il parallelismo delle linee può non essere preservato Deformabile Mapping fra linee e curve Studio A Studio B

22 Trasformazione Rigida 5 parametri in 2D - 9 parametri in 3D Traslazione(t) Rotazione(R) Similarità o scala(s) y x p y x p 2 p 1 sr t p ) cos( ) sin( ) sin( ) cos( R s s s t t t

23 Trasformazione geometrica Rigida traslazione, rotazionie e scala Affine Anche shearing (linee parallele) Proiettiva Il parallelismo delle linee può non essere preservato Deformabile Mapping fra linee e curve Studio A Studio B

24 Trasformazione Affine Rotatione Traslazione Scala Shearing x y 2 2 a a a a a a x y Lunghezze ed angoli non sono preservati Linee parallele sono preservate 1 1

25 Trasformazione geometrica Rigida Traslazione, rotazione e scala Affine Anche shearing (linee parallele) Proiettiva Il parallelismo delle linee può non essere preservato Deformabile Mapping fra linee e curve Studio A Studio B

26 Perspective Transformation (Planar Homography)

27 Trasformazione geometrica Rigida Traslazione, rotazione e scala Affine Anche shearing (linee parallele) Proiettiva Il parallelismo delle linee può non essere preservato Deformabile (non-affine) Mapping fra linee e curve Studio A Studio B

28 Affine Non Affine

29 Fusione delle Immagini in Radioterapia Introduzione Transformazioni Algoritmi Visualizzazione Validazione Applicazioni Conclusioni

30 Registrazione di 2 datasets di immagini

31 Registration Metrics E una funzione scalare che contiene informazioni di entrambi i datasets Tipicamente occorre determinare il suo valore minimo (massimo)

32 Registration Metrics Metodi usati per costruire una Metrica : Landmark based Edge based Voxel intensity based Information theory based G e o m e t r y I n t e n s i t y

33 Landmark based Identificazione dei punti corrispondenti nei due datasets (almeno 4 non coplanari) Tipi di landmarks (invasivi/non invasivi) Esterni Markers cutanei visibili Interni Riferimenti anatomici interni Markers interni

34 Edge - Surface based Metodo Extrazione delle corrispettive superfici Calcolo della trasformazione che minimizza le distanze fra le due superfici Algoritmi usati The Head and Hat Algorithm The Iterative Closest Point Algorithm Chamfer Algorithm

35 Voxel intensity based Metodo Si ottimizano talune misure calcolate direttamente dai valori di intensità dei pixel Algoritmi usati Minimizzazione delle differenze di intensità Tecniche di correlazione Rapporto dell uniformità delle immagini

36 Registrazione di immagini di uguale modalità Tipica metrica è la somma dei quadrati delle differenze dei valori di intensità dei voxel La metrica non è efficace per immagini provenienti da differenti modalità (MR T1 versus T2??)

37 Mutual Information Teoria dell Information : Poichè sia MR sia TC descrivono entrambe la medesima anatomia, deve esistere una mutual information fra i due datasets di immagini Non richiede nessun modello di relazione a priori La massima Information la si ha quando i due datasets sono correttamente registrati

38 Entropia come misura della Information La proposta di Shannon (Shannon s Entropy 1948) H p log i i 1 p i L Information dipende linearmente dalla propabilità p i che un evento si verifichi Il secondo termine comporta che l Information sia inversamente proporzionale alla probabilità che si verifichi

39

40

41 4/16 3/16 3/13 6/16

42

43 Teoria basata sull Information Scopo della teoria è la ricerca della geometria nella quale è massima la quantità di Information condivisa fra le due immagini Joint Entropy Joint Entropy : misura la quantità di Information nei due datasets combinati

44

45

46

47 Entropy & Image Registration La Joint Entropy è analogamente definita come: H( A, B) p( i, j) log[ p( i, j)] i, j La dispersione nell istogramma Joint deve essere minimizzata

48 Mutual Information (MI) H : entropia - misura la quantità di Information I : Mutual Information - una Metrica che misura la dipendenza statistica fra i due datasets di immagini

49 Mutual Information La Mutual Information è proporzionale alle entropie dei singoli datasets Massimizzare la funzione Mutual Information è equivalente a minimizzare la Joint Entropy

50 Mutual Information E indipendente dalla modalità con cui i datasets di immagini sono prodotti E più efficace della Joint Entropy (immagini con background dominante)

51 M.I. for Image Registration

52 M.I. for Image Registration

53 M.I. for Image Registration

54

55 Algoritmi di Ottimizzazione Simplex Gradient Descent Quasi-Newton Conjugate gradient Stocastic gradient (Simulated Annealing).

56

57

58

59

60

61 Trasformazione geometrica Studio A Studio B

62 Trasformazione Locale : Clipbox

63 Trasformazione Locale : Clipbox & Structure w1 Clipbox + w2 Structure

64 Trasformazione geometrica Affine Non-Affine (Deformabile) Splines Demons Physics based Elastic, Fluid, FEM etc.

65 Deformable Transformation y y Transform Fixed Image x Moving Image x

66 Deformable Transformation y y Transform Fixed Image x Moving Image x

67 Registrazione Deformabile : Algoritmi Parametric BSpline Deformazione elastica di una griglia. L ottimizzazione cerca la disposizione ottimale dei nodi (Knots). Free form Demons Matches delle intensità tramite lo studio dei gradienti. Finite Elements Models (FEM) Modellizza lo spostamento delle strutture usando modelli fisici.

68 Registrazione Deformabile Mono-Modalità L allineamento Deformabile è in accordo con le variazioni anatomiche CT CBCT Deformations

69 QUANDO è necessaria una registrazione deformabile? Variazioni di volume del Tumore o dei tessuti molli sono ignorati dalla trasformazione Affine CT Una trasformazione Rigida è richiesta prima di una trasformazione Deformabile

70 Registrazione Deformabile : Algoritmi Parametric BSpline Deformazione elastica di una griglia. L ottimizzazione cerca la disposizione ottimale dei nodi (Knots). Free form Demons Matches delle intensità tramite lo studio dei gradienti. Finite Elements Models (FEM) Modellizza lo spostamento delle strutture usando modelli fisici.

71 Demons Registration: Type 1 Transform Studio A Vector Field Studio B

72 Demons Registration: Type 1 Transform Studio A Vector Field Studio B

73 Registrazione Deformabile : Algoritmi Parametric BSpline Deformazione elastica di una griglia. L ottimizzazione cerca la disposizione ottimale dei nodi (Knots). Free form Demons Matches delle intensità tramite lo studio dei gradienti. Finite Elements Models (FEM) Modellizza lo spostamento delle strutture usando modelli fisici.

74 Confronto fra Trasformazioni Rigid Bspline Demons

75 Tipologia della Fusione Mono-Modalità Multi-Modalità Da Modello a Paziente (riconoscimento e segmentazione strutture del paziente) Da Paziente a Modello

76

77

78 Tipologia della Fusione Mono-Modalità Multi-Modalità Da Modello a Paziente Da Paziente a Modello

79

80 Fusione delle Immagini in Radioterapia Introduzione Transformazioni Algoritmi Visualizzazione Validazione Applicazioni Conclusioni

81 Visualizazione

82 Fusione delle Immagini in Radioterapia Introduzione Transformazioni Algoritmi Visualizzazione Validazione Applicazioni Conclusioni

83 Validazione

84 Fusione delle Immagini in Radioterapia Introduzione Transformazioni Algoritmi Visualizzazione Validazione Applicazioni Conclusioni

85 1 Identity Matrix

86 1

87 1

88 2

89 2

90 3

91 3

92 4

93 4 Ca Base Lingua Ca Polmone 2011

94 4 Rigida + Deformabile

95 4 Somma Dosi Midollo

96 Fusione delle Immagini in Radioterapia Introduzione Transformazioni Algoritmi Visualizzazione Validazione Applicazioni Conclusioni

97

98 Registrazione Deformabile (???) Studio A Studio B