M.E.N.T.I.S. Microscope Embedded Neurosurgical Training and Intra-operative System

Transcript

1 Sistema di Realta Virtuale ed Aumentata per la Neurochirurgia Compusurge meeting M.E.N.T.I.S. Microscope Embedded Neurosurgical Training and Intra-operative System A. De Mauro 1, J. Raczkowsky 1, R. Wirtz 2, M.E. Halatsch 2, H. Wörn 1 1 Institute for Process Control and Robotics, University of Karlsruhe. 2 Neurosurgical Department, University Hospital of Heidelberg. M.Eng A. De Mauro

2 MENTIS Microscope Embedded Neurosurgical Training and Intraoperative System Un sistema di realta mista per interventi di neurochirurgia basato su di un microscopio da sala operatoria per scopi pre- ed intraoperatori. Obiettivi: 1. Visualizzazione in realta aumentata delle strutture anatomiche e patologiche del paziente reale allo scopo di migliorare la precisione del gesto chirurgico. 2. Simulazione realitstica della procedura di palpazione mediante spatula di un glioma di livello basso (low-grade glioma, LGG). -2-

3 Workflow Neurochirurgico Image Processing Segmentazione Modello 3D Surgical planning Registrazione Paziente Tracking (strumenti, microscopio, paziente) Visualizzazione Navigazione, Acquisizione Immagini (CT,MRI) Preoperativa Intraoperativa -3-

4 Modalita visive per il chirurgo Monitor Microscope -4-

5 Task 1 Sistema di Training per Neurochirurghi basato su un Microscopio da sala operatoria Simulazione visuo-tattile della palpazione di un Low Grade Glioma -5-

6 Metodi tradizionali per la formazione chirurgica The Anatomy Lecture of Dr.Nicolaes Tulp (Rembrandt, 1632) -6-

7 Sistema di Training Neurochirurgico 3DSlicer -7-

8 Training System 1. Rendering visuale 3D del paziente reale 2. Interazione aptica con strutture anatomiche rigide o deformabili 3. Tracciamento mediante camere a infrarosso del microscopio e degli strumenti 4. Interazione real-time con 3DSlicer per la navigazione 5. Identificazione empirica dei parametri tessutali del cervello sano e di quello affetto da glioma 6. Test e validazione da parte di neurochirurghi (3 esperti, 12 assistenti) -8-

9 Modellazione Fisica Topologie di modellazione massa-molla applicate ai diversi livelli/strutture anatomiche. -9-

10 Simulazione delle deformazioni dei tessuti Modellazione Massa- Mollal. Differenti livelli di superfici connesse da molle. Buoni risultati per geometrie complesse Simulazione del contatto con le vene superficiali utilizzando la profondita d immagine Descrizione dell ambiente in X3D Speed Accuracy -10-

11 Valutazione Medica Due sessioni di test sono state organizzate presso l ospedale di ULM (Germania). Evaluation Results Il feedback tattile dell interazione con un LGG a con tessuto sano è stato testato da 15 chirurghi (esperti o assistenti) Sono stati giudicati come buoni i risultati ottenuti per la simulazione di tessuti deformabili interazione con oggetti rigidi. Realism Brain-LGG palpation Skull interaction Il sistema e stato giudicato abbastanza realistico da poter essere utilizzato per il training. Medical Doctors -11-

12 Task 2 Estensione alla Realta Aumentata ed alla navigazione intraoperatoria -12-

13 Microscopio in Realta Aumentata Prototipo -13-

14 Microscopio in Realta Aumentata Visuale Oculare: vista reale (sinistra) e realta aumentata (destra). Il contorno giallo definisce l area per la cranotomia. -14-

15 Tracciamento e Navigazione Tracked tool Tracked tool Camera Microscope Mirror Pattern -15-

16 Registrazione del Paziente Point based registration 2 3 Registration 1 L analisi degli errori mostra un FLE di 0.35 mm e un FRE di 0.10 mm dato dala differenza tra la posizione dei punti sul modello originale e quella degli stessi punti riproiettati dopo la registrazione. -16-

17 Conclusioni L architettura del primo simulatore basato su microscopio chirurgico e stata definita e realizzata. Il software offre stereo-rendering di ambienti virtuali complessi (su schermo e negli oculari del microscopio) ed e integrato con un interfaqccia aptica. Il paziente 3D patient e modellato dalle immagini del paziente reale e fisicamente per una simulazione realistica. Il sistema interagisce con un ambiente di navigazione complessa (3DSlicer) mediante un modulo realizzato ad-hoc. Registrazione del paziente e calibrazione della camera. L equilibrio tra accuratezza e carico computazionale e stato rispettato (i frame rate relativi al rendering grafico ed aptico offrono sufficiente realismo) La prima valutazione medica ha avuto esito positivo riguardo l interazione tcon tessuti e organi. Il prototipo si basa sui concetti di open source e portabilita. -17-

18 Grazie per l attenzione URL: demauro@ira.uka.de -18-