Introduzione alla Realtà Virtuale e Realtà Aumentata in Medicina

Transcript

1 Dipartimento di Ingegneria dell Innovazione Università del Salento, Lecce & Consorzio SPACI (Southern Partnership for Advanced Computational Infrastructure) Introduzione alla Realtà Virtuale e Realtà Aumentata in Medicina Lucio Tommaso De Paolis, Giovanni Aloisio

2 Realtà Virtuale e Realtà Aumentata 2

3 Realtà Virtuale e Realtà Aumentata la Realtà Virtuale rappresenta un ambiente interattivo tridimensionale generato dal computer la Realtà Virtuale richiede un immersione dell utente in un mondo completamente fittizio, dove tutto quello che si percepisce è generato dal computer e dove l utente si ritrova in un mondo distinto, isolato da quello reale la Realtà Aumentata non isola l utente dal mondo reale che viene arricchito tramite oggetti virtuali generati dal computer 3

4 Realtà Virtuale Per immersione in un ambiente virtuale si intende la sensazione di essere effettivamente in tale ambiente e circondato da esso Per creare un senso di immersione è necessario essere circondati da svariati stimoli secondo le regole del mondo reale E necessario che le interazioni avvengano in tempo reale

5 Interazione con un Ambiente Virtuale L interfaccia funziona come una specie di traduttore capace di permettere la comunicazione tra l utente e l ambiente virtuale

6 Interazione con un Ambiente Virtuale Occorre disporre di un interfaccia avanzata uomo-macchina capace di: registrare i movimenti dell uomo per replicarli nell ambiente generare sull uomo stimoli sensoriali provenienti dall ambiente

7 Interazione con un Ambiente Virtuale Le interfacce aptiche sono dispositivi capaci di fornire: informazioni sul movimento percezione della posizione spaziale degli arti sensazioni tattili e di contatto con gli oggetti virtuali L utente sente le forze generate in risposta alle forze che egli stesso ha applicato

8 Realizzazione dell Ambiente Virtuale

9 Interazione con l Ambiente Virtuale rilevazione delle collisioni calcolo delle forze di collisione modellazione fisica dei tessuti

10 Interazione con l Ambiente Virtuale Modellazione delle proprietà anatomiche del cervello

11 Realtà Aumentata un sistema di Realtà Aumentata è un sistema che, acquisendo una scena reale, è in grado di arricchire tale scena di elementi grafici il mondo reale è aumentato, ovvero virtualmente arricchito, con informazioni grafiche e testuali addizionali, sincronizzate e generate dal computer il tutto deve essere elaborato in maniera ottimale, ovvero in maniera tale che l utente abbia la percezione di una singola scena nella quale il reale ed il virtuale sono due entità indistinguibili scopo della Realtà Aumentata è di migliorare la percezione del mondo e le prestazioni dell operatore 11

12 Tecnologie per la Realtà Aumentata la scelta della tecnologia dipende fondamentalmente dai requisiti che il sistema di Realtà Aumentata richiede optical see-through video see-through retinal display handheld display 12

13 Tecnologie per la Realtà Aumentata visori optical see-through si tratta quindi di tecnologie parzialmente trasmittenti poiché, guardando attraverso la lente, si può vedere l immagine virtuale sovrapposta a quella reale tali sistemi molto simili agli Head-Up Display usati dai piloti degli aerei militari una caratteristica dei combinatori ottici è che riducono l intensità della luce della scena reale 13

14 Tecnologie per la Realtà Aumentata visori optical see-through 14

15 Tecnologie per la Realtà Aumentata visori video see-through usano due telecamere, una per ciascun occhio, con le quali acquisiscono l'immagine reale si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l immagine del mondo reale è mescolata elettronicamente con l immagine generata dal computer ed esposta sul display a cristalli liquidi dello schermo questa scelta permette di realizzare effetti visivi più complessi 15

16 Tecnologie per la Realtà Aumentata visori video see-through 16

17 Tecnologie per la Realtà Aumentata l approccio ottico rispetto all utilizzo di un video see-through ha i seguenti vantaggi: semplicità: il blending ottico è più semplice e sicuramente più conveniente di quello video risoluzione: le tecnologie video limitano sicuramente la risoluzione della scena nessun offset dell occhio: con i video see-through il punto di vista dell utente coincide con quello della video camera 17

18 Tecnologie per la Realtà Aumentata utilizzare un visore video see-through fornisce dei vantaggi: luce e trasparenza degli oggetti virtuali: nei visori optical seethrough l oggetto virtuale non oscura completamente la scena reale quando si sovrappone su di essa largo campo di visuale: con i video see-through si raggiunge certamente un largo campo di visuale ritardi visuali: i sistemi ottici offrono una vista quasi istantanea del mondo reale, ma una visione ritardata dell oggetto virtuale 18

19 Tecnologie per la Realtà Aumentata retinal display proiettano un fascio di luce direttamente sulla retina l osservatore ha l illusione di vedere l immagine come se fosse su un display a 14 a 50 cm caratteristiche: alta risoluzione luminosità 19

20 Tecnologie per la Realtà Aumentata 20

21 La Registrazione in AR preciso allineamento e sincronizzazione di due o più sensoriali elementi tutte le tecniche necessarie affinché precisione nell ambiente reale l oggetto virtuale si collochi con una delle maggiori difficoltà è il calcolo in real-time del punto di vista dell utente occorrono precisi algoritmi o metodi basati su fiducial point per posizionare con precisione il modello virtuale nella scena reale particolarmente critica nelle applicazioni in medicina 21

22 Applicazioni di VR in Medicina Pianificazione pre-operatoria Training del chirurgo Computer Aided Surgery Diagnosi Riabilitazione

23 Applicazioni di VR in Medicina I vantaggi offerti dall'approccio mini-invasivo: ridotto sanguinamento intra-operatorio grazie all'accurata emostasi; precoce mobilizzazione; ridotto dolore post-operatorio; minore impatto psicologico; precoce ripresa delle normali attività; indubbi vantaggi estetici.

24 Applicazioni di VR in Medicina Training chirurgico I simulatori permettono di: effettuare un addestramento ripetibile, graduabile per difficoltà e adattabile alle esigenze del discente esercitarsi con patologie rare e difficili da trattare utilizzare nuove tecniche chirurgiche ripetere più volte la procedura Il chirurgo può preparare l intervento nel modello virtuale 3D, eseguire più volte la procedura ed, infine, utilizzare il modello virtuale come guida durante la reale operazione

25 Applicazioni di VR in Medicina Training nelle procedure di chirurgia minimamente invasiva

26 Applicazioni di VR in Medicina LAP Mentor II Simbionix USA Corp. 26

27 Applicazioni di VR in Medicina LAP Mentor II Simbionix USA Corp. 27

28 Applicazioni di VR in Medicina LapSim System Surgical Science Ltd - Sweden

29 Applicazioni di VR in Medicina VEST System One (VSOne) Karlsruhe Virtual Endoscopic Surgery Trainer (VEST) www-kismet.iai.fzk.de

30 Applicazioni di VR in Medicina Procedicus MISTTM Mentice - Sweden By courtesy of Mentice Il sistema fornisce una serie di esercizi per il training su alcune procedure quali la colicistectomia Il sistema permette di valutare le prestazioni

31 Applicazioni di VR in Medicina L endoscopia virtuale è una tecnica in cui i dati provenienti da sorgenti non intrusive sono utilizzati per realizzare un ambiente virtuale che può essere esplorato dal chirurgo come se un endoscopio fosse realmente inserito in un paziente Endoscopic Simulation Georgia Institute of Technology and the Medical College of Georgia

32 VR e Riabilitazione Poter disporre di un ambiente virtuale nel quale il paziente possa navigare offre notevoli possibilità di training rieducativo in malati con deficit motorio Al medico interessa evocare condizioni capaci di suscitare un coinvolgimento della coscienza e del subconscio La possibilità di disporre di canali percettivi alternativi rappresenta un sicuro vantaggio in campo riabilitativo

33 Applicazioni di AR in Medicina l obiettivo è visualizzare strutture anatomiche o patologiche che non possono essere viste direttamente tramite la sovrapposizione di modelli 3D virtuali alla vista reale del paziente il paziente diventa trasparente le interfacce di AR forniscono ai medici una visione quasi a raggi X si utilizzano immagini mediche ad alta risoluzione durante l operazione per sovrapporle all area chirurgica

34 Applicazioni di AR in Medicina Esempio di sovrapposizione di informazioni 3D ricavate da una risonanza magnetica per applicazioni in chirurgia ortopedica Esempio di biopsia guidata da un sistema AR che mette in evidenza il profilo ecografico

35 Applicazioni di AR Medicina IRCAD (Istitut de Recherche Contre le Cancers de l Appareil Digestif) Strasburgo - Francia per l apparato digestivo sono stati sviluppati sistemi che permettono di automatizzare la procedura chirurgica ODYSSEUS Project: 3D patient modelling, cooperative surgical planning and simulation in robotized surgery 35

36 Applicazioni di AR in Medicina CAMP (Computer Aided Medical Procedures) Monaco - Germania 36

37 Applicazioni di AR in Medicina 37

38 Interfaccia virtuale 38

39 Interfaccia virtuale cursor position action buttons selection buttons active interaction modality 39

40 Interfaccia virtuale 40

41 Dipartimento di Ingegneria dell Innovazione Università del Salento, Lecce & Consorzio SPACI (Southern Partnership for Advanced Computational Infrastructure) Prof. Giovanni Aloisio Ing. Lucio Tommaso De Paolis