Università di Pisa Corso di Laurea in Terapia Occuapazionale Corso di Bioingegneria applicata alla Realtà Virtuale Anno Accademico 2009/2010 Introduzione alla Realtà Virtuale in Riabilitazione i Stefano Mazzoleni, PhD
Il sistema somatosensoriale Il sistema somatosensoriale, che comprende i recettori della sensibilità somatica, le loro vie centrali e le aree corticali di proiezione, comprende quattro modalità: tattile: ttil tipo di energia dello stimolo meccanica, tipo di recettori meccanorecettori cutanei propriocettiva: tipo di energia dello stimolo meccanica, tipo di recettori meccanorecettori muscolari, tendinei e articolari termica: tipo di energia dello stimolo termica, tipo di recettori termorecettoricutanei del caldo e del freddo nocicettiva: tipo di energia dello stimolo meccanica, termica, chimica, tipo di recettori meccanorecettori, recettori termo-meccanicie recettori cutanei
Tatto Percezione aptica Esterocezione Propriocezione Esterocezione (percezione tattile): Capacita di percepire quantita fisiche misurate all'esterno del corpo Forze Temperature Tessitura delle superfici Umidita ecc... P i i ( i i t ti ) P i ià fi i h h i di l Propriocezione (percezione cinestetica): Percepire quantità fisiche che indicano lo stato interno del corpo (contrazione muscolare, stiramento di tendini e legamenti, posizione degli arti ecc...): Dimensioni Forma Peso Posizione e orientamento nello spazio
Meccanorecettori I meccanorecettori sono sensibili a stimoli meccanici: Tatto Cinestesia: sensazione provocata dai movimenti del proprio p corpo e in particolare dalla contrazione dei muscoli striati Strato corneo: A contatto con l'esterno, lesterno, di spessore variabile. In base alla sue caratteristiche si determina la trasmissione delle forze ai recettori sottostanti Vi sono di 4 differenti tipi di meccanorecettori
Meccanorecettori I quattro tipi di meccanorecettori sono: Collocati negli strati superficiali della pelle Meissner: sensibili ad una pressione prolungata, all inizio e al termine dello stimolo (vibrazioni a bassa frequenza) rapido adattamento Merkel: sentono le pressioni lievi - lento adattamento Collocati nel tessuto sottocutaneo Ruffini: sensibili ad una pressione prolungata, per tutta la durata dello stimolo rapido adattamento Pacini: reagiscono a pressioni forti e rapide (vibrazioni ad alta frequenza) - lento adattamento
Realtà Virtuale e Realtà Aumentata La Realtà Virtuale rappresenta un ambiente interattivo tridimensionale generato dal computer La Realtà Virtuale richiede un immersione dell utente in un ambiente completamente fittizio, dove tutto quello che si percepisce è generato dal computer. L utente t percepisce un ambiente isolato e distinto dall ambiente reale La Realtà Aumentata non isola l utente dall ambiente reale che viene arricchito tramite oggetti virtuali generati dal computer
Realtà Virtuale Per immersione in ambiente virtuale si intende la sensazione di essere effettivamente in tale ambiente e circondato da esso E necessario l utilizzo di differenti stimoli (visivi, acustici, tattili) E necessario che le interazioni avvengano in tempo reale
Interazione con un Ambiente Virtuale La comunicazione tra l utente è l ambiente virtuale viene effettuata mediante differenti interfacce
Interazione con un Ambiente Virtuale Le interfacce aptiche (dal termine greco Haptesthai, che significa ifi relativo al tatto) tt sono dispositiviiti i capaci di fornire una risposta (feedback): Informazioni sul movimento Percezione della posizione degli arti Sensazioni tattili e di contatto con gli oggetti virtuali L utente sente le forze generate in risposta alle forze che egli stesso ha applicato
Interazione con un Ambiente Virtuale Esempi di interfacce aptiche: Joystick con ritorno di forza (force feedback) Guanto interattivo Phantom
Interfaccia aptica Una tipica interfaccia aptica solitamente include uno o più trasduttori elettromeccanici per: applicare stimoli sensoriali a distinte aree del corpo; misurare e registrare i movimenti per replicarli nell ambiente virtuale
Interfaccia aptica Per pilotare i trasduttori e necessario un sistema computazionale che sia in grado di gestire il flusso bidirezionale di informazioni tra l'interfaccia linterfaccia e l'utente Scambio di informazioni simultaneo tra utente e interfaccia aptica Motori e trasmissioni per applicare la stimolazione fisica Elettronica di controllo per sensori e motori Software in grado di gestire algoritmi di simulazione del mondo reale
Tipi di Realtà Virtuale Realtà Virtuale immersiva Realtà Virtuale non immersiva Desktop VR Comandi e controlli Realtà Aumentata t
Realtà Virtuale immersiva Immersiva = interazione completa con l ambiente virtuale Nella Realtà Virtuale immersiva si utilizzano: visori montati in prossimità degli occhi, sensori di posizione in grado di fornire l indicazione dell orientamento del punto di vista dell utente, guanti dotati di sensori per manipolare gli oggetti virtuali e per simulare sensazioni tattili artificiali
Realtà Virtuale non immersiva Desktop VR L ambiente virtuale è presentato sullo schermo di un computer PC, mouse e schermi Giochi Web
Realtà Aumentata Un sistema di Realtà Aumentata (Augmented Reality, abbreviato AR) è un sistema in grado di arricchire una scena reale mediante elementi grafici e testuali Il mondo reale è aumentato, t ovveroarricchito virtualmente it t con informazioni grafiche e testuali addizionali, sincronizzate generate dal computer L elaborazione deve essere effettuata in modo tale che l utente abbia la percezione di una singola scena in cui l ambiente reale e quello virtuale sono indistinguibili Lo scopo della Realtà Aumentata è quello di migliorare la percezione dell ambiente reale e le prestazioni dell operatore
Realtà Aumentata Informazioni aggiuntive Scena reale
Tecnologie per la Realtà Aumentata Head Mounted Display (HMD) Optical see-through: h l utente t indossa un dispositivo dotato di lenti trasparenti su cui viene proiettata una scena virtuale it Video see-through: l utente, con l ausilio di due display, è completamente immerso in un mondo in cui coesistono oggetti reali e oggetti virtuali
Applicazioni di VR in Medicina Pianificazione pre-operatoria Addestramento del chirurgo Computer Aided Surgery Diagnosi Riabilitazione
Applicazioni di VR in Medicina Addestramento del chirurgo I simulatori permettono di: effettuare un addestramento ripetibile, graduabile per difficoltà e adattabile alle esigenze dell allievo chirurgo esercitarsi con patologie rare e difficili da trattarett utilizzare nuove tecniche chirurgiche ripetere più volte la procedura Il chirurgo può preparare l intervento nel modello virtuale 3D, eseguire più volte la procedura ed infine utilizzare il modello virtuale come guida durante l operazione loperazionerealereale
Applicazioni di VR in Medicina L endoscopia virtuale èunatecnicaincuiidatiprovenientida sorgenti non intrusive sono utilizzati per realizzare un ambiente virtuale che può essere esplorato dal chirurgo come se un endoscopio fosse realmente inserito in un paziente Endoscopic Simulation Georgia Institute of Technology and the Medical College of Georgia (USA) www.bitc.gatech.edu edu
Applicazioni di VR in Medicina Training nelle procedure di chirurgia minimamente invasiva Acquisizione e valutazione della prestazione chirurgica
Applicazioni di VR in Medicina video
Applicazioni di VR in Riabilitazione Riabilitazione motoria Riabilitazione cognitiva Apprendimento Trattamento dei disturbi psichiatrici
Applicazioni di VR in Riabilitazione In combinazione con sistemi robotici Sistema GENTLE/S (Gran Bretagna, 2001) Vista del paziente durante esercizi iidi reaching
Applicazioni di VR in Riabilitazione In combinazione con sistemi robotici Sistema ARMEO (Svizzera, 2006) Ortesi per l arto superiore con meccanismo integrato di compensazione del peso. Impugnatura con sensore di pressione per esercizi funzionali di presa. Libreria software con esercizi funzionali per motivare l interazione del paziente.
Applicazioni di VR in Riabilitazione In combinazione con sistemi robotici Sistema ARMEO Esercizi di reaching
Applicazioni di VR in Riabilitazione In combinazione con pedane mobili per la rieducazione dell equilibrio equilibrio e della postura Sistema CAREN