REALTA VIRTUALE. Dr. Bruno Seraglia Università degli Studi di Padova Dipartimento di Psicologia

Transcript

1 REALTA VIRTUALE Dr. Bruno Seraglia Università degli Studi di Padova Dipartimento di Psicologia

2 VR: Introduzione 1989 Jaron Lanier usa il termine Realtà Virtuale (VR) per la prima volta La VR è descritta come un ambiente simulato al computer con il quale, e all interno del quale, le persone possono interagire.

3 VR: Introduzione 1962 SENSORAMA Morton Heilig immagini stereo 3D (l'utente appoggiava il mento ed aveva il viso inserito in un cono visivo) vibrazioni vento feedback su un manubrio per la sensazione tattile di movimento audio stereofonico sistema per riprodurre i profumi, in modo da fornire sensibilità olfattiva

4 VR: Introduzione 1968 Spada di Damocle Sutherland & Sproull - semplici stanze in wire-frame

5 VR: Introduzione 1977 Aspen Movie Map MIT (Massachusetts Institute of Technology) - simulazione della cittadina di Aspen, Colorado, in cui gli utenti potevano camminare per le vie in tre modalità: inverno, estate e poligonale. Le prime due erano basate su una serie di filmati del luogo montati in modo da coprire ogni possibile percorso tra le strade della città, mentre la terza era una ricostruzione poligonale.

6 VR: Introduzione Alcuni esempi di definizioni: Il termine mondi virtuali, postazioni di lavoro virtuali, abitacoli virtuali, sono stati utilizzati per descrivere progetti specifici. Nel 1989 Jaron Lanier, CEO di VPL, ha coniato il termine Realtà Virtuale per racchiudere tutti questi progetti virtuali all interno di un singolo campo di interesse. Il termine quindi si riferisce a realtà tridimensionali implementate con visori stereoscopici e guanti reali. Krueger, 1991 Definisco una esperienza di realtà virtuale come una esperienza nella quale l utente è effettivamente immerso in un mondo virtuale reattivo. Questo implica da parte dell utente un utilizzo dinamico del punto di vista. Brooks, 1999 E una simulazione nella quale la Computer Grafica è utilizzata per creare mondi dall aspetto realistico. Inoltre, il mondo sintetico non è statico ma risponde agli input dell utente (gesti, comandi verbali). Questo definisce una caratteristica chiave della realtà virtuale, che è rappresentata dall interattività in tempo reale.

7 VR: Introduzione Le basi per l idea della realtà virtuale sono che il computer può sintetizzare/generare un ambiente grafico tridimensionale (3D) a partire da dati numerici. Utilizzando strumenti visivi, aptici (tattili), e sonori, l operatore umano può sentire l ambiente come se fosse parte del mondo reale. Questo mondo generato dal computer può rappresentare: un modello di un oggetto del mondo reale, come una casa; un mondo astratto che non esiste in un senso reale ma viene capito dalla mente umana, come una molecola chimica o la rappresentazione di una serie di dati; infine può essere un mondo fittizio, finto, interamente inventato dall immaginazione.

8 VR: Introduzione Inoltre, siccome gli strumenti di input ricevono le reazioni e le emozioni dell operatore, costui può modificare l ambiente sintetico, creando l illusione di interagire con esso, e quindi immergendosi all interno dell ambiente. I più recenti sviluppi nell ambito della VR si sono avuti nel campo del networking e di internet. Gli ambienti virtuali collegati in rete e le interfacce 3D sono tra le più recenti applicazioni in VR in un mercato crescente di telecomunicazioni.

9 VR: Tecnologia Un sistema di VR è, in sintesi, una combinazione di tecnologie hardware e software che permette agli sviluppatori di creare applicazioni di VR. I componenti hardware ricevono INPUT (segnali in entrata) dagli strumenti controllati dall utente e trasportano OUTPUT (segnali in uscita) per creare l illusione di mondi virtuali. La componente software del sistema di VR gestisce l hardware che compone il sistema di VR. Questo software non è necessariamente responsabile per la creazione del mondo virtuale; un ulteriore software separato (l applicazione di VR) crea il mondo virtuale facendo uso del sistema software specifico per la VR.

10 VR: Tecnologia Tipicamente un sistema di realtà virtuale è composto da: STRUMENTI DI OUTPUT (visivi, sonori, aptici) che immergono l utente all interno dell ambiente virtuale; STRUMENTI DI INPUT (trackers, guanti o mouse, joystick) che continuamente riportano la posizione e i movimenti dell utente; SISTEMA GRAFICO DI RENDERIZZAZIONE (resa grafica), a frame per secondo, che genera l ambiente virtuale; DATABASE DI COSTRUZIONE E SOFTWARE PER LA MODELLAZIONE DEGLI OGGETTI VIRTUALI, per costruire e mantenere modelli dettagliati e realistici del mondo virtuale. In particolare il software gestisce la geometria, le texture, il comportamento intelligente (avatar) e la fisica degli oggetti che compongono l ambiente virtuale

11 VR: Tecnologia A seconda della tipologia di hardware e di software utilizzati si possono distinguere i seguenti sistemi di VR: VR IMMERSIVA L utente è completamente inserito all interno di un ambiente generato dal computer. Questa illusione è prodotta fornendo strumenti immersivi di output (caschi virtuali, bracci robotici con feedback di forza, etc.) e un sistema di tracking testa/corpo che garantisce l esatta corrispondenza e coordinazione dei movimenti dell utente con il feedback dell ambiente

12 VR: Tecnologia VR DESKTOP Utilizza l immersione soggettiva; la sensazione di immersione viene trasmessa attraverso la visione stereoscopica. L interazione con il mondo virtuale avviene attraverso mouse, joystick o altre periferiche tipiche della VR come il guanto virtuale.

13 VR: Tecnologia CAVE Il Cave è una piccola stanza dove un mondo generato dal computer viene proiettato sulle sue pareti: la proiezione è visualizzata sia nella parete frontale che in quella posteriore. Questa soluzione è particolarmente funzionale per esperienze di VR collettive, permettendo a persone differenti di condividere la stessa esperienza nello stesso tempo.

14 VR: Tecnologia REALTÀ AUMENTATA (AUGMENTED REALITY) La visione reale del mondo da parte dell utente è integrata da oggetti virtuali, tipicamente utilizzati per fornire informazioni riguardo l ambiente reale. Ad esempio, nelle applicazioni militari la performance visiva è aumentata da immagini virtuali proiettate su occhiali speciali che anticipano la presenza di altre entità fuori dal campo visivo.

15 VR: Interfacce visuali Le interfacce visuali forniscono, in molti casi le informazioni più importanti e dettagliate riguardo il mondo virtuale. In generale un interfaccia visiva completa consiste di due componenti principali (May e Badcock, 2002): un display visivo e un sistema ottico concomitante che creano un pattern di luce dettagliato e variabile nel tempo sulla retina dell utente; un sistema di posizionamento del display visivo relativo all occhio dell operatore - tracker.

16 VR: Interfacce visuali Tuttavia, le tecnologie attuali utilizzano in modo ottimale le normali capacità visive sensoriali e della visualizzazione in tempo reale di immagini dettagliate ed in continuo movimento, ma contemporaneamente, rimangono degli ostacoli da oltrepassare per gli sviluppatori di VR. In particolare l inadeguato adattamento ottico tra il display e gli occhi dell utente o l inadeguata capacità di canalizzazione dell unità display possono produrre distorsioni spaziali e degradazioni dell immagine. Per questi motivi, della moltitudine di display esistenti attualmente con molteplici opzioni, nessuno è interamente adeguato per tutte le applicazioni.

17 VR: Interfacce visuali Possibili motivi di non diffusione della VR: PREZZO CYBER-SICKNESS PERDITA DI INTERESSE FONTE

18 VR: Interfacce visuali I sistemi display visivi disponibili si possono suddividere in due categorie maggiori: Caschi virtuali (Head-Mounted Display, HMD) Sistemi display esterni (Off-Head Displays)

19 VR: Interfacce visuali Caschi virtuali (head-mounted display, HMDs) I caschi virtuali sono fisicamente agganciati alla testa dell operatore attraverso l installazione di un display hardware all interno di un casco o di una fascia avvolgente indossata dall utente. I tipi di display usati più frequentemente per i caschi virtuali sono i classici tubi a raggi catodici (cathode ray tubes, CRTs) e i display a cristalli liquidi retroilluminati (LCDs). Nella maggior parte dei caschi virtuali, l output visivo è generato dal computer. Per alcuni display che utilizzano la realtà aumentata, tuttavia, si può utilizzare una superficie display semi-trasparente dove viene proiettata l immagine generata dal computer, contemporaneamente mantenendo la visione dell ambiente reale. VIDEO

20 VR: Interfacce visuali Esempi di HMD

21 VR: Interfacce visuali Z800 3D xsight i-trek 3D PC AddVisor 150 VR Pro WUXGA 5DT HMD 800 xsight SIM EYE SR100-A ProView VO35 ProView SR80-A

22 VR: Interfacce visuali

23 VR: Interfacce visuali Display Technology Risoluzione Peso LCOS 1280x kg nvisor sx111 Monocular FOV (Field Of View Campo Visivo) - (diagonale) 90 Monocular HFOV 76 Total HFOV 102 Vertical FOV 64

24 VR: Interfacce visuali

25 VR: Interfacce visuali VANTAGGI Un significativo vantaggio dei caschi virtuali è il fatto che i movimenti del corpo e del collo forniscono un effettivo posizionamento in tempo reale all interno dell ambiente virtuale. SVANTAGGI Svantaggi critici riguardano il peso e il carico inerziale che interferiscono con i movimenti naturali dell utente, la fatica associata a questi fattori, e con molta probabilità l aumento sintomatico del malessere (cyber-sickness) causato dal movimento all interno dell ambiente virtuale e la contemporanea inerzia della testa. Inoltre, è difficile costruire caschi virtuali che siano caratterizzati da una buona risoluzione spaziale, un buon campo visivo, colori leggeri ma reali, confortevoli e che costino poco. Caschi tipici di medi qualità hanno risoluzioni VGA o SVGA (640x480/800x600 pixels tricolori), gradi di campo visivo e una buona saturazione del colore.

26 VR: Interfacce visuali Sistemi display esterni (off-head displays) Includono monitor desktop, tecnologie di proiezione come display panoramici, CAVE, postazioni di lavoro ambienti che circondano l utente con immagini virtuali. CAVE: inizialmente introdotti nell Università di Chicago-Illinois, sono installazioni di VR basate su tecnologie di proiezione che circondano l utente.

27 VR: Interfacce visuali Da 3 a 6 facce di un rettangolo solido sono caratterizzate da schermi a retro-proiezione, ognuno guidato da un unico insieme di sistemi coordinati di generazione dell immagine. Tipicamente le immagini stereoscopiche generate dal computer sono proiettate sulle facce e visualizzate tramite occhiali oscurati che generano l effetto 3D. VIDEO 1 VIDEO 2

28 VR: Interfacce visuali VANTAGGI Il principale vantaggio di questo tipo di tecnologia VR è dato dal fatto che il campo visivo, l area di visualizzazione, è molto ampia, con la possibilità di fornire un esperienza condivisa di VR ad un piccolo gruppo di persone. SVANTAGGI I principali svantaggio sono il costo dei sistemi di generazione multipla di immagini, lo spazio necessario per la retro-proiezione, e le limitazioni nella luminosità e nel contrasto delle immagini dovute alle notevoli dimensioni dello schermo di visualizzazione e alla dispersione della luce. VIDEO

29 VR: Interfacce visuali Una postazione di lavoro VR permette di visualizzare e interagire con scene generate dal computer in un ambiente che è prevalentemente costituito da una superficie piana (ad es. un tavolo).

30 VR: Interfacce visuali La configurazione della postazione di lavoro VR prevede uno schermo piatto a retroproiezione posizionato in modo tale che la lunghezza del tavolo di lavoro si estenda approssimativamente a quella del corpo umano. Le immagini della parte destra e sinistra sono retro proiettate, in modo tale che gli utenti che indossano occhiali oscurati sterescopici, possano visualizzare immagini 3D sopra il tavolo. I membri di un gruppo possono osservare la scena 3D manipolata dal leader del gruppo (attraverso un guanto dotato di tracker o un puntatore laser).

31 VR: Interfacce visuali VANTAGGI Il vantaggio maggiore delle postazioni di lavoro VR è il fatto che 2 o più osservatori possono percepire simultaneamente immagini generate dal computer, mentre osservano contemporaneamente il mondo reale. Questo paradigma si rivela molto utile in diversi compiti della vita reale. Ad esempio, un chirurgo che esegue un intervento chirurgico virtuale, probabilmente non vorrà essere completamente immerso in una stanza virtuale circondato da assistenti virtuali e oggetti virtuali. SVANTAGGI D altra parte, il costo delle postazioni di lavoro VR è molto alto, il senso di immersione è basso e risentono di limitazioni dal punto di vista del contrasto e della luminosità.

32 VR: Interfacce visuali Per Realtà Aumentata si intende l'arricchimento della percezione sensoriale umana mediante informazioni, in genere manipolate e convogliate elettronicamente, che non sarebbero percepibili con i cinque sensi. VIDEO 1 VIDEO 2 VIDEO 3

33 VR: Interfacce visuali Esempi di Realtà Aumentata

34 VR: Interfacce visuali Realtà Aumentata: Applicazioni per cellulari GOOGLE GLASSES VIDEO c6w4ccu9m4

35 VR: Interfacce visuali REALTÀ AUMENTATA Applicazioni per cellulari Layar Reality Browser realtà aumentata che consente di visualizzare informazioni digitali sulla parte superiore di quello che si vede attraverso la telecamera. DanKam realtà aumentata per coloro che sono affetti da daltonismo. È un'applicazione ancora in fase sperimentale, ma potrebbe avere un enorme potenziale. Golfscape GPS Rangefinder realtà aumentata per gli amanti del golf. Più di 35K campi da golf disponibili. Ad esempio, mostra la distanza della parte anteriore, centrale e posteriore del campo da golf.

36 VR: Interfacce visuali Video Wall 3D TV 3D Schermi Autostereoscopici Alioscopy TV

37 VR: Interfacce visuali Alioscopy TV - Funzionamento La tecnologia Alioscopy si basa sull implementazione di 8 punti di vista differenti (POV). Ogni punto di vista è allineato al subpixel del LCD. A seconda della posizione in piedi dell utente, si vedranno solo due degli otto punti di vista.

38 VR: Steroscopia La stereoscopia è una tecnica di realizzazione e visione di immagini, disegni, fotografie e filmati, atte a trasmettere una illusione di tridimensionalità, simile alla visione binoculare dell'occhio umano Sir Charles Wheatstone VISIONE BINOCULARE: gli occhi vedono la stessa scena da due posizioni differenti (a distanza di circa 4-6 cm l'una dall'altra), il cervello unisce queste due immagini ed elabora la profondità. Sovrapponendo le due immagini il cervello valuta la distanza degli oggetti percepiti.

39 VR: Steroscopia SOVRAPPOSIZIONE LUCE-OMBRA DIMENSIONE PROSPETTIVA GRADIENTE INTENSITA

40 VR: Steroscopia Disparità Retinica è la distanza, sull asse orizzontale, tra i punti dell immagine corrispondente destra e sinistra sulle immagini retiniche sovrapposte. Si ha Disparità Zero quando gli occhi convergono contemporaneamente sulle immagini retiniche di un oggetto. L abilità del nostro cervello di combinare le due differenti immagini in una unica è chiamata Fusione e il risultante senso di profondità è chiamato Stereopsi.

41 VR: Steroscopia ILLUSIONE STEREOSCOPICA: due immagini del medesimo soggetto riprese alla stessa distanza l'una dall'altra, scostate lateralmente dello stesso scarto dei due occhi umani. Le immagini così create dovranno essere poi filtrate, tranne nel caso della libera visione stereoscopica, con appositi ausili tecnici quali ad esempio possono essere i visori stereoscopici o gli occhiali 3-D. Se un oggetto è nella stessa posizione in entrambe le immagini, il cervello interpreta l'oggetto come posizionato sul piano schermo (monitor o schermo cinema), più un oggetto è scostato nelle due immagini più esso viene percepito come vicino o lontano (questo in funzione dello scostamento a destra o a sinistra dal punto di convergenza degli assi interottici).

42 VR: Cybersickness Che cosa è il Cybersickness? Cybersickness è un termine per descrivere la sensazione di malessere da movimento tipica degli utilizzatori di sistemi di Realtà Virtuale (McCauley & Sharkey, 1992). In un ambiente virtuale immersivo, gli utenti spesso osservano scene in movimento mentre il loro corpo rimane fermo, in una posizione stazionaria. Si verifica quindi una situazione di non-sincronizzazione tra l apparato visivo e gli apparati vestibolare e propriocettivo. Questa situazione inoltre causa una irresistibile sensazione di movimento indotto. I sintomi più frequenti del Cybersickness sono: nausea, affaticamento degli occhi, vertigini. Perchè studiare il Cybersickness? Oltre l 80% degli utenti esposti a simulazioni di VR della durata di 20 min riportano l aumento di sintomi di malessere fisico (Wilson, Nichols & Haldane, 2000). Il problema del Cybersickness rimane uno dei fattori più determinanti per lo sviluppo e l evoluzione delle tecnologie di VR.

43 VR: Cybersickness 1. Teoria del Conflitto Sensoriale E la teoria più accredita per spiegare i sintomi di Cybersickness. L orientamento e la stabilità del corpo umano necessita essenzialmente di 3 fonti di informazione sensoriale in entrata nel sistema nervoso centrale: (1) informazioni provenienti dall apparato vestibolare (situato all interno dell orecchio) riguardanti l accelerazione lineare, l accelerazione angolare, la velocità, e l inclinazione; (2) informazioni provenienti dall apparato visivo riguardo l orientamento del corpo in relazione alla scena visiva; (3) informazioni provenienti dall apparato somatosensoriale (tattile, cinestetico) riguardanti la posizione degli arti e del corpo. Quando l ambiente è alterato in modo tale da produrre un disallineamento o una discrepanza tra gli apparati sensoriali del corpo in funzione, possono verificarsi sintomi di Cybersickness (Harm, 2002). 2. Teoria dell Intossicazione Sostiene che il meccanismo implicato nel malessere da movimento è il risultato di una risposta corporea che rilascia tossine nello stomaco (Harm, 2002). In generale, anche il movimento naturale attiva dei meccanismi che rilasciano tossine, le quali vengono tollerate dal corpo umano. Il movimento artificiale indotto dai sistemi di VR, al contrario, rilascia tossine che non vengono tollerate dal corpo umano. Di conseguenza, il malessere provocato dai movimenti innaturali viene interpretato come un indicatore dell assorbimento delle tossine, il quale produce una risposta emetica.

44 VR: Cybersickness 3. Teoria Ecologica Il Cybersickness è causato da prolungati periodi di instabilità posturale. La teoria è basata sulla percezione delle azioni dove l interazione tra l essere umano e il suo ambiente è il centro del problema. Riccio e Stoffregen (1991) hanno riconosciuto l esistenza di cambiamenti nella stimolazione sensoriale provocati durante situazioni indotte, suggerendo che sono determinate da cambiamenti nel modo in cui l ambiente influisce sul controllo posturale. La durata è l intensità di questa instabilità predice l intensità dei sintomi. VIDEO VIDEO

45 VR: Interfacce audio Quando si progettano ambienti virtuali, spesso viene rivolta poca attenzione ai processi che riguardano il sistema uditivo. Una possibile spiegazione si riconduce alla complessità del sistema di percezione uditivo, il quale è influenzato da meccanismi fisiologici, da aspettative, ed inoltre dalla interfaccia visiva. Le tracce uditive aumentano la consapevolezza dello spazio circostante, l attenzione verso i segnali visivi e comunicano una complessa varietà di informazioni senza interferire con il sistema visivo.

46 VR: Interfacce audio MAGGIORI PROPRIETÀ DEL SUONO Termini Definizioni Suono Produzione suono del Il suono è un onda di pressione prodotta quando un oggetto vibra rapidamente in avanti e indietro Il diaframma di un altoparlante produce suono premendo contro le molecole dell aria, creando quindi un area di forte pressione (condensazione). Quando il diaframma dell altoparlante ritorna in posizione di riposo, crea un area di bassa pressione (rarefazione) Lunghezza d onda Una condensazione e una rarefazione complete (il punto nel quale l onda ripete se stessa) costituiscono la lunghezza d onda dell onda. Frequenza La frequenza dello stimolo sonoro è determinata dal rapporto tra la velocità con la quale l onda sta viaggiando e la sua lunghezza d onda. Intensità L intensità dello stimolo sonoro è determinata dall ampiezza della forma dell onda e si misura in decibel (db).

47 VR: Interfacce audio In un sistema di VR l abilità di ricevere uno stimolo sonoro si basa sui seguenti tre cambiamenti del segnale ricevuto, nel momento in cui la distanza della sorgente del segnale aumenta: una diminuzione di intensità; un aumento dell attenuazione delle frequenze alte; un aumento nel rapporto tra l energia riflessa e diretta.

48 VR: Interfacce audio CUFFIE controllo più preciso dei segnali spaziali presentati all ascoltatore; i segnali che raggiungono le orecchie possono essere controllati indipendentemente l uno dall altro; non c è nessun suono indiretto che raggiunge l ascoltatore (echi o riverberi); cuffie professionali più costose degli altoparlanti; poco pratiche in applicazioni nelle quali l utente non deve indossare nessuno strumento sulla testa. ALTOPARLANTI informazione spaziale difficile da controllare; relativamente semplici da organizzare, poco costose, e non interferiscono con l utente; l abilità di generare una accurata simulazione utilizzando degli altoparlanti aumenta sensibilmente se si aumenta il numero degli altoparlanti.

49 VR: Interfacce aptiche Riuscire a toccare, sentire e manipolare oggetti in un ambiente, insieme con la possibilità di vederli e di sentirli, fornisce un senso di immersione nell ambiente che non è possibile raggiungere in altre maniere. Per questa ragione le interfacce aptiche sono dispositivi che permettono l interazione manuale - con l inclusione eventuale di feedback tattile - con un ambiente virtuale (Burdea et al., 2005). Nello svolgimento di compiti con interfacce aptiche, l utente esegue delle azioni motorie da lui desiderate manipolando fisicamente l interfaccia, la quale, in risposta, restituisce l informazione sensoriale tattile all utente stimolando il sistema sensoriale cinestetico e tattile.

50 VR: Interfacce aptiche In generale, l interfaccia riceve dei comandi di azioni motorie dall utente umano restituendogli un appropriato feedback tattile. Questo feedback è simulato applicando un certo grado di forza opponente all utente lungo i tre assi X, Y e Z. Infatti, utilizzando le interfacce aptiche l utente può non soltanto trasmettere informazioni all ambiente virtuale, ma può anche riceverne nella forma di sensazioni provate in alcune parti del corpo. A differenza della visione e dell udito, che sono prevalentemente sistemi di input per l osservatore umano, i sistemi aptici sono bi-direzionali. In generale, le interfacce aptiche possono essere descritte come sistemi aventi due principali funzioni di base: 1. misurano le posizioni e le forze di contatto delle parti del corpo; 2. restituiscono le forze di contatto e le posizioni (con la loro distribuzione spaziale e temporale) all utente.

51 VR: Interfacce aptiche Joystick Mouse Trackball Guanti virtuali Esoscheletri Costituiscono interfacce relativamente semplici nel fornire feedback aptici. Le forme più semplici sono i "rumble packs (scatole vibranti), costituiti da semplici accessori che vibrano comandati dalle istruzioni del software. Alcuni supportano anche il force feedback ; ad esempio i volanti per la simulazione di gare automobilistiche sono ora disponibili e in grado di fornire un discreto feedback tattile.

52 VR: Interfacce aptiche Le interfacce aptiche avanzate possiedono di solito due componenti principali: SENSAZIONE TATTILE (O CUTANEA): la consapevolezza di una stimolazione sulla superficie esterna del corpo; SENSAZIONE CINESTETICA (O PROPRIOCETTIVA): la consapevolezza della posizione e del movimento degli arti, così come la tensione muscolare.

53 VR: Interfacce aptiche Le interfacce aptiche sono tipicamente utilizzate in compiti nei quali vengono utilizzate le mani nel mondo reale come esplorazioni manuali, training in operazioni chirurgiche e manipolazione di oggetti. VIDEO VIDEO 1 VIDEO 2 VIDEO 3

54 VR: Interfacce aptiche

55 VR: Interfacce aptiche Touch Screen Sistemi di Tracking del Movimento (telecamere) Microsoft Kinect Nintendo Wii WiiMote Controller

56 VR: Tracker Un tracker di posizione è una parte importante del sistema di VR: è uno strumento (o un sistema di strumenti) che riportano la posizione e l orientamento dell utente al computer host che crea l ambiente virtuale. Le tecnologie dei tracker sono caratterizzate da: numero di target che riescono a rilevare, risoluzione, accuratezza, latenza, volume spaziale, limitazioni ambientali dalle tecnologie utilizzate.

57 VR: Tracker Criteri Risoluzione Accuratezza Latenza Definizioni Le più piccole variazioni nei cambiamenti di posizione e orientamento che possono essere rilevate dal tracker. Una misura dell errore nella posizione e nell orientamento riportati dal tracker. Il ritardo tra un cambiamento della posizione e dell orientamento e il messaggio di questo cambiamento inviato dal tracker al computer host. Volume Spaziale Frequenza di aggiornamento Lo spazio nel quale il tracker può effettivamente misurare la posizione e l orientamento. La frequenza con la quale le informazioni di posizione e orientamento sono trasmesse dal tracker al computer host

58 VR: Tracker La rilevazione di TARGET MULTIPLI richiede una potenza di calcolo maggiore: sistemi di rilevazione della testa e di puntamento richiedono solo due target, mentre avatar e sistemi multi-utente richiedono diversi target differenti. Tipicamente abbiamo: tracker corporei per la locomozione; tracker associati a mani e braccia per le interfacce aptiche; tracker associati alla testa e agli occhi per i display visivi.

59 VR: Tracker Le più importanti tecnologie di tracking utilizzate sono: magnetiche acustiche inerziali ottiche

60 VR: Tracker Tracker Magnetici: i tracker magnetici contengono un trasmettitore sorgente e un ricevitore (Bhatnagar, 1993): il trasmettitore invia campi magnetici secondo diversi orientamenti e il ricevitore determina la potenza e l angolazione di questi campi. VANTAGGI Sono piccoli e leggeri, quindi facilmente indossabili. Possono rilevare il segnale anche in presenza di ostacoli tra il trasmettitore e il ricevitore, a meno che non siano di materiale metallico o ferromagnetico SVANTAGGI Il maggiore svantaggio è rappresentato dalla distorsione causata dalla presenza di oggetti metallici nell ambiente, i quali possono produrre errori di rilevamento; la distorsione si può verificare anche a causa di campi elettro-magnetici esterni (CRT).

61 VR: Tracker

62 VR: Tracker TRACKER ACUSTICI: usano microfoni per rilevare misurazioni temporali a partire da ultrasuoni. Due approcci principali: misurazione del tempo impiegato dall ultrasuono nella distanza tra trasmettitore e ricevitore; confronto tra le fasi emesse dalle onde acustiche con la fase di un onda di riferimento. VANTAGGI Piccoli e leggeri, non soffrono di distorsioni in presenza di campi magnetici. SVANTAGGI Tuttavia non funzionano correttamente se ci sono ostacoli tra trasmettitore e ricevitore e sono suscettibili ai rumori e agli echi dell ambiente.

63 VR: Tracker

64 VR: Tracker TRACKER INERZIALI: utilizzano rilevatori di campi magnetici passivi, accelerometri, giroscopi, per calcolare i cambiamenti relativi di posizione e orientamento dall accelerazione apparente e dalla velocità angolare del target in movimento rispetto ad un sistema di coordinate di riferimento inerziale (generalmente il campo magnetico terrestre). Rilevano la forza di gravità per stabilire se la direzione è rivolta verso il basso e integrano un rapporto di misurazione giroscopica a due assi per fornire l angolazione. VANTAGGI Meno costosi dei tracker magnetici e acustici, non hanno limitazioni di portata. SVANTAGGI Soggetti ad accumulo di errori.

65 VR: Tracker via cavo via cavo senza fili

66 VR: Tracker TRACKER OTTICI: si affidano ad algoritmi visivi per estrarre la posizione dei target dalle immagini catturate da videocamere. La maggior parte sono tracker di segnali: rilevano segnali attivi (trasmettitori di luce) o passivi (riflettori di luce) utilizzando telecamere o sensori di luce. Si possono suddividere in due categorie in base alla posizione dei segnali e dei sensori: sistemi interno-esterno (inside-out): i segnali sono situati in posizioni fisse nell ambiente e i sensori sul target sistemi esterno-interno (outside-in): i segnali sono posizionati sul target e i sensori sono fissi nell ambiente. VANTAGGI Alta frequenza di aggiornamento, bassa latenza e possono essere utilizzati in aree molto ampie SVANTAGGI: Problemi di ostruzione da ostacoli, interferenza della luce ambientale, richiedono una progettazione elaborata dell ambiente e sono costosi.

67 VR: Tracker

68 VR: Grafica 3D La disponibilità di postazioni di lavoro avanzate per la Computer Grafica (CG), display 3D con frame-rate molto alti sono probabilmente la chiave di sviluppo dietro la progettazione di ambienti virtuali sempre più realistici. La generazione e la visualizzazione di oggetti tridimensionali su superfici bidimensionali (gli schermi) fanno parte di un complesso processo che richiede una notevole potenza di memoria e di calcolo da parte del computer.

69 VR: Grafica 3D La differenza fondamentale tra la Computer Grafica 2D e 3D è l utilizzo da parte di quest ultima di rappresentazioni tridimensionali di dati geometrici. In una scena 2D ogni pixel ( PIcture ELement, un singolo punto nell immagine grafica) possiede le seguenti proprietà: POSIZIONE COLORE LUMINOSITÀ Quando ci spostiamo sulla grafica 3D si aggiunge una nuova proprietà: PROFONDITÀ che indica dove il punto si trova sopra un asse Z immaginario. Grafica Raster VS Grafica Vettoriale

70 VR: Grafica 3D

71 VR: Grafica 3D Il processo di aggiunta della profondità ad un immagine utilizzando una serie di immagini incrociate detto insieme volumetrico è chiamato Voxelizzazione (voxelization, da voxel: VOlume pixel). Quando molti pixel 3D sono combinati insieme, ognuno con il suo valore di profondità, il risultato è una superficie 3D, a cui in seguito viene aggiunta una Texture: immagine bidimensionale applicata all oggetto tridimensionale. Esempio di texture bidimensionale Esempio di texture applicata ad un pavimento

72 VR: Grafica 3D Un ruolo chiave è rappresentato dalla renderizzazione dell immagine: il processo di creazione dell immagine finale a partire dal modello matematico del soggetto (scena). Il realismo all immagine si riconduce all aggiunta di qualità tridimensionali come le ombre, le variazioni di colore, la riflessione degli oggetti.

73 VR: Grafica 3D La renderizzazione in VR è calcolata e visualizzata in tempo reale, con un frame rate che si aggira approssimativamente sui al secondo. Le animazioni per media non interattivi, come video e film sono renderizzate molto più lentamente. Rendering Descrizione Scanline Algoritmo di rendering che opera oggetto per oggetto disegnando direttamente su schermo ogni poligono. Tutti gli oggetti della scena devono essere modellati in poligoni. Ray Tracing Radiosity Algoritmo di rendering che opera pixel per pixel tracciando il percorso di un raggio di luce immaginario all interno di una scena e calcolando la riflessione, la rifrazione, e l assorbimento del raggio ogni volta che interseca un oggetto nel mondo virtuale. Rispetto al Ray Tracing, che tende a simulare la riflessione singolarmente su ogni superficie, radiosity simula le molteplici riflessioni della luce all interno della scena, con il risultato di riflessioni e ombre più naturali.

74 VR: Grafica 3D In passato la grafica 3D era accessibile sola da potenti postazioni di lavoro; ora gli acceleratori grafici si possono comunemente ritrovare nei normali personale computer. Per gestire le operazioni computazionali richieste dal processo di rendering un acceleratore grafico contiene una memoria propria ed un suo microprocessore specializzato (schede video attuali). SCANNER 3D VIDEO

75 VR: Grafica 3D 3D STUDIO MAX: software per la creazione e l animazione di oggetti e ambienti virtuali.

76 VR: Grafica 3D 3DVIA - VIRTOOLS: software per la gestione e l interazione con oggetti e ambienti virtuali.

77 VR: Grafica 3D

78 VR: Misurazione immersività Una questione di fondamentale importanza per quanto riguarda la sensazione di presenza è rappresentata dai metodi di misurazione di quest ultima; sono essenzialmente due gli approcci adottati: misurazione soggettiva misurazione oggettiva

79 VR: Misurazione immersività Misurazione oggettiva variazioni degli indici fisiologici provocate dall esperienza virtuale: RISPOSTA PSICO-GALVANICA PRESSIONE ARTERIOSA BATTITO CARDIACO FREQUENZA DELLA RESPIRAZIONE BREAK OF PRESENCE: interruzione del senso di presenza; utilizza una logica sottrattiva prendendo in esame quegli eventi del mondo esterno alla VR che possono interrompere il senso di presenza sperimentato all interno della VR. La presenza nell'ambiente virtuale può persistere (riconfigurazione percettiva), non obbligando necessariamente l utente ad uscire dall'esperienza virtuale (Spagnolli, Gamberini e Gasparini, 2002).

80 GRAZIE PER L ATTENZIONE

81 Bibliografia Krueger, M. (1991). Artificial Reality 2. Addison-Wesley Professional. Brooks, F.P. (1999). What s Real About Virtual Reality? IEEE Computer Graphics and Applications, 19(6), Burdea, G., Lin, M., Ribarsky, W., & Watson, B. (2005). Guest Editorial: Special Issue on Haptics, Virtual and Augmented Reality. IEEE Transactions on Visualization and Computer Graphics, 11(6), May, G., & Badcock, D. R. (2002). Vision and virtual environments. In K. M. Stanney (Ed.), Handbook of virtual environments: Design, implementation, and applications (pp ). Mahwah, NJ: Lawrence Erlbaum Associates, Inc. Spagnolli A., Gamberini L., & Gasparini D. (2002). Breakdown analysis in Virtual Reality usability evaluation. PsychNology Journal, 1(1), 5-17.