Presenza in Ambienti Virtuali

Transcript

1 Presenza in Ambienti Virtuali Un ambiente virtuale immersivo richiede una forte sensazione di presenza dell utente, al fine di renderne naturale l interazione l e di migliorarne la percezione La sensazione di presenza è determinata da tre fattori: Qualità delle informazioni sensoriali Modellazione Mobilità e controllo dei sensori Controllo sull ambiente Presenza: info sensoriali di bassa qualità 1

2 Presenza: info sensoriali di alta qualità Presenza: scarsa mobilità dei sensori 2

3 Presenza: buona mobilità dei sensori Presenza: basso controllo dell ambiente 3

4 Presenza: alto controllo dell ambiente Flusso di dati in Ambienti Virtuali AMBIENTE VIRTUALE INTERFACCIA Informazioni efferenti Informazioni afferenti UTENTE 4

5 Moduli logici di un Ambiente Virtuale Sintesi Modellazione Campionamento Comportamenti Proprietà AMBIENTE VIRTUALE Management Interazione UTENTE Flusso di dati in Ambienti Virtuali AMBIENTE VIRTUALE VISIVO ACUSTICO APTICO INERZIALE UTENTE 5

6 Flusso di dati in Ambienti Virtuali AMBIENTE VIRTUALE VISIVO ACUSTICO APTICO INERZIALE UTENTE Canale visivo: componenti AMBIENTE VIRTUALE SW SW modules modules of of visual visual modelling modelling & rendering rendering VISIVO Graphical ACUSTICO Feedback APTICO INERZIALE HW HW devices devices of of visualization visualization UTENTE 6

7 Visualizzazione stereoscopica I due occhi vedono il mondo in maniera leggermente diversa l uno l dall altro altro Ognuno dei due occhi fornisce una visione prospettica bidimensionale del mondo La combinazione delle due prospettive forma un immagine stereoscopica,, che contiene informazioni sulla tridimensionalità del mondo Attenzione! Il termine 3D è spesso abusato. Ciò che comunemente si chiama grafica 3D è,, di solito, una rappresentazione prospettica 2D Depth cues La percezione della tridimensionalità,, a partire da un immagine stereoscopica, avviene grazie ad una serie di indizi (depth cues) ) che aiutano nel percepire la terza dimensione (profondità) Per simulare efficamente un ambiente tridimensionale è necessario fornire il maggior numero di depth-cues cues,, o almeno quelli più significativi. 7

8 Depth cues monoculari Alcuni depth-cues molto importanti sono: Occlusione: : se un oggetto ne occlude un altro, è percepito come più vicino Ombreggiatura: : fornisce info su orientazione e posizione delle superfici rispetto ad una sorgente di luce: uno cambio graduale di ombreggiatura fa intuire un variazione graduale di or. e pos. delle superfici Prospettiva: : note le dimensioni di un oggetto, se ne può intuire la distanza dalle sue dimensioni apparenti. Parallasse: : oggetti a distanze differenti, si muovono con diverse velocità apparenti Questi depth-cues sono ben simulabili anche da un appropriata immagine bidimensionale Tuttavia, per quanto necessari, non sono sufficienti Depth cues binoculari Altri depth-cues importanti sono: Prospettiva dinamica: : quando muoviamo, anche leggermente, il nostro punto di vista, cambia la nostra prospettiva del mondo. E E necessario tenere traccia della posizione e dell orientazione della testa (tracking( tracking) e aggiornare la prospettiva coerentemente. Separazione oculare: : i nostri occhi sono separati da un certo offset. Ciò implica che le prospettive siano differenti: gli oggetti sono separati da un offset crescente al diminuire della distanza. E E necessario costruire due immagine diverse per i due occhi. 8

9 Depth cues binoculari Depth of field: : oggetti a distanza differente hanno una messa a fuoco differente Campo visuale: : il campo di vista umano è di circa 180 x La presenza di un bordo ai margini dell immagine stereoscopica distrugge l illusione del 3D (es.un( monitor ha FOV=35 x27 27 ) Indizi non visuali : : altre informazioni giungono da apparati non legati direttamente alla visione (apparato vestibolare, dati cinestetici dai muscoli del collo etc.) Importante: se mal implementati, depth-cues in conflitto possono non solo diminuire l effetto l 3D complessivo ma anche creare disagio nella percezione. Non tutti i depth-cues possono essere implementati efficacemente. Si possono allora esaltare gli effetti dei depth-cues implementabili. Immagine stereoscopica Un sistema per la visualizzazione 3D deve disporre di: SW adeguato per la generazione di DUE immagini bidimensionali (R e L) opportunamente create e sincronizzate in modo da restituire gli opportuni depth- cues HW in grado di far arrivare separatamente ai due occhi le corrispondenti immagini Problema dello Stereo-crosstalk (o ghosting): Il ghosting è la permanenza, su un occhio, dell immagine relativa all altro occhio. Ciò produce la visione di una silhouette fantasma insieme all immagine corretta 9

10 Immagine stereoscopica Immagine stereoscopica 10

11 Anaglifi Storicamente, le prime immagini stereoscopiche (impiegate anche in fotografia, cinema etc.) Le due immagini vengono codificate usando filtri blu (o verdi) e rossi. Filtri analoghi decodificano le immagini S: Filtraggio distruttivo (bene bianco e nero, molto meno bene a colori) Stereogrammi Come funzionano? Quando osserviamo un oggetto, i nostri occhi guardano lo stesso punto della superficie dell oggetto. Quindi, il cervello calcola la distanza dell oggetto a partire dalle posizioni che gli occhi hanno catturato. Quando osserviamo (correttamente) uno stereogramma, i nostri occhi guardano due punti della superficie, ma i pattern su questi due punti sono gli stessi, per cui il nostro cervello crede che siano lo stesso punto. Di conseguenza il nostro cervello calcola una distanza errata e ci sembra che non stiamo osservando lo stereogramma, ma piuttosto qualcosa DIETRO lo stereogramma. Chi lo vede? 11

12 Stereo Attivo Un sistema di stereoscopia attiva usa: un solo proiettore (anche monitor) speciali occhiali (shutter( shutter-glasses) ) muniti di particolari pannelli LCD che, alternativamente, aprono e chiudono le lenti quando un opportuna carica elettrica li attraversa Le immagini vengono proiettate sequenzialmente ad alta freqenza (120Hz). Gli occhiali sono sincronizzati con la proiezione, in modo che ogni lente sia aperta quando viene proiettata l immagine l dell occhio corrispondente. Una sola immagine per volta viene dunque inviata agli occhi, ma lo scambio avviene così velocemente che il cervello crede di vederle contemporaneamente e le fonde Stereo attivo: analisi Svantaggi delle tecniche attive: Necessarie schede grafiche che supportino lo stereo attivo, spesso costose. Risoluzione solitamente non alta. I soli proiettori che supportano le alte frequenze necessarie sono CRT, di solito ingombranti e di difficile calibrazione (con alcuni trucchi ora anche i DLP) Gli shutter glasses sono fragili e abbastanza costosi. Se non sono wireless, i cavi possono essere di intralcio al movimento. Possibile flickering Ghosting sulla parte bassa dell immagine, dovuto al tempo di percorrenza del raggio elettronico durante la scansione dalla parte alta alla parte bassa. 12

13 Stereo Passivo - polarizzazione Un sistema di stereoscopia passiva a polarizzazione usa: due proiettori, ognuno dotato di una lente di polarizzazione che polarizza la luce in una direzione per l immagine l L e in quella opposta per l immagine l R uno schermo che mantenga la polarizzazione speciali occhiali dotati di analoghe lenti di polarizzazione, in modo che all occhio R arrivi solo l immagine l R (lo stesso per L) Entrambe le immagini vengono dunque proiettate, ma una sola arriva ad ogni occhio La polarizzazione della luce Un onda luminosa ruota in ogni direzione La specifica orientazione, in un dato tempo t, ne determina la polarizzazione Polarizzare una luce, di per sè non polarizzata, significa farne emergere una particolare orientazione. L occhio umano è poco sensibile ai cambi di polarizzazione e non percepisce sostanziali differenze in ciò che vede. 13

14 Tipi di polarizzazione Lineare: La luce viene polarizzata in un unica unica direzione. La P.L. produce un ottima separazione delle immagini ed è poco costosa ma, se l osservatore l ruota la testa, la direzione di polarizzazione degli occhiali non coincide più con quella della luce, con conseguente perdita delle informazioni stereo percepite dall osservatore Circolare: La luce viene polarizzata in più direzioni. La P.C. richiede un alta precisione e una corrispondenza molto più stretta fra i filtri di proiezione e quelli degli occhiali.l.l osservatore è però libero di ruotare la testa in ogni direzione. Stereo passivo polarizzazione Svantaggi della polarizzazione La P.L. può essere usata solo in ambienti in cui sono previste piccolissime rotazioni della testa. La P.C. presenta problemi più importanti di ghosting e, in alcuni casi, esso risulta dipendente dal colore. In entrambi i casi è necessario uno schermo di materiale speciale in grado di mantenere la polarizzazione. Vantaggi delle tecniche passive: Si possono usare normali schede grafiche, ad alta risoluzione, senza costi eccessivi. Costi limitati per l HW l di proiezione (proiettori DLP ad alta luminosità,, filtri, lenti, schermo) 14

15 Stereo passivo filtri infitec Left Eye Vantaggi rispetto alla polarizzazione: Scarsissimi problemi di ghosting, indipendenza dalla rotazione della testa Migliore separazione delle immagini Una qualsiasi superficie può fungere da schermo Right Eye Svantaggi del filtraggio infitec Alti costi I colori vengono virati ed è consigliabile una correzione SW della gamma HW per la proiezione Proiettori CRT (Catode( Ray Tube) L immagine viene formata da tre raggi di elettroni che vengono combinati con una lente. V Qualità,, Risoluzione, Tempo di vita, Calore, Nero S Ingombro, Calibrazione, Luminosità 15

16 HW per la proiezione Proiettori LCD (Liquid( Crystal Display) 3 pannelli LC (R,G,B) che si oscurano o sono trasparenti a seconda della carica che li percorre. Una singola fonte di luce illumina i 3 pannelli, le 3 immagini monocromatiche vengono composte con un prisma, l immagine l risultante viene proiettata tramite una lente. V Nitidezza(-), Peso, Luminosità-Efficienza (su DLP), Colore (su DLP) S Tempo di vita, Pixel morti, Costo dei pannelli, POLARIZZAZIONE HW per la proiezione Proiettori DLP (Digital( Light Processing) Simili a LCD ma digitali. I pannelli sono sostituiti da tre chip di silicio contenente ~ 1M di specchi microscopici (uno per pixel) che si orientano in modo da riflettere la luce verso la lente o in verso contrario.. Le 3 immagini monocromatiche vengono composte da un prisma e proiettate. V Peso, Luminosità,, Calibrazione, Contrasto,, Tempo di vita (su( LCD) S Tempo di vita (su( CRT), Colore (Nero), Effetto arcobaleno 16

17 Powerwall Il Powerwall è uno schermo a retro-proiezione che visualizza immagini stereoscopiche. Permette la collaborazione di piccoli gruppi di ricercatori che condividono gli stessi dati La retro-proiezione garantisce la piena libertà di movimento, dal momento che non c èc mai occlusione degli utenti nei confronti del fascio di luce. Per limitare lo spazio occupato, senza diminuire il cammino ottico, è possibile usare uno o più specchi. Workbench Simile al Powerwall, ma di dimensioni più ridotte (con conseguente immersione ridotta) e orientazione piana o inclinata. Utile in alcuni contesti (es. simulazione chirurgica) in cui non è necessaria l immersione l in un ambiente virtuale, ma è preferibile calare alcuni contenuti virtuali in un contesto reale. e. CLIP 17

18 Il CAVE CAVE è un acronimo ricorsivo (CAVE Automatic Virtual Environment. Il CAVE è un ambiente multi-utente utente,, una stanza i cui muri sono powerwall sincronizzati fra loro e (opzionalmente) con i movimenti dell utente. Ovviamente la visione stereo è coerente con i movimenti di un solo utente. Gli altri sono passeggeri Hardware CLIP Visualization CLIP Il CAVE varianti Esistono CAVE a 3, 4, 5 e 6 schermi. In Europa si trovano a Londra (4), Stoccarda (4,6), Torino (3)... Solitamente il pavimento non è retroproiet- tato,, a meno che non vi sia anche il soffitto. Nel CAVE a 6 schermi (Fraunhofer( Institute), tutti sono retroproiettati. Uno schermo è scorrevole per poter accedere alla struttura. E disponibile sia la versione con stereo attivo (Onyx( 6pipe, 1024x1024) sia quella con passivo (cluster( di 12 PC, polarizzazione circolare, 1400x1400) 18

19 Display autostereoscopici Tali display non fanno uso di lenti, occhiali o altri dispositivi Volumetric displays: Sistemi che mostrano le informazioni in un volume predefinito. Invece che di pixel si parla di voxel. Emissivi: : il volume è riempito con un mezzo capace di emettere luce da ogni parte delle sue componenti a seconda di come viene eccitato. Rotanti: : uno schermo piatto ruota a 600 rpm. A seconda della posizione angolare dello schermo, un sistema ottico proietta su di esso l immagine dell oggetto corrispondente alla prospettiva associata a quell angolo. CLIP Display autostereoscopici Parallax displays: La separazione delle immagini avviene mediante delle barriere di parallasse, realizzate mediante due schermi sovrapposti che vengono mostrati a colonne alternate, o mediante l emissione l della luce ad angoli differenti a seconda del colore. Olografia: I display olografici ricostruiscono l intensitl intensità e la direzione della luce che colpisce un oggetto. La sensazione di tridimensionalità è fortissima (quasi tutti i depth-cues sono presenti) ma l occupazione in termini di banda è così grande da non poter competere con le immagini di alta qualità sintetizzate da computer. Inoltre l olografia è un processo simile a quello fotografico, dunque si tratta di immagini campionate e non sintetizzate. 19

20 Head Mounted Display Head Mounted Display E un caschetto,, provvisto di 2 piccoli display, indossabile dall utente Opzionalmente provvisto di cuffie e di tracker Garantisce la migliore separazione possibile delle immagini, dato che ogni occhio ha il suo display dedicato Vantaggi: - Immersione totale (non c èc alcun contatto ottico con la realtà fisica) Svantaggi: - Costo elevato - Risoluzione limitata - FOV limitato (effetto sub) 20

21 Canale acustico: componenti AMBIENTE VIRTUALE VISIVO ACUSTICO APTICO SW INERZIALE modelling SW SW modules modules of of audio audio modelling modelling & rendering rendering UTENTE Audio Audio Feedback HW HW audio audio devices devices Dispositivi acustici di output 21

22 Dispositivi acustici di output STEREOFONIA: I suoni sono ripartiti in due canali, uno per l orecchio destro, uno per il sinistro. Si può creare l illusione di una sorgente virtuale, ma solo lungo la congiungente degli altoparlanti. SISTEMI MULTI: Aumentando il numero di canali, è possibile aumentare lo spazio nel quale è localizzata la sorgente sonora virtuale. Attenzione: il tipico effetto Surround non aiuta la percezione della localizzazione, ma causa un effetto di spazializzazione: : il suono sembra provenire da una superficie più grande di quella degli altoparlanti Crosstalk Nei dispositivi basati sugli altoparlanti si crea un fenomeno analogo al ghosting nella stereoscopia: il crosstalk. Una certa porzione del suono destinato all orecchio destro arriva al sinistro e viceversa. E possibile però usare dei filtri che cancellino il cross-talk, aggiungendo del segnale tale che, se l ascoltatore l è collocato in un determinato punto (Sweet( Sweet-Spot) ) il crosstalk non viene percepito. Quando si lascia lo Sweet Spot, il crosstalk viene percepito tanto più quanto più ci si allontana. Ma questa percezione è molto più forte sulla direzione LR che su quella FB. La presenza degli altoparlanti posteriori permette di estendere lo Sweet-Spot Spot ad una sfera, aumentando l area l attiva. 22

23 Cuffie Analogamente all HMD, la cuffia fornisce la migliore separazione tra i canali: ogni orecchio riceve solo il canale ad esso relativo. Evidentemente il segnale deve essere trattato a monte, in modo che arrivi già trasformato con la opportuna HRTF In questo modo è possibile percepire la direzionalità del suono (in maniera minore nella direzione FR, dato che gli effetti di mascheramento sono simulati e non reali) Si creano dunque sorgenti virtuali Esistono cuffie provviste di un decoder surround che virtualizza il sonoro, nel senso che crea canali virtuali ma non sorgenti virtuali. Se l ascoltatore l si muove, è necessario conoscere la sua nuova pos./or. Canale aptico: : componenti AMBIENTE VIRTUALE VISIVO SW SW modules modules of of haptic haptic modelling modelling & rendering rendering ACUSTICO APTICO INERZIALE Haptic Interfaces Haptic Haptic Feedback UTENTE 23

24 Interfacce aptiche Desktop: Whole Body movement Haptic Interfaces: Planar HI for the desktop Anthropomorphic: Possible use of a locomotion interface in a VE A whole body motion Haptic Interface. Anthropomorphic Haptic Inerface: Hand Exoskeleton Remotely located Actuators Tendon Transmission Anthropomorphic Haptic Interface: 7 DOFs Arm Exoskeleton Il problema della co-location I canali di interfaccia spesso agiscono in sistemi di riferimento separati Perché l interazione sia corretta, è necessario che tali sistemi collimino alla perfezione Se questo si verifica, la naturalezza e il realismo dell interazione sono perfetti Alcuni aspetti limitano una perfetta co-location location: Gli errori insiti nelle trasformazioni fra sistemi di riferimento Le ostruzioni visive che diminuiscono la sensazione di presenza 24

25 Il problema della co-location Co-location: soluzione Reachin CLIP 25

26 Interfacce aptiche: WBMHI Feedback misto Inerziale / Aptico Canale inerziale: componenti AMBIENTE VIRTUALE VISIVO ACUSTICO APTICO INERZIALE Inertial Inertial Feedback UTENTE 26

27 Feedback inerziale Feedback inerziale 27

28 olfattivo AMBIENTE VIRTUALE OLFATTIVO DEL DEL GUSTO UTENTE olfattivo PARALLELO CON I DISPLAY GRAFICI: Distribuzione aperta di odori Illuminazione controllata Distribuzione diretta nel naso con cannule HMD Distribuzione in uno spazio a a portata di naso HW Proiezione GENERAZIONE DI ODORI L olfatto è sollecitato da stimoli chimici, a differenza degli altri sensi su cui agiscono stimoli fisici Non è stato ancora identificato un set di odori primari 28

29 olfattivo 29