Programma del corso. Realtà Virtuale. Interazione. Immersione. Presenza. Interazione

Transcript

1 Programma del corso Immersione Realtà Virtuale Presenza

2

3 Flusso di dati in Ambienti Virtuali AMBIENTE VIRTUALE Informazioni efferenti INTERFACCIA Informazioni afferenti UTENTE

4 Moduli logici di un Ambiente Virtuale Sintesi Modellazione Campionamento Comportamenti Proprietà AMBIENTE VIRTUALE Rendering Management UTENTE

5 in Ambienti Virtuali Tipi di interazione: Diretta: l utente l interagisce direttamente con l ambiente virtuale Mediata: l utente l interagisce con l AV l mediante un avatar Prima persona ( Quake( Quake-like ) Terza persona ( Tomb( Raider like ) L interazione può essere imposta dall hardware: CAVE: diretta HMD: mediata, prima persona Monitor: mediata, terza persona

6 diretta

7 indiretta

8 AV collaborativi

9 : informazioni AMBIENTE VIRTUALE Informazioni di posizioni/orientazione VISIVO ACUSTICO APTICO INERZIALE UTENTE

10 : info per canale visivo AMBIENTE VIRTUALE VISIVO Aggiornamento punto di vista - Posizione/orientazione della testa Aggiornamento ambiente grafico (Avatar ACUSTICO + VE) APTICO INERZIALE - Angoli giunti Posizione/orientazione EE UTENTE

11 : info per canale audio AMBIENTE VIRTUALE VISIVO ACUSTICO Aggiornamento ascoltatore - Posizione/orientazione della testa Aggiornamento ambiente acustico APTICO INERZIALE - Angoli giunti Posizione/orientazione EE UTENTE

12 : info per canale aptico AMBIENTE VIRTUALE Aggiornamento punti di contatto Aggiornamento ambiente aptico: - Angoli giunti Posizione/orientazione VISIVO ACUSTICO EE APTICO INERZIALE UTENTE

13 : info per canale inerziale AMBIENTE VIRTUALE Informazioni vestibolari: -Posizione/orientazione testa VISIVO ACUSTICO (opzionali) APTICO INERZIALE UTENTE

14 : componenti AMBIENTE VIRTUALE SW SW modules modules of of tracking tracking and and data data acquisition acquisition VISIVO Interaction ACUSTICO Tracking APTICO and and motion capture devices INERZIALE UTENTE

15 Tracker Abbiamo già parlato della necessità di inseguire (to track) ) la locazione spaziale dell utente affinchè possa interagire con il VE. Ad esempio bisogna conoscerne la posizione della testa per aggiornare coerentemente il punto di vista all interno del VE. E utile conoscere la posizione degli End Effector (es. mani) perchè possa avvenire l interazione l con gli oggetti virtuali. I valori di posizione e degli angoli dei giunti del corpo sono invece necessari per animare un avatar (motion( capture). I tracker sono composti, solitamente, da: Componenti di acquisizione (sensori( sensori) ) che registrano in tempo reale alcuni valori di interesse Componenti di elaborazione che ricevono i dati dei sensori e li processano per fornire i valori in un formato utilizzabile dai programmi

16 Tracker: esempio Posizione della testa (reale) Volt Posizione della testa (calcolata) [x,y,z]

17 Tracker: tipologie I tracker possono essere classificati a seconda delle tecnologie utilizzate: Meccanici Acustici Ottici Magnetici Inerziali Misti

18 Tracker: requisiti Il tracker ideale deve possedere i seguenti requisiti: Precisione Ripetibilità Alta frequenza di rilevazione Bassa latenza Leggerezza / Scarso ingombro (sensori) 6-DoF* (laddove richiesto): 3 posizione + 3 orientazione Robustezza No shadowing (tutti i punti devono essere rilevabili) (*) Degree of Freedom (Grado di Libertà): Coordinata di moto relativo fra due corpi. Ogni DoF è libero solo se può rispondere, senza vincoli o moto imposto, a forze o momenti applicati dall esterno. Per movimenti di traslazione, un DoF è una coordinata lineare lungo una certa direzione. Per movimenti rotazionali, un DoF è una coordinata angolare attorno a un asse fisso singolo.

19 Tracker: tipologie I tracker possono essere classificati a seconda delle tecnologie utilizzate: Meccanici Acustici Ottici Magnetici Inerziali Misti

20 Tracker meccanici I tracker meccanici misurano i valori tramite link meccanici disposti in catena (catena( cinematica). Possono essere indossabili o meno. Solitamente misurano angoli ai giunti. I valori di posizione vengono calcolati con cinematica diretta. Possono essere integrati nelle interfacce aptiche

21 Tracker meccanici (x o,y o )

22 Tracker meccanici: : V & S Vantaggi: Miglior approccio per un interfaccia aptica Nessuno shadowing,, nessuna interferenza Molto accurati, bassa latenza Svantaggi: Ingombranti, necessità di dover aderire al corpo se indossabili. Trade-off precisione/comodità Adattabili con difficoltà a tipologie varie di utenti Workspace abbastanza limitato Errori cinematici causati dalla non perfetta aderenza Necessità di calibrazione Inerzia dei link

23 Tracker ottici Possono essere: Attivi (effettuano uno scan sfruttando led, laser o infrarossi) Passivi (ricavano info dalla luce dell ambiente)

24 Tracker ottici Esempi: Camere Stereo (passivo): Registrano le immagini dell ambiente e le elaborano per ricavarne informazioni 3D V: nessun componente addizionale, rilevano figure e non punti S: scarsa precisione, WS limitato, lento, costoso, shadowing Rilevamento di marker (attivo/passivo): Le camere rilevano marker posti sull utente. utente. I marker possono essere attivi (LED etc.) o passivi (punti colorati). V: Accurati, multitarget,, poco intrusivi S: Shadowing,, scarso WS, costoso, sensibile a riflessioni

25 Tracker ottici Laser radar Time of flight (attivo): Misurano il tempo di volo di un raggio laser verso un oggetto e ritorno Si ottengono misure di distanza: con 3 di queste si ricava la posizione. Se l angolo l del raggio è noto ne basta una. V: nessun ingombro, accuratezza estrema per distanze S: scarsa risoluzione, costo, shadowing Infrarossi (attivo): Camere con flash a raggi infrarossi Marker di materiale retro-riflessivo: riflessivo: con n >= 4 marker si rileva 6-DOF6 V: Multi target, facile calibrazione, peso S: shadowing,, costo

26 Tracker magnetici Usano una configurazione emettitore/rilevatore L emettitore è fisso ed emette campi magnetici ortogonali, il rilevatore contiene bobine che rilevano tali campi. I campi elettrici indotti nelle bobine permettono di ricavare informazioni su posizione e orientazione V: non costoso, poco shadowing,, accurato, multi target, molto usato, dimensioni S: sensibile a perturbazioni del campo magnetico,a oggetti metallici, accuratezza dipendente dalla distanza emettitore ricevitore, WS limitato dalla potenza dell emettitore

27 Tracker magnetici Emettitore BodyPack Sensore (rilevatore)

28 Tracker acustici Usano una configurazione emettitore/rilevatore L emettitore produce ultrasuoni che vengono ricevuti da speciali microfoni: si ricava distanza da Time of flight Per triangolazione si può ricavare i 6-DOF6 V: dimensioni, non costoso, lunghe distanze S: shadowing,, latenza (α( distanza), sensibile a interferenze, temperatura, rumori

29 Tracker inerziali Misurano accelerazione di masse (accelerometri) o vel.angolari di masse in rotazione (giroscopi). E necessaria una doppia integrazione per avere info su posizione (a=d 2 s/dt 2 ) e un integrazione semplice per l orientazione l (ω=d( =dθ/dt). L integrazione porta a problemi di deriva (drift( drift), ovvero ad accumulo dell errore errore V: dimensione, no shadowing, no inteferenze S: calibrazione, drift

30 Tracker inerziali: accelerometro

31 Tracker misti Es. Intersense Fusion Mode Sistema misto: Inertia Cubes (acc.. + gir.) Ultrasuoni Le misure ad ultrasuoni servono per correggere il drift dei tracker inerziali

32 Tracker misti Es. Nintendo WII Sistema misto: Infrarossi (rilevano la direzione di puntamento) Accelerometri (rilevano i movimenti) Emettitori IR Sensore IR

33 Eye tracker Utilizzi: 1) Applicazioni (medicali riabilitazione, fisiologia, psicologia etc.) 2) Tecnologia: a) Minimizzazione della banda grafica, riducendo le informazioni periferiche in accordo con I limiti percettivi (normalmente vengono create due zone: una Region of Interest (ROI) ad alta risoluzione, ed una periferica b) Applicazioni avanzate (Depth of Field)