Realtà Aumentata. Definizione Tecnologie: Applicazioni. HMD Tracker. Realtà Virtuale: il presente, il passato, Aumentata il futuro

Transcript

1 La Definizione Tecnologie: HMD Tracker Applicazioni

2 La Diagramma del continuum realtà/virtualit /virtualità di Millmann ( 94) AR come parte della Mixed Reality Predomina la percezione del mondo reale, arricchita di informazioni digitali generate dal computer AR e AV sono destinate a fondersi quando le differenze tra immagini sintetiche e reali saranno molto sfumate

3 La Ambiente Reale Virtualità Aumentata Realtà Virtuale

4 AR vs VR La AR aumenta la scena del mondo reale in modo che l utente mantenga comunque un senso di presenza in tale mondo La VR mira a sostituire il mondo reale La AR mira ad arricchire la realtà di informazioni utili per l espletamento l di compiti complessi Il feedback visivo in VR è completamente sotto il controllo del sistema digitale. In AR il feedback è misto. Per questo motivo AR ha esigenze assenti in VR, quali l acquisizione di immagini reali e la fusione con quelle digitali

5 AR vs VR - II AR può essere: Co-locata (oggetti reali e virtuali condividono lo stesso spazio) Non-colocata Per AR co-locata è necessaria una registrazione : Deve esserci un accurata calibrazione fra il mondo reale e quello virtuale Se vi sono errori di matching le sensazioni sono erronee o, peggio, disturbanti, e non avviene la percezione della fusione Scopo di AR è di migliorare la percezione del mondo e le prestazioni di un operatore Dal punto di vista tecnologico, l obiettivo l è la creazione di un sistema in cui non si noti la differenza tra il mondo reale e l arricchimento l virtuale.

6 Display per Mixed Reality Una categorizzazione [Milgram 96] dei display per la MR è basata su tre fattori: Fedeltà di rappresentazione (asse 1) Misura la qualità dell immagine digitale, a partire dal wireframe fino al fotorealismo. Trade-off fra qualità e velocità,, vincoli del tempo reale. Sensazione di presenza (asse 2) Misura il livello di immersione dell utente nella scena, a partire dal monitor fino all HMD Conoscenza del mondo (asse 3) Misura quanto necessarie sono le informazioni provenienti dal mondo esterno. Necessità di localizzazione, calibrazione, etc.

7 Tecnologie per AR Soluzione basata su HMD Optical See-Through: Utilizza un combinatore ottico per il mix dei segnali

8 Tecnologie per AR Soluzione basata su HMD Video See-Through: Necessarie videocamere. Permette avanzate tecniche di blending.

9 Tecnologie per AR Soluzione basata su monitor: Possibile anche soluzione ottica (monitor see-through)

10 Confronto tra tecnologie Vantaggi dei dispositivi ottici rispetto a quelli video: Semplicità Risoluzione No offset

11 Confronto tra tecnologie Vantaggi dei dispositivi video rispetto a quelli ottici: Flessibilità nelle strategie di composizione Largo campo visivo I ritardi dovuti alla visione reale e a quella virtuale possono essere eguagliati Migliori strategie di calibrazione

12 HMD Video See-Through

13 HMD Optical See-Through

14 HMD OST: Retinal Displays Nuova frontiera: : retinal-displays Nascono all Universit Università di Washington nel 1993 Proiettano un fascio di luce direttamente sulla retina L osservatore ha l illusione di vedere l immagine come se fosse a 50 cm da un display 14 Caratteristiche: Alta Risoluzione Luminosità Consumi

15 Retinal Displays: video AR_nomad_expert_reduced.mpg

16 AR: esigenze I I sistemi di AR devono, in generale: Essere eseguibili in tempo reale, in modo da consentire l interattivitl interattività all utente Mostrare un immagine realistica e coerente A A tal fine sono necessari: Un adeguato frame rate nella generazione dell immagine aumentata Una corretta calibrazione (registrazione) tra l immagine reale e quella virtuale (AR co-locata locata) Il fotorealismo non guasta

17 AR co-locata locata: problema della registrazione Si possono avere problemi nella calibrazione fra i due mondi a causa di: Rumore nelle misure Postura della camera rispetto alla scena reale Fluttuazioni dei valori Ritardi Errori di calcolo nell allineamento

18 Tracker: requisiti Il tracker ideale deve possedere i seguenti requisiti: Precisione Ripetibilità Alta frequenza di rilevazione Bassa latenza Leggerezza (sensori) Scarso ingombro (sensori) 6-DOF (laddove richiesto): 3 pos + 3 orientazione Robustezza

19 Tracker: tipologie Esistono varie tecnologie usate per i tracker*: Meccanici Acustici Ottici Magnetici Inerziali Misti * vedi lezione su interazione

20 Tecniche vision-based (VB) L elaboratore interpreta il video ripreso dalla/e camera/e per localizzare la camera (l utente) tramite markers e metodi algoritmici (pose( estimation).

21 VB: Markers o landmarks Figure, tipicamente bidimensionali, ad alto contrasto con lo sfondo, facilmente visibili al calcolatore. Usate per localizzare sia la camera che oggetti mobili nella scena.

22 VB: Tecniche markerless Riconoscono: Proprietà della scena Oggetti notevoli che fungono da marker Movimenti (Gesture( recognition)

23 Pro e contro I metodi elettromeccanici sono i più affidabili e robusti, ma possono limitare i movimenti. L uso dei sensori introduce robustezza ma la loro precisione e calibrazione non sono elevate quanto richiesto dall occhio umano. I metodi vision-based sono molto precisi ma richiedono ambienti strutturati e controllati (luce, oggetti, occlusioni, movimenti rapidi). L approccio misto (visione + sensori convenzionali) apporta migliori risultati sotto diversi punti di vista.

24 Occlusione Uno dei problemi più delicati da gestire è l occlusione fra oggetti reali e virtuali Se non gestita, gli oggetti digitali apparirebbero sempre in primo piano rispetto a quelli reali

25 AR Toolkit Libreria per la costruzione di applicazioni di AR Usa algoritmi di computer vision basati su marker: Tracking dei 6DOF di una singola telecamera Marker: pattern di quadrati neri Distribuzioni per SGI, Linux, MacOS e WinOS Distribuito con codice sorgente artoolkit/

26 AR Toolkit: schema di funzionamento

27 AMIRE Authoring tool per Mixed Reality Nasce da un progetto EU IST Ha prodotto: MR Gems, Components, Frameworks MR Authoring Metaphors dedicate a tipologie di applicazioni Costruito on top of AR toolkit webster.fh- hagenberg.at/amire amire/development.html

28 Audio Augmented Reality Esempio: applicazione museale Le guide sonore in cuffia causano l isolamento l delle persone nei confronti dell ambiente circostante Solitamente prevedono un percorso sequenziale predeterminato AAR prevede che le descrizioni delle opere partano quando ci si avvicina a loro L accesso è dunque random Gruppi di persone vicine ascolteranno lo stesso contenuto

29 Audio Augmented Reality Esempio: icone sonore AAR può fornire informazioni a utenti occupati in un task visualmente impegnativo Le informazioni vengono fornite come icone audio 3D, in modo da fornirne anche una localizzazione spaziale

30 AR: applicazioni

31 AR: mixed environments CLIP

32 AR: information overlay

33 Wearable AR

34 AR: post processing

35 AR: intrattenimento Pubblicità (Princeton Electronic Billboards)

36 AR: intrattenimento Inserimento di informazioni utili

37 AR: intrattenimento Inserimento di informazioni utili

38 AR: intrattenimento Attori virtuali

39 AR: intrattenimento Giochi Pong CLIP

40 AR: Riparazione e manutenzione Etichette Visualizzazione di procedure

41 AR: Riparazione e manutenzione Manuali interattivi

42 AR: PERCRO AR Assistant Architecture Mobile Camera Ar-Assistant Wearable System LAN Access Point Communication Server Ar-Assistant Control Station

43 AR: PERCRO AR Assistant

44 AR: PERCRO AR Assistant

45 AR: Applicazioni militari Visualizzazione di mappe con dati aumentati

46 AR: Applicazioni militari Coordinamento di missioni con teleguida Cockpit virtuale

47 AR: Medicina Chirurgia guidata da immagini acquisite in fase preoperatoria

48 AR: Medicina Biopsia assistita da immagini sintetizzate da dati ricavati ad ultrasuoni

49 AR: Medicina Parto assistito da immagini sintetizzate da dati ricavati ad ultrasuoni