Sviluppo di un sistema per l interazione naturale uomo-computer in un ambiente di realtà aumentata stereoscopico.

Transcript

1 Universitá di Genova Facoltá di Ingegneria Dipartimento di Ingegneria Biofisica ed Elettronica Tesi di Laurea Magistrale in Ingegneria Elettronica Sviluppo di un sistema per l interazione naturale uomo-computer in un ambiente di realtà aumentata stereoscopico. Relatore: Prof. Fabio Solari Correlatore: Dott. Manuela Chessa Studente: Matteo Garibotti Genova, 16 Dicembre 2011 Anno Accademico

2 A system for a natural human-computer interaction in a stereoscopic augmented reality environment. The recent diffusion of the stereoscopic 3D contents has yielded the development of affordable and of everyday use devices for the visualization of such information. This has paved the way for powerful human and computer interaction systems based on augmented reality environment where humans can interact with both virtual and real tools. However, with the conventional devices, an observer freely moving in front of a 3D display could experience a misperception of the depth and of the shape of virtual objects. Such distortions are tolerable for consumer and entertainment applications, but they could have serious consequences in scientific and medical fields, where a veridical perception of the scene layout is required. We propose a novel technique to obtain augmented reality systems capable to correctly render 3D virtual objects to an observer that changes his/her 2

3 position in the real world and acts in the virtual scenario. This technique, by tracking the positions of the observer s eyes, generates the correct virtual view points through asymmetric frustums, thus obtaining the correct left and right projections on the screen. 3

4 Alla Commissione di Laurea e di Diploma Sottopongo la tesi redatta dallo studente Garibotti Matteo dal titolo: Sviluppo di un sistema per l interazione naturale uomo-computer in un ambiente di realtà aumentata stereoscopico. Ho esaminato, nella forma e nel contenuto, la versione finale di questo elaborato scritto, e propongo che la tesi sia valutata positivamente. Il Relatore Accademico (prof. Fabio Solari) 4

5 Ringraziamenti Desidero ringraziare in primo luogo il mio relatore, prof. Fabio Solari, per avermi dato l opportunità di svolgere questa tesi, che mi ha permesso di approfondire le mie conoscenze in ambiti che risultano essere estremamente di moda e all avanguardia nel mondo della tecnologia di oggi. Vorrei inoltre ringraziarlo per la disponibilità e l interesse dimostrato verso il mio lavoro, perchè penso non sia da tutti i giorni trovare un relatore che segua così da vicino il lavoro di un tesista. Vorrei inoltre ringraziare la mia correlatrice, dott. Manuela Chessa, perchè come al solito si è rivelata di immenso aiuto e di estrema pazienza nello sviluppo di questo progetto. In aggiunta vorrei ringraziare tutti i componenti del PSPC Lab, in particolare Andrea Canessa e Agostino Gibaldi, per la compagnia e l aiuto datomi durante il periodo di convivenza in laboratorio. Ringrazio mio padre e mia madre, che mi hanno supportato e incoraggiato nei miei studi e nelle scelte effettuate, appoggiandole incondizionatamente. Devo a loro parte di quello che sono, ed è anche grazie a loro se sono riuscito a raggiungere questo risultato.

6 Ringrazio tutti i miei compagni di corso, anche quelli che non hanno continuato i loro studi, che come un allegra combricola mi hanno aiutato a raggiungere la fine del nostro percorso di studi serenamente e con tanti nuovi amici al mio fianco. Un particolare ringraziamento va ad Enrico, il più grande amico da quando ci siamo conosciuti, che come un fratello mi è stato vicino nello studio e nel divertimento, nell affrontare i momenti seri e le frivolezze. Infine, vorrei ringraziare in maniera speciale Federica, la mia metà. Da quasi 6 anni rappresenta la cosa più bella che ho, e come in ogni cosa mi ha aiutato nell affrontare il cammino universitario spronandomi quando battevo la fiacca, incoraggiandomi quando pensavo fosse troppo difficile, e standomi affianco in ogni momento che ha caratterizzato questi 5 anni di studi. Grazie.

7 Indice 1 Introduzione 8 2 La realtà virtuale La realtà aumentata La visualizzazione 3D La visione stereoscopica Fattori che causano discomfort nella visualizzazione stereoscopica Geometria del sistema e la soluzione proposta La percezione della profondità Le tecniche per la renderizzazione di coppie di immagini stereoscopiche Il problema della Misperception La soluzione al problema Il prototipo sviluppato Microsof Kinect

8 5.2 Acer HN247H 3D Monitor Nvidia 3d Vision Pro Componenti software Fasi preliminari allo sviluppo del sistema Studio delle prestazioni del Kinect Analisi dei diversi sistemi di riferimento Il funzionamento del sistema La fase di avvio del programma Il ciclo di aggiornamento L interfaccia Utente Fase di test e analisi dei risultati Primo Test: Head Tracking & Object Localization Secondo Test: Head Tracking & Line Tracking Terzo Test: Eyes Tracking & Object Localization Quarto Test: Eyes Tracking & Line Tracking Discussione dei risultati Conclusioni e sviluppi futuri 77 Bibliografia 79 7

9 Capitolo 1 Introduzione Negli ultimi anni si sono diffuse nuove tecnologie volte a migliorare l esperienza di utilizzo dei computer e delle console di intrattenimento. Queste tecnologie coprono campi teorici e applicativi legati alla Human-Computer Interaction (HCI), le Natural User Interfaces (NUI) e la visualizzazione tridimensionale di scene dinamiche. Tramite la teoria e le tecniche legate all interazione uomo-macchina, negli ultimi 50 anni, si è cercato di trovare nuovi metodi per migliorare la fruibilità degli strumenti tecnologici, partendo dall invenzione del mouse e dell interfaccia a finestre, fino ai device touchscreen. Negli ultimi anni si sta virando verso tecnologie che limitino l interazione fisica con i sistemi utilizzati, per utilizzare gesti e movimenti propri dell uomo. L esempio lampante nel mondo dei videogame è la commercializzazione del Microsoft XBox Kinect, una videocamera 3D che permette di rilevare la presenza e i movimenti dei giocatori, senza utilizzare alcun controller fisico, dando così la possibilità agli utenti di diventare essi stessi parte del videogioco. 8

10 L utilizzo dei principi legati alle Natural User Interfaces ha permesso l utilizzo di tecniche di interazione sofisticate anche a utenti non esperti, o comunque senza un lungo periodo di apprendimento. Questo fattore è molto importante considerando che ha aperto le porte di alcune tecnologie, come i device touchscreen, anche a persone in partenza più scettiche a riguardo, come le persone più anziane, che non sono cresciute con queste tecnologie. Inoltre hanno permesso la creazione e l utilizzo di apparati studiati appositamente per le persone diversamente abili, per far si che essi, qualsiasi sia il loro grado o tipo di inabilità, potessero comunicare o interagire al meglio con suddetti strumenti. Un altro ambito che negli ultimi anni ha subito un espansione e un progresso esponenziale, è il campo della visualizzazione tridimensionale di scene dinamiche. Se negli anni 60 l utilizzo al cinema degli occhiali anaglifi era stato abbandonato a causa dell effetto tridimensionale scadente e dell affaticamento visivo, le ultime tecniche come gli occhiali a lenti polarizzate, gli occhiali con otturatori LCD, fino agli Head-Mounted Displays, hanno permesso un più largo utilizzo della visualizzazione tridimensionale, e su più larga scala. Dal cinema ai videogame, passando per i computer e ultimamente anche gli smartphone, ogni nuovo strumento tecnologico cerca di implementare tecniche di visualizzazione 3D. L incrocio di questi 3 campi, ossia l Human-Computer Interaction, le Natural User Interface e la visualizzazione 3D, hanno permesso l arrivo e l espansione delle tecniche di Augmented Reality (AR) anche a livello consumer. Un applicazione come la ricerca di indirizzi o negozi utilizzando i riferimenti 9

11 visivi della realtà aumentata, è solo un esempio del vasto campo applicativo di tale tecnologia. Con questa tesi si intende ideare e sviluppare una tecnica per la visualizzazione tridimensionale di scene virtuali, per soggetti in movimento in modo tale da eliminare i problemi che impediscono una corretta percezione tipici degli attuali sistemi. Inoltre tale tecnica verrà testata mediante la creazione di un sistema di realtà aumentata che la implementi, in modo da poter svolgere una dettagliata analisi qualitativa delle prestazioni del sistema, anche per quel che riguarda la sua fruibilità da parte dell utente finale. Tale tecnica si prefigge l obiettivo di risolvere i difetti che caratterizzano le tecniche attualmente in uso, e che le rendono inadatte alla visualizzazione tridimensionale in casi dove l utente è libero di muoversi, cambiando quindi il proprio punto di vista in maniera dinamica. Per fare ciò verranno impiegati strumenti come schermi tridimensionali e i relatici occhiali, e il Microsoft Kinect per consentire la misura della posizione dell utente. Questo sistema, una volta completato, potrà essere impiegato per migliorare la fruibilità e completare specifici applicativi per utilizzi ad esempio didattici, riabilitativi, di interazione e di interfacciamento con il computer, ma anche per lo sviluppo di applicazioni ludiche, quali videogame. 10

12 Capitolo 2 La realtà virtuale Il termine realtà virtuale, nella sua accezione originale e più teorica, indica un sistema totalmente immersivo, in cui tutti i sensi umani sono soggetti agli stimoli virtuali. Questo tipo di sistema ha l obiettivo di ingannare i sensi dell utilizzatore, mediante sensori e attuatori, e di conseguenza proporre all utente la sensazione, più verosimile possibile, di trovarsi all interno di un altra realtà. Il primo sistema di realtà virtuale è stato ipotizzato già negli anni 50, e in seguito costruito un prototipo nel 1962, in grado di proiettare cinque film creati apposta, che coinvolgevano quattro sensi (vista, udito, olfatto, tatto). Negli anni successivi, molti centri di ricerca si sono concentrati sullo sviluppo di sistemi di realtà virtuale sempre più avanzati. Secondo le previsioni di quegli anni, le periferiche caratterizzanti un sistema di realtà virtuale immersiva sarebbero dovute essere: un visore per visualizzare davanti agli occhi dell utente il flusso video virtuale, auricolari per trasferire i suoni all utente, guanti speciali per gestire i movimenti delle mani e ritornare i 11

13 feedback legati alla sensazione del tatto. Per quel che riguarda i sensi del gusto e dell olfatto, tuttora risultano di difficile realizzazione e sono oggetti di studio. Purtroppo il livello tecnologico di quegli anni fece si che ogni soluzione trovata avesse comunque dei limiti dal punto di vista applicativo: spesso i visori erano così pesanti da dover venire appesi al soffitto, oppure le scene visualizzate erano decisamente poco fotorealistiche. Figura 2.1: Esempio di sistema di realtà virtuale, costituito da un visore, cuffie e guanti. 2.1 La realtà aumentata Grazie alle nuove tecnologie, e sopratutto alla portabilità dei dispositivi, un attuale filone di ricerca promettente è quello della realtà aumentata, che come 12

14 suggerisce il nome intende mescolare alla percezione della realtà circostante altre informazioni e oggetti forniti da un sistema di simulazione. Questo tipo di sistema aggiunge vari livelli informativi (elementi virtuali, multimediali, dati geolocalizzati, ecc.) all esperienza della realtà di ogni utente. La varietà di queste applicazioni è definita dall utilizzo a cui sono destinate, e dai dispositivi che vengono utilizzati. Un esempio che sta prendendo campo nell ultimo decennio è quello della realtà aumentata su piattaforma mobile. I telefonini di ultima generazione, meglio definiti smartphone, sono spesso dotati di sensore GPS per il posizionamento, e di un magnetometro con funzionalità di bussola. Grazie a questi sensori ogni device è in grado di stabilire la propria posizione e la direzione verso la quale la telecamera sta inquadrando. Tutto questo, unito al collegamento ad internet del quale sono forniti, gli permette di sovrapporre allo stream video informazioni sotto forma di PDI, o punti di interesse, geolocalizzati e che simulano la posizione tridimensionale nello spazio. Nell ambito desktop, la realtà aumentata si avvale dell utilizzo di marker, ossia dei disegni stilizzati in bianco e nero, che una volta mostrati a una webcam, vengono riconosciuti dal PC, il quale è in grado di ricavare l orientamento del piano sul quale questi marker giacciono. Tutto ciò permette al computer di aggiungere al flusso video della webcam modelli 3D che così facendo sembrano realmente presenti nella scena inquadrata. Ultimamente sono stati sviluppati software in grado di visualizzare informazioni aggiuntive, solidali con gli oggetti inquadrati, senza la necessità di utilizzare marker predefiniti, ma che si possono agganciare a qualsiasi immagine inquadrata. 13

15 Figura 2.2: Esempio di applicazione mobile di realtà aumentata. Nello specifico, fornisce a video le informazioni sulle altitudini delle montagne inquadrate. Figura 2.3: Esempio di applicazione desktop di realtà aumentata. Nello specifico, sovrappone allo stream video oggeti 3D precaricati. 14

16 Capitolo 3 La visualizzazione 3D Con il termine tridimensionalità si indica la pertinenza di un oggetto o di un immagine al campo delle tre dimensioni spaziali, indicate genericamente con le coordinate X, Y e Z. La percezione della realtà che ci circonda si basa sulla sensazione della tridimensionalità del mondo. Ogni oggetto che vediamo è posizionato nello spazio, ogni suono arriva da una determinata posizione spaziale, e via dicendo. Nel tempo questo termine, e il suo acronimo 3D, sono stati accostati a significati più vari, tutti riconducibili alla sensazione di realtà, di fedeltà della riproduzione, o più semplicemente di futuribilità. Anche in questo campo, gli ultimi anni sono stati molto fecondi dal punto di vista delle applicazioni e delle nuove tecnologie. Da quando un mercato grande come quello della cinematografia si è dedicato alla produzione di pellicole 3D, da proiettare attraverso tecniche ben specifiche, tutti i più grandi colossi del mondo tecnologico hanno cercato di cavalcare l onda, mettendo in commercio sempre nuovi prodotti che potessero fregiarsi di essere tridimensionali. Sembrano un lontano ricordo le applicazioni 3D che sfruttavano 15

17 la tecnologia degli anaglifi per rendere la tridimensionalità di oggetti e foto. Adesso sono molto diffusi occhiali shutter o a lenti polarizzate, tecnologie sicuramente più performanti e migliori per quel che riguarda la resa visiva. Ormai sono ovunque, anche qui in Italia, i cinema in grado di riprodurre film su maxi schermo mediante la tecnica della luce polarizzata e degli occhiali passivi, mentre per l home entertainment le applicazioni si dividono ancora in quelle che usano occhiali passivi e quelle che usano occhiali attivi, i così detti shutter glasses. Per quanto siano nuove le tecnologie utilizzate per la visualizzazione 3D, al contrario i principi teorici che stanno alle spalle di queste applicazioni sono stati studiati e perfezionati già da anni, e si basano sulle proprietà del sistema visivo dell essere umano. 3.1 La visione stereoscopica La visione stereoscopica, o stereoscopia, è una tecnica di realizzazione e visione di immagini, finalizzata a trasmettere un illusione di tridimensionalità, analoga a quella generata dalla visione binoculare del sistema visivo umano. Quest ultima è la caratteristica chiave del sistema visivo che interessa per l oggetto di questa tesi. Ogni occhio propone sul proprio piano retinico un immagine che rappresenta la porzione della scena che l occhio riesce a inquadrare. In seguito, il cervello pratica la stereopsi, ossia la capacità percettiva e l insieme di elaborazioni che consentono di unire le immagini provenienti dai due occhi. Queste due immagini presentano uno spostamento spaziale, definito disparità, dato 16

18 dal diverso posizionamento delle sorgenti di acquisizione, ossia degli occhi. Questa disparità viene sfruttata dal cervello per trarre informazioni sulla profondità, e sulla posizione spaziale dell oggetto osservato. Di conseguenza la stereopsi permette di generare la visione tridimesionale. Detto questo appare più chiaro come funziona la visione tridimensionale stereoscopica. Mediante opportune tecnologie, viene fornito ad ogni occhio l immagine da osservare, che contiene già uno spostamento spaziale dato dalla posizione degli occhi. Così facendo l utente prova la sensazione di osservare una scena effettivamente tridimensionale. Ovviamente le due immagini da fornire all utente vanno costruite rispettando i principi della visione stereoscopica. Un esempio è il fatto che la disparità, ossia lo spostamento spaziale degli oggetti tra le due immagini, aumenta con l avvicinarsi dell oggetto all utilizzatore, e diminuisce con il suo allontanarsi. Come già detto in precedenza, lo stato dell arte in questo campo è in continua evoluzione, anche grazie al crescente interesse per la visualizzazione di immagini 3D nelle applicazioni professionali, come la visualizzazione scientifica, in medicina e nei sistemi di riabilitazione [Subramanian et al., 2007], [Ferre et al., 2008], [Knaut et al., 2009], e le applicazioni di intrattenimento, come cinema 3D e videogiochi [Kratky, 2011] Fattori che causano discomfort nella visualizzazione stereoscopica Con la diffusione delle tecniche di visualizzazione stereoscopiche, i ricercatori hanno studiato a fondo i benefici e i problemi associati ad esse. Diversi studi hanno messo a punto alcuni parametri geometrici per impostare 17

19 correttamente i sistemi di acquisizione stereo (sia reali che virtuali), in modo da indurre una percezione della profondità veritiera in un osservatore umano [Grinberg et al., 1994]. È quindi necessario considerare in particolare i seguenti parametri geometrici: i piani delle immagini devono essere paralleli. i centri ottici devono essere spostati lateralmente rispetto al centro dell immagine. la distanza tra i due centri ottici dovrebbe essere uguale alla distanza tra le due pupille in un essere umano. il campo di vista delle camere stereoscopiche dovrebbe essere uguale all angolo sottointeso dal monitor e le pupille. il rapporto tra la lunghezza focale delle camere e la distanza dallo schermo dovrebbe rimanere uguale al rapporto tra la larghezza dello schermo e quella del piano dell immagine. In questo modo, si possono creare coppie di immagini stereoscopiche da visualizzare su dispositivi stereoscopici per gli osservatori umani che non includano alcuna disparità verticale, e quindi non causino disagi agli utenti [Southard, 1992]. Tuttavia, sono stati riscontrati altri fattori, legati alle imperfezioni spaziali delle coppie di immagini stereoscopiche, che provocano disagio visivo. In [Kooi and Toet, 2004] gli autori hanno determinato sperimentalmente il livello di disagio provato da un osservatore umano che osserva coppie di immagini binoculari imperfette, con un vasta gamma di possibili imperfezioni e 18

20 distorsioni. Più in generale, in letteratura ci sono diversi documenti che descrivono le difficoltà del riuscire a osservare un intervallo di spazio 3D senza avere alcun stress visivo, dato dal fatto che gli occhi dell osservatore devono mantenere il proprio accomodamento sul monitor (ossia a una distanza fissa); manca quindi il naturale rapporto tra l accomodamento, i movimenti di vergenza, e la distanza dagli oggetti [Wann et al., 1995]. Per un recente trattato sul conflitto tra vergenza e accomodamento, vedere [Shibata et al., 2011]. Oltre alle già citate cause di disagio, un altro problema molto ben documentato è quello legato al fatto che gli oggetti tridimensionali e il layout della scena sono spesso mal percepiti da un osservatore posizionato liberamente di fronte a un monitor 3D [Held and Banks, 2008]. Solo pochi lavori in letteratura affrontano il problema di considerare la corretta percezione della profondità nei sistemi di realtà virtuale o aumentata, anche per valori di profondità che scendono sotto i 1.5 metri. Tra di loro, [Singh et al., 2010] approfondiscono lo studio della stima della profondità con un esperimento che consiste in raggiungere e indicare un oggetto virtuale, ma nel loro esperimento i soggetti non potevano muoversi liberamente di fronte al monitor, bensì la posizione della testa veniva mantenuta fissa. Per risolvere il problema dell errata percezione della profondità, in letteratura sono stati proposti metodi correttivi specifici solo per determinate applicazioni, come ad esempio [Lin et al., 2008], [Vesely et al., 2011]. In principio, il sistema CAVE [Cruz-Neira et al., 1993] affrontò il problema della errata percezione nei scenari di realtà virtuale, ma la soluzione era estremamente costosa e ingombrante, sicchè non può essere facilmente ap- 19

21 plicata nell uso quotidiano. Difatti, questo sistema era composto da una stanza cubica di 3 pareti bianche, su una superficie all incirca di 2mt x 2mt. All interno, su queste superfici, venivano proiettate immagini stereoscopiche ad altissima risoluzione. Inoltre i movimenti della testa dell utente dentro CAVE venivano tracciati, in modo da ridisegnare le proiezioni 3D, e rendere completamente immersiva la percezione della realtà che CAVE era in grado di dare. Un successore del CAVE, sviluppato dalla stessa ditta, è l ImmersaDesk, praticamente un CAVE costituito da una sola parete. Esso risulta essere una superficie su cui proiettare immagini per la visione stereoscopica, in grado di occupare l intero campo di vista di un osservatore grazie alle sue dimensioni. Inoltre è stato progettato per essere inclinato rispetto al terreno di 45, in modo da offrire una simulazione sia dell ambiente che del pavimento davanti a se. Come il CAVE, risulta essere una soluzione decisamente ingombrante. Vale la pena notare che il sistema di realtà aumentata basato sugli Head Mounted Display (HMPD) non è affetto dal problema di errata percezione della forma e della profondità al variare della posizione dell utente, ma esso si basa su una tecnologia differente [Hua et al., 2004]. Per quanto è stato possibile trovare in letteratura, non esistono articoli che propongono una effettiva e generale soluzione per un osservatore che si possa muovere liberamente di fronte a un monitor 3D. È necessario far notare che, mentre nelle applicazioni di intrattenimento queste distorsioni non sono un problema troppo serio, anche se possono essere causa di fastidio ed affaticamento visivo, al contrario in applicazioni di telemedicina e chirurgia, o in sistemi di riabilitazione cognitiva ed in sistemi 20

22 che studiano la coordinazione visuale-motoria, esse possono avere serie implicazioni. Questo è ancor più visibile nelle applicazioni di realtà aumentata, dove l utente percepisce stimoli reali e virtuali allo stesso tempo, e quindi è necessario renderizzare le informazioni 3D senza introdurre distorsioni indesiderate. 21

23 Capitolo 4 Geometria del sistema e la soluzione proposta 4.1 La percezione della profondità Come è stato già descritto, per poter rendere al meglio la percezione della profondità nella visualizzazione di scene virtuali, il sistema in oggetto deve creare due immagini, una per ogni occhio, in modo che esse presentino alla retina di ciascun occhio un immagine coerente, e una volta che il sistema ottico dell uomo ha fuso le immagini tra loro, l osservatore possa estrarre l informazione della profondità come se stesse osservando una scena reale. Se la coppia di immagini stereoscopiche non fosse creata correttamente, l osservatore potrebbe sottostimare o sovrastimare la profondità della scena, provare fastidi nell osservare la scena, o addirittura non riuscire a fondere le immagini, continuando a vedere due immagini distinte. Per comprendere al meglio le tecniche attuali e quella proposta, è bene 22

24 fare una veloce introduzione sulla visualizzazione a monitor di scene virtuali. Nelle librerie grafiche più utilizzate vengono usate videocamere virtuali per renderizzare a monitor le scene inquadrate. Questo permette di navigare gli ambienti virtuali soltanto cambiando la posizione della camera in uso. Ogni camera virtuale ha vari parametri che definiscono come viene renderizzato a monitor l ambiente virtuale (vedi Figura 4.1): Figura 4.1: ViewVolume Frustum. 23

25 I piani Near, Far, Right, Left, Top e Bottom Plane delimitano quello che si chiama ViewVolume Frustum, ossia la porzione di spazio a forma di tronco di piramide che verrà poi renderizzata a monitor. Se un oggetto non giace all interno di questo volume, la libreria grafica non si occuperà di analizzarlo e di visualizzarlo a monitor. Il principale vantaggio dell utilizzare i frustum è legato al fatto che si limitano gli oggetti da analizzare soltanto a quelli effettivamente inquadrati, diminuendo così il costo computazionale delle elaborazioni grafiche. Questo tronco di piramide viene definito mediante i seguenti parametri: Near, focal e far distance rappresentano le distanze dove vengono posizionati i 3 piani principali del ViewVolume Frustum. Il primo e il terzo delimitano l area all interno della quale devono ricadere gli oggetti da renderizzare, mentre il secondo rappresenta il piano delle proiezioni. Top, bottom, right e left sono i valori (relativi a un sistema di riferimento centrato nella videocamera) che definiscono quanto grande deve essere il near plane, e in che posizione deve essere (asimmetrico o simmetrico rispetto alla direzione di vista della camera). Ovviamente nel caso della visione stereoscopica, sono necessarie due camere virtuali per creare l effetto della tridimensionalità. Vengono illustrate di seguito le principali tecniche in uso. 24

26 4.2 Le tecniche per la renderizzazione di coppie di immagini stereoscopiche Ogni coppia di immagini stereoscopiche crea un immagine tridimensionale virtuale, ma se con questo metodo i difetti legati alla disparità binoculare e alla convergenza degli occhi sono risolti, al contrario l accomodamento degli occhi risulta essere incoerente, poichè ogni occhio osserva un immagine piatta, invece che una scena realmente tridimensionale. Il sistema ottico è comunque in grado di tollerare questo conflitto fino a un certo grado, ossia fino a che la disparità sul monitor (la distanza tra lo stesso punto sulle due immagini stereoscopiche) non raggiunge l 1\30 della distanza dell osservatore dal monitor. Le immagini che seguono mostrano la differenza tra l osservare un punto realmente presente nello spazio, o le sue proiezioni sul monitor [Bourke, Paul, 1999]. In Figura 4.2 si può osservare il caso in cui l oggetto sia posizionato al di là del monitor, rispetto all osservatore. Delle due proiezioni che si creano sul monitor, quella di destra è destinata all occhio destro mentre quella di sinistra è destinata all occhio sinistro, e la distanza tra le due proiezioni si chiama parallasse orizzontale. Siccome le proiezioni sono ordinate come i rispettivi occhi, questa si chiama parallasse positiva. Da notare che il massimo valore di parallasse si ha quando l oggetto si trova a profondità infinita, e in questo caso la parallasse orizzontale corrisponde alla distanza interoculare. Seunoggettositrovatrailpianodiproiezione(nelnostrocasoilmonitor) e l osservatore, come in Figura 4.3, allora la proiezione per l occhio sinistro sarà sulla destra rispetto a quella per l occhio destro, ossia le proiezioni risul- 25

27 Figura 4.2: Parallasse Positiva. teranno invertite rispetto alla posizione degli occhi. Questo caso è noto come parallasse orizzontale negativo. Da notare che un valore di parallasse orizzontale negativo uguale alla distanza interoculare si presenta quando l oggetto si trova precisamente a metà tra l osservatore e il monitor, e centrato rispetto alla posizione degli occhi. All avvicinarsi dell oggetto all osservatore, il valore di parallasse orizzontale tenderà a infinito. Figura 4.3: Parallasse Negativa. Se un oggetto giace sul monitor, allora le sue proiezioni sul piano focale sono coincidenti per i due occhi, ottenendo così il caso di parallasse zero, 26

28 mostrato in Figura 4.4. Figura 4.4: Parallasse Zero. Esistono vari modi per impostare una videocamera virtuale e visualizzare a monitor una coppia di immagini stereoscopiche, ma molti di essi sono errati siccome introducono una certa parallasse verticale. Un esempio di questi è il metodo definito Toe In, che nonostante sia teoricamente errato, è comunque usato frequentemente per via di alcuni suoi pregi come il basso costo computazionale e la non necessità di ritagliare le immagini ottenute, cosa che invece è necessaria nel metodo corretto, o Off-axis. In Figura 4.5 viene illustrata la geometria relativa al metodo Toe In. Con questa tecnica, le due videocamere puntano entrambe allo stesso punto focale. Questo fatto però comporta che i due piani immagini risultano non perfettamente allineati, ma bensì leggermente ruotati tra loro. Si introduce così una parallasse verticale che aumenta all allontanarsi dal centro dell immagine, causando un notevole disagio nella visualizzazione tridimensionale. Il modo corretto per creare coppie di immagini stereoscopiche è la tecnica chiamata Off-axis. Essa, non introducendo alcuna parallasse verticale, è in grado di creare le immagini stereoscopiche che rechino il minor stress visivo 27

29 Figura 4.5: Metodo Toe In. possibile. Come si vede in Figura 4.6, richiede che la libreria grafica utilizzata supporti i frustum asimmetrici. Figura 4.6: Metodo Off-axis. Gli oggetti che giaciono davanti al piano delle proiezioni sembreranno essere posizionati di fronte al monitor, mentre quelli che giaciono dietro al piano delle proiezioni sembreranno essere posizionati all interno del monitor. 28

30 In generale è più facile osservare immagini stereoscopiche di oggetti che giaciono al di là del monitor, ma questo non vuol dire che sia estremamente fastidioso osservare oggetti che escono dal monitor, almeno fino a un certo limite. Difatti, oltre alla posizione degli oggetti, altri fattori che regolano il grado di comfort nella visualizzazione di immagini stereoscopiche sono la distanza delle camere dal piano di proiezione, e la distanza che separa le due camere (baseline). Una baseline troppo grande può essere difficile da gestire, portando al fenomeno definito di iper-stereoscopia. È stato dimostrato che una baseline pari a 1\20 la distanza tra la camera e il piano di proiezioni rappresenta il valore massimo per una visione tridimensionale senza disagi. Come detto in precedeza, un altro fattore per una visione senza disagi limita la parallasse negativa a non essere superiore alla distanza che divide gli occhi. Un valore molto significativo è rappresentato dall angolo di parallasse, definito come θ = 2arctan DX, dove DX è la distanza orizzontale tra le due 2d proiezioni di uno stesso punto, e d è la distanza degli occhi dal piano di proiezione (vedi Figura 4.7). Per una fusione delle immagini senza problemi, per la maggior parte delle persone il valore di θ non deve superare i 1.5 per tutti i punti della scena. 4.3 Il problema della Misperception Tutti gli attuali sistemi e le librerie software per la renderizzazione di scene tridimensionali utilizzano la tecnica Off-axis. Nonostante essa sia la tecnica corretta, è caratterizzata da una condizione di partenza molto limitante in termini di utilizzo e di coerenza con la realtà che si vuole simulare; questo 29

31 θ Figura 4.7: Angolo θ. limite è rappresentato dalla posizione dell osservatore. Con le tecnologie attuali, per poter ottenere una percezione veritiera della scena tridimensionale, è necessario che entrambi gli occhi dell osservatore siano posizionati nel centro delle proiezioni, definito dalla posizione della stereo-camera virtuale, e che l osservatore non si muova da quella posizione. Se gli occhi sono nella posizione corretta, le immagini sulla retina, originate dall osservazione dello schermo 3D e dall osservazione della scena reale, saranno coerenti. Se la condizione sulla posizione degli occhi non è soddisfatta, allora si incorrerà in una errata percezione delle forme degli oggetti e delle loro profondità. Come si vede in Figura 4.8, un oggetto target è posizionato in T, e una stereo-camera è posizionata in C L,R 0, generando così le proiezioni destra t R e sinistra t L sul piano delle proiezioni. Un osservatore reale situato nella stessa posizione O L,R 0 della camera virtuale visualizzerà l oggetto target correttamente nella posizione ˆT 0. Al contrario, se egli osserverà la scena da due diverse posizioni O L,R 1 e O L,R 2, visualizzerà l oggetto erroneamente in due posizioni ˆT1 e ˆT 2, che non corrispondono con la posizione reale dell oggetto. Questo fenomeno non comporta soltanto un errata posizione dell oggetto 30

32 observer virtual stereo camera observer observer right image left image screen projection plane misperceived target target perceived target misperceived target Figura 4.8: Schema della geometria di un ambiente di realtà aumentata stereoscopica, usando le tecniche standard. Nell ambiente virtuale, un oggettotargetèposizionatoint,eunacamerastereoscopicaèposizionatainc L,R 0, generando di conseguenza le proiezioni t L e t R sul piano delle proiezioni. Un osservatorerealeposizionatonellastessaposizioneo L,R 0 della camera virtuale percepirà il target correttamente, mentre percepirà in maniera sbagliata il target quando guarderà il monitor da diverse posizioni. 31

33 nello spazio, ma comporterà anche una deformazione degli oggetti in scena (vedi Figura 4.9). observer virtual stereo camera observer observer misperceived target screen projection plane target left image right image misperceived target Figura 4.9: Deformazione di un oggetto 3D legato al diverso posizionamento dell osservatore La soluzione al problema Il sistema di realtà aumentata schematizzato in Figura 4.10 si basa sulla soluzione proposta in questa tesi. Ogni volta che l osservatore cambia la sua posizione O L,R 0,1,2, il sistema sposta coerentemente ad esso la posizione della stereo-camera virtuale C L,R 0,1,2. Così facendo, per ogni movimento una coppia di immagini stereo viene generata, e visualizzata sul monitor. Grazie a questa 32

34 virtual stereo camera observer right image left image screen projection plane target perceived target Figura 4.10: Schema della geometria di un ambiente di realtà aumentata stereoscopica, usando l approccio da noi proposto. La camera virtuale si muove in accordo alle diverse posizioni della testa dell osservatore. Questo fattoportaallediverseproiezionideltarget(t L 0,t R 0; t L 1,t R 1; t L 2,t R 2)sulpianodelle proiezioni, permettendo una corretta percezione del target da osservare. 33

35 tecnica, per ogni posizione in cui l osservatore si trova, otterrà una percezione della scena 3D coerente con la sua reale conformazione. La soluzione proposta in questa tesi si basa sui seguenti concetti: 1. Compensazione dei movimenti dell osservatore analizzando la posizione dei suoi occhi, posizionando le camere virtuali destra e sinistra nelle stesse posizioni. 2. Costante mantenimento di un ambiente di realtà aumentata, generando un mondo virtuale che è in ogni momento una replica del mondo reale. Perciò, lo schermo e il piano di proiezione devono essere sempre coincidenti. 3. Corretta generazione delle proiezioni destra e sinistra attraverso i frustum asimmetrici, che sono aggiornati in relazione alla posizione degli occhi (vedi Figura 4.13), e non roto-traslando la camera virtuale (vedi Figura 4.12). Per visualizzare una scena virtuale sul monitor, una camera virtuale deve essere posizionata all interno dell ambiente virtuale. Di solito, per visualizzare una scena 3D si usa adottare la tecnica nota come proiezione prospettica con frustum asimmetrici con assi paralleli, o off-axis technique. Come già detto in precedenza, questa tecnica è comunemente usata per dare la percezione di profondità a un osservatore umano; le immagini stereoscopiche sono ricavate proiettando gli oggetti nella scena sul piano delle proiezioni per ogni camera, che hanno la stessa posizione e orientamento, in modo che i due piani delle proiezioni destro e sinistro risultino coincidenti. L immagine in Figura 4.11 descrive perfettamente tale tecnica. 34

36 Figura 4.11: I frustum asimmetrici (vista dall alto) per la tecnica standard off-axis. Tuttavia, se l osservatore si muove di fronte allo schermo, è necessario tenere in considerazione la posizione dei suoi occhi, come descritto in precedenza (vedi Figura 4.8 e 4.10). Una roto-traslazione della stereo-camera, in funzione della posizione dell osservatore, produce una proiezione sbagliata sul monitor, rendendo così l ambiente di realtà aumentata non più consistente con il mondo reale. Come si vede in Figura 4.12, i piani focali destro e sinistro non corrispondono più con lo schermo, facendo si che l osservatore percepisca male la profondità e la struttura della scena 3D. La soluzione proposta in questa tesi supera questo problema attraverso una generalizzazione dei frustum asimmetrici, in modo che i piani focali destro e sinistro siano sempre coincidenti con lo schermo (vedi Figura 4.13). Questa generalizzazione, oggetto principale di questa tesi, può essere descritta in questo modo (vedere Figura 4.14 per le notazioni): Il piano focale è descritto da M TL, M BL e M BR rispetto alle sistema 35

37 Figura 4.12: I frustum asimmetrici (vista dall alto) roto-traslati secondo la posizione degli occhi dell osservatore. Figura 4.13: I frustum asimmetrici(vista dall alto) ottenuti usando la tecnica proposta. I piani focali destro e sinistro coincidono con lo schermo, facendo si che l ambiente virtuale sia una replica di quello reale. 36

38 di coordinate del monitor, centrato in M. La posizione degli occhi dell osservatore e, di conseguenza, le posizioni M C L e M C R delle due camere stereoscopiche destra e sinistra sono ricalcolate rispetto alle coordinate della cornice del monitor. Per descrivere il piano focale rispetto alle due camere destra e sinistra, è necessario calcolare la traslazione T L,R = M C L,R M. Una volta calcolato C TL L,R, C BL L,R e C BR L,R (i.e. le coordinate del piano focale rispetto alle due camere destra e sinistra), i due frustum asimmetrici generalizzati sono definiti. Figura 4.14: I riferimenti per la creazione del frustum. 37

39 Capitolo 5 Il prototipo sviluppato La soluzione teorica precedentemente descritta è stata implementata come prototipo funzionante e a sua volta testata attraverso alcune sessioni di esperimenti. Per quel che riguarda la parte hardware, considerando la disponibilità di prodotti commerciali con alte performance e a basso costo, si è deciso di utilizzare dispositivi di uso comune, per progettare e sviluppare un sistema di realtà aumentata che implementasse la soluzione in esame. I principali dispositivi scelti sono i seguenti: Microsoft Kinect for Xbox 360 Acer HN247H 3D Monitor Nvidia 3D Vision Pro 38

40 5.1 Microsof Kinect Il Microsoft Kinect è un accessorio per Xbox 360, in vendita da Novembre 2010 [Microsoft Corporation, 2011]. Esso è un dispositivo di input, un controller, sensibile al movimento umano. Ma a differenza dei suoi diretti concorrenti (Wiimote della Nintendo e PlayStation Move della Sony), esso rende direttamente il giocatore controller della console, senza l uso di altri strumenti. Il suo funzionamento si basa sul tracking dei movimenti del giocatore, e nel riproporli all interno del videogame. Il funzionamento del Kinect si basa sulla presenza di una videocamera RGB, ma sopratutto su un sensore di profondità a infrarossi (IR), rendendo cosìilkinectunavideocamerargb-dingradodifornireiltrackingdeimovimenti di un utilizzatore interamente in 3D. Il sensore di profondità consiste di un proiettore laser a infrarossi, combinato con una videocamera sensibile agli infrarossi, in grado di catturare lo streaming degli infrarossi in qualsiasi condizione di illuminazione. Un aspetto molto importante di questo dispositivo è il suo costo molto basso, viste le funzionalità che offre, ossia intorno ai euro, e questo è possibile siccome è un dispositivo non dedicato all uso professionistico o tecnico, ma dedicato alle console a disposizione di tutti. Le caratteristiche principali di questo dispositivo sono le seguenti: Frame rate: 30 Hz Dimensione immagine profondità: VGA (640x480) Risoluzione profondità: 1cm a 2m di distanza dal sensore 39

41 Intervallo di funzionamento: 0.6m - 3.5m Dimensione immagine RGB: UXGA (1600x1200) Campo visivo orizzontale: 58 Sensore di profondità IR Videocamera RGB Figura 5.1: Microsoft Kinect per Xbox 360. Figura 5.2: Microsoft Kinect senza l imballo esterno. 5.2 Acer HN247H 3D Monitor Per la visualizzazione delle scene in 3D si è scelto il monitor 3D HN247H fornito dalla Acer[Acer Inc., 2011]. Questo monitor sfrutta la tecnologia degli 40

42 occhiali attivi, o shutter glasses, che verrà descritta nella sezione successiva. Le caratteristiche che interessano di questo monitor sono: Dimensioni: 27 Tipo: LCD Widescreen (16:9) LED Backlight Frequenza: 120 Hz Risoluzione massima: 1920x1080 Full HD Ingressi: DVI, HDMI Figura 5.3: Monitor Acer HN247H 3D. 41

43 5.3 Nvidia 3d Vision Pro Il 3D Vision Pro prodotto da Nvidia è un kit per la visualizzazione di immagini tridimensionali con monitor adatti [NVIDIA Corporation, 2011]. Si basa sul principio degli occhali attivi, o shutter glasses, ed è dedicato ai monitor LCD a 120 Hz. Le lenti di questi occhiali, mediante speciali cristalli liquidi, possono diventare opace e tornare trasparenti all istante, in modo alternato tra la lente destra e quella sinistra. Questo fa si che sia possibile, sincronizzando le immagini mostrate dal monitor con la frequenza degli occhiali, mostrare a ciascun occhio un immagine diversa, per rendere così possibile la visione stereoscopica. Gli occhiali usano un protocollo wireless per sincronizzarsi con il monitor. Nello specifico ogni lente opera a 60 Hz, e alternandosi creano un esperienza tridimensionale a 120 Hz. Figura 5.4: Nvidia 3D Vision Pro. 42

44 5.4 Componenti software Per quel che riguarda la componente software del prototipo del sistema, ogni modulo del programma è stato sviluppato in C++ utilizzando Microsoft Visual Studio 10. Per renderizzare a monitor le scene virtuali che abbiamo creato sfruttando il quad-buffer, abbiamo usato il kit di sviluppo grafico Coin3D, una libreria ad alto livello per la grafica 3D [Kongsberg Oil & Gas Technologies., 2011]. Tale scelta è ricaduta su questa libreria per via di alcune sue caratteristiche: Fornisce un interfaccia ad alto livello per l utilizzo di OpenGL, rendendo così più facile lo sviluppo di scene tridimensionali. Possibilità di sviluppo multipiattaforma, che avrebbe reso più facile il trasferimento della nostra applicazione su sistemi Linux. Nessun costo di licenza per lo sviluppo di applicazioni non-commerciali. Pieno accesso al codice sorgente, aspetto che si è rivelato fondamentale durante lo sviluppo del sistema. Coin3D è un insieme di varie componenti, che racchiuse tutte insieme in questa libreria, permettono di scrivere programmi di avanzata grafica tridimensionale con un minimo sforzo di programmazione. Basato su OpenGL, il kit di sviluppo fornisce un insieme di oggetti che possono essere usati, modificati e estesi secondo le proprie necessità. Coin3D include oggetti primitivi (forme, proprietà, gruppi...), manipolatori interattivi (ad esempio per l utilizzo di trackball) e vari componenti (editor di materiali, editor per l illuminazione...). Come mostrato in Figura 5.5, la base di Coin3D è fornita 43

45 dall accesso immediato alle OpenGL(è possibile scrivere parti di codice direttamente in OpenGL da dentro Coin3D) e dal Window toolkit, ossia il legame tra il sistema operativo e la libreria di Coin3D. Questo legame rende lo sviluppo in Coin3D multipiattaforma, perchè si occupa di gestire la creazione di finestre e il funzionamento del programma in funzione del sistema operativo presente al momento dell esecuzione del programma. Figura 5.5: Schema dell architettura di Coin3D. Per accedere ai dati forniti dal Microsoft Kinect, ci si è affidati ai driver open-source forniti da PrimeSense, la ditta che ha sviluppato la tecnologia 3D per il Kinect [PrimeSense, Ltd., 2011]. La localizzazione e il tracking dello scheletro dell utente sono affidati al framework OpenNI, un insieme di API per l accesso a dispositivi per l interazione uomo-macchina in maniera naturale, permettendo così il tracking dei movimenti del corpo, dei gesti delle 44

46 mani e il riconoscimento vocale [OpenNI Organization, 2011]. In aggiunta alle librerie per la visualizzazione e il tracking dello scheletro, sono state sfruttate alcune funzionalità della libreria OpenCV, un insieme di metodi e oggetti dedicati alla Computer Vision, che sono stati utilizzati in alcune fasi del funzionamento del programma, ma che verranno spiegate meglio in seguito [Willow Garage, 2011]. Sia la fase di sviluppo del programma, che quella di test, sono state condotte su un PC equipaggiato come descritto di seguito: Intel Core i GHz 12 GB di RAM scheda grafica Nvidia Quadro 2000, 1 GB DDR5, abilitata per il 3D Vision Pro Windows 7 Professional In Figura 5.6 è mostrato lo schema del sistema in oggetto. Il Microsoft Kinect è posizionato subito sopra il monitor, centrato rispetto all asse X del sistema, e leggermente ruotato attorno allo stesso asse (vedi Side View). Questa configurazione è stata scelta per permettere al Kinect di avere una buona visibilità dell utente, senza avere il Kinect posto in mezzo tra l utente e il monitor. 45

47 Top View ZX plane Monitor Width: 600 mm Minimum Distance: 600 mm Side View ZY plane angle αy = 8 Kinect Coordinate System Monitor Coordinate System Minimum Distance: 600 mm Target Position: 0, 0, 800 mm movement area of the observer movement area of the observer Target Position: 0, 0, 800 mm Monitor Height: 340 mm Figura 5.6: Setup del sistema di realtà aumentata. 46

48 Capitolo 6 Fasi preliminari allo sviluppo del sistema In questo capitolo si descrive tutto lo studio svolto nelle fasi precedenti al reale sviluppo del programma. Questa fase ha compreso studi sullo stato dell arte attuale e le tecniche in uso, e uno studio sulla precisione e sulle prestazioni dei dispositivi che sarebbero stati utilizzati. 6.1 Studio delle prestazioni del Kinect Lo strumento che svolge il ruolo forse più importante nel sistema è indubbiamente il Microsoft Kinect, in quanto è in grado di ricavare direttamente la posizione tridimensionale dell utilizzatore utilizzando gli infrarossi, ossia illuminando la scena con un pattern a infrarossi noto, e analizzando il pattern che riceve con il sensore a infrarossi. Si è quindi voluto studiare a fondo le prestazioni di questo dispositivo. Come già descritto nella sezione 5.1, i dati 47

49 di fabbrica indicavano una risoluzione in profondità di 1cm a 2m di distanza dal sensore, un range di utilizzo di 0.6m - 3.5m, e un campo visivo orizzontale di 58. La prima prova che è stata svolta si è occupata della ricerca di una possibile distorsione delle lenti, che avrebbe comportato una errata calibrazione tra i diversi sistemi di coordinate coinvolti. Mediante il Camera Calibration Toolbox for Matlab R si è studiata questa distorsione, e dai dati ottenuti si è dedotto che le lenti erano già ottimamente calibrate. Questo probabilmente perchè la Microsoft ha calibrato le lenti in fase di fabbricazione, in modo da avere un dispositivo di tracking per Xbox 360 perfettamente funzionante. Questo risultato è coerente con quello trovato in [Konolige, Kurt and Mihelich, Patrick, 2011]. In seguito si è studiata la relazione tra i dati forniti dal Kinect e quelli misurati manualmente(tramite distanziometro laser), nel caso di misurazione della distanza da un punto fisso, e della misurazione dell inclinazione di un piano fisso. Inoltre si sono raccolti i dati studiati da altri gruppi online, che analizzavano anch essi le prestazioni del Microsoft Kinect. In [Nathan, Crock, 2011] è stato svolto uno studio sulla relazione tra la distanza misurata dal sensore, e la distanza reale da un ostacolo. I dati calcolati mediante il sensore risultavano decisamente precisi, ossia la loro varianza era bassa in confronto al valore medio calcolato. Per quel che riguarda l accuratezza, ossia il grado di corrispondenza del dato generato dal sensore con il dato reale misurato mediante distanziometro, si è notato che essa non segue un andamento lineare in funzione della distanza, ma piuttosto un andamento logaritmico. L immagine e la tabella in Figura 6.1 seguenti mostrano i dati 48

50 calcolati. Per convertire i dati RAW forniti dal Kinect in una misura di profondità in metri, si è utilizzato la relazione descritta in [Konolige, Kurt and Mihelich, Patrick, 2011]. Per un sistema stereoscopico normale, le camere sono calibrate in modo che le immagini rettificate siano parallele, e abbiano le coordinate orizzontali corrispondenti. In questo caso, la relazione che esiste tra la disparità e la profondità è z = b f/d dove z è la profondità (in metri), b è la distanza orizzontale tra le camere (in metri), f è la distanza focale (in pixel) e d è la disparità (in pixel). A disparità zero, i raggi da ciascuna camera sono paralleli, e la profondità è infinita. Alti valori di disparità rappresentano piccole profondità. I dati RAW che ritorna il Kinect rappresentano la disparità che calcola, ma essi non sono normalizzati nel modo appena descritto, ossia per disparità del Kinect zero non corrisponde una distanza infinita. La disparità del Kinect è rapportata alla disparità normalizzata dalla relazione d = 1 8 (d offset d kinect ) dove d è la disparità normalizzata, d kinect è la disparità fornita dal Kinect, e d offset è un offset caratteristico di questo dispositivo. Il fattore 1/8 appare siccome il valore di kd è calcolato in unità sub-pixel. Inserendo nella formula i valori effettivi delle costanti, si ottiene: z = 1 ( d 8 kinect) 49