POLITECNICO di BARI Scuola di Dottorato Dottorato di Ricerca in Ingegneria Meccanica XXVII ciclo Relazione Attività di ricerca relativa al I Anno (2012) Studio e sviluppo di soluzioni in Realtà Aumentata per l industria Saverio Debernardis s.debernardis@poliba.it Docente Tutor: Prof. Michele Fiorentino
INTRODUZIONE L'attività di ricerca svolta nell'ambito del dottorato di ricerca in Ingegneria Meccanica, si è concentrata inizialmente sullo studio dello stato dell'arte delle tecnologie utilizzate per la realtà aumentata e la loro applicabilità nell'ambito industriale. Tale ricerca ha riguardato sia le applicazioni della realtà aumentata già presenti in letteratura, sia la comprensione degli strumenti fondamentali per l'utilizzo di tale tecnologia: i software, i dispositivi di visione, e le camere. Ad esso si è affiancato uno studio delle tecniche di statistica circa i comportamenti percettivi umani, atte a valutare quantitativamente le performance degli user test effettuati presso il laboratorio VR3Lab, al DMMM. Infine, parallelamente, si è inserita, un attività di ricerca che riguarda il reverse engineering per la modellazione semiautomatica e per il tracking 3D. E stato sviluppato presso il VR3Lab un sistema di supporto alla manutenzione in AR, integrando tecnologie commerciali con sistemi e software sviluppati nel nostro laboratorio. Sono stati oggetto di studio: i)le tecniche per effettuare il tracking e la proiezione delle informazioni, ii) le interfacce ottimizzate per lambito industriale nel presentare modelli CAD, informazioni CAE, sequenze operazionali per la manutenzione, ecc... Per i sistemi di visione sono stati condotti: i) esperimenti circa la leggibilità delle informazioni con i dispositivi a disposizione nel laboratorio VR3Lab, ovvero il Liteye 750A, e il Vuzix Wrap920 AR, ii) l ottimizzazione di parametri sullo stile di visualizzazione. Infine sono stati valutati i parametri che caratterizzano le camere per un adeguata applicazione della tecnologia evitando i problemi che ne rendono critica la loro applicazione in diversi ambienti e con diverse finalità. L'AUGMENTED REALITY Per Augmented Reality (AR) si intende la sovrapposizione a ciò che una persona percepisce con i propri sensi, all'interno di un ambiente reale, di ulteriori informazioni sensoriali generati tramite dispositivi che in genere l'utente indossa, o sono nelle sue vicinanze. L'aggettivo 'aumentata' si riferisce al fatto che altre informazioni sono aggiunte oltre a quelle che l'utente naturalmente percepisce, anche se di fatto, possono essere anche ridotte, volutamente e non. Come concetto generale è possibile applicare l augmented reality ad ognuno dei cinque sensi, ma per il momento quello con più alto
potenziale di utilizzo è sicuramente la vista. Ovvero, quando si parla di augmented reality, si fa riferimento al fatto che ciò che vedrebbe normalmente l'utente contenga ulteriori informazioni quali modelli virtuali 3D statici e/o animati, informazioni testuali, immagini, ecc... Per disporre di un sistema di realtà aumentata sono necessari più dispositivi cui è richiesto di funzionare più o meno in parallelo, coordinati da un software in esecuzione su un computer. Come sistemi di input sono necessari: i) delle camere con cui poter rilevare l'ambiente reale, ii) eventuali sistemi di posizionamento per monitorare la posizione dell'utente nello spazio reale (tracker acustici, magnetici, meccanici, GPS ecc ) e quindi ciò che vede esattamente in un certo istante, iii) sistemi tramite i quali l'utente può dare dei comandi di varia natura al sistema (video, sonori, tattili, ecc..). Per visualizzare, invece, la sovrapposizione di oggetti virtuali sulla scena reale varie sono le tecnologie adottate su diversi dispositivi. In genere possono essere classificati in quattro categorie differenti: Head-Mounted Displays (HMD) Schermi Spatial Augmented Display (SAR) Heads-up Displays (HUD) Gli HMDs sono dispositivi in grado di ricreare la scena 'aumentata' proprio proprio davanti agli occhi dell utente, e vengono chiamati così perché in genere vengono indossati come degli occhiali o vengono sostenuti da degli elmetti indossati sul capo. Col tempo tali dispositivi stanno assumendo forme sempre meno ingombranti, tanto che la Google ha annunciato per la fine del 2013 la immissione sul mercato degli Google Project Glasses dalla forma molto Figura 1: Dispositivi optical seethrough della Lumus simili a quelli da vista Figura 2: Project Glasses della Figura 3: Dispositivi optica see- Google, la quale ha promesso trough della Laster Technology che saranno disponibili sul mercato per i consumatori alla fine del 2013
Tali dispositivi possono essere classificati come monoculari se forniscono l'informazione 'aumentata' solo su un occhio, o bioculari se su entrambi gli occhi. Inoltre si distingue la tecnologia optical see-through dalla tecnologia video see-through. Questi ultimi sono costituiti da mini-monitor su cui è visualizzata l'intera scena elaborata da un computer che fonde la scena reale, ripresa da una videocamera montata sul dispositivo, e la scena virtuale. Invece gli optical see-through pongono davanti all'occhio una lente, con un certo grado di trasparenza, che permette di vedere la scena reale, e su di essa viene sovrimpressa la scena virtuale. Tali dispositivi HMD hanno sicuramente il grande vantaggio di non tenere occupate le mani dell utente, che invece possono essere libere di compiere altre operazioni. Tuttavia l utilizzo di tali dispositivi non può perdurare per più di un certo intervallo di tempo, perché a lungo andrà a stancare gli occhi. La realtà aumentata è visualizzabile su uno schermo che può essere quello di un notebook, di uno smartphone, di un tablet o anche un pannello su cui è proiettata l'immagine a monitor di un pc. Rispetto al sistema precedente tale tecnologia presenta dei limiti maggiori sia sulla visualizzazione, in quanto l'utente deve sempre inquadrare lo schermo per ricevere l informazione, sia sul posizionamento delle camere che non essendo disposte sullo stesso asse ottico degli occhi presentano una zona di visualizzazione diversa da quanto inquadrato dalla vista dell utente Gli Spatial Augmented Displays prevedono dei proiettori digitali che proiettano la scena virtuale direttamente sull ambiente reale. In questo modo l utente non è costretto ad indossare accessori scomodi e ha le mani completamente libere, inoltre la scena aumentata è visualizzabile da più utenti contemporaneamente. Per cui tale tecnologia si presta bene laddove è molto importante il lavoro in team, come ad esempio nei settori in cui più persone con diverse competenze si confrontano sulle soluzioni tecniche di un prodotto. Il problema di questa tecnologia è che non tutte le superfici si prestano bene per la proiezione, inoltre occorre avere ambienti con una determinata luminosità.
3 Figura 4: Prove di SAR effettuate presso il laboratorio VR Lab Gli Head-ups dispay sono degli schermi trasparenti attraverso cui l'utente osserva il mondo reale e su cui vengono fornite informazioni. In pratica non sono altro che dispositivi molto simili agli optical see-through HMDs ma non indossati dall'utente. Sono nati in ambito militare allo scopo di visualizzare informazioni strettamente necessarie nella direzione in cui dovrebbe guardare un pilota di un aeromobile durante manovre particolari, o il conducente di un veicolo terrestre, senza che sia distratto da spie che non siano nel campo di visione operativo. Per quanto riguarda i software, inizialmente è stato considerato Unifeye Engineer prodotto dalla società tedesca Metaio, fornita dalla stessa in versione demo per un breve periodo. Tale software è servito come base di studio iniziale per comprendere l'utilità di un workflow per creare delle prime interfacce utili nel dominio della manutenzione industriale (tesi Ing. M. Gattullo), valutando le varie modalità di tracking attualmente disponibili: i)con marker, ii)senza marker, e i diversi sistemi di rendering come ad esempio l'object occlusion. Per le calibrazione delle camere sono stati confrontati software come Matlab e GLM, mentre per l'animazione dei modelli 3D si è fatto uso del software 3D Studio Max in versione student, che permette lavorare con il formato VRML.
CALIBRAZIONE CAMERE Questione importante in ambito industriale è la esatta posizione degli oggetti virtuali nella scena reale, nonché la loro corretta deformazione secondo le leggi della prospettiva. Un accurata procedura di calibrazione permette di ricavare parametri di funzionamento della camera in determinate condizioni nonché la deformazione prospettica filtrata dalla camera. In tal modo l'algoritmo di tracking è in grado di individuare la deformazione prospettica data dal segnale della camera in base ai marker presenti o meno nella scena, e di deformare e posizionare opportunamente i modelli 3D. I parametri che vengono ricavati da una procedura di calibrazione sono principalmente: la lunghezza focale, il punto principale, l errore in pixel, e i coefficienti di deformazione radiale e tangenziale, tutti con la relativa accuratezza. Tali parametri rilevano errori di montaggio della camera come il disallineamento tra lente e sensore ottico, ed errori ottici delle lenti. E ancora in fase di studio l algoritmo che valuta i valori dedotti dalla calibrazione (tesi M. Di Donato). ESPERIMENTI Durante quest anno sono stati condotti 3 esperimenti cui hanno portato alla pubblicazione di 3 lavori, attualmente in fase di revisione. Prima di eseguire gli esperimenti è stata prestata molta attenzione alla progettazione dell esperimento nonché allo studio avanzato delle tecniche statistiche per l analisi dei dati. Sono stati approfondite tecniche di analisi statistica per stabilire l omoschedasticità e la normalità dei campioni come il test di Levene e Shapiro-Wilk, tecniche di statistica parametrica per il confronto fra medie quali la oneway ANOVA, two ways ANOVA, Welch-ANOVA e i relativi post-hoc quali ad esempio il test di Bonferoni, tecniche di statistica non parametrica come il Friedman test e KruskalWallis seguiti da post-hoc come il Wilcoxon test, e infine test per il confronto di frequenze come il metodo delle tabelle di contingenza. Tali tecniche sono poi state applicate in maniera opportuna all analisi dei dati sperimentali raccolti mediante Matlab o software dedicati. Il primo studio empirico aveva l obiettivo di valutare l'efficacia della manutenzione tecnica assistita con le istruzioni interattive in realtà aumentata. E stato utilizzato un grande schermo, presente nel laboratorio VR3Lab, per la visualizzazione della realtà aumentata e una combinazione di più telecamere fisse e mobili.
Figura 5: Configurazione del primo esperimento ed esempio di esecuzione di operazione di manutenzione Per questo esperimento il workflow di lavoro è stato creato con Metaio Unifye Engineering. Nel nostro test, 14 partecipanti hanno completato una serie di 4 interventi di manutenzione in base al manuale di manutenzione del motore Honda Hornet 600 F5. Nel caso nella modalità in realtà aumentata, operazioni come la selezione dell'utensile, rimozione di viti, ed estrazione componenti sono supportati da etichette grafiche, modelli 3D virtuali e animazioni 3D. Tutti i partecipanti hanno eseguito le stesse operazioni nelle due modalità: seguendo il manuale cartaceo e le istruzioni in realtà aumentata a schermo. La fase di organizzazione del test e raccolta dati è stata condotta in parallelo alla tesi di laurea dell ing. Michele Gattullo. L'analisi statistica ha dimostrato che le istruzioni in realtà aumentata hanno tempi di esecuzione significativamente ridotti e un basso tasso di errore. Figura 6: Dati relativi al primo esperimento Il secondo studio empirico aveva l obiettivo di valutare la visibilità di 12 stili di testo attraverso il visore optical see-through a nostra disposizione, il Liteye 750A, su tre differenti sfondi tipici industriali in ambiente con luminosità 300 lux.
Figura 7: Stili di testo utilizzati per il secondo esperimento I 12 stili di testo risultano dall utilizzo dei colori bianco, nero, rosso e verde, e la presenza o mancanza di outline o billboard, per aumentare il contrasto tra testo e sfondo. Figura 8: Sfondi utilizzati ne secondo esperimento
Per il test di visibilità si è seguito il Gabbard test, noto in letteratura per studi sulla di visibilità di informazioni testuali con optical see-through in ambienti esterni. Figura 9: Esempio di test di Gabbard per valutare la migliore modalità di presentare informazioni testuali L utente tramite il visore rivolto verso uno dei tre sfondi, osserva le sei righe di testo sovraimpresse. Nelle prime tre righe deve trovare quale lettera maiuscola e minuscola si ripete consecutivamente, poi deve contare nelle tre righe inferiori, quante volte tale lettera si ripete. L utente deve fornire la risposta tramite tastierino numerico opportunamente sistemato nella postazione del test. Figura 10: Dispositivo optical see-through Liteye 750A Il software sviluppato dal prof. M. Fiorentino, consente di ricavare i tempi e gli errori. Ulteriori strumenti di indagine sono stati i questionari compilati dai 14 partecipanti cui è stato chiesto un giudizio a 5 valori secondo una scala Likert. La fase di organizzazione del
test e raccolta dati è stata eseguita in parallelo alla tesi di Michele Mazzoccoli. In sintesi l analisi dei risultati ha dimostrato che sia gli stili di testo che lo sfondo influenzano la leggibilità del testo senza che ci sia interazione fra le due variabili; inoltre è risultato preponderante l utilizzo del billboard con colore ad alto contrasto, rispetto al testo, come il bianco. Figura 11: Alcuni dei risultati trovati per il primo esperimento
Infine come ultimo esperimento è stato condotto uno studio sperimentale per valutare la leggibilità del testo, sempre basato sul Gabbard test, per confrontare le prestazioni di un optical see-through, il Liteye 750A, e un video see-through, il Vuzix Wrap 920 AR, utilizzando uno sfondo chiaro e uno scuro. In questo caso sono stati considerati 20 stili di testo combinando i colori bianco, rosso, verde, blu e nero, nella modalità di semplice testo e testo con billboard. Figura 12: Dispositivo video see-through Vuzix Wrap 920AR Figura 13: Elenco degli stili di testo provati nel terzo esperimento
Il test eseguito prevedeva che l utente eseguisse la stessa procedura descritta per il precedente esperimento, ma con strumenti e sfondi diversi. Ciò ha richiesto una modifica del software sviluppato affinché si avesse una eguale spaziatura e distribuzione del testo nei due dispositivi. Lo studio effettuato ha riportato differenze significative tra i due visori dovuti alla diversa tecnologia di visione: in particolare l optical see-through ha fatto registrare prestazioni migliori. Come risultato generale per il video see-through non ci sono dipendenze di prestazioni dal tipo di sfondo in quanto il testo è sempre perfettamente sovraimpresso. Il prossimo esperimento sarà fare di progettazione riguarda la valutazione dell altezza ottimale del testo onde evitare l occlusione di parte importante della visuale, sempre nel caso di procedure sequenziali ed ordinate. REVERSE ENGINEERING Minima parte dell attività di ricerca è stata dedicata allo studio delle tecniche di reverse engineering principalmente con l utilizzo della macchina di scansione Scan System, a luce strutturata, presente in laboratorio. In particolare sono state affrontate alcune problematiche che riguardano sia la scansione di macchine e componenti industriali in azienda, sia la ricostruzione di superfici e modelli tramite appositi software di reverse engineering. La macchina presente in laboratorio acquisisce nuvole di punti mediante la tecnica della luce strutturata. Un proiettore illumina l oggetto da scansionare con un pattern con alternanza di strisce scure e chiare. La deformazione di tali strisce sull oggetto illuminato cambia in base alla curvatura della superficie. L oggetto così illuminato è ripreso da due telecamere poste tra loro a distanza fissa. L algoritmo, incrociando le due immagini che contengono i pattern di illuminazioni deformati dall oggetto, è in grado di ricostruire la posizione dei punti dell oggetto nello spazio. La procedura tipica per effettuare una scansione di un generico oggetto è la seguente: 1. Calibrazione delle camere 2. Fissare la distanza dell oggetto dalla macchina di scansione, porre i marker ove necessario sull oggetto 3. Scansionare l oggetto da differenti direzioni assicurandosi sovrapposizione tra le diverse nuvole 4. Filtrare le nuvole di punti 5. Unire le nuvole di punti facendo coincidere tre punti di ogni nuvola 6. Rifinire la nuvola completa che ci sia
7. Generare curve e superfici che approssimano meglio una certa porzione di nuvola di punti 8. Fissare il tipo di continuità G0, G1 e G2 fra le varie patch Figura 14: Macchina di scansione Scan System a luce strutturata Importante per l esecuzione di una buona scansione sono l illuminamento dell ambiente, la posizione dei marker per la sovrapposizione delle nuvole, e l attenzione prestata alla scansione delle zone con sottosquadri. Come attività di studio e ricerca futura si stanno valutando le potenzialità offerte da dispositivi portatili a basso costo che sfruttano l utilizzo di sensori di profondità ad infrarosso. In questo modo pensiamo di aumentare la facilità di scansione di oggetti in cantieri industriali.
CONCLUSIONE L attività di ricerca proseguirà sulla sperimentazione di utilizzo di nuovi visori optical seethrough appena disponibili, per applicazioni di manutenzione e riparazione in ambito industriale. A tale studio si affiancherà la sperimentazione di nuove interfacce uomomacchina per il riconoscimento dei gesti, dei componenti meccanici, e studio di applicabilità della SAR a casi industriali reali, sperimentazione di sistemi di riconoscimento di immagini per validare procedure eseguite dall operatore e studio di nuove metodologie per la ricostruzione tridimensionale di componenti meccanici o ambienti industriali. Bibliografia [1] Augmented reality text style readability with see-through head mounted displays in industrial context - M. Fiorentino, S. Debernardis, A. E. Uva, G. Monno, Presence: Teleoperators and Virtual Environments, MIT Press, 2012 (submitted for publication) [2] Augmented reality on large screen for interactive maintenance instructions, M. Fiorentino, S. Debernardis, M. Gattullo, A. E. Uva, G. Monno, Computers in Industry, Elsevier, 2012 (submitted for publication) [3] Text readability comparison of video vs optical see-through devices for Augmented Reality: user study M. Fiorentino, S. Debernardis, M. Gattullo, A. E. Uva, G. Monno, IEEE Transactions on Visualization and Computer Graphics, 2012 (submitted for publication) [4] Steve Henderson and Steve Feiner, "Opportunistic Tangible User Interfaces for Augmented Reality," IEEE Transactions on Visualization and Computer Graphics, vol. 16(1), 2010. [5] Steve Henderson and Steve Feiner, "Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret", International Symposium on Mixed and Augmented Reality (ISMAR '09), October 2009, pp. 135-144. (recipient Best Paper Award) [6] Steve Henderson, Steven Feiner, "Opportunistic Controls: Leveraging Natural Affordances as Tangible User Interfaces for Augmented Reality", ACM Virtual Reality Software and Technology (VRST) 2008, October 2008, pp. 211-218. (recipient Best Paper Award)
[7] Fiorentino, M. (2012). HMD Test software. Retrieved August 07, 2012, from Polytechnic of Bari, Department of Mechanics, Mathematics and Management, Vr3Lab website: http://www.dimeg.poliba.it/vr3lab/ [8] Gabbard, J. L., Swan, J. E. II, & Hix, D. (2006). The Effects of Text Drawing Styles, Background Textures, and Natural Lighting on Text Legibility in Outdoor Augmented Reality. PRESENCE: Teleoperators and Virtual Environments, 15(1), 16 32. doi:10.1162/pres.2006.15.1.16 [9] Gabbard, J. L., Swan, J. E. II, Hix, D., Kim, S.-J., Fitch, G. (2007). Active Text Drawing Styles for Outdoor Augmented Reality: A User-Based Study and Design Implications. In Proceedings of the VR '07: Virtual Reality Conference. IEEE, 35 42. doi: 10.1109/VR.2007.352461 [10] Comparing the effects of text size and format on the readibility of computer- displayed Times New Roman and Arial text, Michael L. Bernard, Barbara S. Chaparro, Melissa M. Mills, Charles G. Halcomb, International Journal of Human-Computer Studies2003 [11] Is there a reality in Industrial Augmented Reality?, Fite-Georgel, Pierre, Mixed and Augmented Reality (ISMAR), 2011 10th IEEE International Symposium, 201-210, doi: 10.1109/ISMAR.2011.6092387 [12] Recent advances in augmented reality, Azuma, R. Baillot, Y. ; Behringer, R. ; Feiner, S. ; Julier, S. ; MacIntyre, B., Computer Graphics and Applications, IEEE, 2001, vol.: 21, issue: 6, pp 34-47