POLITECNICO di BARI. Scuola di Dottorato. Dottorato di Ricerca in Ingegneria Meccanica XXVII ciclo

Transcript

1 POLITECNICO di BARI Scuola di Dottorato Dottorato di Ricerca in Ingegneria Meccanica XXVII ciclo Relazione Attività di ricerca relativa al II Anno (2013) Studio e sviluppo di soluzioni in Realtà Aumentata per l industria Dottorando: Saverio Debernardis Docente Tutor: Prof. Michele Fiorentino

2 INTRODUZIONE L'attività di ricerca svolta durante il secondo anno del dottorato di ricerca in Ingegneria Meccanica e Gestionale si è ramificata in diversi aspetti che riguarda lo sviluppo e l'utilizzo della Realtà Aumentata nell'industria. Allo stato dell'arte, questa tecnologia per molti aspetti risulta ancora incompatibile con gli standard rigidi richiesti dall'industria, per cui sono necessarie ulteriori ricerche per approfondire sia quali modalità d'utilizzo sono più consoni all'uso industriale, sia quali possono essere le effettive potenzialità e benefici che può offrire. Sulla scia di quanto fatto e pubblicato nel primo anno [1] e [2], in un primo periodo è proseguita la ricerca sulla leggibilità delle informazioni sugli schermi dei dispositivi optical see-through utilizzabili in ambito industriale. Una seconda parte ha riguardato l'utilizzo della piattaforma Arduino per lo sviluppo di un sistema robotizzato per automatizzare la scansione di oggetti o ambienti utilizzando il Kinect. Una quarta parte ha riguardato uno studio sperimentale dei sistemi che permettono il riconoscimento gestuale all'interno di un ambiente di lavoro applicato alla navigazione di un menù di Realtà Aumentata. Infine un'ulteriore ambito di ricerca, avviato durante il periodo presso il Virtual Reality Application Center all'iowa State University, USA, riguarda il riconoscimento di componenti meccanici utilizzando il Kinect. PIATTAFORMA di SCANSIONE ROBOTIZZATA Al VR3Lab è stato realizzato un primo prototipo di macchina rotante da adibire alla scansione di ambienti e oggetti che utilizza come macchina di scansione un Kinect e l'apposito software sviluppato dal prof. Fiorentino. Il Kinect è un dispositivo costituito da un emettitore infrarosso, una camera RGB, un sensore di profondità ad infrarosso, dei microfoni e un motore per il tilt. Figura 1: component del Kinect all interno del dispositivo [1] Il Kinect usa luce strutturata e algoritmi di learning machine per adempiere il suo scopo. In particolare la luce strutturata consiste nell'emettere un pattern noto di luce infrarossa e rilevare la sua proiezione sugli oggetti antistanti il sensore. Ciò permette di ricostruire una mappa di profondità dell'ambiente su cui proietta l'emettitore, e da cui rileva il sensore di profondità. Altre

3 funzionalità sono offerte da tale dispositivo ma in questo studio per il momento non sono state considerate. La tecnologia usata dal Kinect è stata sviluppata dalla PrimeSense, con brevetto US 2010/ del Nell'immagine seguente vengono mostrate le principali caratteristiche tecniche del dispositivo Figura 2: tabella delle caratteristiche principali del Kinect La testa rotante a due gradi di libertà è stata costruita utilizzando per lo più solo materiali di riciclo come legno e lamiere recuperate da vecchi dispositivi elettrici ed elettronici, non più utilizzati. Un rotismo è stato recuperato da un meccanismo di una vecchia stampante per permettere l'attuazione della rotazione del Kinect lungo il suo asse longitudinale. Un altro rotismo è stato recuperato da un vecchio giradischi e permette la rotazione della testa a 360. L'assemblaggio dei componenti è stata effettuata con l'aiuto dei tecnici del laboratorio del DMMM sito in viale Japigia, a Bari [2]. In una prima fase progettuale, effettuata utilizzando il modellatore CAD CATIA, è stata posta molta attenzione all'allineamento dell'asse su cui sono montati i sensori del Kinect e l'asse di rotazione della testa rotante. Di fatto questo accorgimento non è stato possibile raggiungerlo data la scarsità dei materiali da costruzione. Figura 3: fronte del modello in CATIA della piattaforma di scansione

4 Figura 4: retro del modello in CATIA della piattaforma rotante Sono stati utilizzati due motori passo-passo recuperati da due vecchie stampanti a getto d'inchiostro. Per il comando dei motori si è utilizzato l'arduino. L'Arduino è una scheda elettronica con un microcontrollore e diversi circuiti, utile per creare facilmente sistemi automatici e/o robotizzati prevalentemente a scopo hobbistico. Gli schemi dei circuiti della scheda sono liberamente disponibili sul sito [5], è un progetto sviluppato dall'interaction Design Center di Ivrea. In particolare per le attività di ricerca è stato utilizzato l'arduino Uno connesso ad una scheda Motor Shield [3], compatibile con essa, sufficiente a comandare contemporaneamente due motori passo-passo alimentati con alimentatore esterno a 12V. Figura 5: modello Arduino Uno utilizzato I motori passo-passo utilizzati sono i due seguenti: 1. motore passo-passo NMB PM55L-048 con le seguenti caratteristiche tecniche:

5 2. il secondo motore passo-passo utilizzato è l'm35sp, con le seguenti caratteristiche tecniche

6 Figura 6:dimensioni motore M35SP Entrambi i motori sono stati utilizzati secondo la modalità bipolare, quindi per ogni motore sono stati utilizzati solo le coppie di connettori che fanno capo agli estremi degli avvolgimenti, e non i 'neutri'. L'Arduino fornisce un software IDE basato su Java e Processing con cui editare i codici di comando. Segue una parte di codice utilizzata per generare la funzione che attiva i motori al fine di effettuare una scansione a 360 //motore1-->> 1 giro staffa=3giri motore void scansione(void) { } int i=0; for(i=0;i<10;i++) { } motore1.step(16,forward,single); delay(2000); for(i=0;i<97;i++) { } motore1.step(1,backward,single); motore2.step(1,forward,microstep); motore1.step(48,backward,single); motore1.release(); motore2.release(); I moti della testa rotante pilotati dai due motori permettono la rotazione a 360 del Kinect ed il suo tilt. Il tilt si rende necessario in quanto l'angolo di visione del Kinect è limitato a 43 verticalmente.

7 Figura 7:prototipo macchina di scansione realizzato La macchina realizzata, seppur funzionante non è adatta all'utilizzo in se e continuativo a causa di tutta una serie di problemi che una realizzazione di questo genere può rendere. Numerosi problemi di rotazioni non complete del braccio principale sono dovute al basso valore di coppia disponibile con l'accoppiata motore-ingranaggi recuperati. Lo sviluppo di un tale dispositivo non aveva come scopo l'utilizzo stesso del dispositivo ma serviva a valutare sia le possibilità di utilizzo per una eventuale integrazione in sistema interattivo di Realtà Aumentata, sia per prendere dimestichezza con lo sviluppo di sistemi robotizzati che potrebbero essere integrati in un sistema avanzato di Realtà Aumentata. STUDIO ERGONOMICO/FUNZIONALE Parte della ricerca condotta in questo secondo anno si è concentrata sulla possibilità di impiegare nuovi dispositivi tecnologici [4] che permettono di riconoscere i gesti di una persona, come ad esempio il Kinect, all'interno di un ambiente industriale, al fine di permettere all'operatore di navigare un manuale di manutenzione, presentato in Realtà Aumentata, mediante l'utilizzo dei soli gesti degli arti superiori. In questo scenario il lavoro di ricerca si è concentrato sul comprendere quali problematiche possono sorgere nell'utilizzo di tali interfacce uomo-macchina, in ambito industriale. Un primo obiettivo è stato quello di avere una classificazione di gesti che al meglio, da un punto di vista di intuitività e comfort, possono essere eseguiti per navigare un manuale 'aumentato' [4]. In base a ricerche preliminari sono stati fissati a quattro i gesti necessari e sufficienti per la navigazione completa di un menù. Per tale scopo è stato pianificato un esperimento, cui è stato chiesto a 15 individui, ben rappresentanti un campione statistico, di eseguire in qualsiasi modo trovassero più istintivo e comodo, eseguire con gli arti superiori i quattro gesti richiesti: avanti, indietro, su di un livello, giù di un livello. Una determinata sequenza dei gesti richiesti è stata presentata in modo del tutto casuale e con una velocità sempre maggiore in maniera tale da cogliere al meglio la

8 facilità di esecuzione del gesto. Ogni individuo sottoposto a tale esperimento è stato video registrato ed i dati raccolti sono stati analizzati al fine di estrapolare eventuali gesti comuni all'interno del campione. Il passo successivo di questa ricerca consiste nel valutare quali dei gesti che sono risultati più istintivi e facili da realizzare, possono effettivamente essere considerati ergonomici. La questione si pone in quanto l'utilizzo dei gesti, in tal caso, non ha un fine ludico, come effettivamente è utilizzato attualmente il Kinect. L'utilizzo in ambito lavorativo deve considerare l'esecuzione continua dei gesti per una intera giornata lavorativa, che può portare a fenomeni di affaticamento dell'operatore, nonché a violazione di semplici regole posturali. Per tale motivo i diversi gesti raccolti nel primo esperimento sono stati sottoposti all'analisi RULA (Rapid Upper Limb Analysis) [5] che permette con facilità di stimare quali parti muscolari e legamenti degli arti superiori sono più sollecitati da una determinata postura degli stessi, assunta con una certa frequenza. Figura 8:esempi di gesti considerati dagli utenti durante il primo esperimento

9 Il metodo RULA è implementato all'interno dell'ambiente Ergonomic Design & Analysis del modellatore CAD CATIA. Si è utilizzato questo software per simulare con diversi manichini, appartenenti a diverse popolazioni, con un percentile del 95% le diverse posizioni degli arti superiori che meglio approssimano le posizioni dei gesti collezionati nella prima parte dello studio. Con i diversi manichini sono state simulate le diverse posture applicando ogni volta il metodo RULA su citato. Risultati parziali di queste analisi hanno dimostrato che la maggior parte dei gesti raccolti non potrebbero essere utilizzati in ambito lavorativo con un utilizzo continuativo, e più nello specifico ci sono delle criticità per alcune articolazioni [5]. Molti di questi risultati sono in fase di analisi e non vengono riportati in questa breve descrizione. Figura 9: valutazione RULA della simulazione postura in Catia A seguito di queste due fasi preliminari, ovvero raccolta dei dati campionari e analisi dei dati, seguirà un ulteriore esperimento che serve a chiudere il cerchio per una completa valutazione dello studio. In particolare, ci si propone di utilizzare la metodologia di Nielsen [4] che suggerisce un metodo per progettare al meglio interfacce uomo-macchina. In breve, il metodo richiede, al contrario di quanto fatto fin qui, di chiedere ad un altro campione statistico di individui

10 l'associazione dei gesti, tra quelli che risultano fra i migliori dalle precedenti analisi, ai quattro comandi necessari alla navigazione e darne un giudizio in termini di comfort. RICONOSCIMENTO OGGETTI A settembre 2013 e iniziata la visita presso il Virtual Reality Application Center dell Iowa State University, USA, sotto la guida del Dr. Ing. Rafael Radkoski e del prof. James Oliver. Nel primo periodo e stato considerato il software di Realta Aumentata sviluppato dal Dr. Radkoski e sono state create alcune demo per conoscere l ambiente di sviluppo che utilizza codice C++, Python e XML, nonche le animazioni generate da 3D Studio Max. Durante la visita presso il Virtual Reality Application Center, un altro ambito di ricerca inizia ad essere affrontato, di notevole importanza in quanto molto richiesto in ambito industriale. Risulta importante il riconoscimento automatico dei componenti meccanici che vengono coinvolti durante una fase di manutenzione/assemblaggio senza l'utilizzo dei marker fiduciali, finora utilizzati nelle tradizionali interfacce in Realtà Aumentata, né di nessun altro dispositivo che può essere d'intralcio o fastidioso all'operatore. Oltre al riconoscimento, in computer grafica è richiesto anche il tracciamento dell'oggetto da un sistema di riconoscimento esterno, ovvero la sua posizione e rotazione. Per fare cio e richiesto che l elaborazione di immagini tri- o bidimensionali, oppure di informazioni recuperabili e gestibili automaticamente necessitino solo di un minimo o nessun intervento umano. Diversi metodi sono stati sviluppati in passato basati su diversi sistemi di classificazione: caratteristiche globali del prodotto, calcolo dei momenti di forma, sistemi che sfruttano la teoria dei grafi, le distribuzioni ad istogramma, informazioni di prodotto, e sistemi di riconoscimento oggetti 3D [9]. Molti di questi pero non possono essere integrati in Realta Aumentata per diversi motivi, tra cui il principale e che non lavorano in tempo reale. Un sistema che interagisce con una persona deve necessariamente lavorare in tempo reale, ovvero non deve esserci attesa di tempo fra comandi impartiti dall utente e risposta della macchina. In generale e richiesto un sistema che abbia costi contenuti, abbia un funzionamento stabile, e che le prestazioni siano di un certo livello. In tale ambito molti sono gli algoritmi che analizzano le immagini bidimensionali [10], che permettono di ottenere ottimi risultati, come ad esempio il Natural Feature Tracking utilizzato per l implementazione del markerless. Per quanto riguarda invece l elaborazione di dati tridimensionali pochi sono gli algoritmi che permettono di avere buone prestazioni e risultati in tempo reale. In prima analisi e stato fatto un confronto fra algoritmi quali il K-Neareast Neighbors [11] e l Iterative Closest Point. Per il matching 3D diversi algoritmi esistono ma non tutti hanno prestazioni applicabili. Ad esempio il metodo sviluppato all University di Princepton [10] considera delle distribuzione statistiche di dati, caratteristici di un determinato modello 3D, in maniera tale da confrontare con metodi statistici due funzioni di distribuzione e validarne cosi la somiglianza. Finora in letteratura il piu robusto risulta essere il Viewpoint Feature Histogram [11].

11 Figura 10: schema per l object detection in Realta Aumentata Al VRAC si sta pensando di sviluppare un ulteriore algoritmo che sia piu performante e robusto dei precedenti e che sfrutti le informazioni che vengono fornite dal Kinect, considerato come dispositivo a basso costo.

12 Figura 11: dalla nuvola di punti alla mesh con Point Cloud Library Per giungere a questo risultato il primo obbiettivo posto e quello di generare la mesh in tempo reale, della scena ripresa da un Kinect. Per fare cio si e utilizzata la libreria open-source Point Cloud Library. Tale libreria presenta diverse funzioni per generare la mesh, ma al momento quella che risulta piu performante e la GreedyProjectionTriangulation. CONCLUSIONE La ricerca sulla Realta Aumentata condotta presso il VR3Lab si sta ampliando sempre piu affrontando le diverse problematiche che ancora la rendono poco applicabile in campo industriale. La mia attivita da dottorando in questo ultimo anno si e concentrata principalmente su due aspetti: i) la possibile introduzione di interfacce gestuali per la navigazione di un manuale in Realta Aumentata; ii) soluzione automatica ed a basso costo per il tracking dei componenti e degli attrezzi. Entrambe le ricerche prevedono un ampio proseguo nell ultimo anno. La ricerca iniziata da qualche mese, presso l istituto accademico statunitense, proseguira regolarmente nel prossimo anno.

13 BIBLIOGRAFIA [1] Fiorentino, M., Debernardis, S., Uva, A. E., & Monno, G., "Augmented reality text style readability with see-through head-mounted displays in industrial context," Presence: Teleoperators and Virtual Environments, vol. 22, no. 2, pp , [2] Debernardis, S., Fiorentino, M., Gattullo, M., Monno, G., & Uva, A. E., "Text Readability in Head-Worn Displays: Color and Style Optimization in Video vs. Optical See-Through Devices," IEEE transactions on visualization and computer graphics, [3] "Microsoft Kinect," [Online]. Available: [4] P. d. Bari. [Online]. Available: [5] [Online]. Available: [6] Arduino. [Online]. Available: [Accessed Dicembre 2013]. [7] D. A. Bowman, J. Chen, C. A. Wingrave, J. Lucas, A. Ray, N. F. Polys, Q. Li, Y. Haciahmetoglu, J. Kim, S. Kim, R. Boehringer, and T. Ni,, "ew Directions in 3D User Interfaces,," International Journal of Virtual Reality IJVR, vol. 5, no. 2, pp. pp. 3-14, [8] Stern, H. I., Wachs, J. P., & Edan, Y., "Optimal consensus intuitive hand gesture vocabulary design," n Semantic Computing, 2008 IEEE International Conference on IEEE International Conference, pp. pp , [9] L. M. e. al, "RULA: a survey method for the. irwestigation of world-related upper limb disorders," Applied Ergonomics, [10] Erminia Attaianese Gabriella Duca, Manuale di raccomandazioni ergonomiche per le postazioni di lavoro metalmeccaniche, Napoli: Fridericiana Editrice Universitaria, [11] Nielsen, M., Störring, M., Moeslund, T. B., & Granum, E., "A procedure for developing intuitive

14 and ergonomic gesture interfaces for HCI," Gesture-Based Communication in Human- Computer Interaction Springer Berlin Heidelberg, pp. pp , [12] Iyer, N., Jayanti, S., Lou, K., Kalyanaraman, Y., & Ramani, K, "Three-dimensional shape searching: state-of-the-art review and future trends.," Computer-Aided Design, vol. 37, pp , [13] Kim, Sungho, Inso Kweon, and Incheol Kim, "Robust model-based 3d object recognition by combining feature matching with tracking.," in Robotics and Automation, Proceedings. ICRA'03. IEEE International Conference on. Vol. 2. IEEE,, [14] Muja, Marius, and David G. Lowe., "Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration.," in VISAPP (1), [15] Osada, R., Funkhouser, T., Chazelle, B., & Dobkin, D., "Matching 3D models with shape distributions," in n Shape Modeling and Applications, SMI 2001 International Conference on, IEEE, [16] Rusu, R. B., Bradski, G., Thibaux, R., & Hsu, J., "Fast 3d recognition and pose using the viewpoint feature histogram.," in Intelligent Robots and Systems (IROS), 2010 IEEE/RSJ International Conference on. IEEE, 2010.