SVILUPPO DI TECNICHE DI AUGMENTED REALITY PER LA MANUTENZIONE AERONAUTICA F. De Crescenzio, F. Persiani DIEM - University of Bologna, V.le Risorgimento, 2, 40136 Bologna francesca.decrescenzio@mail.ing.unibo.it 1. Introduzione Elaborata allo scopo di superare alcuni dei limiti legati ai sistemi di Realtà Virtuale immersivi, l Augmented Reality (AR) ne ha notevolmente ampliato lo spettro di applicabilità in diversi settori che vanno dall industria alla ricerca scientifica. In particolare questa nuova tecnologia è stata di recente proposta per introdurre nuove potenzialità nell ambito di attività quali la manutenzione di sistemi complessi. L approccio grafico ed interattivo, infatti, rivela la possibilità di snellire la gestione ed i processi di manutenzione, spesso gravati dalla necessità di consultare manuali voluminosi o cercare la procedura di intervento appropriata. L applicazione di nuove metodologie in questo campo potrebbe avere una doppia ricaduta. Da un lato essa porterebbe, unita ad una riprogettazione dei flussi di manutenzione ordinaria, ad un aumento della disponibilità della flotta aerea. Dall altro, si propone come strumento di guida e supporto per lo svolgimento di operazioni da parte di personale sì qualificato, ma allo stesso tempo soggetto alla possibilità di commettere errori, come del resto dimostrato dalle statistiche. Gli errori umani sono stati indicati, infatti, tra le cause principali fra quelle che possono compromettere la riuscita di un intervento di manutenzione. A confermarlo la crescente attenzione verso il miglioramento delle tecniche di manutenzione e l addestramento del personale focalizzati sulle prestazioni e sugli Human Factors. In questa relazione verrà presentato un sistema di AR che intende snellire il processo di manutenzione migliorandone, allo stasso tempo, le prestazioni e, quindi, riducendo la probabilità del verificarsi di errori dovuti a fattori umani. In particolare questa tecnologia è basata sulla realizzazione di un ambiente combinato in cui Computer Graphics e realtà si fondono per fornire una visione ricca di informazioni aggiuntive. Tali informazioni sono presentate sotto forma di modelli tridimensionali o messaggi di testo che, sovrapposti al componente in manutenzione, guidano l operatore in un semplice approccio step by step. Dotato di un computer portatile e di una telecamera, l operatore non deve fare altro che inquadrare le singole parti dell aeromobile. Le immagini acquisite vengono successivamente processate ed inviate al monitor del computer dopo essere state integrate con l ambiente virtuale. Utilizzando delle immagini bidimensionali (pattern) preregistrate è possible risalire, attraverso il Fig.1 Lo spazio amplificato
calcolo della prospettiva inversa della telecamera, alla posizione della stessa rispetto all oggetto reale da identificare. Grazie a questo sistema, quando la telecamera si sposta, l immagine virtuale viene aggiornata per consentire la corretta collimazione tra i due ambienti. La tecnica di riconoscimento dei pattern è stata implementata anche per migliorare e facilitare la consultazione dei manuali, nonchè per l aggiornamento dello scadenziario legato alla pianificazione degli interventi. 2. Applicazioni Per le sue caratteristiche l Augmented Reality, come già accennato, è stata proposta in numerosi settori. La Bell Helicopters, in particolare, già nel 1967 provò per la prima volta un sistema formato da visori collegati ad una telecamera a raggi infrarossi installata sull elicottero e solidale alle rotazioni della testa del pilota. Lo scopo di questo apparato era di permettere ed aumentare il livello di sicurezza degli atterraggi in zone impervie. Successivamente, l Augmented Reality ha trovato applicazione nel campo dell intrattenimento, della simulazione e del training nel settore militare, del supporto grafico per la costruzione e fabbricazione industriale, come strumento di supporto per valutazione di impatto ambientale, per gli automatismi, ecc. Tra le applicazioni che maggiormente si avvicinano a quella proposta in questa relazione, si trovano le cosidette annotating the real world applications. Esse si basano sull idea di associare un annotazione grafica ad ogni oggetto all interno di uno scenario. Oltre che per il Real-time maintenance instruction, la Boeing ha applicato con successo l Augmented Reality al processo di definizione ed ottimizazione del lay-out di parti flessibili (cavi, tubi, etc.) all interno di spazi ridotti (Wire bundle lay-up assembly). 3. Il flusso di lavoro 1.EQUIPAGGIAMENTO DELL OPERATORE 2.VISUALIZZAZIONE DEL PERCORSO DI LAVORO E DELLA SEQUENZA DEGLI INTERVENTI La reingegnerizzazione del processso di manutenzione in un approccio Augmented Reality prevede la suddivisione nelle quatto fasi schematizzate in Fig.2. 3.APPLICAZIONE DELLE TECNICHE DI AUGMENTED REALITY E CONSULTAZIONE AUTOMATICA DEI MANUALI 4.CHIUSURA SESSIONE E REGISTRAZIONE AUTOMATICA DEGLI INTERVENTI EFFETTUATI Fig.2 3.1 Equipaggiamento Nella scelta dell hardware si è tenuto conto di diversi fattori. In primo luogo è necessario fornire strumenti non ingombranti e facilmente trasportabili, tenuto conto della mobilità di un operatore attorno all aeromobile. Inoltre, è molto importante avere uno strumento in grado di gestire la visualizzazione Fig.3 La fase di equipaggiamento
grafica tridimensionale e particolarmente flessibile per potere essere facilmente aggiornato. L operatore è quindi dotato di un computer portatile e di una telecamera web come mostrato in Fig.3. Fig.4 3.1 Percorso di lavoro La prima schermata riguarda la visualizzazione animata del percorso di lavoro. Una volta portatosi in prossimità dell area indicata dalla vista, in pianta o laterale, dell aeromobile, l operatore passa alla fase 3, descritta in dettaglio nei paragrafi seguenti. Infine, si registrano i dati relativi agli interventi eseguiti. 4. L Augmented Reality Come precedentemente accennato, i sistemi di Realtà Virtuale immersiva, ovvero quelli che mirano a creare un ambiente virtuale che sostituisca completamente quello reale, si sono rivelati in alcuni casi inadeguati. In primo luogo, essi necessitano di strumenti hardware capaci di gestire pesanti modelli 3D. Inoltre, possono generare la sensazione di irreale da parte dell utente, essendo basati sulla creazione di ambienti del tutto sintetici. La misura di quanto un utente del sistema percepisca reale un ambiente virtuale risulta, del resto, fondamentale per garantire le prestazioni di una simulazione. Diversamente l Augmented Reality, da alcuni tradotta come Realtà Amplificata, si propone di arricchire lo spazio reale con informazioni aggiuntive, arricchendone la percezione da parte di un utente attraverso la corretta correlazione tra i due ambienti. Il risultato finale è, in definitiva, un ambiente combinato risultante dalla fusione di oggetti reali con oggetti virtuali. Lo sviluppo dell Augmented Reality è stato, fino ad oggi, basato su due temi fondamentali. Il primo riguarda le tecniche di visualizzazione, ovvero i sistemi per Fig. 5 Video see-through AR Fig.6 Optical see-throug AR
sovrapporre, o combinare, i due ambienti. Il secondo si riferisce alla ricerca di una tecnica efficiente per il riconoscimento delle diverse parti che compongono uno scenario reale, allo scopo di correlarvi dei modelli tridimensionali in maniera dinamica (video merging). Gli strumenti (virtual devices) attualmente disponibili permettono una percezione visiva combinata attraverso due tipi di schemi: Video See-Trough e Optical See-Trough. L immagine risultante, infatti, può essere visualizzata sul monitor del PC o, mediante l uso di speciali occhiali semitrasparenti detti See-through HMD (Head Mounted dispaly). Questo dispositivo è in grado di visualizzare su un display l immagine virtuale senza precludere all utente la vista dell ambiente reale circostante. Web-cam Immagine reale Ricerca del marker Calcolo della posizione relativa della camera Generazione dell ambiente virtuale Visualizzazione dell ambiente combinato reale-virtuale sul monitor del computer portatile data base markers Fig.7 Schema dell algoritmo Il funzionamento del sistema si basa sull uso di una telecamera collegata ad un computer portatile. Le immagini acquisite dalla telecamera si combinano con i modelli tridimensionali precedentemente elaborati e tarati sui componenti. Si rende necessario, dunque, che il computer riconosca, in ogni istante, quale particolare è stato inquadrato, e, se previsto, qual è la procedura da seguire in base all usura, ai danni, alle fratture o altro visibili sul componente in esame. E facile intuire che il successo dell applicazione è stretamente legato alla capacità di riconoscere le singole parti, nonchè la posizione e l orientamento che queste occupano rispetto alla telecamera. Quello che tra i diversi metodi ha fino ad ora mostrato il maggior grado di affidabilità si basa sul riconoscimento di immagini bidimensionali denominate pattern. Ciascuno di questi pattern è associato ad una parte dell ambiente reale ed il computer è in grado, grazie ad un algoritmo di pattern recognition, di calcolare la posizione della prospettiva inversa della telecamera (Fig.7).
5. Implementazione La prima applicazione pratica del sistema di manutenzione per aeromobili è stata sviluppata sulla reingegnerizzazione del programma di manutenzione di un P-180 AVANTI. In primo luogo, è stata generata una struttura dati articolata per realizzare il passaggio di informazioni dal computer all operatore attraverso due canali: il browsing elettronico dei manuali e dei libretti di volo e manutenzione, e la visualizzazione di modelli tridimensionali. Le informazioni fornite dal sistema si classificano in: 1. Modelli e messaggi di testo tridimensionali 2. Manuali multimediali 3. Time scheduling interattivo ed aggiornato Svitare nei punti evidenziati dai markers rossi Fig.8 a) La web-cam inquadra il nose; b) Le immagini vengono analizzate;c) Indicazioni per lo smontaggio del nose Inizialmente l operatore si avvicina area indicata in pianta da una schermata di percorso. Come mostrato in Fig.4, il primo check deve essere fatto alla parte anteriore dell aeromobile. Una volta inquadrato il nose, dalla sequenza video l algoritmo ricava, attraverso il riconoscimento del pattern, la posizione di alcuni markers rossi che indicano i punti e quindi le viti da rimuovere. A questo punto l operatore passa all avionics disassembly procedure. I punti critici possono essere evidenziati attraverso l impiego di markers colorati, come nel caso della Fig.9. Si noti come punti di vista differenti generano immagini virtuali differenti, al fine di mostrare i modelli tridimensionali perfettamente Fig.9 La posizione e la scala dei modelli virtuali si adattano agli spostamenti relativi tra la telecamera e il maker registrati reale. e collimati all ambiente
Fig.10 Avvio automatico dello scadenzario Oltre ai markers tridimensionali l immagine può errere corredata da brevi ma incisivi messaggi di testo in modo da ridurre le incertezze. Ogni pattern può essere associato, dunque, o alla struttura virtuale che dovrà sovrapporsi all immagine reale, oppure all indirizzo di memoria di un file di documentazione. Al pannello del combustibile sono associate, ad esempio, tutte le informazioni riguardanti le norme di sicurezza da rispettare durante la fase di rifornimento, la procedura da seguire, i controlli imposti dalla Piaggio inerenti il Fuel System. In Fig.11 è rappresentata, a titolo d esempio, la semplice procedura per la connessione degli spinotti alla presa esterna del Ground Power. Ogni spinotto deve essere connesso precisamente all unità esterna pena il danneggiamento irreversibile del sistema. Grafica e documentazione possono essere gestite per fornire un quadro semplice e completo delle operazioni in ogni istante del check. Fig. 11 Istruzioni per il Battery panel 6. Conclusioni e sviluppi futuri L applicazione di tecniche di Augmented Reality ha permesso, in conclusione, di creare un simulatore virtuale in grado di presentare direttamente all operatore, in tempo reale, tutte le informazioni necessarie attraverso l impiego di strumenti innovativi. Tale approccio consente di ridurre l incidenza di errori legati ai fattori umani, le difficoltà di interpretazione dovute alla complessità dei manuali tecnici, l errata installazione dei componenti, dimenticanze o distrazioni dovuti alla pressione del tempo che spesso caratterizza questo tipo di lavoro. Oltre che come supporto on line, il sistema proposto potrebbe essere impiegato come strumento di formazione, elevando il livello pratico di apprendimento delle singole operazioni. D altra parte è necessario considerare che la tecnica di pattern recognition presenta dei limiti, primi tra i quali il fallimento dell algoritmo per la parziale occlusione dei markers ed il notevole incremento del numero di markers necessario per ottenere una mappatura dettagliata dell ambiente. Attualmente sono in esame alcune metodologie che mirano al riconoscimento diretto delle parti eliminando la necessità di utilizzare immmagini bidimensionali esterne. Tra le possibili soluzioni è stato sviluppato un sistema di riconoscimento degli oggetti che accoppia alle tecniche puramente vision-based un
sistema di tracciamento magnetico a sei gradi di libertà (Polhemus Fastrack). Inoltre, si sta analizzando la possibilità di sfruttare le tecniche di ingegneria inversa, mediante le quali si ricostruiscono i modelli tridimensionali delle parti, da confrontare con i modelli contenuti in un data-base dell ambiente in esame. 7. References [1] M. Billinghurst, and H. Katu, Collaborative Mixed Reality, Proceedings of first Symposium on Mixed Reality (ISMR 99) Merging Real and Virtual Words, Berlin, 1999, 261-284. [2] H. Kato, M. Billinghurst, S. Weghorst and T. Furness, A Mixed Reality 3D Conferencing Application, (Technical Report R-99-1), 1999, Seattle: Human Interface Technology Laboratory, University of Washington. [3] R.T. Azuma, A Sourvey of Augmented Reality, Teleoperators and Virtual Environments 6, 4, August 1997, pp. 355-385. [4]Y.Cho, J.Park and U.Neumann, Fast Color Fiducial Detection and Dynamic Workspace Extension in Video see-through Self-Tracking Augmented Reality, Proceedings of the Fifth Pacific Conference on Computer Graphics and Applications, 1997, 168-177. [5] J.Park, Bolan Jiang, and U. Neumann, Video based Pose Computation: Robust and Accurate Augmented Reality Tracking, Proceedings of the 2 nd IEEE and ACM International Workshop on Augmented Reality, October 20-21, 1999, San Francisco, p.3-12 [6] L. Balis Crema, and A. Castellani, Il ruolo della ricerca nel miglioramento della sicurezza del volo, Atti del XVI Congresso Nazionale dell Associazione di Aeronautica e Astronautica Palermo, 24-28 settembre 2001 [7] F. De Crescenzio, F. Persiani, I. Pelliconi VISION-BASED AUGMENTED REALITY FOR AIRCRAFT MAINTENANCE Atti del XVI CONGRESSO NAZIONALE AIDAA 24-28 settembre 2001 PALERMO. [8] A. Liverani, and F. De Crescenzio A combined tracking-rendering method for 3D object recognition in Augmented Reality environment, Proceedings of the Twentieth IASTED International Conference on Modelling, Identification and Control (MIC 2001) February 19-22, 2001 Innsbruck, Austria.