Utilizzo di tecnologie di Realtà Virtuale nell addestramento al volo A Virtual Reality training environment for aircraft pilots A. Boccalatte *, F. De Crescenzio *, F. Flamigni *, F. Persiani * * Università di Bologna Facoltà di Ingegneria, DIEM Dipartimento di Ingegneria delle Costruzioni Meccaniche, Nucleari, Aeronautiche e di Metallurgia e-mail: francesca.decrescenzio@mail.ing.unibo.it ABSTRACT Questo documento descrive l ambiente di simulazione sviluppato nell ambito del progetto europeo ASIMIL (Aero user-friendly SIMulation-based distance Learning). L obiettivo di tale progetto, finanziato dal V Programma Quadro della Comunità Europea, consiste nella progettazione di nuovi approcci cognitivi basati sull uso di tecnologie emergenti. Il lavoro descritto di seguito rappresenta, dunque, un sistema di addestramento innovativo che implementa gli strumenti di visualizzazione ed interazione propri della Realtà Virtuale nello sviluppo un nuovo approccio pedagogico rivolto a piloti di aeromobili ab-initio ed istruttori di volo. Esso vuole dimostrare come una tecnologia emergente, quale la simulazione di tipo immersivo, può introdursi in un particolare processo formativo con lo scopo di migliorarne sensibilmente le prestazioni. I concetti di base riguardano l architettura di visualizzazione ed il modo in cui essa influisce da un lato sulla percezione umana della posizione e dell attitudine dell aeromobile da parte del pilota, e dall altro sullo sviluppo di metodi di valutazione alternativi. Keywords: Virtual Reality, simulation-based training, 3D terrain generation 1.Introduzione Tra i metodi di addestramento al volo di più recente concezione, i simulatori di volo giocano un ruolo chiave in quanto permettono di simulare situazioni pericolose e riducono gli alti costi dei voli reali. Il sistema descritto nel presente lavoro è composto da tre moduli. Il primo rappresenta la fase di pianificazione della missione di volo che il pilota dovrà compiere, il secondo si riferisce alla sessione di simulazione di volo vera e propria ed infine è stata realizzata un interfaccia di debriefing destinata ad accrescere le capacità di valutazione dell insegnante e la comprensione delle procedure di volo da parte del pilota.
Pre - Flight Session Trainee flight task plan Flight Simulation Session Virtual Environment Debriefing Session Training plan refinement Trainee s flight awareness Trainee s action record Evaluation of trainee s skills and weakness Trainer evaluation of trainee s flight Fig. 1 Schema del processo di apprendimento La sessione di pianificazione della missione prevede la visualizzazione dello scenario su uno schermo retro-proiettato (Fig3-Workbench). L utente, utilizzando un paio di guanti virtuali dotati di rilevamento della posizione e di attuatori elettrici, può navigare interattivamente lo spazio di volo virtuale. Tramite un cursore virtuale, dunque, egli può posizionare dei way-points e creare la traiettoria di volo che l allievo-pilota dovrà percorrere nella sessione di simulazione. La sessione di simulazione del volo si svolge in un modello fisico di cabina di volo all interno del quale è montato un monitor che visualizza il pannello strumenti interamente digitale. Questa postazione è stata inserita all interno di un sistema di visualizzazione costituito da tre schermi retroproiettati di tipo CAVE (Cave Automatic Virtual Environment) che avvolgono il pilota creando un ambiente virtuale semi-immersivo. Lo scenario di volo, realizzato con mappe DEM (Digital Elevation Map) completate da textures di paesaggi reali, è visualizzato sugli schermi che circondano la cabina di pilotaggio, offrendo al pilota un buon livello di immersione. Durante la simulazione vengono automaticamente registrati i parametri di volo, che permettono poi di riprodurre il volo effettuato dall allievo-pilota nella sessione di debriefing. Fig. 2 Visualizzazione in ambiente immersivo Per eseguire la sessione di debriefing occorre equipaggiarsi con occhiali che permettano la visione
stereoscopica. Utilizzando i guanti l utente può navigare nello scenario osservando l aereo dall esterno, attivando la visualizzazione dei parametri di volo, cambiando il punto di vista, accelerando o decelerando la sequenza di riproduzione del volo per analizzarla in maniera ottimale. 2. Descrizione del sistema 2.1 Hardware L architettura del sistema di Realtà Virtuale è di tipo master-slave. Un cluster di PC, ciascuno dei quali governa un videoproiettore tritubo, è collegato all unità master. Da questa si gestiscono le applicazioni di tipo multi-head, ossia la visualizzazione su più schermi contigui grazie alla quale è possibile ottenere un ambiente di tipo immersivo (Fig3). La posizione nello spazio delle mani dell utente è nota in ogni istante tramite un sistema di tracking magnetico. Inoltre i guanti virtuali sono dotati di attuatori elettrici con i quali è possibile attivare o disattivare determinate funzioni al fine di interagire con l ambiente virtuale. Joystick commands Workbench Fig. 3 Architettura hardware del sistema 2.2 Software 2.2.1 Pianificazione del volo Durante la sessione di briefing l utente del sistema, in questo caso l istruttore, edita uno scenario di
volo utilizzando l apposito interfaccia interattivo (Fig. 5). In questo modo egli può analizzare l ambiente nel quale avrà luogo l esercitazione e definire i parametri per lo svolgimento del test e la valutazione dei risultati. In particolare è possibile generare una traiettoria di volo direttamente nello scenario tridimensionale. Tale traiettoria consiste nel posizionamento di una serie di way-point rappresentati da anelli toroidali. La generazione di uno scenario realistico è uno dei fattori principali del progetto. Tale scenario consiste in una superficie completa di immagini fotorealistiche, elementi urbani e uno o più aeromobili. La geometria del terreno è generata a partire dalle mappe altimetriche avendo così la possibilità di creare scenari personalizzati o di riprodurre scenari reali in tre dimensioni. Le textures applicate sul terreno sono poi selezionate automaticamente in funzione dell altitudine e dell inclinazione di una porzione della superficie. Tutti gli altri elementi nella scena sono rappresentati attraverso modelli VRML (Virtual Reality Modelling Language). La posizione di ciascun punto lungo gli assi x, y, z deve essere definita dall utente attraverso le coordinate geografiche (latitudine e longitudine) e l altitudine. L introduzione della funzione che permette di selezionare un punto nello spazio tridimensionale rende necessario l uso di strumenti di interazione propri della realtà virtuale. Ogni waypoint può essere creato dall utente direttamente nella posizione desiderata grazie alla visualizzazione dello scenario complessivo su un supporto di tipo workbench ed alla navigazione dello stesso per mezzo di guanti virtuali di tipo Pinch. L area di volo può essere analizzata, dunque, anche secondo ampi angoli di vista che prevedono l inquadramento della scena dall alto (look-down view). Un cursore tridimensionale segue i movimenti della mano destra dell operatore. Le tre coordinate della mano destra, corrispondenti alla posizione del ricevitore del PolhemousTM Fastrak posto sul guanto, sono calcolate relativamente al trasmettitore posto nell angolo in basso a sinistra dello schermo, assumendo così il sistema di riferimento indicato in figura 4. X Workbench Z Y Fig.4 Sistema di riferimento Polhemus Poiché la scena è inquadrata dall alto gli spostamenti della mano dell operatore nella direzione della y negativa corrispondono ad un abbassamento di quota, e vice versa, mentre latitudine e longitudine corrispondono rispettivamente alla direzione X ed alla direzione Y. I valori numerici delle tre coordinate, aggiornati in tempo reale, sono annotati in prossimità del cursore. Si precisa che, grazie alla visualizzazione stereoscopica, l utente riesce a percepire chiaramente la profondità della scena e mantenere, di conseguenza, il controllo sulla posizione reale
Fig. 5 Posizionamento dei waypoints del cursore. Il punto di vista dell osservatore, ossia la posizione della telecamera nello spazio virtuale, è mantenuto in linea con la posizione del cursore. Ciò significa che la scena è traslata quando l operatore sposta il cursore nel piano XY. Questa tecnica, che potrebbe essere definita di fly over, offre la possibilità di visionare un area estesa mantenendo il punto di vista sufficientemente vicino al terreno senza perdere, così, la percezione realistica dello scenario. In questo modo si possono identificare edifici particolari, superfici aeroportuali o altri aeromobili che popolano la scena. Portatosi sulla mano destra nel punto in cui desidera posizionare un waypoint, l utente utilizza il guanto per creare l oggetto grafico che lo identifica. In particolare il contatto tra il pollice e l indice è associato all evento suddetto (Fig. 5). Fig. 6 Orientamento dei waypoints L orientamento di ciascun waypoint, inoltre, è calcolato automaticamente in modo tale che la tangente alla traiettoria in qual punto sia parallela alla normale all anello. Una volta selezionati tutti i punti necessari, la traiettoria complessiva è resa disponibile per essere utilizzata nella sessione successiva. 2.2.2 Sessione di simulazione del volo Il caso di studio scelto per dimostrare il funzionamento di questa sessione di lavoro consiste nello svolgimento di un esercizio standard. Al pilota è richiesto di eseguire, a bordo di un determinato aeromobile, un decollo, un circuito che segue i punti predefiniti durante la sessione precedente. Il pilota conduce il volo attraverso l utilizzo di un joystick e di una manetta. Il pannello centrale del
cockpit è rappresentato su di un monitor posto all interno della cabina. L esterno sui tre schermi retro-proiettati del CAVE. Fig.7 Visualizzazione dello scenario di volo L architettura software è composta di un applicazione master e tre applicazioni slave. Le funzioni principali svolte dall unità master sono: Acquisizione dei dati di input del joystick e/o della tastiera; Integrazione delle equazioni del moto dell aeromobile o acquisizione dei dati da un integratore esterno; Visualizzazione del pannello strumenti e suo aggiornamento; Comunicazione dati alle unità slave, via protocollo UDP (posizione ed assetto dell aeroplano così come altri dati rilevanti quali, ad es. il fog level ) Registrazione dei dati di volo su disco rigido master; Simulazione del suono del motore, basata sull RPM corrente; Le tre unità slave svolgono solo la funzione di visualizzazione. Ognuna di loro genera lo scenario tridimensionale in funzione del punto di vista del pilota. Durante le esercitazioni i dati di volo sono registrati ad una frequenza di 20 volte al secondo. I record delle time histories di tali dati (airspeed, climb rate, engine rpm, state of gear, flaps position, etc.) sono resi disponibili per la sessione successiva. Fig. 8 Visualizzazione su tre schermi
2.2.3 Il Debriefing virtuale La sessione di virtual debriefing consente di analizzare in modo estremamente interattivo le esercitazioni precedentemente svolte. Lo scenario della simulazione del volo relativa all esercitazione selezionata è riprodotto sullo schermo del workbench in modo stereoscopico. Ad esso sono stati associati un sistema di navigazione e l integrazione con annotazioni di dati in tempo reale. Le funzioni possono essere gestite direttamente al workbench mediante l utilizzo dei guanti virtuali. In dettaglio a particolari gesti della mano destra sono associate funzioni di zoom e di rotazione del punto di vista. Esso punta costantemente all aeromobile. Spostando la mano verso destra/sinistra in un piano parallelo allo schermo la telecamera ruota attorno all aeroplano in senso orario/antiorario, come mostrato in Fig.9. Fig. 9 La stazione di debriefing Movendosi ortogonalmente allo schermo nel verso entrante ha un effetto di zoom-in. Vice versa si produce un effetto di zoom out che allontana la camera dall aeroplano. In basso a sinistra si trova un pannello con l elenco dei dati correnti (speed, altitude, engine power, ecc.). Il pannello può essere nascosto e visualizzato all occorrenza. Con la mano sinistra è inoltre possibile controllare la velocità di riproduzione della sequenza. Questa può essere rallentata per una migliore comprensione della simulazione oppure riportata al valore reale, così come può essere resa maggiormente rapida. Oltre al pannello fisso è stato aggiunto un sistema di annotazioni grafiche relativo alle traiettorie e all assetto dell aeromobile in ogni istante. 3. Conclusioni L ISPFP (Swiss Federal Institute for Professional Development) ha condotto la sessione di validazione del sistema su un campione rappresentativo di studenti piloti ed istruttori nel dicembre dello scorso anno. I risultati del test rivelano un esito positivo del progetto, sia in termini di raggiungimento degli obiettivi, sia in relazione all effetto positivo che tali test hanno avuto nei confronto degli utenti campione.
Gli strumenti di comunicazione grafica sperimentati consentono all istruttore di trasmettere concetti di task planning o task debriefing in modo semplice ed intuitivo. 4. References Cattaneo A., ASIMIL- Evaluation Session #4, www.asimil.com. Kalawsky, R.S., The Science of Virtual Reality and Virtual Environments, Addison Wesley, 1994, ISBN 0-201-63171-7. Lin F., Ye L., Duffy V.G., Su C., Developing virtual environments for industrial training, Elsevier Science Inc., New York, NY, USA, 2002. Liverani A., Persiani F., De Crescenzio F., An Immersive Reconfigurable Room (I.R.R.) for Virtual Reality Simulation, Proceedings of the XII ADM International Conference, Rimini, September 5 th - 7 th 2001, pag. E1-9/E1-15. McCauley, S. G., Nagati, M. G., PC-based expandable/affordable flight simulation for education and entertainment, (Wichita State Univ., KS). In: AIAA Flight Simulation Technologies Conference, Baltimore, MD, Technical Papers (A95-39235 10-01), Washington DC, American Institute of Aeronautics and Astronautics, Aug. 1995, AIAA Paper 95-3396 A95-39245. Persiani F., De Crescenzio F., Flamigni F., An extern view based interactive virtual environment for flight simulation, Proceedings of Simulation Based Training Workshop, Intelligent Tutoring Systems Conference 2002, San Sebastian (Spain) June 2 nd - June 8 th, 2002, p.7-16. Watt A., Watt M., Advanced Animation and Rendering Techniques Theory and Practice, Addison-Wesley, 1993, ISBN 0-201-54412-1. Wickens, C. D., Olmos, O., Andrew Chudy, and Clark Davenport, Aviation Display Support for Situation Awareness, 1997. Wickens, C. D., Fadden, S., Merwin, D., and Ververs, P. M., Cognitive factors in aviation display design, Proceedings of the 17th Digital Avionics Systems Conference, 1998.