UNIVERSITÀ DEGLI STUDI DI GENOVA FACOLTÀ DI INGEGNERIA

Transcript

1 UNIVERSITÀ DEGLI STUDI DI GENOVA FACOLTÀ DI INGEGNERIA Realizzazione di un assistente virtuale per la formazione su applicativi software utilizzando strumenti di modellazione grafica 3d TESI DI LAUREA IN INGEGNERIA ELETTRONICA Relatore accademico: Chiar.mo Prof. Ing. Rodolfo Zunino Correlatore: Dott. Alessio Mosto candidato: Guido Perazzo Anno accademico 2009/2010

2 Genova, 11 Marzo 2011 ii

3 ABSTRACT "Creation of a virtual assistant for training on software applications using 3D Modelling software tools" This thesis concerns the creation of a virtual assistant for training on software applications using 3D Modelling software tools. The guide will be able to assist the user to discover the application by providing technical assistance when needed. The support will be made more dynamic by creating animations of the model to emphasize certain phases of its operations, like waiting or operative positions status. The animations will be set and displayed through an interactive graphic presentation just for demonstration purposes. The inspiration for the creation of the model is a stylized face of a Moai, statues that make famous Easter Island. Furthermore the thesis explore the process of lip synchronization for adaptation assistance to several languages. iii

4 Alla Commissione di Laurea e di Diploma Alla Commissione Tirocini e Tesi Sottopongo la tesi redatta dallo studente Guido Perazzo dal titolo Realizzazione di un assistente virtuale per la formazione su applicativi software utilizzando strumenti di modellazione grafica 3d. Ho esaminato, nella forma e nel contenuto, la versione finale di questo elaborato scritto, e propongo che la tesi sia valutata positivamente assegnando i corrispondenti crediti formativi. Il Relatore Accademico Prof. Rodolfo Zunino iv

5 Ringraziamenti Questo lavoro lo dedico alla mia famiglia che mi ha sempre sostenuto e supportato durante questi anni. Un sincero ringraziamento va al mio relatore accademico prof. Rodolfo Zunino e al mio correlatore dott. Alessio Mosto che mi hanno dato l opportunità di lavorare ad un progetto che ha sucitato in me profondo interesse e coinvolgimento, seguendomi durante la fase di realizzazione. Un caloroso ringraziamento va anche a tutti i miei Amici e a tutte quelle persone, vicine e lontane, che hanno arricchito il mio percorso di studi e di vita. A voi tutti il mio abbraccio più grande. v

6 PREFAZIONE Realizzazione di un assistente virtuale per la formazione su applicativi software utilizzando strumenti di modellazione grafica 3d L'obiettivo della tesi è la realizzazione di un assistente virtuale per la formazione dell'utente sulle funzionalità di un applicativo software. Si vuole così realizzare un modello 3D che guidi il nuovo acquirente alla scoperta del programma fornendo assistenza tecnica in caso di necessità. Il supporto della guida sarà reso più dinamico dalla creazione di animazioni del modello stesso per porre l accento su alcune fasi del suo stato di operatività. Ci si occuperà inoltre della delicata fase di sincronizzazione labiale per l'adattamento dell'assistente alle varie lingue. Le animazioni impostate saranno poi visualizzate attraverso un'interfaccia grafica di presentazione interattiva a scopo dimostrativo. Per la realizzazione del progetto si sono utilizzati software di modellazione e animazione grafica 3D quali Autodesk Maya 2010 e Autodesk MotionBuilder L'interfaccia grafica è invece stata implementata attraverso Visual Studio 2010 con l'estensione al XNA Framework di XNA Game Studio. Il progetto di tesi si è sviluppato sotto la supervisione del relatore interno Rodolfo Zunino, e del relatore aziendale Mosto Alessio. La tesi si è sviluppata contestualmente alla realtà in cui opera l'azienda Infinity Technolgy Solutions. Infinity Technology Solutions S.p.A. nasce nel 2008 dalla fusione tra le aziende Sviluppi Industriali e Spike sfruttando la naturale complementarietà delle relative offerte per diventare player di riferimento nel mercato dell'it e dell'automazione. La mission di ITS è innovare, rafforzare e ottimizzare le risorse ed i processi dei propri clienti con soluzioni tecnologiche personalizzate e modulari. ITS è al fianco dei propri clienti durante tutto il ciclo di assimilazione delle nuove tecnologie, dalle scelte strategiche alla realizzazione. vi

7 Know-how acquisito in prestigiose esperienze internazionali, ricerca continua dei più alti standard tecnologici al passo con gli update di settore, garanzia di soluzioni ad alto rendimento e prestazioni di eccellenza assoluta, questo è quanto viene offerto dalle oltre 100 persone altamente specializzate impiegate da ITS. La linea d offerta si articola in: IT Solutions & Consulting o Business Process Automation o Business Process Integration o Business Intelligence o Mobile & Geo Application IT Professional Services Industrial Automation Tra i clienti più rappresentativi con cui l azienda ha instaurato stabili rapporti commerciali si possono citare aziende del gruppo Finmeccanica quali Ansaldo Energia, Ansaldo Nucleare, Elsag Datamat, divisioni del gruppo Siemens quali la divisione Manufacturing Execution System e la divisione Energy Automation, Cassa Edile di Milano, Eni. Infinity Technology Solutions ha la sua sede operativa principale a Genova ed è in tale sede che vengono attualmente svolte pressoché tutte le attività di business. L azienda ha aperto anche una sede operativa nella provincia di Milano, a Cinisello Balsamo, da luglio 2010 al fine di migliorare i servizi offerti ai clienti che risiedono sul territorio milanese e aumentare il numero di clienti in questa area geografica. vii

8 viii

9 INDICE Capitolo 1 - INTRODUZIONE 1.1 Obiettivo della tesi Pianificazione del lavoro... 3 Capitolo 2 - MODELLAZIONE 2.1 Cenni storici Tipologie di modellazione Tecniche di modellazione 3d Costruzioni di basi (solidi e superfici) Modellazione poligonale Superfici NURBS Realizzazione del Moai. 12 Capitolo 3 - ANIMAZIONE 3.1 Procedimento Sincronizzazione labiale Tecniche di sincronizzazione labiale in MotionBuilder Strumenti di sviluppo Custom Expression Applicazione di un voice Device Relazione tra il voice device e fonemi Animazioni dello stato di operatività del modello Creazione dello scheletro Forward e Inverse Kinematics Keyframing Le animazioni sviluppate..31 ix

10 Capitolo 4 - PROGRAMMAZIONE 4.1 Introduzione Perché XNA Struttura di un'applicazione in XNA Content Pipeline Vantaggi della Content Pipeline Utilizzo della Content Pipeline Componenti della Component Pipeline Implementazione dell'interfaccia di dimostrazione..41 Capitolo 5 - CONCLUSIONI 5.1 Risultati Approfondimento e sviluppi futuri 45 BIBLIOGRAFIA. 47 x

11 Capitolo 1 INTRODUZIONE 1.1 Obiettivo della tesi Il lavoro affrontato durante lo sviluppo della tesi concerne la creazione di un modello 3D utilizzato per la formazione dell utente all utilizzo di un software. Negli ultimi anni, con l'evolversi della tecnologia, vi è stato un sensibile aumento di applicativi software che coprono ogni settore della nostra vita quotidiana: dallo studio e il lavoro al tempo libero. Sistemi digitali multimediali agevolano sempre più le proprie mansioni, coprendo così sempre più ogni settore. Legato a questa continua domanda di creazione di applicativi software e sistemi multimediali, si è sviluppata la necessità di formare un valido strumento per istruire l'utente circa il loro funzionamento. Si vuole pertanto fornire un nuovo sistema di formazione, diverso dal consueto e ordinario libretto d istruzioni, che sia al passo con il corrente evoluzionismo tecnologico. Ecco pertanto l'idea di progettare un aiutante virtuale per la formazione su applicativi software. Esso avrà il compito di aiutare l'utente in modo interattivo durante la scoperta e l'utilizzo del software in questione. L'obiettivo è quindi creare un modello 3D con un set di animazioni impostate e un'interfaccia grafica di presentazione per mostrare al produttore di software una possibile guida per la formazione del suo prodotto. 1

12 A tale scopo si è pensato alla creazione di un volto umano stilizzato occupandosi dell'animazione per simulare alcuni stati dell'assistente come la richiesta di supporto tecnico da parte dell'utente o la momentanea inattività. É stato inoltre approfondito l'aspetto che riguarda la sincronizzazione labiale del volto alle varie lingue: l'interattività dell'assistente con l'utente sarà infatti anche garantita dall'assistenza vocale resa il più possibile fedele ai reali movimenti labiali con i diversi fonemi che caratterizzano ogni idioma. Il processo di sincronizzazione labiale si basa sui concetti fondamentali di fonema e di fonema visuale (o visema ). Il fonema è la più piccola parte della struttura della grammatica di una lingua, di fatto il suono che si sente quando si parla. E componendo in sequenza i fonemi, e non le lettere, che si formano le parole. Il visema rappresenta la posizione delle labbra che è necessario assumere per emettere un particolare suono. Quindi ogni visema è associato al fonema che richiede quella precisa posizione della bocca; per la precisione, più fonemi sono rappresentati dallo stesso visema che quindi è associato a un gruppo di fonemi. Questi due concetti sono alla base della metodologia del lip synch, che può essere divisa in alcuni passi principali. Il primo passo è creare i visemi; il secondo passo consiste nell analizzare la traccia audio per tradurre ciò che viene ascoltato in una sequenza di forme facciali che, concatenate in sequenza, diano l illusione che il personaggio 3D pronunci il suono che si sente. Infine i visemi, prodotti al primo passo, sono organizzati in accordo con le informazioni ricavate al passo due. Un altro aspetto che ha riguardato il progetto della tesi è la creazione di un interfaccia grafica attraverso l'impiego del Framework XNA, utilizzando C# come linguaggio di programmazione. Scopo dell'interfaccia è creare una presentazione delle diverse animazioni attraverso l'attivazione di alcuni pulsanti interattivi. 2

13 Punto di partenza è stato quello di capire cosa utilizzare come soggetto per modellare l'assistente virtuale. Dovendosi trattare di un volto umano stilizzato la scelta è ricaduta su una statua Moai, i monoliti che rendono famosa l'isola di Pasqua. fig 1.1 Moai sull'isola di Pasqua 1.2 Pianificazione del lavoro La tesi si è sviluppata essenzialmente in due fasi. In una prima parte ci si è occupati della creazione dell'assistente virtuale, pertanto si è operato in ambienti di sviluppo di grafica 3D per occuparsi della parte di modellazione e animazione. La seconda parte ha riguardato invece l'aspetto d integrazione delle animazioni con il Framework.NET per la creazione dell'interfaccia grafica di presentazione delle animazioni create. 3

14 Capitolo 2 MODELLAZIONE 2.1 Cenni storici La storia della Computer Grafica 3D è naturalmente molto recente, lo stesso termine di grafica computerizzata nasce solo nel Una delle prime rappresentazioni tridimensionali su calcolatore è stata quella del famoso "primo uomo" o "Boeing Man" realizzata da William Fetter, un insieme di linee che descrivevano la sagoma virtuale di un pilota di aereo. A partire dal 1959, la General Motors, in collaborazione con la IBM, sviluppa il sistema "DAC", uno dei primi sistemi CAD della storia; attraverso una penna ottica e uno schermo sensibile, gli operatori disegnavano delle curve matematiche in uno spazio virtuale, con le quali delimitavano i profili, le sezioni e le superfici delle automobili. Da quanto riportato si evince che la nascita della modellazione 3D avvenne in ambito industriale, primariamente come supporto alla progettazione. Da allora i campi di utilizzo della modellazione 3D e della grafica tridimensionale si sono enormemente ampliati, uscendo in buona parte dall'ambito tecnico. La modellazione 3D può anche essere fine a se stessa, e in questo caso il modello generato non richiede ulteriori elaborazioni, ma generalmente la modellazione rappresenta il primo step di una serie di operazioni successive che determineranno l'elaborato finale. Questo primo step, nella specifica area della Compuer grafica, non può mai mancare, e ne rappresenta il presupposto di partenza. 4

15 Si prenda ad esempio un caso particolare abbastanza complesso: la realizzazione di un'"immagine statica fotorealistica di un personaggio 3D". Questa comporta i seguenti passaggi essenziali: Modellazione 3D primaria Modellazione 3D secondaria Surfacing (definizione dei materiali di superficie) Mappatura (definizione delle coordinate di proiezione) Applicazione delle Texture Inserimento dello scheletro Skinning del modello Definizione della postura del modello Allestimento scenico Illuminazione della scena Rendering della scena 5

16 2.2 Tipologie di modellazione Da un punto di vista tipologico, tutta la modellazione 3D, rientra in due grandi famiglie, ognuna riguardante un ben determinato genere di modelli: La Modellazione organica - è la tipica modellazione utilizzata per realizzare gli esseri umani o le creature, animali o umanoidi. Viene usata per tutti i soggetti "naturali", come rocce, piante, alberi e per il territorio in generale. In questi casi i modelli sono tanto più riusciti quanto più sono ricchi di particolari. Anche molti oggetti di industrial design, che abbiano forme morbide e arrotondate, possono servirsi di una modellazione organica. La Modellazione geometrica - è il tipo di modellazione meno recente, viene utilizzata per realizzare oggetti tecnici o meccanici, o comunque per qualsiasi cosa che abbia una natura artificiale, e che non rientri nella categoria precedente. Generalmente la complessità dei modelli realizzati con questo genere di modellazione è molto inferiore, se si guarda all'aspetto esteriore delle singole forme, ma non se si considerano aspetti legati alla precisione e alla corrispondenza delle parti. Naturalmente uno stesso oggetto può contenere sia modellazione organica sia geometrica, oppure può essere formato da un insieme di parti contenenti sia modelli organici che geometrici. 2.3 Tecniche di modellazione 3d Si possono dividere in tre categorie principali: 1. Modellazione Procedurale (automatica e semi-automatica) 2. Modellazione Manuale 3. Da dati provenienti da modelli reali (scansione tridimensionale) 6

17 Che a loro volta possono venire suddivise in tre distinti generi di modellazione: Modellazione Solida - dove l'oggetto risultante è considerato come formato da un volume pieno. Modellazione Volumetrica - determina delle entità generanti una superficie implicita Modellazione di superfici - l'oggetto in questo caso è determinato dalle sue superfici esterne. In alcuni modellatori un oggetto è considerato formato da superfici finché queste sono aperte, mentre è riconosciuto come solido una volta che tutte le superfici siano saldate fra di loro e formino un corpo chiuso. In quanto, per la realizzazione della guida virtuale, sono state utilizzate tecniche di modellazione manuale, ci si soffermerà solo nella descrizione di tre metodi appartenenti a questa categoria. Esse sono la costruzione di basi, modellazione poligonale e superfici NURBS Costruzioni di basi (solidi o superfici) Primitive - Generalmente ogni pacchetto 3D che non si occupi solo di rendering, contiene al suo interno un set più o meno nutrito di primitive, ossia di oggetti predefiniti (solidi o superfici), direttamente impiegabili. Di solito le primitive standard, cioè sempre presenti, sono: il piano, il cubo/parallelepipedo, la sfera, il Cilindro, il Cono/Piramide e il Toro. Costruzione per estrusione - è un semplice metodo per realizzare delle forme estruse partendo da un disegno 2D di base o da un poligono piano, e assegnandogli una certa altezza e una direzione di estrusione. Costruzione per rivoluzione - più complessa della precedente costruzione, una rivoluzione si può considerare come un estrusione attorno a un asse, si parte sempre da un profilo o da un poligono di base, e invece della profondità viene assegnato un angolo di rivoluzione. 7

18 2.3.2 Modellazione poligonale Si tratta di tecniche basilari nell'ambito della grafica 3D. La modellazione poligonale opera su superfici organizzate in maglie più o meno dettagliate di facce poligonali. Queste superfici possono solo approssimare l'oggetto finale se siamo in presenza di un basso livello di poligoni (in questo caso l'oggetto viene detto Low Poly). In altri casi un modello poligonale, a modellazione ultimata, può essere formato anche da un numero molto elevato di facce. I seguenti sistemi procedono dai più elementari ai più evoluti: Per spostamento di elementi - un modello poligonale è formato da 3 elementi essenziali: facce, lati e vertici. Lo spostamento arbitrario di un singolo elemento o di gruppi di essi determina una modifica della mesh di partenza. La selezione di un componente della mesh e il suo spostamento (trascinamento, rotazione, ridimensionamento, etc.) nello spazio è la tecnica più elementare di modellazione poligonale. Da primitive di base - uno dei sistemi più semplici e diretti per iniziare a modellare un oggetto poligonale è quello di partire da una primitiva poligonale di base e iniziare a modificarla spostando, ruotando, scalando i suoi componenti, fino a ottenere la forma voluta. Questa tecnica è molto semplice, ma consente in genere di ottenere modelli poco complessi, vincolati cioè alla complessità (anche in termini di densità poligonale della mesh) della primitiva di partenza. Metodo della mesh piana - oltre a modificare i poligoni di mesh esistenti (ad es. delle primitive), esiste la possibilità di creare singolarmente ogni poligono dell'oggetto e di costruire i poligoni nella posizione più comoda per realizzare il modello finale. Uno dei sistemi di disegno diretto dei poligoni è detto Metodo della mesh piana. Si tratta in sostanza di creare una griglia di poligoni posti in piano e aventi la struttura il profilo e la conformazione generale dell'oggetto finale. Una volta sistemati i poligoni sul piano, si passa a determinarne la tridimensionalità: o spostando i punti della griglia lungo la profondità del modello, o attraverso dei sistemi di estrusione. 8

19 Metodo a tela di ragno - si tratta di una variante della precedente tecnica. In questo caso non si costruiscono e posizionano tutti i poligoni di base del modello, ma si parte da una sua zona (centrale), e si iniziano a creare e modellare i singoli poligoni con un sistema appunto a "tela di ragno", cioè dall' interno e procedendo progressivamente verso le zone esterne del modello. È un sistema complesso e dispendioso in termini di tempo ma con un alto grado di precisione. Rifinitura Progressiva - è il sistema più evoluto, può considerarsi uno dei paradigmi della Modellazione 3D. Adottando un qualsiasi metodo analizzato in precedenza si inizia a definire la forma in una maniera molto schematica, perlopiù approssimandone la morfologia e facendo attenzione a tenere estremamente basso il numero iniziale di poligoni. Dovendo gestire pochi poligoni è possibile modificare molto agevolmente le proporzioni e il volume generale della forma. Solo quando si è soddisfatti dell'aspetto grezzo del modello si può iniziare, adottando gli specifici strumenti di ogni pacchetto software, a definire maggiormente la forma. È importante che a ogni passaggio di rifinitura si passi a definire prima i volumi maggiori del modello, per andare poi a definire le zone sempre più piccole; la definizione e il numero di dettagli apportabili è a discrezione del grafico 3D. Il principio fondamentale da tenere a mente è: tanto minore è il numero di poligoni presenti nel modello, tanto maggiore è la possibilità di modificarne la morfologia generale; tanto maggiore è il numero di poligoni, tanto meno si potrà modificare la forma già impostata in precedenza. In pratica ogni passaggio è irreversibile, tanto più si definiscono i particolari dell'oggetto, tanto meno si potrà modificare (o correggere) il suo aspetto generale. A questo problema si può porre rimedio salvando il modello in maniera progressiva, in modo da avere a disposizione tutti i passaggi intermedi di modellazione, in caso di errore si può ripartire dal modello precedente a minore dettaglio, se il software utilizzato fa uso dei layer, è possibile conservare le varie versioni in layer separati. Displacement map - Il displacement mapping è una tecnica di modellazione che non utilizza gli strumenti standard di modifica, ma si basa sull'elaborazione di immagini in scala di grigio. 9

20 Utilizza lo stesso principio dell'"images mapping" (mappatura di immagini), ad es. il "Bump mapping" (rugosità), con la differenza che il displacement interviene sulla geometria del modello, modificandola. Agendo nella direzione "normale" della superficie, la mappa di displacement provoca uno spostamento in senso positivo dei punti del modello corrispondenti alle zone chiare dell'immagine, e in senso negativo di quelli corrispondenti alle zone scure. Può essere considerato come uno strumento di deformazione della mesh attraverso immagini, viene utilizzato sia su modelli organici che geometrici. Si possono distinguere due generi di displacement: - Displacement Geometrico - agendo direttamente sui punti della mesh poligonale, questo tipo di displacement necessita di un alto livello di tasselizzazione della mesh per produrre risultati buoni, ha quindi lo svantaggio di produrre modelli molto pesanti e difficilmente gestibili. - Displacement per Micropoligoni (Microdisplacement) - il displacement per Micropoligoni genera in automatico un grande numero di piccole facce triangolari (anche molti milioni), ed è in grado di realizzare modelli molto dettagliati. La particolarità e il grande vantaggio di questo sistema risiede nel fatto che la tassellizzazione del modello avviene solo in fase di rendering o pre-visualizzazione (è cioè temporanea), mentre non va a interessare la geometria di base che può mantenersi così molto semplice. Per estremo, utilizzando un solo poligono piano e un'immagine mappata, si può ottenere in fase di rendering un modello perfettamente definito (ad es. un terreno frastagliato o un bassorilievo scultoreo). Per Scultura 3D - Per indicare questa tecnica si usa anche il termine "displacement painting", in quanto deriva dalla comunione di tecniche di displacement map e di tecniche di painting 3D. È un sistema molto affine a tecniche di scultura tradizionale, opera utilizzando dei pennelli virtuali, variabili in dimensione e funzioni, che, passati sulla superficie del modello, vanno a modificarne la geometria in tempo reale, provocando, avvallamenti, scalfitture e incisioni, come se si stesse lavorando su un pezzo di argilla. 10

21 2.3.3 Superfici NURBS La tecnologia NURBS fu introdotta dalla Boeing nel Acronimo di non-uniform rational B spline (B-Spline razionali non uniformi), è utilizzata in grafica 3D per realizzare una vasta tipologia di modelli. E particolarmente adatta a rappresentare superfici organiche, ad esempio di creature e personaggi, e oggetti di design che richiedano superfici complesse e precise come le automobili. Le superfici NURBS sono superfici matematiche perfettamente smussate, non caratterizzate dalla tipica sfaccettatura delle superfici poligonali, sono facilmente modificabili e controllabili attraverso pochi punti di controllo, chiamati CV (Control Vertices). Una superficie NURBS può essere generata o dalle stesse curve NURBS, attraverso operazioni di estrusione, rivoluzione, lofting, patching e altre, oppure da primitive di tipo NURBS come sfere, cilindri, tori, etc. Le successive modifiche di un modello NURBS dipendono molto dagli strumenti messi a disposizione dal Software 3D, ma in genere si procede andando a modificare i punti della superficie o i vertici CV dove è necessario: si possono aggiungere o rimuovere curve nelle direzioni U e V, così come si possono aggiungere e rimuovere i vertici di controllo nelle curve. 11

22 2.4 Realizzazione del Moai Dopo la rapida panoramica sulle tipologie e tecniche di modellazione esposta nel paragrafo precedente si vogliono illustrare i passaggi che hanno portato alla creazione del Moai. Per prima cosa ci si è muniti di illustrazioni e foto del soggetto da ritrarre: avere una visione, seppure bidimensionale, del modello finale, ne ha reso decisamente più facile la realizzazione. Data la notorietà e la misticità che riguardano questo particolare monolite non è stato difficile trovare in tal senso materiale illustrativo, ricavando numerose fotografie di diversi profili, potendo così avere una buona visione complessiva. In seguito si è passati alla modellazione in ambiente grafico 3D. A tale scopo ci si è avvalsi del software dedicato "Autodesk Maya 2010" che offre notevole versatilità di elaborazione grafica. Il risultato finale della creazione è stato reso possibile attraverso la deformazione di poligoni primitivi quali cuboidi, coni e cilindri, attraverso diverse tecniche comunemente usate per la modellazione 3D come unione, estrudizione e scalamento, ampiamente discusse precedentemente. Lavorando quindi attraverso la manipolazione di facce e vertici dei solidi di partenza si è creato il volto del Moai. Il volto definitivo presentava tuttavia elementi ancora visibilmente squadrati, dovuti al fatto che il progetto ha avuto origine da solidi spigolosi. Per questo motivo, avvalendosi della tecnica dello "Smooth" che consente di arrotondare e di addolcire gli spigoli, sono stati smussati quegli angoli che avrebbero reso poco lineare il volto. Impostando le aree e i valori di modifica della tecnica in questione, si è così cercato di rendere il Moai quanto più fedele possibile a quello reale. In fig. 2.1 è riportata in dettaglio la zona del naso per mostrare chiaramente il risultato che apporta l'applicazione dello Smooth. 12

23 fig. 2.1 Dettaglio del naso del Moai prima, a destra, e dopo, a sinistra, l'applicazione dello Smooth Passo successivo è stato poi l'applicazione di una texture appropriata per rendere più realistica la statua e quindi emulare la sua natura rocciosa (fig 2.2). fig 2.2 Modello con l'aggiunta della texture 13

24 Capitolo 3 - ANIMAZIONE 3.1 Procedimento Il passo successivo all elaborazione del modello base consiste nella sua animazione. Per essa si è dovuto trattare di un duplice aspetto: la sincronizzazione labiale per l'adattamento alle varie lingue, e l'animazione del volto durante i diversi stadi di operatività del modello. 3.2 Sincronizzazione labiale L'obiettivo finale è creare un assistente virtuale che sia il più possibile dinamico e interattivo. Non ci si è voluti quindi semplicemente accontentare di un interfacciamento con l'utente esclusivamente tramite fumetti esplicativi per seguire l'utente per la formazione del software (come gli assistenti di Windows), ma si è voluto creare una guida vocale i cui movimenti labiali seguissero il più verosimilmente possibile quelli reali. Questo ha reso possibile il suo adattamento a qualunque idioma in quanto l'associazione suono-movimento labiale avviene tramite associazione fonetica. Si è quindi proceduto alla deformazione del modello base per ricreare le diverse espressioni che possono essere assunte dalla bocca nei diversi fonemi. 14

25 Usando tabelle di riferimento, per meglio rendersi conto di quale risultato raggiungere (fig 3.1), si è passati alla modellazione. Fig 3.1 Schema dei differenti fisemi Come si può osservare la tabella riporta espressioni di suoni fonetici alcuni dei quali non appartenenti alla lingua italiana. Si è comunque lavorato anche su questi per garantire la possibilità di sfruttare il Moai anche con altre lingue. Sono così stati creati ulteriori sette modelli con le particolari modifiche richieste: in questo modo sono state generate un numero sufficiente di "shapes" per ricreare i diversi movimenti labiali. Essi sono stati ottenuti collegando le shapes generate all'unità base del modello attraverso la tecnica del "Blendshape". 15

26 Questo tipo di deformer consente di poter ricreare tutte le espressioni anche intermedie tra una shape iniziale e una finale attraverso la regolazione di un'opportuna leva di comando. Un'ulteriore potenzialità di questo strumento consiste nella possibilità di interpolare altre shapes con quelle raggruppate dal deformer potendo così creare nuove espressioni date dall'integrazione e combinazione di queste. Giunti a un soddisfacente livello di complessità e realismo il progetto è stato esportato in un formato compatibile con Autodesk MotionBuilder, con il quale ci si è occupati della sincronizzazione labiale. 3.3 Tecniche di sincronizzazione labiale in MotionBuilder Strumenti di sviluppo Autodesk MotionBuilder è uno dei tanti software dedicati alla grafica 3D che fornisce ottimi strumenti di modellazione e animazione e presenta inoltre un'importante sezione dedicata alle impostazioni dei movimenti delle espressioni facciali. Il programma riconosce, nel momento dell'importazione del volto caratterizzato dal morphing BlendShape, il modello base e le diverse shapes che lo caratterizzano. Offre inoltre la possibilità di utilizzare dispositivi input che ricoprono diversi settori multimediali come mouse, joystick o interruttori per interagire con il modello. Tra le possibili scelte vi è inoltre il Voice Device, ovvero un'interfaccia di input audio, che consente l'inserimento e l'elaborazione di un file audio registrato oppure acquisito "live" direttamente da un semplice microfono. Il primo passo è stato quindi quello di importare il volto completo di BlendShape elaborato in Maya, all'interno di MotionBuilder. Tale procedura visualizza al centro del nostro workspace soltanto il modello base, ovvero la "Main shape". Il passo successivo è l'aggiunta di un Character face asset al progetto. Il Characther face asset è un altro particolare strumento di MotionBuilder che consente, grazie al suo set d impostazioni personalizzabili che saranno approfondite in seguito, le operazioni di sincronizzazione labiale. 16

27 Con la semplice operazione di trascinamento del volto, tramite mouse, all'interno del navigator dove è visualizzato il nuovo asset, sono riconosciute e elencate le diverse Shapes precedentemente create. Esse riportano inoltre un valore in termini di percentuale che rappresenta il rispettivo valore d intensità di ciascun morphing. La fig. 3.2 sottostante mostra il dettaglio del Character face in cui sono visualizzabili l'elenco delle diverse shape modellate in Maya e le percentuali di valore. Di default queste ultime sono settate a valori nulli. fig. 3.2 Character face di MotionBuilder A questo punto sono state create le espressioni della bocca, le cosiddette "Custom Expression" regolando le percentuali di coinvolgimento di ogni Shape per ciascun fonema Custom Expression 17

28 I valori d intensità di morphing delle singole shape sono corrispondenti alle leve di comando che si erano visualizzate all'interno di Maya nel momento dell'assegnazione del BlendShape. Questa ovvia corrispondenza ha permesso così di lavorare all'interno di Maya per avere una più graduale e immediata visualizzazione del risultato che si voleva ottenere direttamente sul modello, il quale infatti mostrava il morphing ad ogni minima variazione della leva di comando. Una volta raggiunta la posizione più vicina a quella naturalmente assunta dalla bocca umana in base ai diversi fonemi, si sono riportati i valori di percentuale di assegnazione all'interno del Character face asset di MotioBuilder. Tali valori di percentuali sono infatti visualizzabili anche all'interno di Maya nell'opportuna finestra di impostazione del BlendShape ma la visualizzazione in fase di progettazione è più comoda perché immediata, come precedentemente illustrato, scelta per cui si è deciso di operare all'interno di questa suite per il setting, piuttosto che in MotionBuilder. Le immagini seguenti mostrano l'iterazione tra le impostazioni di valore delle diverse shape per creare tre particolari fonemi. Viene mostrata inoltre la posizione che assume il modello in queste particolari assegnazioni per evidenziarne il risultato. Le figure si riferiscono ai risultati dell'impostazione per i suoni "A" "F" e "O". 18

29 La figura 3.3 a mostra come per rendere l'espressione del fonema "A" sia stata necessaria l'intervento di regolazione su una sola shape, la shape M_Base11. Fig 3.3 La figura 3.4 mostra invece come per ricreare la "O" sia stato necessario intervenire sull interazione di 2 shape,m_base11 e M_Base7, con opportuni valori. fig

30 La terza figura 3.5 evidenzia invece come il suono "F" abbia richiesto il morphing del modello base attraverso ben tre delle shapes create, M_Base4, M_Base2, M_Base11. fig 3.5 Gli esempi proposti evidenziano la versatilità e l interagibilità delle diverse shapes che sono in grado così di ricreare moltissime espressioni. Questa versatilità può essere sfruttata anche per creare altre espressioni del volto. Ci si riferisce per esempio a espressioni facciali più complete come si può sempre più spesso osservare nei film 3D di ultima generazione, ma non ci si è soffermati su questa parte per quanto riguarda il proseguimento del progetto. 20

31 3.3.3 Applicazione del Voice Device Il Voice Device consente di riconoscere e analizzare il suono proveniente da dispositivi esterni, come microfoni, o da file audio. Il Device in questione pertanto è il punto chiave della sincronizzazione labiale. Esso ha l'importante compito di riconoscere i fonemi e una volta connesso al Character face può guidarlo nel richiamare le shapes corrette del modello. Questa fase del progetto ha quindi riguardato le corrette relazioni tra i fonemi riconosciuti dal voice device e le corrispettive custom expression create in precedenza. Successivamente si è proceduto all'importazione dei principali parametri sonori tra le categorie messe a disposizione da MotionBuilder, utilizzando quelle più generali. Essi sono visualizzati allineati all'interno alla schermata di controllo del Voice Device (fig 3.6) e mostrano il relativo coinvolgimento durante l'analisi di un input audio, attraverso la variazione del livello della propria barra di stato. fig 3.6 Allineamento dei diversi parametri sonori del Voice Device 21

32 3.3.4 Relazione tra Voice Device e Fonemi Il Voice Device di MotionBuilder fornisce diversi parametri sonori raccolti tutti in quattro differenti categorie: Common, English, Instruments, Compatibility. A seguito di diversi test di verifica si è potuto osservare che i principali fonemi utili appartenevano alla categoria English. Questo comporta la predisposizione del software a comprendere con maggiore facilità fonemi appartenenti a tale idioma. Con l'ausilio di un microfono prima e successivamente di un file audio vocale di prova, sono statti testati i diversi suoni riproducibili, soprattutto all'interno di parole complete. Questo processo ha permesso di valutare la sensibilità del riconoscitore vocale e di verificare quale rilevatore sonoro è coinvolto e con quale intensità (Fig 3.7). fig 3.7 Dettaglio del Voice Device in elaborazione Questa fase ha così consentito di istituire la relazione tra le diverse custom expression e gli opportuni fonemi attraverso la finestra dedicata "Constaints setting". 22

33 Le relazioni sono state realizzate attraverso il collegamento dei campi all'interno di Voice e Character Face, schematizzati in 2 blocchi all'interno della finestra. fig 3.8 Constraints setting Le relazioni apportate sono visibilmente osservabili attraverso linee che collegano opportunamente le due unità, come mostrato in fig

34 3.4 Animazioni dello stato di operatività del modello L'esigenza di un modello interattivo ha richiesto non solo la creazione della sincronizzazione labiale ma anche di alcune animazioni che rendessero il modello più vicino alla realtà. Da qui la necessità quindi di gestire delle posizioni da far assumere al volto del Moai per mettere in evidenza alcune sue attività. Per il processo di animazione ci si è avvalsi ancora di Autodesk Maya. Si è visto come, nel caso del blendshape, l'animazione fosse avvenuta per mezzo di transizione tra una shape iniziale e una finale, cioè tramite un Deformer. Si trattava quindi di una animazione che coinvolgeva i vertici del modello. In questo caso si vuole invece sfruttare un altro versatile e potente strumento della modellazione e animazione 3D anch'esso largamente utilizzato: si tratta di uno scheletro costituito di più parti mobili, le ossa appunto. Queste ultime, definite joints, sono costruite attraverso l'opportuno set d istruzioni contenuto all'interno del joint tool di Maya Creazione di uno scheletro L'evoluzione tecnologica ha consentito di mutare quello che è il concetto base di animazione virtuale. Negli anni '40 era rappresentata dai primi cartoni animati di Walt Disney dove, com è ben noto a tutti, l'animazione di un personaggio era possibile attraverso l'interpolazione rapida di più immagini che ritraevano il soggetto in lievi variazioni di pose, dovendo ogni volta ricreare anche tutto il paesaggio di sfondo. Per certi aspetti la cosa non è cambiata: alla base di tutto c'è sempre il concetto che il risultato finale del movimento è dato chiaramente dall uso di più fotogrammi, ma quello che è evidentemente mutato è la creazione di questi ultimi attraverso la Computer Graphics, infatti ora si può intervenire in modo più rapido e realistico. 24

35 L'introduzione, ad esempio, di un'ossatura all'interno di un personaggio rende più semplice e morbida la sua animazione. Attraverso lo strumento joint sono create una sequenza di ossa collegate fra loro partendo dalla base del Moai. Il risultato finale è la creazione di uno scheletro che percorre nella sua lunghezza il modello creato. La figura 3.9 riporta una visuale Xray del modello per mettere in evidenza l'ossatura creata al suo interno. fig 3.9 Moai con scheletratura Tale procedura ha fatto sì che si creasse una sequenza di ossa con un determinato ordine gerarchico. Lo spostamento di un joint di ordine più basso coinvolge anche quella di grado superiore. 25

36 La fig 3.10 mostra proprio questo ordine annidato della gerarchia. fig 3.10 Ordine gerarchico delle joints Lo scheletro così creato è stato in seguito "attaccato" al nostro modello. Senza questa operazione l'ossatura resterebbe un componente indipendente e animarla non influirebbe la posizione del Moai. L'operazione di attachment del nostro modello allo scheletro è stata resa possibile attraverso l'operazione di skinning, strumento di Maya che offre due opzioni: rigid bind o smooth bind. La prima è tipicamente usata per animazioni che riguardano strettamente corpi rigidi, come un braccio meccanico, mentre la seconda per quelle che si occupano di corpi elastici come un modello munito di pelle. Nel nostro caso si è quindi utilizzato proprio questa opzione. 26

37 Inoltre essa garantisce un altro set d impostazioni molto pratiche che riguardano il setting del coinvolgimento delle parti esterne del modello intorno alle giunture di diversi joint. In questo modo si può regolare, intervenendo con un pan dedicato che colora di grigio con tonalità più o meno intensa, il valore del grado di coinvolgimento dello strato esterno del modello in prossimità della specifica giunzione. Questo passaggio regola così lo strato superficiale del Moai nel momento della manipolazione delle ossa e quindi la sua texture esterna, per evitarne distorsioni scorrette durante la fase di animazione. 27

38 3.4.2 Forward e Inverse Kinematic Nell'animazione tridimensionale si può calcolare il movimento di tutti i rami di una struttura articolata, in base alla posizione iniziale e finale di un'estremità dell'oggetto. Il metodo opposto, Forward Kinematic o Cinematica Diretta, richiede la pianificazione di ogni movimento per ogni parte che compone un oggetto. Prendiamo in esempio il movimento del braccio meccanico in figura 3.11: il suo compito è prelevare l'oggetto e spostarlo nella posizione desiderata. L'obiettivo principale è muovere il magnete sull'estremità del braccio; tuttavia posizionare nello spazio desiderato sopra all'oggetto tale magnete richiede una complessa concertazione delle diverse articolazioni. fig 3.11 Perché il risultato sia soddisfacente, è necessario che le articolazioni siano regolate tenendo conto di limiti della struttura: nel nostro esempio il braccio si potrà quindi estendere per un'angolazione che non supera i 180 gradi; inoltre dovrà avere un limite inferiore che impedisca la sovrapposizione totale tra le due parti del braccio meccanico quando esso è ritratto nella posizione più vicina alla base. 28

39 fig Per creare questo vincolo Maya Autodesk utilizza lo strumento IKHandle, tramite la selezione delle due estremità dello scheletro che devono essere vincolate dal legame così descritto. In questo modo si è liberi di muovere l'estremità rappresentata dal magnete senza doversi occupare delle articolazioni che compongono il braccio le quali seguiranno il movimento automaticamente. La foto 3.12 mostra l'introduzione dello scheletro, visibile in marrone, all'interno del braccio meccanico, e la presenza del IKHandle rappresentato dalla linea rossa che sottolinea il vincolo. L'esempio mostra inoltre anche un altro aspetto che si era accennato a inizio capitolo. In questo caso lo scheletro è stato applicato al modello attraverso lo skinning in modalità Bind Rigid, specifico per questo stile di animazione di corpi rigidi. Il braccio quindi è ora libero di muoversi nel range di angolazioni prefissato. Presa considerazione delle due diverse tecniche di cinematica va tenuto conto che per le animazioni del nostro modello sono state utilizzate entrambe. 29

40 3.4.3 Key framing Alla base di ogni animazione vi è la costruzione di ogni fotogramma che la compongono, i frames. Tale procedura sarebbe onerosa e complicata da gestire: ancora una volta i software di grafica 3D semplificano notevolmente il lavoro. Infatti, istituendo il fotogramma iniziale e quello finale di un'animazione computerizzata, essi elaborano tutti i frames intermedi. Questo consente così di intervenire in seguito all'interno dell'animazione creando ulteriori frames intermedi. Questa tecnica, definita d interpolazione, o tweening, offre così numerose possibilità d intervento all'interno del range di frames creati automaticamente potendo così liberamente apportare variazioni come ulteriori piccoli spostamenti o di velocità. Tali key frames sono ben visibili all'interno della Time slider di Maya mediante linee rosse che ne marcano la presenza come mostrato in figura Time slider - dettaglio La figura mostra una sezione di frame di un animazione creata. Le zone d interpolazione sono quelle che, chiaramente, si trovano all'interno di due key frames. 30

41 3.5 Le animazioni sviluppate Al modello così ultimato con la scheletratura si sono quindi assegnate diverse posizioni animate utilizzando le tecniche discusse nei paragrafi precedenti. Sono state create quattro animazioni di presentazione per mostrare le tecniche di manipolazione apprese. Data la versatilità del software e le conoscenze acquisite è possibile far eseguire sconfinate animazioni al modello creato, questo in base alle richieste dell'utenza. La scelta delle quattro animazioni è ricaduta su quelli che sono stati ritenuti gli stati più interessanti che una guida virtuale di supporto tecnico possa assumere. Esse sono: 1. CallHim: un'animazione che mostra l'arrivo dell'aiutante. Essa è stata creata mediante l'inviluppo della scheletratura. La conseguenza di questa manipolazione è la materializzazione di una palla informe e la metamorfosi nella figura del Moai. 2. Escape: questa animazione costituisce l'uscita di scena del Moai dalla schermata d interfaccia di dimostrazione mediate una rotazione sul proprio asse y. 3. Waiting1: posizione di attesa di un comando. In questa animazione il volto ondeggia orizzontalmente nell'attesa di intervenire 4. Waiting2: Questa animazione è stata pensata per un'attesa duratura e conseguente inattività del Moai. Il volto ondeggia chino in avanti seguendo il movimento del proprio respiro come se dormisse Tutti i modelli animati sono stati esportati in formato.fbx compatibile con XNA. 31

42 Capitolo 4 - PROGRAMMAZIONE 4.1 Introduzione Come si è trattato già nel capitolo precedente l'esigenza di un modello interattivo ha richiesto non solo la creazione della sincronizzazione labiale ma anche di alcune animazioni che rendessero il modello più vicino all'utente. Ne segue la necessità di gestire delle posizioni da far assumere al volto del Moai. Per poter presentare il risultato di queste animazioni si è voluto creare un'apposita interfaccia grafica con alcuni pulsanti ciascuno per far compiere al volto alcune animazioni definite. Questa interfaccia è stata creata a scopo dimostrativo attraverso il Framework.NET utilizzando XNA e il linguaggio di programmazione C#. Come ambiente di sviluppo ci si è avvalsi di Visual Studio 2010 integrandolo con XNA Game Studio 4.0, entrambi prodotti Microsoft. Inoltre la sua implementazione suggerisce il punto di partenza per un progetto più ambizioso: la creazione di un strumento completo per la gestione del Moai e delle sua animazioni, ovvero una libreria. 4.2 XNA Microsoft XNA (la cui singolare sigla sta per XNA is Not Acronymed) è un insieme di strumenti per la progettazione, lo sviluppo e la gestione di software per videogiochi reso disponibile da Microsoft per semplificare il processo di creazione, consentendo di appoggiarsi a un Framework unificato, che include tutti i set di istruzioni utili per un videogame. 32

43 Il Framework XNA è basato sul.net Framework per Windows e sul.net Compact Framework per Xbox360, pertanto è virtualmente supportato da tutti i linguaggi.net, anche se, molte guide, consigliano l'uso di C#. Questa sua compatibilità con le differenti piattaforme citate, cui vanno ad aggiungersi anche alcuni smartphone che equipaggiano Windows Mobile, è uno degli aspetti che ha reso XNA molto comune tra i programmatori in quanto consente di creare un semplice videogioco con poche nozioni base facilmente reperibili anche via Web, offrendo la possibilità, una volta acquisita una certa padronanza, di creare anche ambienti di gioco più complessi. XNA implementa un Framework molto completo, che consente di interagire facilmente con Audio, Input e Device grafico. Uno dei punti di forza di questo sistema è l'utilizzo di una "Content pipeline" utilizzata per caricare con facilità materiali come modelli 3D e texture, e renderli raggiungibili all'interno senza doversi preoccupare di inventare layer o modelli d importazione complessi. La scelta di utilizzare proprio questo Framework è dovuta alla necessità di dover importare modelli tridimensionali all'interno di Visual Studio. La natura strettamente interattiva di un'applicazione creata in XNA ha consentito così la creazione di alcuni pulsanti e l'aggiunta di una telecamera in prima persona in grado di muoversi con le normali frecce direzionali all'intero della finestra creata come interfaccia per poter offrire una completa visuale delle animazioni che si attiveranno attraverso gli opportuni bottoni. Da un punto di vista procedurale si è quindi lavorato parallelamente alla creazione di un videogioco rendendo così anche l'interfaccia di presentazione, più coinvolgente e dinamica. La creazione dell'interfaccia segue così quella che a tutti gli effetti è il punto di partenza per la modellazione di un videogioco mantenendo così gli aspetti base di una programmazione rivolta a tal fine, che si riflettono nell'uso delle classi e metodi tipici. 33

44 4.3 Struttura di un'applicazione in XNA In questo paragrafo non ci si vuole soffermare sui concetti base di classe, metodi e quant'altro riguarda la programmazione ad oggetti in generale, quanto più su quegli elementi che rendono particolare la programmazione che utilizza questo Framework. Una buona conoscenza della programmazione orientata agli oggetti fornisce sicuramente un valido supporto per la comprensione e l'utilizzo di XNA, consentendo così di avere sufficienti nozioni base per poter creare fin dall'inizio alcune semplici applicazioni. Sono presenti infatti numerose classi ad hoc che semplificano notevolmente il lavoro perché esse sono state programmate per essere gestite nel modo più semplice possibile anche da chi si avvicina per la prima volta all'utilizzo di XNA. Le più elementari classi fornite da XNA sono: Vector2 es.:posizione = new Vector2(0f, 0f); La classe Vector2 non è altro che una coppia di valori di tipo float che identificano un punto sullo schermo. Dunque con un Vector2 potremmo impostare la posizione di un oggetto bidimensionale, come un immagine, un testo o uno sprite animato, sul nostro monitor. Nel nostro caso sono stati utilizzati per il posizionamento dei bottoni interattivi. I due float identificano rispettivamente la X e la Y della posizione. Vector3 es.: posizione = new Vector3(0f, 0f, 0f); E' concettualmente come un Vector2 ma con una variabile di tipo float in più che identifica la coordinata Z, utilizzata quindi in un campo tridimensionale. Sempre per fare un riferimento al nostro progetto è stata utilizzata per il posizionamento del modello 3D animato all'interno della finestra di interfaccia creata. 34

45 Matrix Le matrici sono indispensabili per effettuare trasformazioni di ogni tipo sui modelli 3D o sulla telecamera, come spostamento o scalamento. Offrono infatti una vastissima quantità di metodi ampiamente utilizzati (fig 4.1) fig 4.1 Model es.: mymodel = Content.Load<Model>("mymodel"); Consente di caricare un modello 3D. L'unico limite è offerto dall'estensione del file che deve essere.x o.fbx. Texture2D es.: sfondo1 = Content.Load<Texture2D>("mypicture"); Consente di caricare una qualsiasi immagine in moltissimi formati. Questi sono gli elementi base per cominciare a muoversi nelle infinite possibilità che offre XNA. 35