WP4 Sviluppo: Realizzazione motore di render dello storytelling MESI 9-21

Transcript

1 WP4 Sviluppo: Realizzazione motore di render dello storytelling MESI 9-21 A seguito della completa messa a punto delle specifiche funzionali, si e' passati allo sviluppo del software vero e proprio. Di seguito, la descrizione del workpackage come da specifiche di progetto: WP4 (MESI 8-22, DV+IC+OI+FUB) Sviluppo: Realizzazione motore di render dello storytelling Verrà realizzato il motore di render, quella parte cioè del software che crea in tempo reale la storia vera e propria. Il motore di render, interpretando i comandi provenienti dall avatar, assemblerà i contenuti audiovisivi disponibili, eventualmente aggiungendo movimenti di camera, effetti speciali ed effetti sonori, per creare il segmento di storytelling voluto. Inizialmente, è previsto un simulatore di Avatar, cioè un componente che emette comandi verosimili, simulando il comportamento interattivo dell avatar. Questo workpackage in realta' non comprende solo la realizzazione del motore di render, ma anche la realizzazione delle librerie di base, degli elementi per la costruzione e l'editing dello storytelling nonche' dei widget base dell'interfaccia grafica. Illustreremo le varie componenti realizzate e in corso di realizzazione. WP4.1 L'ambiente di Sviluppo e le librerie base. Per lo sviluppo del software si e' scelta la piattaforma Visual Studio 2008 nel linguaggio C++, Come librerie di base per la realizzazione degli elementi di

2 interfaccia grafica, si e' scelto il pacchetto open source di libreria Qt (versione 4.6) della Nokia. Durante lo sviluppo del software, si e' fatto un upgrade dell'ambiente di sviluppo passando a Visual Studio 2010 e alle librerie Nokia Qt 4.8. Per quanto riguarda la parte di render realtime onscreen, si sono utilizza le librerie standard opengl. Per la gestione dei suoni e delle musiche (caricamento, salvataggio playback) si e' scelta la libreria Ambiera irrklang, mentre per la parte di gestione Videoclip (caricamento e playback embedded di movies) si e' utilizzata la libreria Phonon di Qt. Il sistema Vocs supporta i formati di file immagine e movie piu' diffusi, come tif, png, bmp, gif, jpg, etc. cosi' come i formati movie quicktime mov e avi. Per la parte audio, analogamente, sono supportati i formati standard come mp3, aiff, wav, flac. Per la lettura e scrittura di tali formati ci si e' avvalsi sia di librerie proprietarie sviluppate da Digital Video, che da librerie non commerciali come Quicktime (per il formato avi) e la libreria Tiff (per il formato tif) WP4.2 I formati file di Vocs Come gia' accennato, per quanto riguarda i contenuti multimediali Vocs non ha introdotto formati proprietari, ma utilizza i piu' diffusi formati di immagini, movie e suoni. Per quanto riguarda invece la memorizzazione delle storie, si sono creati alcuni formati file, tutti basati sullo standard XML. Una storia interattiva di Vocs viene memorizzata all'interno di un folder, creato dal sistema, il cui nome coincide col nome della storia. Tale folder contiene i file che costituiscono la storia stessa, in particolare: - il file VST (Vocs Story) memorizza quali sono le scene costituenti la storia, e come sono organizzate tali scene nella storia.

3 - il file VSC memorizza tutte le informazioni per la singola scena: gli elementi multimediali, la geometria sullo stage, i behaviour degli avatar, le action delle scena. Quindi ogni storia e' essenzialmente composta1 file VST e vari file VSC, uno per ogni scena nella storia. WP4.3 Il motore di Render e lo Stage Editor Per la realizzazione del motore di render si sono utilizzate le primitive di disegno opengl. Ogni scena e' composta da una serie di StageItem. Gli StageItem: sono elementi multimediali da visualizzare sullo stage. Ogni StageItem contiene informazioni (espresse tramite matrici affini di trasformazione) sulla sua geoetria all'interno dello stage. GLi stageitems possono essere Character, Props, HotAreas, o MultimediaItems: Characters: sono i contenuti multimediali animati e dotati un behaviour (gli Avatar). I Character hanno associato uno stato attuale, che evolve durante il playback della storia, e che indica che porzione dell'animazione visualizzare; Props: sono immagini statici visualizzate sullo stage, come backgrounds e oggetti di scena. Non sono elementi animati; HotAreas: sono elementi che definiscono zone speciali dello schermo. Servono epr mettere a punto azioni interattive, per definre area di playback di movie, etc. e non sono visualizzati durante il playback; MultimediaItem: sono i movie e le soundtrack utilizzate nella scena; Il disegno del singolo frame completo sullo schermo consiste nello scorrere i vari stageitem e applicare un metodo appropriato di render, basato su opengl. Il render completo della scena sullo stage Editor avviene in modalità diverse, che dipende si sta in modalità editing o playback. Render in editing mode:

4 In questa modalita' viene fatto sempre il render dello stato iniziale della scena, i character non evolvono. Il ridisegno viene invocato in base agli input dell'utente, tipicamente click del mouse, o modifiche dei widget dell'interfaccia. In questa modalita' e' possibile caricare o cancellare stageitems, modificare la loro geometria sullo schermo, etc. In editing mode, vengono anche disegnati dei gadget per l'editing degli oggetti sullo schermo, come cornici, frecce, etc. In figura, l'interfaccia dello stage con una scena in edit mode: Render in playback mode: Questa modalità effettua l'esecuzione della storia interattiva.

5 Appena viene eseguita, si legge all'interno del plot la scena iniziale, si carica nello stage, e si esegue la action iniziale di essa. Il render viene regolato da un timer, che ad intervalli regolari (tipicamente 1/25 di secondo) fa evolvere il sistema in base alle action della scena e agli input vocali e non dell'utente. Di seguito riportiamo un diagramma del workflow di render della scena:

6 Ecco una breve descrizione dei nodi del diagramma di flusso: - Start: L'inizio della scena viene tipicamente invocato tramite un comando sull'interfaccia. - Load Scene; vengono caricati tutti gli StageItem della scena, resettati tutti gli stati della scena corrente allo stato iniziale; - Loop: questo funge come una sorta di main Loop temporizzato del playback; la velocità settata corrisponde con il framerate del playback su schermo. - Check Input: si verifica se son arrivate delle richieste dall'utente. queste richieste possono essere tipicamente dei comandi vocali, ma anche comandi da interfaccia grafica (click del mouse sulla scena, pause/stop della storia, etc.) - Check Actions: all'interno del plot si verifica se una certa Action e' stata completata e si passa alla successiva, settando le opportune variabili di stato; - Changed Scene: seconda degli input e dell'evoluzione del plot si controlla se e' necessario cambiare scena (o terminare la storia). In tal caso, viene caricata la nuova scena (o se e' finita la storia, si torna in edit mode). Evolve Status: Viene settato il nuovo stato di tutti gli stageitem; Draw Scene: viene disegnata la scena sullo stage, esattamente come avviene in edit mode: con la differenza che gli StageItem hanno uno stato non iniziale; Play Multimedia: se richiesto, vengono lanciati i playback delle soundtrack e dei video. WP4.4 Il plot, e il plot editor. Il plot e' l'elemento della storia in cui vengono specificate le azioni da compiere (actions) in seguito a comandi dell'utente o cambiamenti di stato. Ogni Action e'

7 composta di blocchi che eseguono un'operazione elementare (come muovere un personaggio, suonare una soundtrack, etc) che vengono assemblati insieme in modo intuito tramite una interfaccia grafica che utilizza l'approccio del Visual Programming. In figura, un esempio di plot all'interno del software Vocs composto di alcune azioni: Ogni action comincia con un blocco speciale(in rosso) che identifica un evento (comando vocale, inizio scena.etc) ed e' seguito da una serie di blocchi (colore blu) che seguono una serie di azioni. Altri blocchi speciali sono quelli che non

8 prevedono ulteriori azioni (in giallo), come ad esempio fine storia, cambio scena, etc. E' possibile assemblare e manipolare i vari blocchi tramite drag&drop. Nella colonna di sinistra sono presenti tutti i blocks usabili nella scena. L'implementazione dei blocchi in c++ e' stata fatta in modo molto strutturata e modulare, in modo tale che l'aggiunta di un nuovo blocco, e quindi di una nuova funzionalità, sia estremamente facile e veloce. Riportiamo di seguito il diagramma delle classi e delle ereditarietà per la classe base VBlock:

9 Diamo una breve descrizione delle classi basi e dei blocchi funzionali piu' importanti:

10 VBlock: la classe base da cui ogni blocco deriva; VExecuteBlock: esegue un comando. VConditionBlock: fa un check su qualche grandezza della scene attuale e ritorna true o false. VUnaryBlock: un blocco che puo' avere un solo blocco come successiva azione VZeraryBlock: un blocco conclusivo: nessun alra azione puo' essere eseguita in questa scena dopo di esso. VIfBlock; un blocco che accetta come argomento un VConditionBlock e 2 VExecuteBlock, e implementanta il comando if..then..else. VMoveCameraBlock: esegue un movimento di camera di tipo pan e zoom. VPlayVideoBlock: un dato videoclip viene mostrato sullo stage. VPerformCharacterBlock: va eseguire una data animazione ad un avatar specificato VStartBlock: un blocco di inizio action, tipicamente un evento esterno VVocalCommandBlock: uno startblock invocato quando un o o piu' comandi vocali asegnati son stati dati; VStartSceneBlock: StartBlock invocato all'inizio di una scena WP4.5 la Story e lo Story editor. Le varie scene della storia, e le loro connessioni all'interno della storia, possono venire visualizzate, sotto foram di grafo orientato, ed editate all'interno dello story editor. In figura un esempio di una storia composto di 4 scene:

11 Ogni arco indica che durante il playback della storia, e' possibile passare da una scena a quella ad essa collegata. Lo story editor viene popolato in modo semi automatico: sia le icone che rappresentano le scene che gli archi di connessione infatti vengono calcolati automaticamente da Vocs.