Canale visivo: componenti

Transcript

1 Canale visivo: componenti AMBIENTE VIRTUALE SW SW modules modules of of visual visual modelling modelling & rendering rendering CANALE VISIVO CANALE Graphical ACUSTICO Feedback CANALE CANALE APTICO INERZIALE HW HW devices devices of of visualization visualization UTENTE

2 Moduli logici Sintesi Modellazione Campionamento Comportamenti Proprietà AMBIENTE VIRTUALE Management Interazione UTENTE

3 Software per la grafica 3D Obiettivi distinti ma collegati: modellazione geometrica animazione modellazione fisica rendering generazione di un immagine 2D corrispondente alla prospettiva della scena/modello a partire dal viewpoint - impostazione delle luci - definizione dei materiali - definizione delle inquadrature - calcolo del risultato - offline / real-time

4 Software per la grafica 3D grandissima varietà in genere rispondono a molteplici esigenze spesso a tutte ma a diversi livelli di completezza in linea di massima possiamo distinguere: suite complete tool specifici (spesso plugin per le suite) molti paradigmi diversi interfacce molto dissimili tendenza all'uniformità

5 Modellazione Poligonale low poly per applicazioni interattive strumenti specifici per ridurre il numero di poligoni NURBS e simili curve parametriche uso tipico: CAD, design (es. automobili) Digital sculpting diverso modo di interagire con mesh poligonali

6 Animazione definizione percorsi in genere curve parametriche definizione deformazioni tramite armature tipico ad esempio per personaggi o strumenti meccanici tramite interpolazione fra mesh modificate (key frame animation) tipico ad esempio per le espressioni facciali gestione di azioni e interpolazioni

7 Definizione dei materiali strettamente connessa all'uso previsto per applicazioni interattive fino a ieri poco più che definizione texture oggi software appositi per messa a punto shaders RenderMonkey per rendering offline modelli di interazione luminosa complessi possibilità di esprimere le proprietà del materiale addirittura con del codice sistemi RenderMan, shading a nodi, ecc.

8 gestione della telecamera piazzamento nella scena, inquadratura, lente, moto della camera, ecc. impostazione di parametri dimensioni finali numero di frame varie impostazioni di qualità grande varietà di tipi di renderer Non Photorealistic, biased/unbiased ( corretti o approssimati )) ecc.

9 Gestione del comportamento interattivo definirlo direttamente dentro il programma, impostando proprietà dei vari oggetti generalmente più facile ma meno potente esportare la geometria e gestire gli oggetti in un altro ambiente di sviluppo necessitiamo dunque di un exporter per il formato: leggere dal programma originale i dati che ci interessano (serve dunque una API di interazione con quel particolare programma) riorganizzarli e scriverli in un file secondo le nostre esigenze

10 Software per modellazione e rendering

11 Autodesk 3ds Max molto diffuso buon compromesso fra aspetti artistici e CAD Jurassic Park, Harry Potter, etc. modellazione, materiali, animazione, rendering integrazione con renderer esterni (Mental( Ray, VRay,, etc.) Scripting,, SDK versione 9, costo $

12 Autodesk Maya interfaccia raffinata (es. menù circolari) scripting molto potente, anche Python costo versione 8.5: $1999 o $6999 (unlim( unlim.)

13 Blender programma free e open source suite di tool per il 3D modellazione (supporta digital sculpting) animazione piuttosto avanzata rendering: non il punto forte video editing e compositing game engine Wiki: wiki.blender.org Forum:

14 Altri software Cinema, videogiochi: Softimage XSI (es. FFXI, Half Life 2, etc.) Lightwave 3d Modelli x Mappe 3D Google SketchUp - CAD meccanici Pro-Engineer Solidworks Altri CAD AutoCAD (architettura, ingegneria) ArchiCAD (architettura) Rhino (NURBS, design)

15 Altri software Digital Sculpting: Pixologic Z-Brush Mudbox Animazione di figure umane: Poser Generazione di scenari realistici Bryce Convertitori di formati Okino Polytrans Deep Exploration

16 Renderer Commerciali: Maxwell Mental Ray RenderMan Vray Free: Indigo, Yafray, POVray, WinOSI...

17 Software per rendering real-time

18 3D real-time libraries Librerie di basso livello : OpenGL Cross platform Non proprietaria Supportata da un Architectural Review Board Estensibile Usata soprattutto nei settori professionali/ricerca Direct3D Parte di DirectX Proprietaria (Microsoft) Windows only Diffusissima per giochi

19 3D real-time engines Le librerie di basso livello sono perfettamente utilizzabili direttamente nelle applicazioni,, ma un livello più alto è spesso molto utile: Riutilizzo di codice Ottimizzazione delle funzionalità Implementazione di funzionalità di base non disponibili (es. caricamento di mesh) Nascono numerosi 3D Engine che si fanno carico di rendere trasparenti al programmatore molte operazioni Quake Engine (ID Software) Unreal Engine Ogre 3D etc

20 Complessità di un sistema VR Network Manager (~ 10 Hz) Simulazione (Fisica, ) AMBIENTE VIRTUALE (~ 200 Hz) Main Application CANALE Visual VISIVO (~ 60 Hz) CANALE Audio ACUSTICO (~ 60 Hz) CANALE Haptic APTICO (~ 1 KHz) Motion CANALE INERZIALE (~ 1 KHz) Tracking MoCap (~ 30 Hz) UTENTE Interaction Manager (~ 30 Hz)

21 VR frameworks I 3D engines sono solo uno dei componenti di un sistema di RV Per gestire efficamente l interazione e il rendering su tutti i canali sensoriali occorre integrare numerose librerie, engines, e driver Esempio: Canale visivo: : OpenGL/Directx (o 3D Engines built-on on-top) Canale acustico: OpenAL/DirectSound (o 3DAudio Engines - es. Fmod) Canale aptico: OpenHaptics/Chai (o Haptics Engines es. Hapticweb) Approccio bulldozer: applicazione C++ che usa tutti questi componenti -> programmer s s nightmare Approccio auspicabile: utilizzo di un framework che si faccia carico di tutta la gestione dell infrastruttura (es. comunicazione fra librerie,, networking, supporto ad hardware di diverso tipo,, etc.)

22 VR frameworks Applicazione Fisica Networking VRFramework 3D Graphics Engine 3D Audio Engine 3D Haptics Engine OpenGL OpenAL OpenHaptics HW Visual HW Audio HW Haptic HW Tracking

23 Workflow (canale( visivo) 3D Modeling Software modellazione Geometria Materiali Texture esportazione File geometria Textures importazione Ambiente Virtuale Applicazione programmazione VR Framework

24 VR framework: Virtools Commerciale Suite di strumenti di sviluppo Separa gli oggetti dai comportamenti Le applicazioni nascono dall assemblaggio assemblaggio di oggetti e comportamenti GUI visuale per assemblare blocchi precostituiti Linguaggio di scripting per specificare comportamenti più articolati Supporta molti dispositivi di rendering (dallo( schermo semplice al CAVE)

25 VR framework: VR Toolkit Supporto a Tecnologie di visualizzazione stereoscopica Guanti (data gloves) Dispositivi aptici Gamepads e joystick Suono 3D Networking Linguaggio di script basato su Python

26 VR framework: XVR

27 XVR

28 XVR stack di sviluppo VR System Development XVR Scripting Language Virtual Machine Scene Graph Core Libraries 3d Graphics Engine 3d Sound Engine Physics Engine Haptics Engine Cluster Renderer Hardware Abstraction Layer VR System Hardware

29 XVR Loops 3 Callback principali OnFrame() OnTimer() ~ 60 Hz Hz Tutte le variabili sono condivise VR_EVENT_1 VR_EVENT_3 OnEvent() VR_EVENT_2 VR_EVENT_4

30 XVR features User interaction management Photo-realistic rendering Multi-channel visual stereoscopic display (CAVEs) Hardware interfaces support Advanced content authoring and management

31 XVR Cluster Renderer Scr een Scr een Sc ree n CRT projector VRlib XVR Servers Slaves CRT projector CRT projector Eth er net VRlib XVR Master Client

32 XVR Cluster Renderer (CAVE)

33 XVR E suddiviso in due moduli principali: XVR Virtual Machine: : contiene il core della tecnologia (engine grafico, engine multimediale etc.) XVR ActiveX Control: realizza l interfaccia l web Opzionalmente è possibile aggiungere moduli addizionali per gestire features extra

34 XVR Virtual machine La XVR-VM VM contiene: - Un set di istruzioni bytecode - Un set di registri - Uno stack - Un area per i metodi Il comportamento delle applicazioni viene specificato tramite un linguaggio di scripting (S3D) Lo script S3D viene compilato in un bytecode che viene processato ed eseguito dalla XVR-VM VM

35 XVR Workflow Dedicated scripting language Output Binary ByteCode Compiler Interpreter (Virtual Machine)

36 Web embedding Il bytecode prodotto (.bin bin) ) può essere eseguito dalla VM con un applicazione ad hoc o inserito in una pagina HTML Quando si accede, in locale o in remoto, alla pagina HTML che ospita l applicazione l XVR: Viene controllata la versione dell XVR engine e, se localmente è assente quella specificata nella pagina HTML, viene scaricata dalla rete la versione giusta Viene scaricato il bytecode dell applicazione Vengono scaricati i file di dati associati all applicazione applicazione (modelli3d, textures,, file multimediali etc.) Viene eseguito il bytecode sulla XVR-VM VM

37 Web embedding: : codice HTML <OBJECT ID= AppName AppName WIDTH = 800 HEIGHT = 800 CLASSID = "CLSID:5D AE64-65FA078B5EAB" 65FA078B5EAB" TYPE = "application" application/x-oleobject" align="left left" border="2" CODEBASE = " client.vrmedia.it/xvrplayer.cab#version=1,0,0,900 /XVRPlayer.cab#Version=1,0,0,900 > <PARAM NAME="ScriptName ScriptName" VALUE=" " AppName.s3d.bin"> <PARAM NAME="EngineVersion EngineVersion" VALUE="0136"> <PARAM NAME="BackgroundColor BackgroundColor" VALUE="#000066"> <PARAM NAME="Params Params" " VALUE "DEPTH=24"> <PARAM NAME= UserParams UserParams" " VALUE " ">" "> </OBJECT>

38 Engine version Un solo controllo ActiveX control for versioni multiple dell Engine Ogni Engine è autosufficiente Di tanto in tanto vengono rilasciate nuove versioni dell Engine (auto-update update da web) The sequence was 0100, 0101,, 0142 Engine Family (sempre la stessa) Convenzione di naming 0142 Progressivo all interno della famiglia Compiler Generation Number

39 XVR scripting language (.S3D) Sintassi simile a JAVA e BASIC Byte code virtual machine model Type less Object oriented Costrutti dedicati alla VR

40 Struttura di uno script S3D Ogni script S3D è basato su 6 funzioni predefinite: OnDownload() OnInit() OnFrame() OnTimer() OnEvent() OnExit() Queste funzioni vengono automaticamente invocate al verificarsi di determinati eventi

41 OnDownload() E la prima funzione ad essere invocata Ogni volta che uno script XVR viene eseguito, viene creata una cartella di lavoro nella temp di sistema Nella OnDownload i files usati dall applicazione applicazione dalla locazione originale (server o locale) vengono spostati nella cartella di lavoro Gli archivi ZIP vengono decompressi automaticamente Nella OnDownload si può inserire anche codice generico

42 OnInit() Viene chiamata all inizio dell applicazione, subito dopo la OnDownload() E il posto per gestire il carica- mento dei data-files scaricati e tutte le inizializzazioni. Può ricevere parametri di ingresso specificati nella pagina HTML con il tag <UserParams>

43 OnFrame() E la funzione dedicata al rendering. Di default viene chiamata ad una frequenza pari al refresh rate (60 Hz). Il target frame-rate rate può essere cambiato usando SetFramerate(Value); E la sola funzione ad accedere al frame buffer OpenGL Il massimo frame-rate rate possibile è 100 Hz

44 OnTimer() E la funzione normalmente dedicata alla gestione di loop ad alta velocità (fisica,, collision detection, etc.) Di default viene chiamata a 100 Hz. Il time-step può essere cambiato usando: SetTimestep(Value); Minimo time-step = 1ms Independente dal framerate (a meno che il sistema non sia sovraccarico) Non ha accesso al framebuffer

45 OnEvent() Funzione prevista per la gestione di eventi (event-driven programming) Gli eventi possono essere generati da XVR, dal programmatore XVR (GenerateEvent(val( GenerateEvent(val, param)) ) o all esterno di XVR (eventi( Win32) Un esempio di evento XVR è quello generato quando termina un download eseguito con la funzione FileDownload();

46 OnExit() OnExit() Viene eseguita all uscita dell applicazione. L uscita può avvenire esplicitamente o in seguito alla chiusura della pagina HTML contenitore.

47 S3D: Statements e preprocessore IF..ELSE WHILE DO..WHILE FOR BREAK CONTINUE SWITCH..CASE SET SCENE_FOV SCENE_NEAR SCENE_FAR AUDIO_MODE Field of view Near clipping plane distance Far clipping plane distance 3d Audio Setup mode #DEFINE #IFDEF #ENDIF #ELSE #INCLUDE #PRAGMA

48 Funzioni Il tipo di parametri non viene specificato Il tipo del valore di ritorno non viene specificato

49 S3D: Tipi di dato La dichiarazione delle variabili non specifica il tipo. Il tipo viene specificato con l assegnamento l o l inizializzazione: VAR i; VAR j,k; VAR x = 2; VAR y = 3.1; VAR s = Don t panic!!! k = 4.3; i = 8; i = 9.2; VAR v = [0.0, 1.0, 0.0];

50 S3D: Tipi di dato predefiniti INT, FLOAT, BOOLEAN (non sono dichiarabili) STRING (non è dichiarabile) ARRAY: è un set di elementi a cui si può accedere tramite un indice. Gli elementi possono essere di tipo diverso. Var1 = { 1, true,, { 12, 3 }}; // Array made of different types Var2 = Array(12); // Creates an array of 12 elements Var3 = Var1[0]; // Var3 equals 1 Var4 = Var1[2][0]; // Var4 equals 12 Var1[1] = false; VECTOR: è un array di float Var1 = [ 0.2, 2, 3.33, 4 ]; Var2 = Vector(16); // creates a 16-elements vector Var3 = Var1[0]; // Var3 equals 0.2

51 S3D: Tipi di dato predefiniti OGGETTI Gli oggetti possono essere dichiarati come istanze di: - Classi predefinite - Classi definite dall utente Obj1 = CVmLight(); Obj1.SetPosition( 10,10,20);

52 S3D: Dichiarazioni di classi Class Playlist { var id; // Identificativo unico della playlist var name; // Nome della playlist var elements; // Array di id che compongono la playlist Add(el el); // Aggiunge un elemento Start(); // Avvia la playlist Stop(); // Stop della playlist }; function Playlist:: ::Playlist(i,n,) { id = i; name = n; elements = {}; } // Il costruttore è dichiarato di default function Playlist:: ::Add(song) { aadd(elements elements,song); }