Programmazione J2ME. Lezione 10. Mobile3D (incompleta) Di Blasi Gianpiero - D.M.I. - Università di Catania

Transcript

1 Di Blasi Gianpiero - D.M.I. - Università di Catania Programmazione J2ME Lezione 10 Mobile3D (incompleta)

2 Cosa impareremo oggi? L'API Mobile3D Come scoprire la presenza dell'api Mobile3D Caratteristiche generali e funzionamento del package javax.microedition.m3g

3 Introduzione (1) Questa lezione presenta L'API M3G (Mobile3D Graphics) per dispositivi J2ME Tale API (JSR 184) è un package opzionale per la creazione di ambienti tridimensionali La libreria presenta una serie di classi ed un modello di programmazione molto simile all'api Java3D Sfortunatamente però le due API non sono compatibili

4 Introduzione (2) In ogni caso la conoscenza di Java3D semplifica notevolmente lo studio di Mobile3D (ovviamente vale anche il viceversa) Non tutti i dispositivi supportano Mobile3D, ma la maggior parte degli emulatori sono già abilitati Durante questa lezione darò per scontata la conoscenza dei principi fondamentali della Computer Graphics

5 Introduzione (3) L'API supporta sia la programmazione grafica di alto livello sia quella di basso livello Nell'implementazione di alto livello (detta retained mode), lo sviluppatore lavora con un modello scene graph ed il rendering dell'ambiente 3D è automatico e tutto a carico del motore Mobile3D Nell'implementazione di basso livello (immediate mode) lo sviluppatore deve invece disegnare manualmente tutto il mondo 3D (compresi i problemi di prospettiva, di luce, di vista, ecc.)

6 Introduzione (4) Noi ci occuperemo principalmente del retained mode poiché è più semplice e simile a Java3D, daremo solo cenni invece sull'immediate mode Il sistema a basso livello si comporta esattamente come le librerie OpenGL ES OpenGL ES (OpenGL for Embedded Systems) è un'api di basso livello sottoinsieme di OpenGL specifica per i dispositivi embedded Essa fornisce un'interfaccia di basso livello tra l'applicazione ed il motore 3D del dispositivo

7 Altre API simili Mobile Media API (JSR 135): è un'api di alto livello per il controllo di diversi tipi di media (principalmente audio e video); non implementa grafica 3D; JSR 184 è stato definito per fornire le funzionalità base per la grafica 3D Java Bindings for OpenGL ES (JSR 239): un wrapper J2ME per OpenGL ES; è l'equivalente di JOGL per OpenGL e Java

8 Il package javax.microedition.m3g (1) L'API Mobile3D è definita nel package javax.microedition.m3g Tale package contiene tutte le classi necessarie per la creazione di mondi 3D La libreria definisce inoltre una struttura scene graph ed un formato di file corrispondente per gestire e distribuire contenuti 3D in modo efficiente

9 Il package javax.microedition.m3g (2) Graphics3D il contesto grafico 3D Object3D una classe astratta per gli oggetti contenuti nel mondo questo include il mondo stesso, i nodi dello scene graph, le animazioni, le texture, ecc. Transformable una classe astratta per Node e Texture2D dove sono definiti i metodi comuni per la manipolazione dei nodi e per le trasformazioni delle texture

10 Il package javax.microedition.m3g (3) Node una classe astratta per tutti i nodi dello scene graph ci sono cinque differenti tipi di nodi: Camera - definisce la posizione dell'osservatore e la proiezione da 3D a 2D Mesh - rappresenta un oggetto 3D definito come una superficie poligonale immutabile Sprite3D - rappresenta una immagine 2D con una posizione 3D Light - definisce posizione, direzione, colore ed altri attributi di una sorgente luminosa Group - un contenitore di altri nodi

11 Il package javax.microedition.m3g (4) World un nodo Group radice dello scene graph MorphingMesh un nodo dello scene graph rappresentante un oggetto 3D definito come una superficie poligonale modificabile tramite un vertex-morphing SkinnedMesh un nodo dello scene graph rappresentante un oggetto 3D definito come una superficie poligonale animabile

12 Il package javax.microedition.m3g (5) Appearance un insieme di componenti che definiscono l'aspetto di una Mesh o di uno Spring3D Material un componente di Appearance che incapsula gli attributi per il calcolo del comportamento della luce sugli oggetti altri attributi per la luce sono definiti in Light, PolygonMode e VertexBuffer

13 Il package javax.microedition.m3g (6) CompositingMode un componente di Appearance che incapsula gli attributi della composizione del colore per-pixel PolygonMode un componente di Appearance che incapsula gli attributi per i poligoni (back/front face culling, calcolo delle luci, correzione prospettica, shading, ecc.) Fog un componente di Appearance che incapsula gli attributi della nebbia

14 Il package javax.microedition.m3g (7) Texture2D un componente di Appearance che incapsula una texture e gli attributi su come applicarla ad una mesh (wrapping, filtering, blending, trasformazione delle coordinate, ecc.) Background definisce come cancellare il mondo, può essere pensato come lo sfondo di una scena Loader carica e deserializza i nodi di uno scene graph

15 Il package javax.microedition.m3g (8) AnimationController controlla la posizione, velocità e peso di una animazione; per esempio può essere usato per controllare il movimento di una luce KeyframeSequence incapsula i dati dell'animazione come una sequenza di key-frame AnimationTrack associa un KeyframeSequence con un AnimationController

16 Il package javax.microedition.m3g (9) Image2D un'immagine utilizzabile come texture, sfondo o sprite ci sono due tipi di immagini: mutable (aggiornabili in qualsiasi momento) immutable (non aggiornabili) RayIntersection conserva il riferimento ad una Mesh o uno Sprite3D intersecato e le informazioni sul punto di intersezione Transform una matrice 4x4 rappresentante una trasformazione 3D

17 Il package javax.microedition.m3g (10) TriangleStripArray definisce un array di triangoli collegati a strip in una strip, i primi tre vertici definiscono il primo triangolo, ogni ogni altro vertice definisce uno nuovo triangolo usando i due precedenti VertexArray un array di vettori interi rappresentante posizione, normali, colori e coordinate delle texture di ogni vertice

18 Il package javax.microedition.m3g (11) VertexBuffer conserva i riferimenti ai VertexArray per un insieme di vertici IndexBuffer definisce come connettere i vertici per formare una geometria

19 Scoprire la presenza del package Mobile3D (1) Poiché Mobile3D è un package opzionale, tale API potrebbe essere non disponibile su qualche dispositivo quindi è necessario un sistema per ottenere tale informazione Sfortunatamente non esiste un sistema universale per fare ciò ed ogni profilo MIDP ed ogni piattaforma potrebbero avere un sistema proprietario per tale scopo

20 Scoprire la presenza del package Mobile3D (2) Un'alternativa per scoprire la presenta dell'api Mobile3D è chiedere al dispositivo la versione dell'api stessa Infatti si può chiamare il metodo System.getProperty( microedition.m3g.version ): restituisce la versione dell'api ( 1.1 o 1.0 ) se l'api è presente, null altrimenti

21 Scoprire la presenza del package Mobile3D (3) Esempio (provare sia su MpowerPlayer sia su WTK) PackageDiscovery

22 La classe Graphics3D (1) La classe Graphics3D è il cuore di tutta l'api È il contesto grafico 3D che si occupa del rendering della scena È un oggetto singleton (ne può esistere una sola istanza) Tutto il rendering è fatto tramite i metodi render(...) L'API non contiene altro sistema per il rendering di scene 3D

23 La classe Graphics3D (2) Ci sono quattro diversi metodi render(...) operanti a diversi livelli di granularità Il primo metodo renderizza un intero World ed in tal caso si dice che l'api opera in retained mode Il secondo metodo renderizza nodi dello scene graph, mentre il terzo ed il quarto metodo renderizzano semplici mesh ed in questi tre casi si dice che l'api opera in immediate mode

24 La classe Graphics3D (3) La classe Graphics3D fa riferimento ad una camera corrente ed ad un array di luci correnti Queste sono usate solo dai metodi dell'immediate mode Il retained mode usa la camera e le luci specificate nel World, ignorando totalmente camera e luci del Graphics3D

25 La classe Graphics3D (4) Prima del rendering l'applicazione deve registrare un target al Graphics3D usando il metodo void bindtarget(object target): registra un Graphics o una Image2D modificabile come target di questo Graphics3D Quando il rendering è completato l'applicazione deve rilasciare il target con il metodo void releasetarget(): rilascia il target

26 La classe Graphics3D (5) Metodi utili static Graphics3D getinstance(): restituisce l'istanza singleton di Graphics3D Object gettarget(): restituisce il target attuale void clear(background background): cancella la scena tramite un background void setcamera(camera camera, Transform transform): imposta la camera corrente Camera getcamera(transform transform): restituisce la camera corrente (continua...)

27 La classe Graphics3D (6) Metodi utili (segue) int addlight(light light, Transform transform): aggiunge una luce alla scena void setlight(int index, Light light, Transform transform): imposta una luce nell'array delle luci correnti Light getlight(int index, Transform transform): restituisce una luce nell'array delle luci correnti int getlightcount(): restituisce il numero di luci correnti void resetlights(): cancella l'array delle luci correnti

28 La classe Graphics3D (7) Esempio (No su MPowerPlayer) Graphics3DSample

29 La classe Loader (1) Nel precedente esempio è stata introdotta anche la classe Loader Il suo funzionamento è molto semplice: scarica e deserializza file in formato M3G è capace di deserializzare istanze di qualsiasi classe derivata da Object3D (World, Group, Camera, Light, Material, Appearance, Texture2D, AnimationTrack, KeyframeSequence, ecc.) qualsiasi altro oggetto non può essere deserializzato

30 La classe Loader (2) La classe Loader è anche capace di caricare immagini in formato PNG In tal caso l'oggetto restituito è un'istanza non modificabile di Image2D il cui pixel format corrisponde al color type del PNG Alcune implementazioni Mobile3D potrebbero ovviamente supportare anche altri formati oltre al PNG

31 La classe Loader (3) Metodi utili: static Object3D[] load(byte[] data, int offset): deserializza istanze di Object3D da un array di byte iniziando da un dato offset static Object3D[] load(string name): carica e deserializza istanze di Object3D da una risorsa (interna o esterna alla midlet)

32 La classe World (1) Nel precedente esempio è stata introdotta anche la classe World Anche il funzionamento di questa classe è molto semplice World è uno speciale Group (che vedremo a breve) radice dello scene graph Uno scene graph è costituito da una gerarchia di nodi Tutti i nodi sono connessi tra loro ed hanno una radice comune: un oggetto World

33 La classe World (2)

34 La classe World (3) Costruttore World() Metodi utili (oltre a quelli di Group) Camera getactivecamera(): restituisce la camera attiva void setactivecamera(camera camera): imposta la camera attiva Background getbackground(): restituisce lo sfondo si questo mondo void setbackground(background background): imposta lo sfondo di questo mondo

35 La classe Background (1) Definisce uno sfondo per il mondo: nel retained mode viene utilizzato l'oggetto Background associato al World nell'immediate mode bisogna specificare un apposito oggetto Background da utilizzare nel metodo clear(...) di Graphics3D La cancellazione dello sfondo riguarda sia il color buffer che il depth buffer (z-buffer) Il color buffer è cancellato usando il Background, il depth buffer è cancellato impostando tutto il buffer al massimo valore possibile

36 La classe Background (2) Il Background può essere definito da un colore, da una Image2D o da entrambi: se è presente solo il colore lo sfondo sarà colorato di quel colore se è presente solo l'immagine lo sfondo sarà colorato con quell'immagine se sono presenti entrambi lo sfondo sarà colorato prima con il colore e poi con l'immagine

37 La classe Background (3) Costruttore Background() Metodi utili void setcolor(int ARGB): imposta il colore di sfondo void setimage(image2d image): imposta l'immagine di sfondo void setcolorclearenable(boolean enable): imposta la cancellazione del color buffer void setdepthclearenable(boolean enable): imposta la cancellazione del depth buffer

38 La classe Background (4) Esempi (No su MPowerPlayer) BackgroundSample_a1 BackgroundSample_a2

39 La classe Camera (1) Definisce la posizione dell'osservatore nella scena e la sua proiezione dal 3D al 2D La camera è sempre orientata verso l'asse Z negativo e può essere posizionata ed orientata come qualsiasi altro nodo attraverso le trasformazioni (che vedremo a breve) Costruttore Camera() I metodi più importanti della classe Camera si trovano nella classe Transformable e servono per posizionarla nello spazio

40 La classe Camera (2) Esempio (No su MPowerPlayer) CameraSample

41 La classe Object3D Con gli esempi finora presentati abbiamo avuto modo di iniziare a conoscere alcune classi foglie dell'api e capire come funziona il retained mode Adesso bisogna andare a studiare le classi root La classe Object3D è una classe astratta base di tutti gli oggetti che possono essere parte di un mondo 3D Contiene ovviamente i metodi comuni a tutte le classi

42 La classe Object3D animazione (1) Una delle caratteristiche principali di questa classe è la possibilità di essere animata Le animazioni sono applicate all'oggetto ed a tutti i suoi discendenti nello scene graph Per fare ciò bisogna utilizzare il metodo int animate(int time): aggiorna tutte le proprietà animabili di questo oggetto e di tutti i suoi discendenti nello scene graph

43 La classe Object3D animazione (2)

44 La classe Object3D l'id (1) Ogni Object3D può avere assegnato un ID, attraverso il metodo void setuserid(int userid): imposta l'id dell'oggetto Ovviamente esiste il corrispondente int getuserid(): restituisce l'id dell'oggetto Gli ID possono essere usati ad esempio per recuperare un oggetto da una scena ottenuta da stream

45 La classe Object3D l'id (2) Per recuperare un oggetto si utilizza il metodo Object3D find(int userid): recupera un oggetto con un dato userid e raggiungibile da questo oggetto Il metodo find(...) cerca in tutti gli oggetti raggiungibili da questo oggetto Se ci sono oggetti con lo stesso ID ne verrà restituito uno qualsiasi (non c'è modo di decidere quale)

46 La classe Object3D l'id (3)

47 La classe Object3D dati utente Infine la classe Object3D ha un campo riservato per i dati dell'utente Questo campo può contenere qualsiasi Object ed il suo utilizzo dipende dall'applicazione che si sta sviluppando I metodi per impostare e recuperare tale campo sono void setuserobject(object userobject): imposta un dato dell'utente Object getuserobject(): recupera un dato dell'utente

48 La classe Object3D Altri metodi utili void addanimationtrack(animationtrack animationtrack), void removeanimationtrack(animationtrack animationtrack): aggiunge/rimuove un gestore di animazioni AnimationTrack getanimationtrack(int index): restituisce il gestore di animazioni alla posizione index int getanimationtrackcount(): restituisce il numero di gestori delle animazioni associati a questo Object3D Object3D duplicate(): duplica questo Object3D int getreferences(object3d[] references): restituisce numero ed oggetti direttamente referenziati da questo Object3D

49 La classe Transformable (1) La classe Transformable è una classe astratta per Node e Texture2D e definisce i metodi comuni per la manipolazione delle trasformazioni di nodi e texture Le trasformazioni di nodi e texture consistono di quattro componenti: traslazione (T), rotazione (R), scala (S) ed una generica matrice 4x4 (M) Un vettore omogeneo p = (x, y, z, w), rappresentante un vertice (Node) o una coordinata di texture (Texture2D), è trasformato nel vettore p' = (x', y', z', w') = T R S M p

50 La classe Transformable (2) Metodi utili void getcompositetransform(transform transform): restituisce la matrice composita C = T R S M void gettranslation(float[] xyz): restituisce la componente di traslazione void getorientation(float[] angleaxis): restituisce la componente di rotazione void getscale(float[] xyz): restituisce la componente di scala void gettransform(transform transform): restituisce la matrice generica 4x4 M (continua...)

51 La classe Transformable (3) Metodi utili (segue) void settranslation(float tx, float ty, float tz): imposta la componente di traslazione void translate(float tx, float ty, float tz): aggiunge una traslazione alla componente di traslazione void setorientation(float angle, float ax, float ay, float az): imposta la componente di rotazione void settransform(transform transform): imposta la matrice generica 4x4 M (continua...)

52 La classe Transformable (4) Metodi utili (segue) void postrotate(float angle, float ax, float ay, float az): moltiplica a destra la componente di rotazione per la rotazione data void prerotate(float angle, float ax, float ay, float az): moltiplica a sinistra la componente di rotazione per la rotazione data void setscale(float sx, float sy, float sz): imposta la componente di scala void scale(float sx, float sy, float sz): moltiplica la componente di scala per la scala data

53 La classe Transform (1) Transform (classe di appoggio di Transformable) è una generica matrice 4x4 rappresentante una qualsiasi trasformazione 3D Anche se Transform permette di definire qualsiasi matrice 4x4 conviene usare soltanto matrici invertibili (non singolari) Questo poiché l'utilizzo di una matrice non invertibile potrebbe portare al verificarsi di eccezioni a run-time

54 La classe Transform (2) Costruttori: Transform() Transform(Transform transform) Metodi utili void get(float[] matrix): restituisce il contenuto di questa trasformazione in un array di 16 elementi void set(float[] matrix), void set(transform transform): imposta questa trasformazione (continua...)

55 La classe Transform (3) Metodi utili (segue) void setidentity(): imposta questa trasformazione all'identità void invert(): inverte questa matrice, se possibile void transpose(): calcola la trasposta di questa matrice void transform(float[] vectors): moltiplica il vettore 4D dato per questa trasformazione void transform(vertexarray in, float[] out, boolean W): moltiplica i vertici di in per questa matrice e conserva il risultato nel vettore out, W vale true per impostare la componente w a 1, false per impostarla a 0 (continua...)

56 La classe Transform (4) Metodi utili (segue) void postmultiply(transform transform): moltiplica a destra questa trasformazione per la trasformazione data void postrotate(float angle, float ax, float ay, float az), void postrotatequat(float qx, float qy, float qz, float qw): moltiplica a destra questa trasformazione per la rotazione data void postscale(float sx, float sy, float sz): moltiplica a destra questa trasformazione per la scala data void posttranslate(float tx, float ty, float tz): moltiplica a destra questa trasformazione per la traslazione data

57 La classe Node La classe astratta per tutti i nodi dello scene graph Ogni nodo definisce un sistema di coordinate locali che può essere trasformato relativamente al sistema di coordinate del nodo padre Tale trasformazione consiste sempre delle quattro componenti T, R, S ed M

58 La classe Node allineamento (1) Un nodo può essere allineato rispetto ad un nodo di riferimento Questo significa che il nodo allineato è (su richiesta) automaticamente orientato in modo tale che il suo sistema di coordinate corrisponda al sistema di coordinate del nodo di riferimento Un caso classico di utilizzo è per la creazione delle billboard, ovvero oggetti che guardano sempre verso la camera (maggiori dettagli nel corso di Computer Graphics)

59 La classe Node allineamento (2) Quando un nodo è allineato la sua componente di rotazione originale R è sovrascritta con una rotazione di allineamento A Le altre componenti sono lasciate inalterate La trasformazione dal sistema di coordinate locali di un nodo allineato al sistema di coordinate del suo nodo padre è p' = T A S M p Quando necessario l'applicazione deve esplicitamente invocare l'allineamento su un nodo

60 La classe Node allineamento (3) Per allineare un nodo bisogna chiamare il metodo void align(node reference): allinea il nodo al nodo reference void setalignment(node zref, int ztarget, Node yref, int ytarget): allinea il nodo ai nodi di riferimento ztarget ed ytarget posso assumere i valori: NONE nessun allineamento ORIGIN allinea l'asse in modo tale che punti all'origine del sistema di coordinate del nodo di riferimento X_AXIS, Y_AXIS, Z_AXIS allinea l'asse con l'asse x, y, o z del sistema di coordinate del nodo di riferimento

61 La classe Node allineamento (4) Altri metodi utili per l'allineamento sono Node getalignmentreference(int axis): restituisce il nodo di riferimento per l'asse axis int getalignmenttarget(int axis): restituisce l'asse target per l'asse axis

62 La classe Node proprietà ereditate (1) Oltre alle trasformazioni ci sono altre tre proprietà i cui valori sono influenzati dai nodi padre Queste proprietà sono: il fattore alpha, il flag di rendering ed il flag di picking Il fattore alpha è un valore nel range [0, 1] che definisce la trasparenza di un oggetto L'effettiva fattore alpha di un nodo è il prodotto del suo fattore alpha e dell'effettivo fattore alpha del nodo padre (definizione ricorsiva)

63 La classe Node proprietà ereditate (2) Il flag di rendering (picking) permette a gruppi di nodi di essere invisibili al rendering (picking) ovvero non sono visualizzati ( acchiappati ) L'effettivo flag di un nodo è la AND logica del suo flag e dell'effettivo flag del nodo padre (definizione ricorsiva) Ciò vuol dire che rendere un nodo visibile o acchiappabile non avrà l'effetto desiderato se qualche nodo superiore non lo è

64 La classe Node proprietà ereditate (3) Per recuperare ed impostare le proprietà si usano i metodi float getalphafactor(): recupera il fattore alpha void setalphafactor(float alphafactor): imposta il fattore alpha boolean isrenderingenabled(): recupera il flag di rendering void setrenderingenable(boolean enable): imposta il flag di rendering boolean ispickingenabled(): recupera il flag di picking void setpickingenable(boolean enable): imposta il flag di picking

65 La classe Node scope (1) Lo scope di un Node è un bitmask integer che permette ai nodi di uno scene graph di formare gruppi logici indipendenti dalla gerarchia fisica dello scene graph In altre parole nodi appartenenti a Group diversi possono appartenere allo stesso scope e viceversa Due nodi A e B appartengono allo stesso scope se scopea & scopeb!= 0

66 La classe Node scope (2) Lo scope serve principalmente in tre casi: visibilità solo gli oggetti che appartengono allo stesso scopo della camera sono renderizzati; questo da un modo aggiuntivo al flag di rendering per controllare l'insieme di oggetti visibili illuminazione una sorgente di luce ha effetto solo sugli oggetti che appartengono al suo scope (utile per migliorare le prestazioni e per poter creare scene complesse) picking solo gli oggetti che appartengono allo stesso scopo dell'oggetto acchiappante possono essere acchiappati

67 La classe Node scope (3) Lo scope di default è -1 (in binario una stringa del tipo ) Ciò implica che di default tutti i nodi appartengono a tutti gli scope Quindi di default tutti gli oggetti sono visibili da tutte le camere ed illuminati da tutte le sorgenti di luce Metodi per impostare e recuperare lo scope int getscope(), void setscope(int scope): recupera ed imposta lo scope di un nodo

68 La classe Group (1) Un Group è un nodo dello scene graph capace di conservare una lista (non ordinata) di altri nodi figli Può essere visto come un semplice raggruppatore logico (non fisico) di nodi La relazione padre-figlio è bidirezionale: se il nodo A è figlio del nodo B allora B è l'unico e solo genitore di A

69 La classe Group (2) Costruttore: Group() Metodi utili: void addchild(node child): aggiunge un nodo al gruppo void removechild(node child): rimuove un nodo dal gruppo Node getchild(int index): restituisce il nodo di posto index int getchildcount(): restituisce il numero di figli

70 Da Scrivere Descrizione completa ed esempi per le altre classi