Texture Mapping Realtà Virtuale: il presente, il pass T a e t x o u, r i e l f M u a t p u pi ro ng

Transcript

1 Texture Mapping

2 Texture Mapping Texture coordinates associate ai vertici del triangolo =>> t corrispondenza tra spazio dello schemo (fragment)) e texture-space space. Colore di ogni pixel determinato in base a tale corrispondenza s La texture equivale ad una funzione: T(s,t) = (r, g, b) Ad ogni vertice deve essere associata una texture coordinate in modo da associare ad ogni triangolo una porzione dell immagine a volte si parla di coordinate (u,v) invece che di (s,t). Di solito le coordinate (u,v) si intendono normalizzate nell intervallo (0,1).

3 Texture coordinates (-5, 5) (5, 5) (-5, -5) (5, -5) glbegin(gl_quads); gltexcoord(0,0); glvertex(-5,-5,0); gltexcoord(1,0); glvertex(5,-5,0); gltexcoord(1,1); glvertex(5,5,0); gltexcoord(0,1); glvertex(-5,5,0); glend(); 1 (0.2, 0.6) (0.8, 0.8) (0.8, 0.2) 0 (0.2, 0.4) 0 1 glbegin(gl_quads); gltexcoord(0.2,0.4); glvertex(-5,-5,0); gltexcoord(0.8,0.2); glvertex(5,-5,0); gltexcoord(0.8,0.8); glvertex(5,5,0); gltexcoord(0.2,0.6); glvertex(-5,5,0); glend();

4 Comportamento ai bordi: : Repeat (1,1) (0,0)

5 Comportamento ai bordi: : Clamp (1,1) (0,0)

6 Texture coordinates Es. repeat (effetto tiling) (1,1) (1,1) (0,0) (2,2) (0,0) (0,0) (0.5, 0.5) (0,0)

7 Parametrizzazione - Proiezione Possiamo ricavare automaticamente le texture coordinates proiettando lo spazio di texture sull oggetto, dopo averlo mappato su una superficie standard (es. cubo, cilindro, sfera) che circonda l oggetto l stesso Figure tratte da Autodesk 3dsMax Help

8 Parametrizzazione - Unfolding Possiamo tagliare la superficie dell oggetto e stenderla sullo spazio di texture (opportunamente scalata)

9 Texture coordinates - Interp. A quali punti in texture space corrispondono i vertici in world space? t Utilizziamo una interpolazione lineare: Una retta in world space corrisponde ad una retta in texture space s Texture map Triangolo in world space

10 Pipeline e Texture Mapping Questo tipo di interpolazione in realtà avviene in screen space durante la rasterizzazione del poligono La proiezione prospettica però fa si che distanze uguali lungo una linea in world space non corrispondano a distanze uguali lungo una linea in screen space

11 Pipeline e Texture Mapping E possibile applicare un texture mapping corretto prospetticamente (ovviamente ad un costo)

12 Texture Modes REPLACE: DECAL: MODULATE: BLEND: Il colore della texture SOSTITUISCE quello del materiale Il colore della texture si mescola a mò di adesivo su quello del materiale (se la texture è trasparente, si vede anche il materiale) Il colore della texture modula quello del materiale Il colore della texture agisce da fattore di blending fra un colore esterno e quello del materiale Mode Result color Result transparency REPLACE T rgb T a DECAL S rgb *(1-T a )+T rgb *T a S a MODULATE BLEND S rgb *T rgb S rgb *(1-T rgb )+B rgb *T rgb S a *T a S a *T a texture materiale REPLACE DECAL MODULATE

13 Texturing e Specular Attenzione: in modalità modulate (quella tipica) la texture modula TUTTE le componenti del materiale (compreso lo specular). Per cui, a seconda del colore della texture,, gli specular hightlights possono essere più o meno visibili (al limite invisibili!) Soluzione (>= OpenGL 1.2): GL_SEPARATE_SPECULAR_COLOR (lo specular viene calcolato alla fine e sommato) Specular No Texture Specular Texture Specular - SEPARATE Texture

14 Texture Mapping - Filtering Gli elementi della texture,, ovvero i suoi pixel, vengono indicati con il termine di texels In generale non c èc una corrispondenza 1 a 1 fra pixels sullo schermo e texels:

15 Texture Mapping - Magnification Nel primo caso (Magnification( Magnification) è possibile applicare un filtraggio di due tipi: Nearest Linear Colore del texel con le coordinate più vicine al centro del pixel Media lineare del quadrato 2x2 dei texel con le coordinate più vicine al centro del pixel

16 Texture Mapping - Minification Nel secondo caso (Minification) tali modalità di filtraggio non sempre danno risultati soddisfacenti Se l oggetto è lontano molti texel corrispondono ad un solo pixel sullo schermo Usando un filtraggio nearest o linear vengono utilizzati fra uno e 4 texels Muovendo l oggetto i texel interessati cambiano rapidamente e si ha uno sgradevole sfarfallio (flashing)

17 Mipmapping Si utilizzano versioni a varie risoluzioni della texture (prefiltering) La media dei texels è così precomputata correttamente Spazio richiesto: al massimo volte lo spazio della texture originale: *0.25 +

18 Mipmap Math Definiamo un fattore di scala, ρ=texels/pixel ρ è il massimo fra ρ x e ρ y Può essere derivato dalle matrici di trasformazione Definiamo λ=log 2 ρ λ indica quale livello di mipmap utilizzare Livello 0 = texture a massima risoluzione Se λ<0 cosa significa?

19 Mipmapping Le modalità di filtering possibili utilizzando livelli di mipmap sono: linear e nearest tra i vari livelli di mipmap linear e nearest per il livello di mipmap selezionato Totale di 4 combinazioni (in ordine di peso ): nearest pixel, nearest mipmap nearest pixel, linear mipmap linear pixel, nearest mipmap (filtraggio bilineare) linear pixel, linear mipmap (filtraggio trilineare) Un ulteriore tipo di filtraggio (anisotropico) tiene conto del fatto che, una volta mappata la texture, a seconda dell inclinazione del poligono ci sono texel più importanti (quelli vicini all osservatore) e pixel meno importanti. Filtraggio anisotropico (Wikipedia)

20 Filtering Example Level 2 NEAREST_MIPMAP_NEAREST: level 0, pixel (0,0) Level 1 NEAREST_MIPMAP_LINEAR: level 0 CL [combination of pixels (0,0), (1,0), (1,1), (0,1)] Level 0 s=0.12, t=0.1 ρ=1.4 λ=0.49 LINEAR_MIPMAP_NEAREST {level 0, pixel (0,0)} * {level 1, pixel (0,0)} * 0.49 LINEAR_MIPMAP_LINEAR: {level 0, CL} * {level 1, CL} * 0.49

21 Mipmapping Esempio:

22 Advanced Mapping

23 Displacement mapping I vertici di una superfice vengono traslati lungo la normale secondo un valore estratto da texture Tecnica disponibile recentemente nel realtime rendering (vertex shaders) Calcolo computazionale oneroso (adaptive tessellation) Vengono preferite altre tecniche più leggere

24 Bump mapping La normale viene perturbata in qualche modo secondo un valore estratto da una texture detta bump map (noise texture oppure disegnata a mano) La texture è a singolo canale (8 bit per componente - greyscale ) La superficie risulta più ricca di dettagli Normale perturbata Senza bump mapping Con bump mapping

25 Normal mapping Simile al bump mapping ma la normale viene interamente sostituita La normal map è di tipo RGB (3 canali) Le normali vengono comunemente memorizzate in tangent-space (spazio relativo alla superficie) Abbiamo bisogno di una base: 3 vettori - tangente - bitangente (o binormale) - normale Se le normali sono specificate in tangent space, è necessario trasformare il light vector e il view vector in questo spazio

26 Parallax mapping - Estensione del concetto di normal mapping - Visivamente si ottengono superfici più realistiche con poche computazioni aggiuntive rispetto al normal mapping - Le coordinate di texture vengono estruse in accordo ad una height map - Self occlusion - Tre mappe: diffuse map, normal map, height map - Estensione dell algoritmo: Steep parallax mapping (l estrusione è più accentuata per inclinazioni più ripide )

27 RIEPILOGO

28 Riepilogo MODELLAZIONE FASE OFFLINE: Processo di definizione dell Ambiente Virtuale e dei suoi componenti: - proprietà geometriche - proprietà ottiche - proprietà fisiche - proprietà acustiche,, etc. Dal punto di vista visivo, il risultato del processo è una shape, ovvero una forma geometrica, solitamente una mesh poligonale definita da: - una lista di N vertici {V 1, V 2,,, V N } dove V i = [X i, Y i, Z i ] - una lista di M facce {F 1, F 2,,, F M } che specificano la connettività dei vertici: F i = [V i1, V i2, V i3 ] supponendo facce triangolari V 8 V 5 V 6 V 4 V 1 F 2 V 2 V 3 F 1

29 Riepilogo MODELLAZIONE FASE OFFLINE (continua): - una lista di K materiali {M 1,M 2,,M,M K }, associati a una faccia,, o a gruppi di facce (subsets): tranne M i = [M[ i_amb, M i_dif, M i_spec,, M i_shin M i_xxx = [R[ i_xxx, G i_xxx, B i_xxx ] i_shin [0, 128] M i_shin i_shin ] V 6 {M} V 8 V 4 V 3 F 2 F 1 V 5 V 2 V 1

30 Riepilogo MODELLAZIONE - TEXTURING: Ad ogni materiale può essere associata anche una texture In questo caso è necessario specificare anche: una lista di N T texture vertices {TV 1, TV 2,,, TV NT } dove: TV i = [S i, T i ] -> texture coordinates {V} l associazione tra la lista di vertici {V} e la lista di texture vertices {TV} una lista di M T texture faces {TF 1, TF 2,,, TF MT } dove: TF i = [TV[ m, TV n, TV l ] supponendo facce triangolari {V} l associazione tra la lista di vertici {V} e la lista di texture vertices {TV} 1 TV 4 TV 1 V 4 TV 3 TV V 3 V 1 V 2

31 Riepilogo MODELLAZIONE TEXTURING (continua) l associazione tra la lista di facce {F} e la lista di texture faces {TF} (nella maggior parte dei casi {F} è 1:1 con {TF}) una lista di N TEX textures {Tex 1, Tex 2,, Tex NT } dove Tex i = bitmap l associazione tra la lista di materiali {M} e la lista di textures {TEX} {M} {TEX}

32 Riepilogo {S 1 } {F} Subset {S 2 } {F} Subset Mesh Mesh {V, F, TV, TF, M, TEX} {S 3 } {F} Subset M 1 Material M 2 M Material Material 2 M 3 T 1 Texture T 2 Texture S i : F j, F j+1,, F j+k [V j1, V j2, V j3 ] [TV j1, TV j2, TV j3 ]

33 Riepilogo MODELLAZIONE LIGHTING, CAMERA: Nella scena infine possono essere definite: N L sorgenti luminose {L 1,L 2,,L,L NL }, ognuna omnidirezionale, direzionale, spot) Tipologia (omnidirezionale ognuna caratterizzata da: Posizione P Li e orientamento D Li (opzionale) Componenti KL i = [KL[ i_amb, KL i_dif, KL i_spec ] Uno o più punti di vista (uno( solo è attivo) identificati da: Posizione P V Direzione di vista D V (specificata direttamente o tramite target) D V = P target P V Variabili dinamicamente

34 Riepilogo RENDERING (FASE REAL-TIME) Di ogni oggetto della scena,, in relazione alla posizione e alla direzione di vista, vengono trasformati i vertici dallo spazio 3D (object( object-space coordinates) ) a uno spazio 2D (window( coordinates). Dati necessari: - coordinate vertici oggetto - coordinate punto di vista Viene inoltre determinato (mediante operazioni di lighting) ) o indicato (direttamente) il colore dei pixel corrispondenti ai vertici trasformati Dati necessari: - coordinate punto di vista - coordinate vertici oggetto - coordinate e tipo di luci - normali - colore o materiali Quindi,, a partire dai colori di questi pixel, vengono ricavati i colori (shading) di tutti i pixel intermedi Dati necessari: - coordinate vertici-pixel - (normali) - dati facce

35 Riepilogo RENDERING (FASE REAL-TIME) Se l oggetto è associato ad una o più textures, esse vengono composte con i colori/materiali sottostanti Dati necessari: - coordinate vertici-pixel - texture coordinates - dati facce - colori / materiali Vengono infine effettuate le operazioni di z-buffering (risoluzione visibilità), blending (trasparenza)) e opzionalmente altre operazioni nello spazio di finestra (es. antialiasing etc.) Dati necessari: - coordinate pixel - alpha - colori / materiali