Computer Graphics. Memoria RAM nelle schede grafiche. Texture Mapping: paradigma di memoria. Concetto. Tessiture: Caso più comune.

Transcript

1 Computer Graphics Memoria RAM nelle schede grafiche Lezione 3: Università dell Insubria Facoltà di Scienze MFN di Varese Corso di Laurea in Informatica Anno Accademico 202/3 molti dettagli a poco prezzo: il Mapping poriettati (RGBA) 2 (RGBA) Depth Marco Tarini Texture RAM Concetto Tessiture: una memoria RAM a bordo della scheda video si può accedere dal fragment shader (recentemente anche dal vertex shader) solo lettura! condivisa specifiche modalità di accesso locazione: locazione 2D (o anche D o 3D) interpolazione fra valori vicini prefiltering Texture Mapping: paradigma di memoria Nelle operazioni si può accedere ad una RAM apposita la strutturata (paginata) in un insieme di Textures ("tessiture") possibile accedere anche nelle operazioni x vertice Ogni tessitura è un array uniforme (*) D, 2D o 3D di Texels (lett: elementi (campioni) di tessitura) (*) cioè: ogni texel è dello stesso tipo Caso più comune Tessiture 2D Ogni texel memorizza attributi di un intorno di un punto della superficie (es. stesso tipo di quelli che abbiamo associato ai vertici: normali, colori, parametri materiale...) utile quando i valori degli attributi variano più repentinamente sulla superficie Texels Tipici esempi di texels: ogni texel un colore (componenti: R-G-B, o R-G-B-A) la tessitura è una "color-map" ogni texel una componente alpha la tessitura è una "alpha-map" ogni texel una normale (componenti: X-Y-Z) la tessitura è una "normal-map" o "bump-map (in che spazio?) ogni texel contiene un valore di specularità la tessitura è una specular-map" ogni texel contiene un valore di altezza la tessitura è una "displacement-map"...

2 Tipica applicazione (quella storica): rimappare immagini sulla geometria Altro esempio di color-map + = + = geometria 3D (insieme di quadrilateri) RGB 2D (color-map) Altri esempi di color-map Texture Mapping: Storia 974 introdotto da Ed Catmull nella sua Phd Thesis Ed Catmull Solo nel 992 (!) si ha text. mapping hardware Silicon Graphics RealityEngine Dal 92 a oggi: rapido aumento della diffusione strada intrapresa soprattutto da low end graphic boards Oggi: una delle fondamentali primitive di rendering la principale tecnica image based di rendering Notazione Due notazioni es: 52 texels.0 t (o "spazio parametrico" o "spazio s-t" o "spazio u-v") Texture 2D in OpenGL in DirectX (s,t) (u,v) Texture 2D t (0,0).0.0 u.0 s texel es: 024 texels Una Texutre è definita nella regione [0,] x [0,] dello "spazio parametrico".0 (0,0).0 s v 2

3 Texture Mapping Ad vertice (di ogni triangolo) assegno le sue s,t nello spazio tessitura s Texture Mapping Così in pratica definisco un mapping fra il triangolo 3D e un triangolo di tessitura x,y s,t posizione del mo vertice s,t s 0,t 0 x 0,y 0 s 0,t 0 attributi del mo vertice x 2,y 2 s 2,t 2 Space s 2,t 2 t Space Texture Mapping Texture Mapping Ogni frammento ha le sue s,t nello spazio tessitura (anche: fetch ) poriettati Space compreso: (!) Interpolazione lineare La tessitura va caricata in 3 R 2 R V 3 V p V 2 p ha coord. baricentriche a,b,c nel triangolo v v 2 v 3 trasformaz t t( v 3 ) t( v ) t(p) t( v 2 ) t(p) ha coord. baricentriche a,b,c nel triangolo t(v ) t(v 2 ) t(v 3 ) poriettati Nota: non è esatto per la proiezione prospettica ma si possono trovare le coord baric. di p in v v 2 v 3 a partire dalle coord baric. di t(p) in t(v ) t(v 2 ) t(v 3 ) L O A D 3

4 La tessitura va caricata. Da disco a memoria RAM (main) (sulla scheda madre) 2. Da memoria RAM main a (on board dell'hw grafico) Operazione 2 piuttosto lenta (, peggio ancora) Non fare una volta per frame! La tessitura va caricata: OpenGL In OpenGL, per caricare la tessitura n id : glbindtexture ( id ); glteximage2d ( 0, // livello di mipmapping GL_RGB, // formato interno (nella GPU) texwidth, texheight, // risoluz. 0, GL_RGB, // formato nella RAM GL_UNSIGNED_BYTE, // (nella RAM) imagedata // puntatore ai pixel in RAM ); Come si assegnano le poriettati Come si assegnano le Due usi possibili del map: Computare le coord. al volo durante il rendering () Precomputarle e mandarle come attributo x vertice (es: salvarle insieme alla mesh) compreso: (!) Dipende dall applicazione! Problema difficile: u-v mapping Problema difficile: u-v mapping ( u-v == s-t ) Assegnare una coppia di texutres ad ogni vertice della mesh In preprocessing fatto a mano, oppure automatizzato t t s s 4

5 In OpenGL Mandiamo le coord come ogni altro attributo In GLSL: sinomini delle componenti di un vec4: x y z w r g b a s t r q affini xyz di un punto componenti rosso verde blu (e alpha) di un colore coordiante affini s t (e r,q) (spazio parametrico) Come si assegnano le compreso: poriettati (eventualmente trasformate) Come si assegnano le Due tipi di usi del map: Assegnarle le s al volo durante il rendering Precomputarle (e salvarle insieme alla mesh) Come si assegnano le poriettati esempio : oggetti con pattern regolari (a quadretti ) produco a partire dalla posizione Coordinate create proceduralmente Concetto: da (x,y,z ) a (s,t ) es. linearmente In oggetto, mondo oppure vista (cioè prima o dopo le trasformazioni) Esempi: Create automaticamente Anche D D! 5

6 Come si assegnano le Due classi di soluzioni: Assegnarle le s al volo durante il rendering Precomputarle (e salvarle insieme alla mesh) Environment mapping: sferico Environment map: una tessitura che memorizza il colore dell ambiente riflesso da ogni normale della semisfera. Come coordinata tessitura, basta usare la normale (trasformata)! esempio 2: envionment mapping Environment mapping: sferico Environment mapping: cubico simula oggetto a specchio che riflette uno sfondo lontano above left front right back below simula un materiale complesso (a condizioni di luce fisse) Environment mapping: cubico Environment mapping: cubico above poriettati proietto sul cubo, accedo alla faccia corrispondente left front right back below calcolo 3D [-,+] x [-,+] x [-,+] come raggio riflesso (dir. di vista riflessa dalla norm.) 3D 3D 6

7 Il Texture Look-up: fuori dai bordi: modo "clamp" v poriettati compreso: (!) if (u<0) u 0; if (u>) u ; if (v<0) v 0; if (v>) v ; u Texture Look-up: fuori dai bordi: modo "repeat" v Tessiture ripetute (tiled s) Tipico utilizzo: Nota: deve essere un immagine TILEABLE u u u [ u ] v v [ v ] Molto efficiente in spazio! In OpenGL sono parametri della tessitura. Ogni tessitura caricata in memoria ha i propri parametri. Texture Mapping gltexparameteri( GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE ); o gltexparameteri( GL_TEXTURE_WRAP_S, GL_REPEAT ); nota: setto per u e v separatemente esempio: repeat sulla u e clamp sulla v compreso: (!) poriettati 7

8 Texture Look-up Texture Look-up Un frammento ha non intere (in texels) pixel un pixel = meno di un texel magnification texel Space pixel Space un pixel = più di un texel minification Caso Magnification Caso Magnification Soluzione : prendo il texel in cui casco (cioè il texel il cui centro è più vicino alle u,v del frammento) equivale ad arrotondare le texel ad interi "Nearest Filtering" v Nearest Filtering: risutlato visivo 28x28 "si vedono i texel!" u Caso Magnification Caso Magnification Soluzione 2: Medio il valore dei quattro texel più vicini Ripasso: interpolazione lineare (D) interpolazione bi-lineare (2D) v Bilinear Interpolation: risutlato visivo 28x28 Formule... Interpolazione Bilineare u 8

9 Caso Magnification Caso Minification Modo Nearest: si vedono i texel va bene se i bordi fra i texel sono utili più veloce Modo Interpolazione Bilineare di solito qualità migliore può essere più lento rischia di avere un effetto "sfuocato" Nearest Filtering Bilinear on non risolve il problema Caso Minification: MIP-mapping MIP-map level 0 MIP-mapping: "Multum In Parvo" MIP-map level MIP-map level 2 MIP-map level 3 MIP-map level 4 (un solo texel) Mipmap Math Definiamo un fattore di scala, ρ=texels/pixel ρè il massimo fraρ x e ρ y può variare entro lo stesso triangolo può essere derivato dalle matrici di trasformazione e calcolato nei vertici, interpolato nei frammenti il livello di mipmap da utilizzare è: log 2 ρ livello 0 = massima risoluzione se livello<0 cosa significa? nota: il livello non è necess. un numero intero Caso Minification: MIP-mapping Caso Minification: MIP-mapping Bilinear on non risolve il problema MIP-mapping altro esempio 9

10 In OpenGL decidere che tipo di magnificazione usare: In OpenGL decidere che tipo di minifacazione usare: gltexparameteri( GL_TEXTURE_MAG_FILTER, GL_NEAREST); oppure gltexparameteri( GL_TEXTURE_MAG_FILTER, GL_LINEAR ); gltexparameteri( GL_TEXTURE_MIN_FILTER, modo ); dove modo = GL_NEAREST GL_LINEAR GL_NEAREST_MIPMAP_NEAREST GL_LINEAR_MIPMAP_NEAREST GL_NEAREST_MIPMAP_LINEAR GL_LINEAR_MIPMAP_LINEAR interpolazione trilineare 0