Introduzione al Real Time Shading

Transcript

1 Introduzione al Real Time Shading Ing. Davide Vercelli, PERCRO

2 Sommario dal software all'hardware e ritorno cenni storici la pipeline grafica com'era: la pipeline fissa com'è: la pipeline programmabile GLSL panoramica esempi integrazione in XVR 2

3 Software e hardware I Dal software all'hardware pro SW performance contro flessibilità requisiti: HW algoritmo maturo notevoli vantaggi computazionali rapporto costi/benefici 3

4 Software e hardware II Dall'hardware al software N.B.: programmabilità di hardware specializzato pro flessibilità contro SW HW complessità 4

5 La discesa verso l'hardware I struttura molto simile dei programmi 3d collo di bottiglia della rasterizzazione es. disegno di triangoli pieni a schermo texture mapping prima generazione (Voodoo 3dfx) supporto rasterizzazione in hardware 2 texture per poligono 5

6 La discesa verso l'hardware II nuovi colli di bottiglia trasformazione dei vertici calcoli di illuminazione seconda generazione (GeForce2) salto di qualità: supporto Transform & Lighting 6

7 Analisi del successo in entrambi i casi: algoritmi molto maturi vantaggio computazionale notevole parallelismo vincente: grandi quantità di operazioni simili su dati altamente indipendenti costi/benefici l'utente paga una scheda in più ma può finalmente avere grafica 3D davvero 7

8 Come migliorare la qualità visiva? modelli di illuminazione più accurati? modello OpenGL di default troppo semplicistico ma non sempre interessa il realismo supporto a più modelli di illuminazione? ma quali? e quanti? supporto a tecniche ad hoc? strada seguita inizialmente 8

9 La crescente importanza delle texture non solo colori: environment mapping bump mapping normal mapping ecc. multitexturing combinare più texture su un oggetto laborioso combinarle in maniera rigida 9

10 Programmabilità delle GPU vera soluzione: programmabilità lasciamo che siano i programmatori a decidere cosa fare e come nascono le GPU (Graphics Processing Unit) vertici normali texture coords textures programma ecc. 10

11 Lo shading to shade, ovvero ombreggiare : assegnare un colore ai punti di una superficie a prescindere dal criterio con cui viene operata questa scelta shading procedurale: shading mediante una funzione di codice shader: programma che implementa un particolare shading 11

12 Nel mondo offline Il dominio di RenderMan standard messo a punto dalla Pixar shading molto potente (non solo illuminazione ) 12

13 La risalita verso il software terza generazione programmabilità molto limitata linguaggio assembler limite di istruzioni molti altri limiti (accessi alle texture, etc.) quarta generazione programmabilità più flessibile linguaggi di alto livello limiti accettabili (ma diversi di GPU in GPU) e via dicendo: non si torna più indietro 13

14 La GPU oltre la grafica mostruosa potenza delle GPU programmabilità dell'hardware usare la GPU al di fuori della grafica GPGPU General-Purpose computing on GPU in realtà non tanto general particolarmente efficace solo in una ristretta ma importante categoria di calcoli in futuro supporto esplicito nelle schede 14

15 15 La pipeline: com'era e com'è

16 Definizione di pipeline 16 letteralmente conduttura, catena di montaggio è l'insieme dei vari stadi (stage) di elaborazione attraverso cui passano i dati nota: gli stadi sono in serie ma insiemi diversi di dati vi possono passare in parallelo

17 Pipeline fissa (non programmabile) 17

18 1. Geometria punti, linee, poligoni specificabili in vari modi immediate mode (un vertice alla volta) vertex arrays display lists vertex buffers (in memoria video) 18

19 2. Operazioni sui vertici il famoso Transform & Lighting trasformazioni vertici: modelview e projection normali: rotazione texture coordinates: texture matrix illuminazione stabilito il colore (materiali, luci, ecc.) ogni vertice è indipendente in questo stadio 19

20 3. Montaggio delle primitive raggruppamento dei vertici richiesti dalla primitiva corrente point: 1 vertice line: 2 vertici triangle: 3 vertici o 1 (fan e strip) quadriangle: 4 vertici o 2 (strips) 20

21 4. Elaborazione delle primitive clipping sia clipping planes che view frustum possibile eliminazione primitive proiezione prospettica viewport transform ottengo le window coordinates backface culling altra possibile eliminazione 21

22 5. Rasterizzazione n vertici m fragments generazione di fragments N.B.: fragment!= pixel un pixel può essere il risultato di un'operazione fra più fragment un fragment può essere scartato 22

23 6. Elaborazione dei fragment texturing applicazione delle texture tantissime possibilità nebbia 23

24 7. Operazioni sui fragment scissor test si può scrivere in quest'area dello schermo? alpha test il fragment ha alpha > 0? stencil test simile allo scissor ma con maschera a piacere depth test il fragment è davanti alla destinazione? blending come combino il colore con ciò che è presente? 24

25 8. Operazioni sul framebuffer cosa vado effettivamente a scrivere? colore con colormask profondità con depthmask stencil con stencilmask 25

26 Pipeline programmabile 26 NB: texture memory accessibile dal vp!

27 Nuove possibilità di rilievo texture fetch dal vertex processor displacement mapping possibili texture fetch dipendenti sulla base di un valore letto ne leggo un altro 27

28 Vertex processor 28

29 Vertex processor: input attributi (diversi per ogni vertice) di default: glvertex, glnormal, gltexcoord, glcolor... personalizzati: glvertexattrib variabili uniformi (costanti per grossi gruppi di vertici) di default: matrici, informazioni di stato personalizzati: gluniform 29

30 Vertex processor: output gl_position coordinate omogenee in clip space variabili varying (verranno interpolate lungo la primitiva) di default: gl_frontcolor, gl_texcoord[i]... impostabili dall'utente es. notevole: normali 30

31 Fragment processor 31

32 Fragment processor: input variabili varying (interpolate dallo stadio di rasterizzazione) di default: gl_color, gl_texcoord[i]... definite nel vertex shader variabili uniformi come per il vertex shader variabili speciali gl_fragcoord, coordinate sullo schermo gl_frontfacing 32

33 Fragment processor: output gl_fragcolor finalmente, colore RGBA del fragment gl_fragdepth opzionalmente anche la profondità di default calcolata automaticamente oppure può scartare il fragment utile per fare materiali bucati (es. ruggine) 33

34 Osservazioni sulla pipeline corrente 1 in, 1 out: non posso generare geometria ogni vertice è considerato singolarmente non ho informazioni topologiche, di prossimità non posso agire a livello di primitiva non posso stabilire direttamente la posizione di un fragment sullo schermo le funzionalità della pipeline fissa vanno riscritte se servono NB: vertici e fragment possono essere eliminati dopo che li ho processati 34

35 35 Introduzione a GLSL

36 Panoramica è il linguaggio di shading di OpenGL multipiattaforma estensione da OpenGL 1.5 ufficialmente integrato da OpenGL 2.0 molto simile ai concorrenti HLSL e Cg simile ad una versione semplificata e più rigida del C++ compilato dal driver 36

37 Modello di esecuzione 37

38 Vantaggi architetturali ~indipendenza dal motore di rendering (shading procedurale in generale) dal punto di vista del codice, le funzionalità possono essere molto ad hoc riusabilità programmazione anche separata indipendenza dall'hardware (shading di alto livello in generale) uno shader in futuro va solo ricompilato, cfr. con gli shader assembly nb: performance potenzialmente molto diverse 38

39 Breve panoramica sulla sintassi simile al C++ ma più severo sui tipi conversioni esplicite niente switch, goto, ecc. funzioni con in, out e inout per i parametri supportati solo i float nuovi tipi: vecn, matn, samplernd vettori con swizzle (.xyzw,.rgba,.stpq) nuovi qualifiers: attribute (solo vertex), uniform, varying nutrita libreria di operazioni di base 39

40 Lo Hello World degli shader [VERTEX SHADER] void main() { gl_position = ftransform(); // equivale concettualmente a: // gl_position = gl_modelviewprojectionmatrix * // gl_vertex; } [FRAGMENT SHADER] void main() { gl_color = vec4(1.0, 0.0, 0.0, 1.0); } la primitiva viene completamente rossa 40

41 41 Il tangent space

42 A cosa serve il tangent space grandezze solidali con la superficie (es. normali): in che spazio le utilizziamo? object space e eye space: vanno trasformate non è fattibile quando variano per fragment la risposta è il tangent space o surface local in generale 42

43 Il tangent space 43 spazio definito da 3 vettori: la normale sempre [0, 0, 1] da non confondere con la normale perturbata la tangente la binormale normale ^ tangente

44 Come usare il tangent space l'applicazione deve mandare una tangente coerente per ogni vertice calcoliamo la binormale trasformiamo in tangent space: direzione della luce direzione della camera la matrice si costruisce banalmente: 44

45 45 GLSL shaders in XVR

46 Supporto in XVR Script Editor a partire dalla serie beta supporto ai file.sh con syntax highlight scaricabile da wiki.vrmedia.it due modi di usare gli shader invocandoli esplicitamente da script integrandoli in un file AAM con XVR Shader Editor alcuni uniform sono inviati automaticamente da XVR 46

47 Modalità d'uso esplicita var sh = CvmShaderProgram( prog.sh ); var mesh = CvmNewMesh( mesh.aam ); sh.start(); sh.setparameter( nome_uniform_a, valore1); sh.setparameter( nome_uniform_b, valore2); mesh.draw(); // viene disegnata con lo shader sh.stop(); 47

48 Uso implicito 48 una volta impostato lo shader con XVRShaderEditor è sufficiente disegnare la mesh var mesh = CvmNewMesh( mesh.aam ); mesh.draw();

49 49 Tool di supporto per la programmazione di shader

50 ATI Rendermonkey 50

51 Typhoon Labs Shader Designer 51

52 nvidia FX Composer (Cg) 52

53 Risorse online specifiche, link vari sito dell'orange Book developer.3dlabs.com documentazione varia esempi e tutorial wiki.vrmedia.it esempi relativi ad XVR 53