Real Time rendering Requisiti real-time richiedono basso carico poligonale sulla pipeline Metodi conservativi e non conservativi Tecniche di culling (

Transcript

1 Real-time rendering

2 Real Time rendering Requisiti real-time richiedono basso carico poligonale sulla pipeline Metodi conservativi e non conservativi Tecniche di culling (conservative) Tecniche di semplificazione (non conservative) Tecniche di Image Based Rendering (ibride)

3 Tecniche di culling

4 Tecniche di culling Principio delle tecniche di culling (conservative): Non far giungere alla rendering pipeline i poligoni non visibili: Perchè nascosti da altri poligoni (Backface culling) Perchè fuori dal volume di vista (Viewfrustum culling) Perchè nascosti da altri oggetti (Occlusion culling)

5 BackFace Culling

6 Backface culling Ogni poligono è associato ad una normale che ne specifica l orientamento Il poligono è detto: Frontfacing,, se la normale è rivolta verso l osservatore Backfacing,, se la normale è rivolta in verso opposto Per oggetti convessi racchiusi da una superficie poligonale chiusa, i poligoni backfacing sono nascosti da quelli frontfacing V = Visibile I = Invisibile

7 Backface culling Rispetto ad un determinato punto di vista SOLO alcuni poligoni sono frontfacing (circa il 50 %) Eliminando questi poligoni teoricamente il miglioramento dell efficienza sarebbe dunque di un fattore 2 Nella pratica il risparmio è inferiore perchè si può conoscere l orientazione del poligono solo dopo le trasformazioni geometriche (a metà della pipeline)

8 Backface culling hardware Le moderne architetture HW implementano un efficiente test di backface Questo test permette di trascurare i poligoni backfacing prima della fase di Illuminazione Il test è un semplice prodotto scalare fra la normale al poligono (Np) e la direzione di vista (D): B = Np. D B<0 Poligono frontfacing B>0 Poligono backfacing Np

9 Backface culling software Sarebbe preferibile individuare i poligoni backfacing prima di arrrivare alla pipeline Tecniche software per effettuare il test prima dei calcoli geometrici Efficienti se usano strutture gerarchiche costruite in una fase di preprocessing NORMAL MASKS (Zhang e Hoff, 1997) Fase di preprocessing (costruzione delle normal masks) Fase di run-time (esecuzione del test)

10 BF culling: Normal Masks Clusterizzazione delle normali (pre-processing): processing): Bounding cube sulla sfera di raggio unitario Suddivisione del cubo in una griglia n x n x 6 Proiezione della griglia sulla sfera La partizione della sfera è NON uniforme, ma efficiente: l appartenenza di una normale ad un settore è una semplice intersezione raggio-cubo Le celle del bounding cube vengono proiettate sulla superficie della sfera. Ogni cella proiettata forma un cluster di normali

11 BF culling: Normal Masks Backface Test (Run-Time): Ad ogni frame si calcolano i CLUSTER backfacing Un cluster è backfacing se TUTTE le normali in esso contenute sono backfacing Nella pratica si testano solo gli estremi: i 4 angoli della cella Si costruisce una bitmask per ogni cluster (6xn 2 bit di cui uno solo ad 1 -> ottimizzabile) e la si associa ad ogni poligono. Per ogni frame si costruisce la backmask ovvero la bitmask dei cluster backfacing (OR delle relative bitmask) Per ogni poligono il test è un semplice AND logico (il prodotto scalare è più costoso) es n=1, poly P i ha normale N i con bitmask backmask= > P i è backfacing

12 BF culling: Normal Masks Restano i 4 prodotti scalari per ogni cluster, uno per ogni normale all angolo della cella Non esiste altro modo per sapere se una normale è back facing? Proviamo a vedere se, data una direzione di vista, possiamo, a priori, determinare un fascio di direzioni che siano SEMPRE backfacing Tecnica conservativa : non elimina tutti i possibili poligoni backfacing ma li screma. Gli altri verranno eliminati dall HW grafico con il backface culling integrato.

13 BF culling: Normal Masks Fast backfacing test: - Proiezione parallela: 180 attorno alla Dvista backfacing a priori - Proiezione prospettica: Si individua un angolo analogo (180-FOV) comunque backfacing Proiezione prospettica: Si considera la proiezione prospettica come se fosse un cono di infinite proiezioni parallele Lungo ogni possibile direzione c è un angolo di 180 backfacing L angolo comune a tutte le possibili direzioni è backfacing a prescindere dalla posizione dell oggetto nel FOV

14 ViewFrustum Culling

15 Viewfrustum culling Le primitive geometriche che non rientrano nel volume di vista (ViewFrustum) non sono visibili dall osservatore Si possono individuare queste primitive e non farle arrivare alla pipeline di rendering

16 Viewfrustum culling CLIPPING Eliminazione dei triangoli che non rientrano nel volume di vista (anche di porzioni di essi) Efficiente tecnica HW Avviene negli ultimi stadi della pipeline Non riduce il carico poligonale sull HW grafico

17 Viewfrustum culling E un Clipping anticipato, allo scopo di ridurre la lista di poligoni sulla pipeline La geometria è divisa in due porzioni: Inside Viewfrustum (visibile) RENDERED Outside Viewfrustum (invisibile) CULLED VF Culling semplice: Per ogni poligono si effettua il test di inclusione nel VF Inefficace per un alto numero di poligoni Necessità dell uso di Scene Graph osservatore

18 Viewfrustum culling VF Culling gerarchico: Test effettuato sulla cella (Bounding Volumes o nodo dello SG) Se la cella è TUTTA FUORI del VF, lo sono tutti i poligoni racchiusi CULLED Se è TUTTA DENTRO il VF, lo sono tutti i poligoni racchiusi RENDERED Se è PARZIALMENTE dentro il VF: Test sulle celle di livello inferiore Se siamo all ultimo livello: Test sui singoli poligoni (non efficace) Tutti i poligoni RENDERED (non efficace ma veloce se sono pochi)

19 Viewfrustum culling Frame to Frame Coherence: Oggetti non visibili in t, saranno probabilmente non visibili anche in t+dt Test di coerenza rispetto a traslazione (Dd) e rotazione (Dq) del viewpoint: BS Dd BS Dq Dd < distanza Ancora fuori Dd > distanza Check direzione, poi Eventualmente check VF Funziona SEMPRE??? Considerare distanza DAI PIANI -> già calcolata per VFC ma va memorizzata Dq in direzione contraria Ancora fuori Dq in direzione concorde Check VF

20 VF Culling test Un entità è fuori dal VF se è dietro almeno uno dei 6 piani del VF Considerando i piani orientati con normale verso l interno del VF: Per un punto: distanza dal piano < 0 BB BS Per una sfera: BS distanza centro dal piano < - r BB BB Per un box: BS distanza dei sei vertici < 0 (serve controllarli tutti? guardiamo le diagonali...) Il calcolo può dunque ridursi a distanze di punti. Calcolare le distanze può essere rognoso (le eq. di questi piani sghembi...) però:

21 Frustum in Clip Space La trasformazione projection trasforma il viewing frustum in un cubo di vertici (±1, 1,±1, ±1) (clip space) I piani nel Clip Space sono facili da calcolare: Eq. generica: ax+by+cz+d = 0 In questo caso, tutti del tipo x = 1, x = -1, etc. Usando la matrice di projection, posso trasformare i punti da controllare in clip space ed effettuare i test molto velocemente! Alternativamente posso lavorare in eyespace antitrasformando i piani (molto elegante )

22 Occlusion Culling

23 Occlusion culling Alcune primitive, pur essendo front-facing facing e rientrando nel VF, possono essere occluse da primitive appartenenti ad altri oggetti Z-Buffering Occlusione testata a livello di pixel Per ogni (x,y,z) nello WindowSpace, si confronta il valore con quello presente nello z-buffer relativamente alla posizione (x,y) Se la z è minore, il punto è occluso Anche in questo caso: Si effettua a VALLE della pipeline Farebbe comodo elimare gli oggetti occlusi PRIMA della pipeline Attenzione: solitamente gli algoritmi di Occlusion Culling sono pesanti, vale la pena usarli solo per modelli MOLTO complessi

24 Occlusion culling: HOM Hierarchical Occlusion Map (Zhang, Manocha, Hudson e Hoff 1997) Fase di preprocessing: Individuazione degli OCCLUDER (probabili occlusori) Abbastanza grandi, non troppi poligoni Creazione del db degli OCCLUDER A run-time se ne estraggono alcuni, a seconda di dimensione e distanza dal VP Per ogni oggetto va effettuato un depth test,, per verificare se è dietro un occlusore

25 Occlusion culling: HOM Qual è il depth-testtest che si usa? Depth-testtest minimale: si testa su un piano situato dietro l ultimo occlusore.. Se un oggetto ha il punto più vicino (z più piccola) al di là di questo piano, è sicuramente dietro ognuno degli occlusori (QUESTO NON VUOLE ANCORA DIRE CHE ESSO SIA OCCLUSO!) Bisogna verificare se un oggetto è effettivamente nascosto dalla sagoma degli occlusori ma

26 Occlusion culling: HOM testare tutte le occlusioni può costare troppo! Fase di run-time: Tracciamento in bianco dei soli occlusori si ricava una mappa gerarchica (cluster 2x2, colore medio tra i 4: tonalità di grigio) Confronto della proiezione dei BV degli oggetti con la mappa (si comincia dal livello più approssi- mato): Se la proiezione cade tutta in una zona bianca, l oggetto PUO essere occluso, e si passa al depth-testtest Se anche solo un pixel è NON-bianco, si passa al livello di mappa immediatamente superiore Il depth test viene effettuato SOLO sugli oggetti che, in qualche livello, occupano una zona bianca (potenzialmente occlusi) Si può effettuare un culling aggressivo (non conservativo), stabilendo una soglia di grigio che venga equiparato al bianco

27 Occlusion culling: HOM

28 Portal Culling

29 Potentially Visible Sets Tecnica a più alto livello, per ambienti architettonici Nuova suddivisione dell ambiente in CELLE: Volume di spazio (di solito BOX) PORTALE: Area 2D che connette due celle Negli ambienti architettonici: CELLA = Stanza PORTALE = Porta o Finestra (caso particolare: SPECCHIO) Due celle si possono vedere attraverso un portale Potentially visible set: Insieme delle celle visibili da un certo punto di vista

30 Potentially Visible Sets Cella attiva: cella in cui si trova l osservatore La cella attiva fa parte del PVS Le celle visibili dalla cella attiva (quelle connesse da un portale che rientra nel VF) fanno parte del PVS Le celle che non fanno parte del PVS possono essere tagliate La visibilità delle celle interne al PVS va studiata con le tecniche standard Non adatto per tutti i modelli PVS generalizzati: combinazione con BSP-trees

31 Tecniche di Semplificazione

32 Tecniche di semplificazione Agiscono sulla complessità del modello Si basano sull idea che, in particolari circostanze, è possibile visualizzare modelli semplificati senza che il risultato finale sia apprezzabilmente modificato Generalmente, comunque, c è una perdita di dettaglio: tecniche non conservative. Tecniche di semplificazione: Tecniche di Level of Detail Tecniche di Image Based Rendering

33 Semplificazione Mesh di triangoli Mesh Approssima una superficie Qualità approssimazione Numero di triangoli Obiettivo ideale: fissato un numero di triangoli semplificare la mesh in modo da commettere il minimo errore possibile Si tratta di un task pesante (effettuato off-line)

34 Semplificazione Metodi Incrementali Metodi Incrementali: Il processo di semplificazione è costituito da una sequenza di local updates Dimensioni della mesh e precisione dell approssimazione si riducono monotonicamente nel corso della semplificazione

35 Semplificazione - Metodi Incrementali Local update actions: Vertex Removal Edge Collapse

36 Semplificazione - Decimazione Operano solo sui vertici Ciascun vertice è classificato come eliminabile (se la sua rimozione introduce un errore < ε) ) o no Struttura comune di questa classe di algoritmi: Costruisci l insieme dei vertici eliminabili (E) Loop Seleziona un vertice v E Elimina v e aggiorna la mesh Until (dimensione mesh OK)

37 Semplificazione Esempio 2 Milioni di triangoli 7500 triangoli E possibile recuperare in qualche modo il dettaglio visuale perso con la semplificazione?

38 Recupero del dettaglio Algoritmo: Produce una mesh lo-res a partire da quella hi-res Parametrizza la lo-res mesh su una superficie 2D, in modo da sfruttare il texture mapping Campiona la hi-res mesh ottenendo una normale per ogni pixel La normal map è usata per effettuare il rendering su texture con modelli avanzati di illuminazione

39 Recupero del dettaglio Simplification & Detail Recovering Rendering on texture Image Based Lighting with self-occlusion evaluation

40 Recupero del dettaglio

41 Level of Detail Oggetti lontani dal punto di vista non necessitano di rappresentazione particolareggiata: i piccoli dettagli a grande distanza sono indistinguibili Possono dunque essere semplificati a seconda della loro distanza e/o angolazione dall osservatore Il LOD consiste nella creazione di più alternative per la stessa mesh con grado decrescente di complessità Maggiore è la distanza, minore è il dettaglio richiesto

42 Level of Detail I LOD possono essere creati: Off-line (controllo sulla qualità, complessità prefissata) A Run-time (minor controllo qualitativo, complessità variabile) Esempio run-time: mesh progressive Lod dinamici Si memorizzano solo i Δ fra le rappresentazioni successive Ottimo per distribuzione in rete

43 Image Based Rendering

44 Image Based Rendering Tecniche di culling e di LOD basate sulla riduzione dei poligoni IBR basato sulla sostituzione di poligoni con immagini (solitamente texture) IBR tende a rendere il rendering time indipendente dalla complessità della scena Molto efficace se usato insieme alle tecniche di culling e di LOD Metodi: Statici (Database Approach, Sprites) Dinamici

45 Database Approach Idea di base: si renderizzano tutte le possibili viste di un oggetto e, dinamica-mente, si sceglie quella corrispondente al punto di vista attuale Nella pratica si sceglie un numero limitato di punti di vista. Per le viste intermedie: Si visualizza l immagine corrispondente al punto di vista più vicino Si effettua un interpolazione (morphing) tra le immagini

46 Billboards Oggetti anche molto complessi vengono sostituiti da semplici geometrie texturizzate Caso limite: un solo poligono texturizzato La geometria viene trasformata affinchè, frame per frame, sia sempre rivolta verso il punto di vista La trasformazione è solitamente una rotazione verso l osservatore Per oggetti a simmetria cilindrica o sferica è una buona approssimazione Simmetria: Cilindrica: rotazione assiale, q = arccos(vd Bn) Sferica: due assi di rotazione

47 Billboard: lens flare Effetto causato da una lente di una camera (reale) diretta verso una sorgente di luce Modellabile come billboard sovrapposto alla geometria. Possibile modulare le dimensioni e la trasparenza in funzione della distanza +

48 MultiTexturing Il MT non è IBR in senso stretto, ma permette di simulare, con l uso di più texture, non solo dettagli geometrici ma anche dettagli relativi a shading e rugosità. Base Texture Bump Map Light Vector Final Image Evidentemente le mappe simulano effetti statici.. Se, ad esempio, la sorgente luminosa si muove, la lighting-map deve essere generata on demand o modificata algoritmicamente.

49 MultiTexturing Multi-pass rendering Le vecchie architetture grafiche supportavano solo UN livello di texture (quello di diffuse). Per ottenere risultati equivalenti bisognava renderizzare più volte l oggetto con texture diverse e comporre il risultato con varie opzioni di blending. Multi-texturingtexturing Le attuali architetture supportano direttamente PIU livelli di texture. E possibile sovrapporre mappe di diffuse, riflessione, auto-illumina- zione, bump, shadows etc.

50 Impostori Sfruttano la frame-to-frame coherence Il costo del rendering della geometria, ripartendo da zero ad ogni frame, è alto Se non ci sono improvvisi cambi di punto di vista, ogni frame è molto simile al precedente Pertanto ampie porzioni dello schermo restano invariate rispetto al frame precedente: perchè non riutilizzare direttamente tali porzioni? Le immagini rasterizzate di alcuni oggetti (preferibilmente distanti) possono essere utilizzate nuovamente nei frame successivi come texture da applicare su poligoni semitrasparenti

51 Impostori e LOD IMPOSTORI: Poligoni semitrasparenti su cui si mappa l immagine opaca di un oggetto Possono essere considerati un estensione di concetto di LOD: IMPOSTORE=Un entità che è più veloce da disegnare dell oggetto reale, ma che ne mantiene le principali caratteristiche visuali LOD: Impostore view-independentindependent IMPOSTORE: view-dependent (L immagine cambia a seconda del punto di vista)

52 Impostori: view-dependent L immagine utilizzata per l impostore è una fedele rappresentazione dell oggetto SOLO da un certo punto di vista V. Se si cambia punto di vista, l immagine è tanto più diversa quanto più ci si allontana da V In un certo intorno di V l immagine resta una buona approssimazione dell oggetto Al di fuori di tale intorno bisogna renderizzare l oggetto vero e proprio o un nuovo impostore Come si creano gli impostori? Off-line (staticamente simile al Database Approach. Differenza: DB approach solo per oggetti noti a priori) On-line (dinamicamente overhead di campionamento)

53 Impostori: creazione Si individua la geometria da sostituire Si renderizzano i poligoni su un fondale completamente nero Si crea una texture usando l immagine campionata Si applica la texture su un quadrilatero mostrato al posto della geometria

54 Impostori on-line Le tecniche off-line sono un estremizzazione del LOD Vantaggio: la creazione degli impostori non appesantisce la fase di run-time Svantaggio: non sfruttano affatto la frame-to-frame coherence Gli impostori generati dinamicamente vengono creati durante la fase di run-time Una volta generato, l impostore viene riutilizzato fintanto che la differenza con l oggetto reale non eccede una soglia Necessarie metriche per studiare la validità di un impostore Utilizzabili per oggetti o per cluster

55 Impostori: metrica di validità L impostore è banalmente valido nel frame in cui viene generato L impostore resta SEMPRE valido se l osservatore compie movimenti di SOLA rotazione (si dimostra che la proiezione sul viewplane resta invariata) Se si effettuano movimenti di traslazione, la rappresentazione cambia. Oltre un certo Ds s laterale o in avanti, l errore diventa troppo grosso E possibile trovare una relazione tra lo spostamento Ds s e l errore in termini di pixel, e ricavare il DsMAX corrispondente alla soglia fissata Se l errore eccede la soglia, è necessaria la creazione di un nuovo impostore

56 Impostori: errori visuali Un problema nell uso degli impostori è legato ai possibili errori relativi alla compenetrazione degli oggetti L errore avviene a causa della perdita della tridimensionalità degli oggetti

57 Impostori: errori visuali Un altro problema è la visualizzazione di possibili crack nell immagine A causa dello spostamento del punto di vista A causa delle approssimazioni nei calcoli A causa di una soglia di errore superiore a 1 pixel DEMO

58 Impostori stratificati Per recuperare almeno parzialmente le informazioni relative alla tridimensionalità si possono usare più strati per lo stesso impostore Si immagina di affettare l oggetto e di realizzare un impostore per ogni fetta. Più sono le fette, migliore è l approssimazione. La tridimensionalità recuperata diminuisce i problemi di compe- netrazione Se gli intervalli sono leggermen- te sovrapposti, migliora anche la situazione rispetto ai crack Trade-off: maggiore richiesta di texture memory