Profondità di Campo in Tempo Reale Stefano Maraspin

Transcript

1 Università degli Studi di Udine - Corso di Grafica 3D Interattiva Anno Accademico 2006/07 - Docente dott. R. Ranon Profondità di Campo in Tempo Reale Stefano Maraspin (steve@qnet.it) 1) Introduzione 2) Il fenomeno della profondità di campo 2.1) Bokeh 3) Stato dell'arte 4) Simulazione con Accumulation Buffer 4.1) Uso dell'accumulation Buffer 4.2) Implementazione Semplicisitca 4.3) Implementazione Migliorata 5) Simulazione con Post-Processing 5.1) Implementazione del Post-Processing 5.2) Prima Passata di Rendering 5.3) Seconda Passata Prima Implementazione 5.4) Seconda Passata Seconda Implementazione 6) Confronto tra le soluzioni proposte 7) Conclusioni 8) Sviluppi futuri 9) Riferimenti Bibliografici

2 1) Introduzione Gli apparecchi di ripresa comunemente utilizzati in fotografia e cinematografia sono basati su modelli diversi da quello che è invece il modello di ripresa utilizzato nelle API più comuni per il rendering tridimensionale in real-time (OpenGL, DirectX). Tali librerie utilizzano infatti il cosiddetto modello di ripresa con Pinehole Camera che, tra le altre, ha la caratteristica di produrre immagine correttamente focalizzate e nitide in ogni loro punto, indipendentemente da quella che è la distanza del soggetto dall obiettivo. Ben diversa è la costruzione degli obiettivi generalmente utilizzati nella realtà e uno dei principali effetti da ciò derivanti, è che quando un obiettivo viene utilizzato con la messa a fuoco concentrata su un certo soggetto, ad una certa distanza, anche tutti gli oggetti situati sul piano posto alla stessa distanza appaiono correttamente messi a fuoco. I soggetti che invece sono posti a distanze diverse appaiono fuori fuoco e di conseguenza poco nitidi. L'occhio umano presenta tuttavia un certo margine di tolleranza, sotto il quale non riesce a percepire questa sfocatura e quindi anche certi oggetti che non si trovano esattamente su tale piano risultano nitidi. Con il termine di Profondità di Campo (o Depth of Field, in Inglese da cui si utilizzerà in seguito l'acronimo DoF per abbreviazione) si intende proprio questa zona di accettabile nitidezza per l'occhio umano. Tutto ciò che si trova al di fuori di essa, presenterà invece diversi gradi di sfocatura. Soprattutto nella fotografia, ma talvolta anche nella cinematografia, tale fenomeno viene creativamente impiegato da chi effettua gli scatti o le riprese soprattutto per evidenziare il soggetto principale raffigurato o conferire maggior profondità allo scatto o alla ripresa. Tale fenomeno non viene invece riprodotto in maniera nativa dalle API sopraccitate per il rendering computerizzato e, sebbene questo tipo di effetto non sempre sia essenziale o importante, è certo che in alcune situazioni questo può contribuire in primo luogo ad aumentare il realismo di una scena, ma anche fornire clue visuali all'utente, migliorando di fatto la comprensione dell'immagine proposta, soprattutto nei casi in cui siano molte le informazioni ad essere presentate nello stesso istante. Scopo del presente documento è analizzare le tecniche più comuni per la simulazione di profondità di campo e verificarne i risultati ottenuti. Fig 1a Immagine Reale Fig 1b Assenza di Profondità di Campo in OpenGL (Fixed Pipeline)

3 2) Il fenomeno della profondità di campo Come si accennava nell introduzione, in fotografia e cinematografia, con il termine Profondità di Campo si indica quella finestra ad una certa distanza dallo strumento di ripresa, entro la quale uno o più soggetti ripresi appaiono nitidi all occhio umano [A]. Fig. 2 Concetto di profondità di Campo Il modello di Pinhole Camera implementato dalle API più comuni per il rendering tridimensionale in tempo reale non permette il verificarsi di questo fenomeno, poiché i raggi di luce provenienti dagli oggetti ripresi passano attraverso un obiettivo che presenta un foro di dimensioni infinitamente ridotte ( Pinhole significa letteralmente foro da spillo) e quindi un solo raggio generato da ciascun punto della scena è in grado di raggiungere la superficie di memorizzazione (es. sensore, pellicola) generando così un unico punto. E così che si viene quindi a creare un immagine perfettamente e completamente nitida, indipendentemente dalla posizione e dalla distanza degli oggetti rappresentati dall apparecchio virtuale di ripresa. [B] Fig. 2a Pinhole Camera Fig. 2b - Thin Lens Camera Nel mondo reale, invece tutti gli obiettivi presentano fori di dimensioni finite e, per questo, permettono il passaggio di raggi provenienti da diverse direzioni. Ciò fa si che, per ciascun punto del soggetto ripreso, venga memorizzato nella sua immagine non un singolo punto, ma bensì un cerchio di diametro variabile (c), denominato Circle of Confusion o informalmente CoC. Così, solo quando un oggetto si trova ad una certa distanza dal piano di fuoco ed il diametro del cerchio che ne costituisce la proiezione ha dimensioni sufficientemente ridotte, si ha un approssimazione del punto che si sarebbe ottenuto con una Pinhole Camera e questi appare quindi nitido all occhio umano.

4 Al variare della posizione dell oggetto rispetto al piano focale invece, aumenta il diametro di tale cerchio, generando così la sfocatura. Il cerchio dal diametro massimo per cui non avviene, all occhio umano la distinzione del cerchio da un punto, viene definito Acceptable Circle of Confusion [C]. Prima di proseguire, è probabilmente utile chiarire comunque un aspetto importante: la percezione finale del CoC dipende dal supporto utilizzato per la riproduzione dell immagine ambientale, nonché da fattori soggettivi e dall ambiente in cui avviene la visualizzazione, oltre che ovviamente dalle modalità di ripresa dell immagine. In [B], ad esempio, viene introdotto il concetto di near distance for distinct vision, ovvero la distanza minima cui un soggetto riesce a guardare correttamente e nitidamente un oggetto (approssimativamente 25 cm [D]) e quindi la distanza comunemente accettata come distanza a cui viene generalmente visualizzata una fotografia di larghezza 25cm. Considerando il fatto che una persona dotata di un sistema visivo perfettamente funzionante, in condizioni di visibilità e contrasto normali riesce a scorgere 5 linee per millimetro, a questa distanza, otteniamo che un Acceptable Circle of Confusion è di 0.2 mm. Tale valore viene riportato per riferimento e completezza più che altro, ma dovrebbe risultare chiaro a questo punto, come questa variabile venga influenzata dalla distanza cui viene visionata l immagine riprodotta e dal fattore di ingrandimento della stampa/proiezione, oltre che, ovviamente, da una certa soggettività della misura, dovuta alla peculiarità del sistema visivo di ciascun osservatore. Pensando alla nostra situazione, in cui si presumono essere un monitor o una proiezione gli strumenti impiegati per la rappresentazione dell immagine, possiamo utilizzare, ad esempio, il criterio alla base delle famose tabelle di Snellen (secondo il quale l occhio umano riesce a distinguere, in condizioni ideali, di alto contrasto, due linee separate da una distanza che sottende un minuto di arco - 1/60 ) per determinare il massimo CoC accettabile, riservandoci poi di attuare le opportune considerazioni e correzioni, anche in base all ambiente in cui avviene la visualizzazione e quindi il contrasto che lo caratterizza. Ulteriori approfondimenti sull argomento risulterebbero sicuramente eccessivi e probabilmente fuorvianti in questa sede, perciò si rimanda ad esempio a [B] o [C] per ulteriori considerazioni sull argomento, sperando se non altro, di essere comunque riusciti ad introdurre il concetto di Acceptable CoC. Fig. 3 Lente Simmetrica che Segue il Modello Thin Lens Nella figura 3 viene illustrata una generica lente simmetrica che segue il modello Thin Lens, ovvero il modello comunemente utilizzato nella realtà per la costruzione degli obiettivi. Un soggetto alla distanza u appare a fuoco sul piano distanziato v dalla lente stessa. Qualora c fosse il massimo CoC accettabile, ecco che allora anche i punti degli oggetti post nell intervallo u F e u N apparirebbero a

5 fuoco. Con f indichiamo la lunghezza focale della lente, ovvero la capacità di convogliare o divergere la luce, mentre con d indichiamo l apertura, ovvero il diametro della lente stessa. Introduciamo ora altre misure: Fig. 4 - I dati per i calcoli della profondità di campo Ci prefiggiamo di ricavare la posizione di u F e u N al variare della lunghezza focale f e dell apertura di diaframma, indicata nella figura 4 con d, così da poter effettivamente ricreare la profondità di campo sulla base dei parametri relativi all obiettivo che vogliamo simulare. Analizzando la figura 4, possiamo innanzittutto notare le seguenti proprietà tra triangoli: [1] e [2] In genere, piuttosto che con l apertura si preferisce lavorare con il così detto f-number, indicato in seguito con N, ovvero il rapporto fra la distanza focale e l apertura di diaframma, così da poter utilizzare una stessa misura con obiettivi di lunghezze focali differenti [3] Considerando inoltre il nostro specifico ambito di riferimento, indichiamo come reperire il valore di f, noto il fov (Field of View) ovvero il campo di vista orizzontale: [E] [4] Con delle semplici sostituzioni alle formule [1] e [2], notiamo che: [5] e [6]

6 Prendendo a questo punto la formula per il modello Thin Lens : [7] che mette in relazione il punto di un oggetto con la sua immagine, attraverso una lente di lunghezza focale f. e sostituendo in [5] e [6], riusciamo a reperire i limiti vicini e lontani della profondità di campo, in funzione della lunghezza focale, dell apertura di diaframma e della posizione di messa a fuoco s: [8] e [9] Notiamo anche la presenza del parametro c, ovvero il diametro del massimo accettabile CoC; viste le considerazioni riportate in precedenza, la procedura per la determinazione di questo parametro è tutt altro che immediata e spesso è conveniente utilizzare approcci empirici o sperimentali, piuttosto che avvalersi di metodi rigorosi, che di fatto risultano altamente perturbati da fattori soggettivi e ambientali. Come si può dedurre da queste formule, riducendo l apertura del diaframma, aumenta la profondità di campo; ciò comporta però anche la riduzione della quantità di luce trasmessa al dispositivo di memorizzazione, con conseguenti fenomeni di diffrazione, dettando così un limite fisico per l apertura di diaframma minima utilizzabile e costituendo il motivo principale per il quale in fotografia e cinematografia il modello Pinhole Camera non trova generica applicazione. A questo punto, ci resta da determinare la dimensione del Circle of Confusion in funzione della distanza di un generico oggetto dal piano di messa a fuoco, ovvero, in termini pratici, la quantità di blur che lo riguarderà. Fig. 5 - I dati per i calcoli del Circle of Confusion

7 Partiamo nuovamente da analogie geometriche riscontrabili nella figura 5 e introduciamo il parametro Q e vediamo come c varia al variare di Q: [10] [11] Per mezzo di alcune sostituzioni in [11], attraverso [7] e successivamente [3] otteniamo : [12] che è l equazione, citata anche in [F], che ci restituisce il diametro di c, in relazione alla posizione di un punto del soggetto e delle caratteristiche dell obiettivo utilizzato. 2.1) Bokeh Bokeh (dal giapponese boke, ovvero "blur", traducibile vagamente in italiano, con il termine di sfocato) è un termine coniato e intensivamente impiegato in fotografia per indicare la qualità delle aree fuori fuoco in un immagine prodotta da un certo obiettivo. In maniera dipendente dalla costruzione di questi, infatti, anche due obiettivi con le medesime lunghezze focali e aperture, possono dare luogo (ed spesso così accade) ad immagini diverse nelle porzioni non a fuoco. Ciò è dovuto in massima parte alle aberrazioni sferiche, che generano una distribuzione non uniforme della luce nel Circle of Confusion. [G] Per rendere più chiaro il concetto, riportiamo alcune tipologie di Bokeh comunemente riscontrabili negli obiettivi fotografici: Fig. 6a Fig 6b Fig 6c enfasi sul bordo bokeh neutrale enfasi al centro Benché, ad esempio, l autore di [H], differenzi tra loro i diversi bokeh presentati con aggettivi facenti diretto riferimento a fattori qualitativi, non vi sono definizioni formali o misure precise per la determinazione di tale qualità e quindi sono in genere fattori altamente soggettivi a permettere eventuali giudizi. Per questo motivo, anche nel campo della grafica al computer, non vi possono essere specifiche formali o formule precise atte a generare un buon bokeh, ma come sarà evidenziato per ciascun algoritmo, il programmatore potrà utilizzare gli strumenti a sua disposizione per realizzare, in modo tutto sommato creativo, un bokeh di suo gradimento.

8 3) Stato dell Arte L implementazione di un modello Thin Lens come quello appena descritto, che permetta tra le altre cose, l automatica riproduzione del fenomeno della profondità di campo è, al momento, cosa impensabile nel rendering in tempo reale. Non disponendo di questo modello, ecco quindi che l effetto di DoF dev essere simulato con modalità che peraltro hanno scarsa attinenza con i principi fisici ed ottici analizzati nel paragrafo precedente. Al di là degli approcci basati su ray-tracing o le proposte innovative, come ad esempio [E] o [I], senza dubbio interessanti e garanti di buoni livelli di realismo, ma comunque ancora troppo lente per poter essere utilizzate estensivamente in applicazioni con i vincoli del tempo reale e dell interattività, i metodi più comuni per la simulazione di profondità di campo sono sicuramente quelli basati su Accumulation Buffer e Post-Processing, attraverso Multi-Pass rendering [J]. Per ciascuna delle due famiglie di tecniche vengono di seguito presentate alcune implementazioni e, nella fattispecie, una prima implementazione semplicistica, atta ad illustrare sinteticamente i principi di funzionamento della tecnica ed una seconda, più elaborata, per mezzo della quale ci si prefigge lo scopo di aumentare il realismo ed eventualmente porre rimedio, ove possibile, alle inesattezze generate dalla prima.

9 4) Simulazione con Accumulation Buffer In senso lato, uno dei buffer che compongono il Framebuffer di un generico sistema per il rendering tridimensionale è l accumulation buffer che, come descritto anche in [J], serve ad integrare tra loro immagini ricavate da diverse operazioni di rendering, che vengono poi riversate nel Frontbuffer per la presentazione all utente. Inizialmente pensato per risolvere il problema dell aliasing, questo ha ben presto trovato applicazione anche per la simulazione di effetti quali il Motion Blur e il Depth of Field [K]. Per ottenere l effetto di nostro interesse, tra un rendering e i successivi, accumulati nell apposito buffer, vengono fatti variare la posizione dello strumento di ripresa e il view-frustum a questi associato. Fig 7a View Frustum in Condizioni di Normalità Fig 7b Spostamento del View Frustum per la simulazione della Profondità di Campo Come si può evincere dall immagine 7b, spostando la locazione dello strumento di ripresa (in questo caso a sinistra), i vertici degli oggetti ripresi vengono proiettati in posizioni differenti; abbiamo quindi ottenuto la sfocatura di nostro interesse, ma sicuramente non ancora il risultato che ci si era prefissi, poiché accumulando immagini risultanti da rendering con spostamento del solo strumento di ripresa, tutta l immagine risulta in questo caso fuori fuoco. Per far si che il piano selezionato e quindi gli oggetti posti su di esso risultino correttamente focalizzati, dobbiamo, com è intuitivo supporre, spostare anche il view-frustum, così da bilanciare l effetto dello spostamento dello strumento di ripresa, sul piano di nostro interesse. Indicando quindi con u la distanza del piano che vogliamo mettere a fuoco, e con σ lo spostamento dello strumento di ripresa, possiamo notare, utilizzando le proprietà sui triangoli che: [13] e quindi: [14] dove τ è la misura di nostro interesse, ovvero la misura che indica lo spostamento del view frustum in direzione opposta (cambio di segno) a quella di σ.

10 Fig. 8 - I dati per i calcoli dello spostamento del view frustum A questo punto, capito come creare l effetto, cerchiamo di capire anche in quale misura lo spostamento dello strumento di ripresa nella nostra scena vada ad influire sulla profondità di campo, fornendoci così tutti gli strumenti per simulare in qualche modo obiettivi con diverse lunghezze focali e diaframmi più o meno aperti. Fig. 9 Relazione tra profondità di campo e spostamento del punto di vista Focalizziamo dunque la nostra attenzione sull immagine 9 e sulle misure in essa presenti. Per le proprietà sui triangoli otteniamo: e anche in cui F rappresenta la distanza alla quale gli oggetti ripresi sono focalizzati correttamente, mentre d rappresenta la profondità di campo desiderata e c la dimensione del Circle of Confusion. La quantità che ci interessa è E, ovvero la distanza cui si deve muovere lo strumento di ripresa, per ottenere una profondita di campo di d; in pratica vogliamo esprimere E in funzione di d, cosa che otteniamo eliminando e dalle due equazioni, ricavando che:

11 4.1) Uso dell'accumulation Buffer In OpenGL, le API utilizzate nelle Demo presentate contestualmente a questa relazione, l utilizzo dell accumulation buffer risulta piuttosto semplice. Una chiamata iniziale a glclear(gl_accum_buffer_bit) provvede all inizializzazione e pulizia dell accumulation buffer, che viene riempito con pixel del colore corrente (ovvero il colore impostato da glclearcolor). Successivamente glaccum(gl_accum, mult) prende il contenuto del color buffer corrente, moltiplica il valore di ogni pixel per mult e aggiunge tale contributo all accumulation buffer. Infine, glaccum(gl_return,mult) viene utilizzata per copiare il contenuto dell accumulation buffer nel framebuffer, così da mostrare il risultato all utente. [L] Per meglio rendere l idea, supponendo di voler realizzare un immagine derivata dall accumulazione del rendering di altre due, questi sarebbero gli step da attuare: 1 - Inizializzare l accumulation buffer con glclear(gl_accum_buffer_bit); 2 - Inizializzare il color buffer 3 - Creare la prima imagine 4 - Usare glaccum(gl_accum, 0.5) per inserire la prima immagine nell accumulation buffer 5 - Inizializzare il color buffer 6 - Creare la seconda immagine 7 - Usare glaccum(gl_accum, 0.5) per inserire la seconda immagine nell accumulation buffer 8 - Trasferire il contenuto dell accumulation buffer nel framebuffer corrente, per mezzo di glaccum(gl_return, 1.0). Bisogna porre particolare attenzione a non superare il valore 1.0 per quanto riguarda la somma dei parametri mult o altrimenti il risultato può essere indefinito e spesso ciò si traduce in un immagine non visualizzata correttamente. La tecnica appena considerata può essere utilizzata in scene già esistenti, di solito con un intervento minimo, semplicemente andando a modificare i parametri di posizionamento dello strumento di ripresa e del frustum di visualizzazione. Cenni relativi all utilizzo di questa tecnica possono essere trovati in [K], [L] e, in maniera più elaborata (e computazionalmente troppo pesante), in [M]. In tutti, emerge in maniera piuttosto chiara come all aumentare dei campioni considerati, ovvero del numero di passate su accumulation buffer, corrisponda un aumento di realismo, seguito di pari passo tuttavia da un netto e ovvio decrescimento delle prestazioni in termini di frame al secondo.

12 4.2) Implementazione Semplicistica In [N], la simulazione di DoF viene realizzata spostando lo strumento di ripresa per mezzo di una matrice che determina lo spiazzamento e quindi la posizione dello strumento di ripresa in ciascuna successiva passata di rendering. Il processo inizia azzerando l accumulation buffer; la scena viene poi campionata M x M volte, ciascuna con un determinato offset e, ad ogni passo, questa viene inviata all accumulation buffer. Viene di seguito riportata la porzione di codice significativa di tale tecnica, ripresa dalla demo #1. scale = aperture[selectedaperture]; glclear(gl_accum_buffer_bit); limit =1; count = (limit*2+1)*(limit*2+1); for (int i=-limit; i<(limit+1); i++) { for (int j=-limit; j<(limit+1); j++) { glclearcolor(0.0001f,0.0001f,0.0001f,0.0001f); glclear(gl_color_buffer_bit GL_DEPTH_BUFFER_BIT); px = (i)/(scale*6); // Di quanto traslo la telecamera su X py = (j/(frustum))/(scale*6); // Di quanto traslo la telecamera su Y dx = px/(focus); // dy = py/(focus); glmatrixmode (GL_PROJECTION); glloadidentity (); // Sposto il View Frustum (notare che sono nel GL_PROJECTION mode) glfrustum(-frustum+dx, frustum+dx, -(1/frustum)+dy, (1/frustum)+dy, 1.0f, 50.0f); glmatrixmode(gl_modelview); glloadidentity(); glrotatef(-angley,0.f,1.f,0.f); // Ruoto nella direzione dove sta guardando l'utente gltranslatef(0.f+px,-3.7f+py,posz); // Traslo la telecamera // Ogni passaggio viene ripreso da una posizione // leggermente diversa renderscene(); // Procedura di Disegno } glaccum(gl_accum,1.f/count); } glaccum(gl_return,1.f); Sicuramente utile per capire il principio di funzionamento dell accumulation buffer per la simulazione di profondità di campo, questo approccio evidenzia i limiti di un cattivo super-sampling, rinscontrabili in termini di cattivo bokeh.

13 4.2) Implementazione Migliorata Quanto visto sino ad ora simula in qualche modo un obiettivo perfetto, privo di alcuna aberrazione sferica, che da quindi luogo ad un bokeh, sicuramente troppo neutro per poter essrere realistico. Ma soprattutto la scelta di campioni con una distribuzione uniforme comporta la formazione di artefatti poco realistici (si vedano nella demo #1 ad esempio gli artefatti prodotti nelle zone fuori fuoco in cui compaiono linee orizzontali o verticali ad alto contrasto). Discussioni maggiormente approfondite sul super-sampling vengono trattate in [K] e poi riprese in [L], specificatamente parlando di anti-aliasing; sicuramente le stesse considerazioni e anche i fattori di jitter ivi proposti, con le opportune conversioni di scala, possono essere ritenuti validi anche nel nostro contesto, con la possibilità di variare tali valori per ottenere effetti artistici in termini di bokeh; nel dubbio, una distribuzione gaussiana dei campioni, si rivela quasi sempre una scelta vincente, simulando bokeh abbastanza vivaci e non eccessivamente contrassegnati da artefatti artificiali facilmente individuabili. Tale approccio viene utilizzato nella demo #2, utilizzando i fattori di jitter suggeriti in [L], con opportune variazioni di scala: scale = aperture[selectedaperture]*2.5; glclear(gl_accum_buffer_bit); for (int i=0; i<8; i++) { glclearcolor(0.0001f,0.0001f,0.0001f,0.0001f); glclear(gl_color_buffer_bit GL_DEPTH_BUFFER_BIT); glmatrixmode (GL_PROJECTION); glloadidentity (); dx = (jitter[i].x/(scale))/(focus); dy = (jitter[i].y/(scale))/(focus); glfrustum(-frustum+dx, frustum+dx, -(1/frustum)+dy, (1/frustum)+dy, 1.0f, 50.0f); glmatrixmode(gl_modelview); glloadidentity(); glrotatef(-angley,0.f,1.f,0.f); // Ruoto nella direzione dove sta guardando l'utente gltranslatef(0.f+(jitter[i].x/scale),-3.7f+(jitter[i].y/scale),posz); } renderscene(); glaccum(gl_accum,1.f/count); } glaccum(gl_return,1.f);

14 5) Simulazione con Post-Processing Una seconda famiglia di tecniche per la simulazione di DoF, che tra le altre cose sta conoscendo crescente popolarità, per via delle ottime prestazioni offerte, è quella che si basa su post-processing di un immagine inizialmente renderizzata o comunque trasferita su texture e poi utilizzata in un passo seguente in modo tale da coprire tutta l area di rendering.. Vi sono vari approcci, tra cui quello che prevede la generazione di più texture, con diversi gradi di sfocatura e poi l integrazione delle immagini alla seconda passata [O], con uno stile che ricorda parecchio il mipmapping [J]. I metodi che si è deciso di considerare in questa sede, sono due e specificamente, uno basato su filtro gaussiano e l altro che punta alla simulazione del circle of confusion. 5.1) Implementazione del Post-Processing Per entrambi gli approcci scelti e in genere per le altre tecniche basate sul post-processing, vi è innanzittutto la necessità di disporre di uno strumento che consenta il rendering off-screen, ovvero su qualche buffer utilizzabile temporaneamente per riporvi il risultato della prima passata di rendering, da utilizzarsi poi come texture nella seconda passata; già dalla versione 9 DirectX offre una funzionalità chiamata Multiple Render Targets (MRT) che può essere utilizzata e abusata per questo tipo di applicazioni. [F] OpenGL non fornisce invece in maniera nativa un simile strumento ed è per questo che sino a poco tempo fa vi era la necessità di copiare fisicamente (utilizzo di glreadpixels) dal framebuffer ad una texture quanto ottenuto dalla prima passata di rendering [P], con gli ovvii risvolti negativi sulle prestazioni. I p-buffers hanno senza dubbio migliorato le cose, ma la loro complessità, nonché l alto grado di dipendenza dai gestori di finestre/wiggles in cui vengono utilizzati, sicuramente rende l estensione FBO preferibile. [Q] Fig. 10 Modello concettuale del framebuffer object

15 Sarà questa ad essere impiegata nelle demo presentate contestualmente a questa relazione e il rendering avverrà sul color Attachment0, cui sarà associata una texture, poi utilizzata nella seconda passata di rendering, applicata ad un riquadro che coprirà l intera area dello schermo, di fatto rendendo impercettibile questo passaggio di doppio rendering. Si rimanda a [Q] ed [R] per eventuali approfondimenti sulle specifiche o sull utilizzo dell estensione FBO. Le operazioni di rendering in demo #3 e demo #4 avvengono per mezzo di shaders scritti nel linguaggio GLSL, il cui alto livello sicuramente favorisce la chiarezza del codice e in qualche modo aiuta a superare le dipendenze con l hardware dei linguaggi a basso livello. [J] L emulazione delle funzionalità della fixed pipeline, ovvero i calcolo geometrici sui vertici relativi al posizionamento, nonchè l illuminazione sono stati ottenuti per mezzo di ShaderGen della 3Dlabs. 5.2) Prima Passata di Rendering Per entrambi gli algoritmi selezionati è stata utilizzata un unica coppia di vertex e fragment shader, che in sostanza, oltre a riproporre i calcoli relativi al posizionamento e all illuminazione sui vari vertici della scena, calcolano un fattore di sfocamento, in base alla distanza di ciascuno di essi dal piano di messa a fuoco e all apertura di diaframma selezionata. Tale valore viene poi propagato attraverso il canale alfa della texture su cui viene salvata l immagine. Come nel caso dell accumulation buffer, vengono proposte di seguito le sole righe di codice salienti: Vertex Shader: // Eye-coordinate position of vertex, needed in various calculations vec4 ecposition = gl_modelviewmatrix * gl_vertex; // Ricavo la posizione del vertice corrente in world cordinates verpos = vec3(ecposition/ecposition.w); // Ricavo la posizione della telecamera in world cordinates eyepos = vec3(gl_modelviewmatrix * vec4(0.0, 0.0, 0.0, 0.0)); eyepos e verpos sono due variabili varying, che vengono quindi trasferite tra gli shaders e utilizzate nel fragment shader, nella maniera seguente: Fragment Shader: gl_fragcolor.a = clamp((((distance(distance(verpos.z,eyepos.z),focaldist)) /(zfar-znear)) *simdiaphram),0.0,1.0); Il fattore di bluriness dipenderà quindi dalla distanza del punto considerato dall asse di fuoco distance(distance(verpos.z,eyepos.z),focaldist) e dall appertura di diaframma utilizzata (o meglio dall numero di f/stop simulato), impersonato dal parametro simdiaphram. Concettualmente, tale costruzione richiama [S].

16 5.3) Seconda Passata - Prima Implementazione Nel primo algoritmo analizzato in questo contesto viene utilizzato un filtro Gaussiano nella fase di post-processing. Tralasciando il Vertex shader, che si presenta assolutamente banale, analizziamo invece i principi di funzionamento del Fragment Shader. Come prima cosa viene costruito un semplice modello di filtro passa-basso nel dominio spaziale, che viene successivamente convoluto sull immagine ottenuta alla prima passata di rendering. Fig. 11 Principio di funzionamento della demo #3 Il fattore di blending tra le due immagini viene ricavato dal parametro alfa precedentemente ricavato ed è quindi in funzione della distanza di un punto dal piano di fuoco. Il codice GLSL che implementa questo semplice passaggio è utilizzato nella demo #3 e viene riportato di seguito: for( i=0; i<kernel_size; i++ ) { vec4 tmp = texture2d(texunit0, gl_texcoord[0].st + (offset[i])); sum += tmp * kernel[i]; } // Effettuo un blending tra la texture variando la proporzione in base // alla distanza dell'oggetto dal piano di fuoco output.rgb = mix(originale.rgb,sum.rgb,fattore);

17 5.4) Seconda Passata - Seconda Implementazione Un approccio alternativo, sempre basato su post-processing, è quello che punta alla simulazione del CoC. In questo caso è la costruzione del filtro ad avvenire sulla base del fattore di bluriness precedentemente calcolato. Fig. 12 Costruzione del filtro per la convoluzione Come è desumibile dall immagine 12, quando il fattore di bluriness assume il valore di 0, allora non vi sarà contributo da parte dei texel adiacenti per la generazione del pixel in output. Quando invece tale fattore assumerà il valore 1, ci si troverà di fronte al CoC di dimensione massima e quindi saranno considerati un certo numero di pixel adiacenti per la determinazione del colore finale del texel di riferimento; per i valori di alfa compresi tra 0 e 1 verranno, com è intuitivo supporre, generati filtri di dimensioni via via crescenti. Il codice GLSL significativo che implementa tale tecnica è il seguente: for( i=0; i<filter_taps; i++ ) { vec4 tmp = texture2d(texunit0, gl_texcoord[0].st + (0.75 * (offset[i])*fattore)); } // Elimino gli artifacts indesiderati... float causesblur = smoothstep(0.0,0.2,tmp.a); sum += (mix((originale),(tmp),causesblur)/filter_taps); output.rgb = sum.rgb; Rispetto a quanto visto al paragrafo 5.3, in questo caso si sono anche attuate alcune semplici contromisure per contrastare il fenomeno del color leaking dagli oggetti messi correttamente a fuoco e che quindi non devono causare artifact nelle zone che li circondano.

18 Fig. 13a Color Leaking Fig13b Applicazione delle Contromisure per prevenire il Col. Leaking In modo assolutamente semplice ed immediato, già un miglioramento si ottiene attraverso: float causesblur = smoothstep(0.0,0.2,tmp.a); sum += (mix((originale),(tmp),causesblur)/8.0); in cui dapprima attraverso la variabile causesblur si determina se un certo pixel interviene o meno nel processo di blurring dei pixel adiacenti, in funzione del suo fattore di blurriness. Successivamente, anziché sommare direttamente il valore generato dalla convoluzione, si effettua un blending tra un pixel dell immagine originale e un pixel dell immagine filtrata, con un proporzioni variabili, a seconda del valore del parametro causesblur. 6) Confronto tra le soluzioni proposte Vengono riportati in questo paragrafo i risultati quantitativi relativi alle prestazioni ottenute con i vari algoritmi. I test sono stati effettuati su AMD Athlon GHz con 1Gb di RAM e scheda grafica NVIDIA GeForce 7600 GS - 256Mb Video Ram con Driver Ver e sono il risultato medio di 10 test effettuati (nel caso di accumulation buffer i campioni utilizzati sono stati 9). Algoritmo FPS Fixed Pipeline 75 Accumulation Buffer demo #1 38 Accumulation Buffer demo #2 38 Multi-Pass Rendering demo #3 75 Multi-Pass Rendering demo #4 75 Anche se ciò assume scarsa valenza pratica e anzi, per le considerazioni di [J], può risultare dannoso, poiché in questo modo è più probabile riscontrare repentini cambi di frame rate, riportiamo anche i risultati ottenibili disabilitando la sincronizzazione verticale, mostrando quindi le potenziali prestazioni massime degli algoritmi sulla scena e sull hardware considerati. Algoritmo FPS Fixed Pipeline 644 Accumulation Buffer demo #1 59 Accumulation Buffer demo #2 67 Multi-Pass Rendering demo #3 144 Multi-Pass Rendering demo #4 153

19 Poiché inoltre il realismo assume una connotazione altamente soggettiva, vengono di seguito riportati alcuni screenshots, ciascuno corredato da considerazioni, sia oggettive che soggettive, sul grado di realismo ottenuto. Accumulation Buffer demo #1 Il realismo in questo caso raggiunge a malapena livelli minimi di sufficienza. Questa è dovuta all assenza dopotutto di evidenti artifacts eccessivamente irreali. A dire il vero, però, il filtraggio appare eccessivamente neutro (cattivo bokeh) e il pattern regolare utilizzato in sede di campionamento per il super-sampling attraverso accumulation buffer genera comunque alcuni artifacts poco piacevoli in corrispondenza di linee orizzontali dal forte contrasto (si veda, ad esempio, la vetrata sullo sfondo). Accumulation Buffer demo #2 Il realismo in questo caso raggiunge discreti livelli, senza dubbio migliori rispetto a quelli del caso precedente. Come era intuitivo supporre, la scelta di opportuni parametri di jitter migliora sicuramente il realismo, generando un bokeh più naturale e soprattutto non dando vita ad artifacts generati da cattivo campionamento.

20 Multi-Pass Rendering demo #3 Tra i quattro, questo è sicuramente il risultato meno soddisfacente in termini di realismo. Innanzittutto evidenti sono gli artifacts causati dal filtraggio anche in zone dove essi non dovrebbero comparire (si vedano ad esempio le zone che circondano il cavalletto in primo piano). Inoltre, come per la demo #1, la cattiva scelta del filtro di campionamento, genera fastidiosi artifacts in certe zone della scena (si veda ad esempio, la maniglia della porta). Multi-Pass Rendering demo #4 Il realismo in questo caso raggiunge buoni livelli. Anche in questo caso, la scelta di opportuni parametri di jitter migliora sicuramente il realismo, generando un bokeh più naturale e realistico. Il semplice meccanismo di prevenzione del color leaking si rivela inoltre sufficientemente efficace, almeno per immagini destinate a proiezione su monitor.

21 7) Conclusioni Dai risultati dei test considerati è facile dedurre che l utilizzo dell accumulation buffer si sta lentamente avviando verso il suo tramonto. Innanzittutto risulta chiaro come dal punto di vista delle prestazioni soffra parecchio, soprattutto considerando il fatto che la qualità del rendering aumenta e diviene accettabile solo quando vengono presi un numero cospicuo (attorno ai 21) di campioni per il supersampling. Quando così non avviene, anche il realismo del metodo stesso incontra dei limiti sostanziali, soprattutto nei casi in cui il piano di messa a fuoco si trova a distanze prossime allo strumento di ripresa o nei casi in cui si voglia creare una profondità di campo più ristretta, andando ad aumentare la distanza tra i punti di campionamento. In questo caso la comparsa di artifacts poco realistici è pressoché scontata e solo l utilizzo di un numero maggiore di campioni può migliorare le cose, andando tuttavia a causare ulteriori rallentamenti, come visto in precedenza (con 25 campionature e una situazione di test analoga a quella vista nel paragrafo precedente, si raggiungono appena i 20 FPS). Per quanto riguarda i metodi basati su post-processing è interessante notare innanzittutto la velocità che li caratterizza. Come si è potuto notare, gli algoritmi qui presentati, con sincronizzazione verticale, non hanno neppure introdotto rallentamento nel rendering; anche disabilitando il vsync si ottengono valori di FPS sicuramente alti e senza dubbio questo è un risultato più che aprezzabile. Dal punto di vista del realismo, come si è visto, gli artifacts che caratterizzano versioni semplificate di questo approccio, possono essere eliminati o ridotti, anche con tecniche molto semplici; questo aspetto pertanto non costituisce un vero problema. Senza dubbio più importante notare invece il fatto che utilizzando approcci come quelli citati in questa sede, ovvero andando ad utilizzare il canale alfa della texture utilizzata al passaggio intermedio, non si è in grado di riprodurre oggetti trasparenti o semi trasparenti in una scena in cui è simulata la DoF. Questo è sicuramente un aspetto di maggiore impatto e che non trova una soluzione immediata. Un altra imperfezione di questo approccio, derivante da un comportamento non riproducibile con Post- Processing è quello relativo alla simulazione della semi-trasparenza che caratterizza un oggetto fuori fuoco nella realtà. Questo ovviamente perché nelle scene generate al primo passo di rendering non vi sono elementi in grado di fornire indicazioni sugli oggetti presenti dietro ad un oggetto fuori fuoco ripreso. E questa probabilmente la nota più dolente che caratterizza questo tipo di approcci. Fig. 14a Fuoco sul soggetto in Primo Piano Fig14b Fuoco sullo sfondo (notare la semi-trasparenza dell oggetto in primo piano)

22 8) Sviluppi futuri Per i motivi sopraccitati è difficile pensare a possibili sviluppi futuri basati su accumulation buffer. Con buona probabilità, invece, sarnno gli approcci basati su post-processing a subire il numero maggiore di revisioni e raffinamenti, così da ovviare in qualche modo alle lacune che attualmente li riguardano. Per quanto riguarda la possibilità di generare superfici trasparenti o semi-trasparenti, in una scena caratterizzata da profondità di campo, è probabile che vengano fatte nuove proposte basate su multipass rendering o MRT; sempre questi ultimi potrebbero essere utilizzati anche per diminuire la presenza di artifacts irreali, soprattutto quelli generati da oggetti messi a fuoco e di cui si sono fornite in questo documento alcuni minimi spunti di correzzione. Gli MRT potrebbero anche trovare applicazione in metodologie simili a quanto presentato in [O]. Ulteriori sviluppi saranno probabilmente anche rivolti a migliorare il realismo, andando a considerare la distribuzione di luce non uniforme che caratterizza questo fenomeno, le aberrazioni e il fatto che in genere i punti luminosi di un CoC tendono ad avere il sopravvento sui punti confinanti più scuri. [M] Approcci che esulano dal post processing in senso stretto potrebbero invece essere intrapresi per simulare la semitrasparenza degli oggetti fuori fuoco.

23 9) Riferimenti Bibliografici [A] Depth of Field - Wikipedia (disponibile su: al 01/01/07) [B] Applied Photographic Optics, 3rd ed. Oxford: Focal Press. - Ray, Sidney F Pag 35 & Chapter 22 Pag [C] Depth of Field in Depth J. Conrad (disponibile su: al 01/01/07) [D] Circle of Confusion - Wikipedia (disponibile su: al 01/01/07) [E] Real-Time Depth of Field Rendering D. Bradley University of British Columbia (disponibile su: al 01/01/07) [F] Real-Time Depth of Field Simulation G. Riguer, N. Tatarchuk, J. Isidoro ShaderX2 Shader Programming Tips & Tricks with DirectX 9 Pag Engel [G] Bokeh - Wikipedia (disponibile su: al 01/01/07) [H] What is Bohek? K. Rockwell (disponibile su: al 01/01/07) [I] Interactive Depth of Field Using Simulated Diffusion on a GPU M. Kass, A. Lefohn, J. Owens (disponibile su: al 01/01/07) [J] Real-Time Rendering T. Akenine-Moller E. Haines Pag. 22,133,237. [K] The Accumulation Buffer: Hardware Support for High-Quality Rendering P. Haeberli & K. Akeley SGI - Computer Graphics, Volume 24, Number 4, August Pages (disponibile anche su: al 01/01/07) [L] OpenGL(R) Programming Guide: The Official Guide to Learning OpenGL(R), Version 1.4 (4th Edition) OpenGL ARB [M] Photographic Depth of Field Blur Rendering - C. Pichard, s. Michelin, O. Tubach (disponibile su: al 01/01/07) [N] Using the accumulation buffer for depth of field code snippet- T. McReylonds (disponibile su: al 01/01/07) [O] New Anti-Aliasing and Depth of Field Techniques for Games R. Cant, N. Chia, D. al-dabass (disponibile su: al 01/01/07) [P] Depth of Field Implementation with OpenGl (disponibile su: al 01/01/07) [Q] The OpenGL Framebuffer Object Extension Simon Green NVIDIA Corporation (disponibile su: al 01/01/07) [R] ARB. EXT framebuffer object Specifications, (disponibile su: framebuffer object.txt al 01/01/07) [S] Advanced Depth of Field T. Scheuermann 3D Application Research Group ATI Research, Inc- (disponibile su: al 01/01/07)