Computer Graphics. es: 3D Scanning. Riassunto puntata precedente 1/3. Computer Graphics ( CG ): Lezione 2: hardware ergo triangoli

Transcript

1 Computer Graphics Leione 2: hardware ergo Università dell Insubria Facoltà di Sciene MFN di Varese Corso di Laurea in Informatica Anno Accademico 2008/09 Marco Tarini Riassunto puntata precedente 1/3 Computer Graphics ( CG ): molteplici applicaioni medicali industriali beni culturali militari telecomunicaioni commerciali ricerca scientifica (scivis) intrattenimento: games intrattenimento: movies e altro (realta' virtuale...) campo in forte progresso M a r c o T a r i n i C o m p u t e r G r a p h i c s / 0 9 U n i v e r s i t à d e l l I n s u b r i a CG: gli strumenti tecnologici Riassunto puntata precedente 2/3 Interfacce di solo input: tastiera, mouse, gloves di solo output: monitor(s), proiettori, occhiali 3d... di input/ouput: haptic interfaces caschetto VR mondo reale / modello matematico / artista 3D... preprocessing (modelling) acquisiione 3D / simulaione / modellaione (e.g. 3Dstudio ma, Maa) rappresentaione interna rendering Immagine/i applicaione interattiva CG: la catena produttiva! Riassunto puntata precedente 3/3 Informaione mondo reale (es: 3D scans) creaione (es: videogames) Calcolo (es: Sci-Vis) es: 3D Scanning Modellaione Trovare la rappresentaione più adeguata per... Visualiaione Trasformare la rappresentaione in immagine(i) sullo schermo Rendering 3D Scena 3D rendering Immagine riempire il frame buffer M a r c o T a r i n i C o m p u t e r G r a p h i c s / 0 9 U n i v e r s i t à d e l l I n s u b r i a 1

2 Immagine: su che displa hardware? Frame buffer Su un monitor, naturalmente! Il tubo catodico: un fascio di elettroni viene diretto su una superficie coperta di materiale fosforescente Displa vettoriali: il fascio veniva pilotato direttamente in maniera totalmente libera Displa CRT moderni: raster linea per linea, si spaa tutto lo schermo un certo numero di volte al secondo (refresh rate) Asteroids Atari 1980 Bomb jack - Tehkan 1984 Una porione di memoria dedicata alla memoriaione dell immagine come arra 2D di piel da mostrare a video. Caratteristiche: Risoluione (numero di piel) Range tipici Profondità (bit per piel) Range tipici (128) Divisi in tipicamente 4 (o 3) canali ( R, G, B e Alpha) M a r c o T a r i n i C o m p u t e r G r a p h i c s / 0 9 U n i v e r s i t à d e l l I n s u b r i a M a r c o T a r i n i C o m p u t e r G r a p h i c s / 0 9 U n i v e r s i t à d e l l I n s u b r i a Rendering Ci occuperemo principalmente di: Real Time 3D Rendering resto dell' applicaione Scena 3D rendering Immagine N volte al sec ( e.g. N=60 ) screen buffer ( arra 2D di piel ) Real Time 3D Rendering Problema challanging! per esempio: piel = 32 bit = 4 btes ("piel depth") screen buffer = piels ("screen resolution") frame rate = 60 Hr ("fps") total = bte al sec ("fill-rate", in btes) 188 MegaBtes / sec (in questo esempio) (e mancano altri fattori moltiplicativi, come depth compleit, multipassate vedremo) Real Time 3D Rendering Fill-rates molto elevati Anticipaione:...e il fill-rate non è sempre il collo di bottiglia Anticipaione 2:...e quella e' una sottostima del fill-rate. manca il fattore depth-compleit ~ 2.5 (come vedremo...) sono piu' di 32 bit piel ~ Real Time 3D Rendering Problema difficile fortunatamente, processo massicciamente paralleliabile "embarrassingl parallel" Ingrediente base della soluione: hardware specialiato C'è bisogno di muscoli potena di calcolo 2

3 Inciso: dunque, in questo corso......ci occuperemo principalmente di: Real-Time Hardware-Based 3D Rendering Hardware specialiato per il rendering Visione di insieme: "GPU GPU": Graphics processing Unit La CPU della scheda video Instruction set specialiato! Architettura pipelined a "catena di montaggio" Modello di computaione SIMD sfrutta l'alto grado di parallelismo insito nella pipeline Ha la sua memoria RAM (anche se e' meno Random Access del solito) "RAM CPU" vs "RAM GPU" grandi copie di memoria da una all'altra dispendiose Hardware specialiato per il rendering Visione di insieme: principali produttori: PC: NVidia e ATI (e Intel, AMD - schede integrate) supercomp: SUN potena di calcolo ordine di centinaia di Gflops! bus dedicato AGP - Accelerated Graphic Port (dal 1997 a ~2007) fino a ~866 MB/s PCI-epress (dal 2004 a oggi) 1.0: fino a ~16250 MB/s da Gen : ~32512 MB/s Hardware dedicato alla grafica : storia ~20 anni: dalla metà degli '80 (e.g.: SGI Iris ) dalla metà dei '90, il fiaccola passa dai mainframes ai PC progressi enormi nella efficiena piu' che "Moore s Law": ~2.4 / ear invece di ~1.6 / ear nella funionalità aumentano i task che è possibile demandare all'hw spec. filosofia di fondo rimasta la stessa paradigma di rendering: basato principalmente su rasteriaione di Hardware dedicato alla grafica : storia aumento potena: primitive al sec Hardware dedicato alla grafica : storia aumento potena: GFLOPS 10 9 One-piel polgons (~10M 30H) Peak Perf ( 's/sec) 10 6 HP VRX Flat 10 5 shading UNC Ppl4 SGI GT HP CRX SGI Iris 10 4 UNC Ppl5 SGI SkWriter SGI VGX HP TVRX Stellar GS1000 Gouraud shading SGI RE1 E&S F Year SGI RE2 Antialiasing UNC/HP PielFlow Division Ppl6 Megatek Tetures E&S Freedom Division VPX SGI R-Monster SGI IR E&S Nvidia TNT 3DLabs Harmon SGI Glint Cobalt Accel/VSIS Voodoo PC Graphics GeForce 3 & Radeon (ecco il perchè del General Purpose Computation on GPU) 3

4 Hardware dedicato alla grafica : storia aumento potena Virtua Fighter (SEGA) 50K triangles/sec Dead or Alive 3 (Tecmo Corp., Xbo) 100M triangles/sec Dawn (NVIDIA) 200M triangles/sec Hardware dedicato alla grafica : storia aumento capabilities HW supported transform and lighting HW supported polgon fill HW supported color interpolation (Goroud) HW supported teture mapping HW supported per-piel shading (Phong) HW supported alpha blending HW supported fog computation HW supported Z-buffers HW supported bump-mapping HW supported environment mapping ( Cube-maps ) HW supported stencil buffers (per piel masks) HW supported color transform matrices HW supported paletted tetures HW supported multiple teture accesses HW supported teture filtering (MIP-maps) HW supported Level-of-Detail computation HW supported dependent teturing Programmable HW Hardware dedicato alla grafica : storia Progresso congiunto HW e Un po' come ruota e strada Livelli? Che livelli? tecniche algoritmiche tecnologia ruota continua contaminaione fra livelli diversi! tecnologia strada sviluppi hardware Livelli Livelli Displa vettoriali: il fascio veniva pilotato direttamente in maniera libera Il tubo catodico (CRT): un fascio di elettroni diretto su una superficie coperta di fosfori Displa raster LCD (Liquid Crstal Displa)..liquido + polariaione luce passivi e Thin Film Transistors Plasma displa per piel: eno ioniato via elettrodi reagisce con fosforo e produce luce Displa raster CRT : linea per linea, si spaa tutto lo schermo N volte al secondo (N = refresh rate) Bomb jack - Tehkan 1984 Proiettori LCD o DLP. DLP (Digital Light Processing) Specchietti controllati per riflettere la luce (DMD,Digital Micromirror Device) single chip, three chip 4

5 Livelli Livelli: Driver Hardware specialiato per CG Driver: insieme di routine che controlla a basso livello le periferiche hardware. Creati per le varie piattaforme dagli stessi produttori Livelli: Livelli: Application Program Interface Il regno dello sviluppatore! Insieme di routine (sotto forma di libreria) per implementare funionalità ad alto livello che vengono utiliate dallo sviluppatore esempio: OpenGL glbegin(gl_lines); glverte2f(0.0,0.0); glverte2f(1.0,1.0); glend(); L esempio precendente è un algoritmo (*) che, usando le funioni glbegin,glend e glverte2f della OpenGl, disegna un segmento tra (0,0) e (1,1) (*) molto banale Livelli: Livelli: Quando un algoritmo che implementa una nuova funionalità ha successo può venire incluso a livello dell. Chi lo decide? Chi la scrive! Per DirectX decide Microsoft Per OpenGl decide l Opengl ARB Architectural Review Board ARB... Software Development Kit tutto quel che serve per sviluppare un applicaione ambiente di sviluppo (es:.net, devcpp) librerie strumenti per la condivisione/sincroniaione del codice manualistica, guide online esempi, benchmarks... 5

6 Livelli: applicaioni Tutte quelle viste nella presentaione sono applicaioni Hardware specialiato per il rendering Vantaggio: efficiena instruction set specialiato (computaioni più comuni hard-wired) parallelismo ben sfruttato: rendering/resto-dell-applicaione:» rendering nella scheda grafica» resto dell'applicaione libera di utiliare la CPU e RAM base sotto forma di parallelismo di pipeline sotto forma di parallelismo in ogni fase del pipeline Svantaggio: rigidità vincola l'approccio usato per fare rendering paradigmi di rendering? Paradigmi di rendering Paradigmi di rendering Ra-Tracing Rasteriation based Image based (per es. light filed) Radiosit Point-splatting Photon mapping... Ra-Tracing Rasteriation based Image based (per es. light filed) Radiosit Point-splatting Photon mapping... Paradigmi di rendering detto anche: Transform & Lighting Rendering Paradigm: (Triangle-) ) Rasteriation Based Ra-Tracing detto anche: Rasteriation based Transform and Lighting Image based (per es. ( light T & filed) L ) Radiosit I. Che si usino solo Point-splatting le seguenti primitive di rendering : Photon mapping, segmenti, punti... Punti 3D Segmenti 3D Triangoli 3D Transform & Lighting scheda grafica screen buffer video 6

7 Transform & Lighting... Transform : trasformaioni di sistemi di coordinate scopo: portare la scena davanti all'obiettivo della nostra macchina fotografica (virtaule) piaare i visibili sullo schermo Lighting : illuminaione (in senso generale) scopo: calcolare il colore finale di ogni parte della scena risultante da le sue caratteristiche ottiche l'ambiente di illuminaione Rasteriation-based HW-supported rendering anche riferito come Transform and Lighting (T&L) paradigm Scena 3D composta da primitive di pochissimi tipi: punti primitive linee di MA SOPRATUTTO rendering rendering screen buffer Rasteriation-based HW-supported rendering punto primo: tutto sia composto da (3D) o al limite da punti, o segmenti... Rasteriation-Based Rendering più specificatamente... =( 0, 0, 0 ) transform fragment process piels =( 1, 1, 1 ) =( 2, 2, 2 ) vertici 3D triangolo 2D a schermo (2D screen triangle) "" (fragments) il lighting invece avviene insieme alla fase "transform" e/o alla fase "fragment process"... Rasteriation-Based Rendering più specificatamente... vertici 3D transform triangolo 2D a schermo (2D screen triangle) carico di lavoro (sottosistema geometrico) "" (fragments) fragment piels process carico di lavoro (~per piel) (sottosistema raster)... Rasteriation-Based Rendering Chi e' il collo di bottiglia? il sistema geometrico? (l'applicaione è transofrm-limited sinonimo: geometr-limited) il sistema raster? (applicaione è fill-limited) il bus? (applicaione è bus-limited sin: bandwidth-limited) la CPU? (applicaione è CPU-limited) come si può predirre (in teoria)? come si può verificare in pratica? perchè e importante scoprirlo? 7

8 Z computaioni Z computaioni Z computaioni Z computaioni Note sulla GPU odierne Stima delle prestaioni: i produttori scrivono tanti numeri, tra i quali: Trasformaioni per secondo (sottosistema geometrico) Fill-rate ( al secondo) Dimensioni Memoria Video I primi due sono da prendersi con le molle Sono prestaioni picco, (nella pratica valgono solo su apposito esempio) ma danno un'idea Eserciio State effettuando il rendering di un modello composto da un milione di su un displa con risoluione piel. Il rendering finale occupa l'80% del displa. La scheda che state utiliando ha una performance di 20 milioni di al secondo ed un fill-rate di 20 Mpiel al secondo. Qual'è il numero massimo di fotogrammi al secondo (fps) che potete ottenere? Il sistema è fill-limited o geometr-limited? Soluione: = ,8 numero di piels da accendere per un rendering 20*2^20= numero di piels che la scheda può rasteriare al sec Il sottosistema raster può produrre: / ,8 = 25 fotogrammi al secondo Il sottositema geometrico può produrre 20 * 10^6 / 10^6 = 20 fotogrammi al secondo Quindi la risposta è 20, e il sistema è transform-limited. Rasteriation-Based HW-Supported Rendering: Rasteriation-Based HW-Supported Rendering (candidati piels) computaioni piel (candidati piels) computaioni piel Verte "shader" Fragment "shader" componenti fisiche dell'hw! Pipeline Parallelismo Efficiena inoltre, molte componenti sono replicate (negli stages collo di bottiglia) Cenni storici: nei PC... dedicated HW (con GPU) Cenni storici: nei PC... dedicated HW (con GPU) (candidati piels) computaioni piel (candidati piels) computaioni piel general purpose HW (con CPU) general purpose HW (con CPU) 8

9 Z computaioni Z computaioni Z computaioni Z computaioni Cenni storici: nei PC... dedicated HW (con GPU) Rasteriation-Based HW-Supported Rendering: (candidati piels) computaioni piel 3 3 (candidati piels) computaioni piel 1999 general purpose HW (con CPU) Rasteriation-Based HW-Supported Rendering: segmenti Rasteriation-Based HW-Supported Rendering: punti 2 2 segmenti (candidati piels) computaioni piel Vertice (punto in R 3 ) Vertice proiettato (punto in R 2 ) punti segmenti (candidati piels) computaioni piel esempio di point "splat" (point splatting) Rasteriation-based HW-supported rendering tutto sia composto da (3D) o al limite da punti, o segmenti ma... quasi nulla...non tutto nasce composto di un quadrilatero? due "quad" "diagonal split" 9

10 un poligono a n lati? triangolariaione di poligono: (in 3D, non un problema del tutto banale...) (n-2) la superficie di un solido geometrico, per es. una sfera? la superficie di un solido geometrico, per es. una cono? un campo d'altea? (arra 2D di altee, e.g. per modellare un terreno?) Esempio di campo di altea triangolato "height field" un esempio tipico: campo d'altea per modellare un terreno... una superficie curva parametrica? per es. NURBS *, b-splines *... questo è facile. Il contrario, che qualche volta è utile, MOLTO meno * verdemo M a r c o più T a avanti r i n i nel C corso, o m p u se t e c'è r G tempo r a p h i c s / 0 9 U n i v e r s i t à d e l l I n s u b r i a

11 da nuvola di punti a : esempio nuvola di punti? (point cloud) problema molto studiato, e (nel caso generale) difficile Da dataset volumetrico a : esempio che definiscono una iso-superficie volume? algoritmi di segmentation (e.g. "marching cubes" * ) * verdemo M a r c o più T a avanti r i n i nel C corso, o m p u se t e c'è r G tempo r a p h i c s / 0 9 U n i v e r s i t à d e l l I n s u b r i a - 5 Tornando allo schema generale... che definiscono la superficie esplicitamente mondo reale / modello matematico / artista 3D... acquisiione 3D / simulaione / modellaione Geometria (e.g. 3Dstudio ma, Maa) rendering superfici implicite? nb: non c'e' un modo solo per farlo. Modo + semplice (non ottimo): campionare volume e estrarre isosuperfice a valore 0 preprocessing (modelling) Immagine/i applicaione interattiva 11

12 Tipica fase di preporsessing preprocessing (modelling) Geometria Tutto il resto che abbiamo visto nei lucidi precedenti (trasformaione in ) tipicamente qui rendering Immagine/i diagonal split (da quad a 2 tri) può venire fatto anche qui, al volo Riassuntino Quads Campi d'altea Forme geo. di base Superfici parametriche n-agoni Dati Volumetrici Superfici implicite Nuvole di punti "al volo" Triangoli r e n d e r i n g Modellare direttamente con Modellare direttamente con rappresentare gli oggetti con o al limite da punti, o linee una teiera? un coniglio di porcellana? rappresentare gli oggetti con o anche quads (o al limite da punti, o linee) molti strumenti interattivi Maa (Autodesk) (*), 3Dstudio (Ma), Solidthinking (*), Rhinoceros (*), (attraverso superfici parametriche) Wings3D, Z-brush (Piologic) (*), MeshLab, (VCG-group, Pisa)... (*) = commerciali "lowpol modelling": l'arte di modellare l'oggetto con POCHI TRIANGOLI (per evitare di rendere l'applicaione transform limited) (tipico skill dell'artista dei giochi elettronici),, Modellare direttamente con Modellare direttamente con rappresentare gli oggetti con o anche quads (o al limite da punti, o linee) molti strumenti interattivi Maa (Autodesk), 3Dstudio (Ma), Solidthinking, Rhinoceros, Wings3D "lowpol modellling": l'arte di modellare l'oggetto con POCHI TRIANGOLI (per evitare di rendere l'applicaione transform limited) (tipico skill dell'artista dei giochi elettronici) M a r c o T a r i n i C o m p u t e r G r a p h i c s / 0 9 U n i v e r s i t b à Phillip d e l l Heckinger I n s u b r (3D i a -modeller)

13 Un limite generale di questo approccio Non sempre e' semplice modellare le entità da rappresentare con... esempi: nuvole fuoco pelliccia Primitive di rendering Triangoli ok, abbiamo capito Quads in un certo senso, perchè diventano al volo Segmenti Tutto l'hardware è progettato e ottimiato principalmente per questo caso Punti b Niniane Wang b N. Adabala uni florida b M. Turitin and J. Jacobs (non real time) (non real time) Stanford Uni (real time!) o T a r i n i C o r a p h i c s / 0 9 s i t à d e l l I n s u b r i a - 5 M a r c m p u t e r G U n i v e r Primitive di rendering Primitive di rendering Triangoli ok, abbiamo capito Quads in un certo senso, perchè diventano al volo Segmenti utili ad esempio per particle sstems Triangoli ok, abbiamo capito Quads in un certo senso, perchè diventano al volo Segmenti utile ad esempio per fare rendering di capelli peli etc (ma non è l'unico sistema e non è detto che sia il migliore) Punti Punti nvidia tech demo at SIGGRAPH 2001 nvidia quadro 13