Computer Graphics. Marco Tarini - Computer Graphics - Lez 1. Univ Insubria 2014/ Computer Graphics. Strumenti necessari

Transcript

1 Computer Graphics Strumenti necessari me: Marco Tarini Consulting hours : after each lecture, or, contact me course web page: Un po' di matematica Algebra lineare: calcolo matriciale (matrici 3x3 o 4x4) Un po' di algoritmica Es. saper valutare la complessità asintotica 1. google for: Marco Tarini 2. follow 1st link (that s me) 3. tab teaching (page bottom!) 4. Computer Graphics 14/15 Un po' di voglia 1 2 Computer Graphics A definition Università dell Insubria Intro and applications CG: Computer Graphics the field of study used to create images / animations with a computer. Facoltà di Scienze MFN di Varese Corso di Laurea in Informatica CGI: Computer Generated Imagery Anno Accademico 2014/15 Marco Tarini 3 4 Univ Insubria 2014/2015 1

2 Computer Graphics: 3D Scientific fields surrounding Computer Graphics In general terms: 1. Digital modelling of (generally) 3D entities 2. From those, to synthetic images Quite a large fields this is an introductory coruse Rapidly advancing field since some three dozens years! 5 FIELDS USED BY CG FIELDS BOUNDING CG FIELDS USING CG Algorithms and Data Structures (like anything in computer science?) Hardware architectures as CG uses a lot of dedicated hardware ( GPU ) Computational Geometry algorithms for tasks with an immediate geometric interpretation Computer Vision robotic vision, in a sense, the inverse problems of CG Image Processing the cousin on the 2D side Parallel Computing because they reuse the dedicated hardware designed for CG Interactive techniques (HCI human computing interaction) GUI: Graphics User Interfaces Scientific Visualization (and Data Visualization) uses CG at its core 6 CG: technologies Interfaces input: keyboard, mouse gloves, trackballs, gamepads, tracked devices (e.g. nintendo Wii) scanning device (e.g. xbox kinect) output: monitors, projectors multiple projector systems 3D video systems... input + ouput: haptic interfaces VR / oculus rift Cultural heritage musei virtuali supporto al restauro supporto all analisi monitoring Medicina supporto alla diagnosi telechirurgia simulazioni Architetturali Supporto al design Previews Videogiochi Cinematografia Visual effects Film di animazione Scientific Visualization Manufacturing industry e.g. Computer Aided Design Telecommunications Personalized Avatars E commerce Virtual Reality e augmented reality 7 Univ Insubria 2014/2015 2

3 Visualizzazione Scientifica Visualizzazione Scientifica aka: SciVis, visual data analysis... Visualizzazione di dati scientifici fenomeni meteorologicici, medici, biologici, chimici, fisici, astrofisici, etc etc Origine dei dati: l output di una simulazione acquisiti con qualche sistema di misura Tipicamente: grandi quantità di dati (TACC Scientific Visualization group) Onde gravitazionali durante una collisione di buchi neri (Max Planck Insitute for Gravitational Physics) Rhinovirus 3 protein (NASA) (Pittsburg Supercomputing center) 9 10 Visualizzazione Scientifica Visualizzazione Scientifica Visualizzazione Scientifica aka: SciVis, visual data analysis... (superficie di un vetro -- Nanorobotics Lab (Carnegie Mellon University ) Visualizzazione Scientifica aka: SciVis, visual data analysis... (NASA) (Pittsburg Supercomputing center) 11 (Pittsburg Supercomputing center) (NASA) 12 Univ Insubria 2014/2015 3

4 parentesi parentesi parentesi parentesi parentesi parentesi parentesi parentesi parentesi parentesi Scientific Visualization VS Data Visualization Scientific Visualization VS Data Visualization dati con un interpretazione 3D naturale spesso: + dimensione tempo Scopo: chiarezza/leggibilità Mezzi: realismo, oppure dati astratti (N dimensionali) Scopo: chiarezza/leggibilità Mezzi: i più vari Simulaz. relazione fra due fluidi di densità diverse parentesi parentesi parentesi parentesi parentesi 13 parentesi parentesi parentesi parentesi parentesi 14 Cultural heritage musei virtuali supporto al restauro supporto all analisi monitoring Medicina supporto alla diagnosi telechirurgia simulazioni Architetturali Supporto al design Previews Videogiochi Cinematografia Visual effects Film di animazione Scientific Visualization Manufacturing industry e.g. Computer Aided Design Telecommunications Personalized Avatars E commerce Virtual Reality e augmented reality 3D personalized avatars e.g. teleconferencing Univ Insubria 2014/2015 4

5 applicazioni medicali supporto alla diagnosi e.g. visualizz. CAT scans chirurgia virtuale tele-chirurgia Industria Manifatturiera CAD Rapid Prototyping Simulazioni di funzionamento Defect detection parentesi parentesi parentesi parentesi parentesi Entertainment: movie industry Effetti Visuali VS Effetti Speciali visual effects (non special fx) (in post-produzione) (sul set) (es: stuntmen, corde, esplosioni, ) Star Wars: The Phantom Manace - Lucasart 1999 Jurassic M a Park r c o - Universal T a r i n Studios i 1993 C o m p u t e r G r a p h i c s / 1 5 U n i v e r s i t à d e l l I n s u b r i a 19 parentesi parentesi parentesi parentesi parentesi 20 Univ Insubria 2014/2015 5

6 Entertainment: movie industry CG shorts Entertainment: movie industry CG shorts Feature movies Toy Story - Pixar 1995 Geri's Game - Pixar 1997 Luxo Jr - Pixar 1986 Geri's Game - Pixar parentesi parentesi parentesi parentesi parentesi Entertainment: movie industry Uncanny valley Feature movies fotorealistici Final Fantasy Squaresoft 2001 Final M Flight a r c Of o the T Osiris a r i n Squaresoft i C o 2003 m p u t e r G r a p h i c s / 1 5 U n i v e r s i t à d e l l I n s u b r i a Avatar ILM parentesi parentesi parentesi parentesi parentesi 24 Univ Insubria 2014/2015 6

7 Entertainment: giochi forza trainante del settore (crederci o no)... Entertainment: giochi forza trainante del settore (crederci o no)... Doom IDsoft 1993 Battlezone M a r c Atari o T 1980 a r i n i C o m p u t e r G r a p h i c s / 1 5 U n i v e r s i t à d e l l I n Tailgunner s u b r i a - Cinematronics Virtua Fighter - Sega Entertainment: giochi forza trainante del settore (crederci o no)... Entertainment: giochi Doom 3- ID soft 2004 World of Warcraft, Blizzard Entertainment World of Warcraft, vari M a r c o T a r i n i C o m p u t e r G r a p h i c s / Blizzard 1 5 Entertainment U n i v e r s 2004 i t à d e l l I n s u b r i a 28 Univ Insubria 2014/2015 7

8 Beni Culturali Beni Culturali Presentazione musei virtuali cataloghi di musei reali supporto alla didattica documentaristica... Supporto al restauro Modello 3D come GIS Simulazioni... Studio Analisi dei dati vedi SciVis Uso: fruizione (musei virtuali..) documentaristica didattica monitoraggio Mezzi: acquisizione della forma ( 3DScanning ) acquisizione del colore Tecniche di visualizzazione di grandi moli di dati (multiresolution, out of core rendering) Visual Computing Lab ISTI-CNR Pisa Beni Culturali: Fruizione Beni Culturali: Fruizione Beni Culturali musei virtuali supporto multimediale musei tradizionali Chioschi: supporti multimediali ai musei tradizionali PC + video, l utente esamina le opere, legge note informative esempi: il Davide di Michelangelo alla Galleria dell Accademia di Firenze esempi: Il monumento funebre di Arrigo VII all Arcivescovado Diffusione via rete L utente visita un museo (o una singola opera) dal PC di casa Univ Insubria 2014/2015 8

9 Beni Culturali presentazione in rete Beni Culturali: Restauro Il restauratore si faceva fare degli schizzi su carta dell opera da restaurare per fare una mappa degli interventi: col il modello virtuale può gestire tutto su PC Acquisizione dell opera prima e dopo il restauro e confronto geometrico delle differenze Beni Culturali: Studio Beni Culturali ES: Simulazione caduta contaminanti modello 3D come "GIS" 5 degrees 15 degrees Univ Insubria 2014/2015 9

10 Marco Tarini - Computer Graphics - Lez 1 Beni Culturali: Monitoraggio Beni Culturali: i mezzi Acquisizione della forma geometrica (3D scanning) es: monitorare nel tempo la variazioni sui materiali deformabili Strumento di acquisizione foresta di Dunarobba processing dei dati oggetto reale Marco Tarini Computer Graphics 2014/15 Università dell Insubria 37 Marco Tarini Computer Graphics Beni Culturali: i mezzi Beni Culturali: i mezzi Acquisizione della forma geometrica Acquisizione del colore (es: 3D scanning) Rappresentazione digitale 2014/15 Università dell Insubria 38 semplici fotografie approssimato, dipende dalla luce Tecniche di calcolo della BRDF Ci torniamo sopra con calma Visual Computing Lab Stanford Uni 2000 Marco Tarini Computer Graphics Univ Insubria 2014/ /15 Università dell Insubria 39 Marco Tarini Computer Graphics 2014/15 Università dell Insubria 40 10

11 Cultural heritage musei virtuali supporto al restauro supporto all analisi monitoring Medicina supporto alla diagnosi telechirurgia simulazioni Architetturali Supporto al design Previews Videogiochi Cinematografia Visual effects Film di animazione Scientific Visualization Manufacturing industry e.g. Computer Aided Design Telecommunications Personalized Avatars E commerce Virtual Reality e augmented reality Architettura: supporto al design ArchiCAD (Graphsoft) 42 Architettura: preview: comunicazione assessment Summary Grafica Computazionale (Computer Graphics - CG ): molteplici applicazioni medicali industriali beni culturali militari telecomunicazioni commerciali ricerca scientifica (scivis) intrattenimento: games intrattenimento: movies e altro (realta' virtuale...) Brazil SputterFish Univ Insubria 2014/

12 Computer Graphics interattiva: schema ricorrente esempio: acquisizione 3D per beni culturali informazione modellazione Statua reale Range scanning (scansione laser) rappresentazione adeguata (per...) rendering /visualizzazione Mesh poligonale 3D rendering preprocessing modelling Immagine/i Semplificazione, flitering Immagine/i applicazione interattiva 45 chiosco museale 46 esempio: games esempio: sci-vis analisi di un terremoto Artista (conent creator) modellazione manuale (e.g. 3Dstudio max, Maya, Blender ) Modello matematico del terremoto Simulazione fisica Mesh low-poly + textures rendering /visualizzazione Campo di altezza (time-varying) rendering /visualizzazione semplificazione, u-v mapping, rigging Immagine/i videogame 47 processing vari (es color-coding) Immagine/i applicaz interattiva 48 Univ Insubria 2014/

13 Rendering Rendering Parola utilizzata in molti contesti Esempio: nei web browser Modello rendering Immagine rendering descritto da un insieme di primitive... testo in HTML (+ immagini, ccs, etc) modello della pagina WEB la pagina come un immagine Rendering Rendering Rendering 3D Rendering 3D Scena 3D rendering Immagine Scena 3D rendering Immagine... modello 3D punti 3D primitive Univ Insubria 2014/

14 Algoritmi di Rendering Due tipi: On-Line Rendering Interattivo: circa 1 10 frames per sec ("fps") Real-Time: circa fps Off-line Rendering Tipicamente: da minuti ad ore per fotogramma Real Time VS Offline rendering Distanza si accorcia 1993 Molto differenti: nelle applicazioni nei vincoli nella qualità visiva raggiunta (e.g. fotorealismo) negli algoritmi e SD usate insomma: approcci diversi, mondi diversi. Virtua Fighter - Sega 1993 real time Jurassic Park - Universal Studios 1993 offline 53 Jurassic M a Park r c o - Universal T a r i n Studios i 1993 C o m p u t e r G r a p h i c s / 1 5 U n i v e r s i t à d e l l I n s u b r i a 54 Real Time VS Offline rendering Real Time VS Offline rendering Distanza si accorcia 2001 Distanza si accorcia 2007 nvidia tech demo at SIGGRAPH 2001 nvidia quadro Final Fintasy Squaresoft 2001 GPUGems III, d'eon & Luebke (NVidia), 2007 Spiederman 3 Squaresoft 2007 real time offline real time offline Jurassic M a Park r c o - Universal T a r i n Studios i 1993 C o m p u t e r G r a p h i c s / 1 5 U n i v e r s i t à d e l l I n s u b r i a 55 Jurassic M a Park r c o - Universal T a r i n Studios i 1993 C o m p u t e r G r a p h i c s / 1 5 U n i v e r s i t à d e l l I n s u b r i a 56 Univ Insubria 2014/

15 Rendering Immagine: su che display hardware? Rendering 3D Scena 3D rendering Immagine Su un monitor, naturalmente! Il tubo catodico: un fascio di elettroni viene diretto su una superficie coperta di materiale fosforescente Display vettoriali: il fascio veniva pilotato direttamente in maniera totalmente libera Display CRT: raster linea per linea, si spazza tutto lo schermo un certo numero di volte al secondo (refresh rate) Immagine: su che display hardware? Frame buffer Display vettoriali Una porzione di memoria dedicata alla memorizzazione dell immagine come array 2D di pixel da mostrare a video (Asteroids Atari ) Display CRT Caratteristiche: Risoluzione (numero di pixel) Range tipici 320x x1200 Profondità (bit per pixel) Range tipici (128) Divisi in tipicamente 4 (o 3) canali ( R, G, B e Alpha) 1984 (Bomb jack Tehkan) Univ Insubria 2014/

16 Rendering Ci occuperemo principalmente di: Real Time 3D Rendering Real Time 3D Rendering Problema challanging! per esempio: pixel = 32 bit = 4 bytes ("pixel depth") screen buffer = 1024 x 768 pixels ("screen resolution") Scena 3D rendering Immagine frame rate = 60 Hrz ("fps") total = 4 x 1024 x 768 x 60 byte al sec ("fill-rate", in bytes) dal resto dell' applicazione N volte al sec ( es N=60 ) screen buffer ( array 2D di pixel ) 188 MegaBytes / sec (in questo esempio) 61 (e mancano altri fattori moltiplicativi, come depth complexity, multipassate vedremo) 62 Real Time 3D Rendering Fill-rates molto elevati Anticipazione:...e il fill-rate non è sempre il collo di bottiglia Anticipazione 2:...e questa è una sottostima del fill-rate. manca il fattore depth-complexity ~ x2.5 (come vedremo...) sono piu' di 32 bit x pixel ~ Real Time 3D Rendering Problema difficile fortunatamente, processo massicciamente parallelizzabile "embarrassingly parallel" Ingrediente base della soluzione: hardware specializzato C'è bisogno di muscoli potenza di calcolo Univ Insubria 2014/

17 dunque, questo corso......è un corso (introduttivo) di: Real-Time Hardware-Based 3D Rendering 65 Non ci occuperemo di altri aspetti della CG: (sono solo 6 CFU ) Altri paradigmi di rendering es. offline rendering, radiosity, global illumination, raytracing Data representation es. volumetric data, polygonal meshes, NURBS, splines, subdivision surfaces, LODs, multiresolution structures 3D acquisition (catturare modelli 3D dalla realtà) es. shape from shading (silhouettes), range scanning, BRDF acquisition Modellazione di superfici es. surface simplification, filtering, denoising, parametrization Image-based rendering + modelling es. light fields, mixed representations, Applicazioni specifiche della CG es. scientific or data visualization, beni culturali, games Animation techniques es. keyframing, cinematica diretta /inversa, skeletal animations, rigging GP-GPU, o CUDA, o OpenCL 66 Text books Text books Fondamenti di Grafica tridimensionale interattiva Scateni, Cignoni, Montani, Scopigno McGraw Hill Companies Real-Time Rendering (2nd Edition) Tomas Moller & Eric Haines una manuale che comprende molto di quello che facciamo nel corso, e molto altro Vector Math for 3D Computer Graphics un compendio molto semplice ed introduttivo di alcune nozioni base disponibile in rete, con tutorials Altre risorse: wikipedia, tutorials OpenGL online Univ Insubria 2014/