Computer Graphics. Strumenti che servono. Computer Graphics. docente: Marco Tarini. ricevimento: pagina del corso: Strumenti che servono

Transcript

1 Computer Graphics docente: Marco Tarini ricevimento: dopo ogni lezione, o su appuntamento pagina del corso: 1. google for: Marco Tarini 2. il primo link sono io 3. tab teaching (in basso!) 4. Computer Graphics 10/11 Strumenti che servono Programmazione Linguaggi C o C++ (OpenGL, DirectX) IDE: uno qualunque, es: DevC++ by Bloodshed Software Windows, C/C++, leggero, piccolo, gratuito, giocattolo, discontinued QT Creator by Nokia cross-platform, C++, specializzato per QT gui, molto completo Eclipse (adattato a C o C++) cross-platform, plugins per C++, pesantuccio, completo, molto completo Microsoft dev studio / Visual Studio 2008 / etc Windows, pesantuccio, molto completo, licenza gratuita per studenti Code-blocks? Cross platform, C++, open source, gratuito Strumenti che servono Un po' di matematica Algebra lineare: calcolo matriciale (matrici 3x3 o 4x4) Un po' di algoritmica Es. saper valutare la complessità asintotica Un po' di voglia Computer Graphics Lezione I: intro e applicazioni Università dell Insubria Facoltà di Scienze MFN di Varese Corso di Laurea in Informatica Anno Accademico 2010/11 Marco Tarini Una definizione Computer Graphics (CG) it: grafica computazionale la disciplina che studia come modellare e visualizzare informazioni su un dispositivo di output video Computer Graphics: 3D In termini generali: 1. Modellazione di entità (tipicamente) tridimensionali 2. Sintesi di immagini a partire da queste Campo molto vasto questo è solo un corso introduttivo copriremo solo una piccola parte Campo in rapido progresso da una trentina d'anni! ha subito alcune importanti rivoluzioni di paradigma questo corso dà un'infarinata dello stato attuale 1

2 Computer Graphics: vicini di casa CG: gli strumenti tecnologici UTILIZZATE DALLA CG LIMITROFE ALLA CG UTILIZZANO LA CG Algoritmi e strutture dati (chiaramente) Architetture HW perché CG ruota intorno all HW specializzato Geometria Computazionale ( computational geometry ) algoritmi per problemi interpretabili geometricamente Computer Vision in un certo senso, il problema inverso della CG Image Processing sta sulla sponda 2D Video Processing come sopra + time Interfacce uomo macchina (HCI) GUI 3D: Graphics User Interfaces Scientific Visualization (and Data Visualization) che usano la CG come strumento per visualizzare dati Interfacce di input: tastiera, mouse gloves, trackballs, gamepads, tracked devices (es vedi nintendo Wii) di output: monitor, proiettore sistemi di proiettori multipli 3D video sistems... di input + ouput: haptic interfaces caschetto VR Videogiochi Cinematografia Visual effects Film di animazione Scientific Visualization Manufacturing industry e.g. Computer Aided Design Telecommunications Personalized Avatars E commerce Virtual Reality e augmented reality Cultural heritage musei virtuali supporto al restauro supporto all analisi monitoring Medicina supporto alla diagnosi telechirurgia simulazioni Architetturali Supporto al design Previews Visualizzazione Scientifica aka: SciVis, visual data analysis... Visualizzazione di dati scientifici I dati sono l output di una simulazione....o acquisiti con qualche sistema di misura (TACC Scientific Visualization group) (NASA) (Pittsburg Supercomputing center) Visualizzazione Scientifica aka: SciVis, visual data analysis... Visualizzazione Scientifica aka: SciVis, visual data analysis... (TACC Scientific Visualization group) (Pittsburg Supercomputing center) (NASA) (NASA) (Pittsburg Supercomputing center) 2

3 E-commerce 3D personalized avatars e.g. teleconferencing... applicazioni medicali supporto alla diagnosi e.g. visualizz. CAT scans chirurgia virtuale tele-chirurgia Industria Manifatturiera CAD Rapid Prototyping Simulazioni di funzionamento Defect detection Entertainment: giochi forza trainante del settore (crederci o no)... Battlezone M a r c Atari o T 1980 a r i n i C o m p u t e r G r a p h i c s / 1 1 U n i v e r s i t à d e l l I n Tailgunner s u b r i a - Cinematronics 1979 Entertainment: giochi forza trainante del settore (crederci o no)... Entertainment: giochi forza trainante del settore (crederci o no)... Doom 3- ID soft 2004 Doom IDsoft 1993 M a r c o T a r i n i C o m p u t e r Virtua G r Fighter a p h i -c Sega s 1993 World of Warcraft, / Blizzard 1 1 Entertainment U n i v e r s 2004 i t à d e l l I n s u b r i a 3

4 Entertainment: giochi Entertainment: movie industry CG shorts Geri's Game - Pixar 1997 Luxo Jr - Pixar 1986 vari World of Warcraft, / Blizzard 1 1 Entertainment U n i v e r s 2004 i t à d e l l I n s u b r i a Entertainment: movie industry CG shorts Feature movies Toy Story - Pixar 1995 Entertainment: movie industry visual effects (non special fx) Geri's Game - Pixar 1997 Jurassic M a Park r c o - Universal T a r i n Studios i 1993 C o m p u t e r G r a p h i c s Star Wars: The Phantom Manace - Lucasart 1999 parentesi parentesi parentesi parentesi parentesi Effetti visuali & Effetti Speciali Entertainment: movie industry Feature movies fotorealistici Final Fantasy Squaresoft 2001 (in post-produzione) (sul set) (es: stuntmen, corde, esplosioni, ) parentesi parentesi parentesi parentesi parentesi Final M Flight a r c Of o the T Osiris a r i n Squaresoft i C o 2003 m p u t e r G r a p h i c s Avatar ILM

5 parentesi parentesi parentesi parentesi parentesi Uncanny valley parentesi parentesi parentesi parentesi parentesi Beni Culturali Presentazione musei virtuali cataloghi di musei reali supporto alla didattica documentaristica... Supporto al restauro Modello 3D come GIS Simulazioni... Studio Analisi dei dati vedi SciVis Beni Culturali Beni Culturali: Fruizione Visual Computing Lab ISTI-CNR Pisa Uso: fruizione (musei virtuali..) documentaristica didattica monitoraggio Mezzi: acquisizione della forma ( 3DScanning ) acquisizione del colore Tecniche di visualizzazione di grandi moli di dati (multiresolution, out of core ) Chioschi: supporti multimediali ai musei tradizionali PC + video, l utente esamina le opere, legge note informative esempi: il Davide di Michelangelo alla Galleria dell Accademia di Firenze esempi: Il monumento funebre di Arrigo VII all Arcivescovado Diffusione via rete L utente visita un museo (o una singola opera) dal PC di casa Beni Culturali: Fruizione Beni Culturali musei virtuali supporto multimediale musei tradizionali Beni Culturali presentazione in rete 5

6 Beni Culturali: Restauro Beni Culturali modello 3D come "GIS" Il restauratore si faceva fare degli schizzi su carta dell opera da restaurare per fare una mappa degli interventi: col il modello virtuale può gestire tutto su PC Acquisizione dell opera prima e dopo il restauro e confronto geometrico delle differenze Beni Culturali: Studio Beni Culturali: Monitoraggio 5 degrees 15 degrees foresta di Dunarobba es: monitorare nel tempo la variazioni sui materiali deformabili ES: Simulazione caduta contaminanti Beni Culturali: i mezzi Beni Culturali: i mezzi Acquisizione della forma geometrica (3D scanning) Acquisizione della forma geometrica (3D scanning) Strumento di acquisizione processing dei dati oggetto reale Rappresentazione digitale Visual Computing Lab Stanford Uni

7 Beni Culturali: i mezzi Acquisizione del colore semplici fotografie approssimato, dipende dalla luce Tecniche di calcolo della BRDF Scientific Visualization Manufacturing industry Computer Aided Design Simulations Telecommunications Personalized Avatars E Commerce Entertainment industry Games Cinematography Cultural heritage related virtual museums restoration support monitoring Medicine Diagnosis support Tele surgery Simulations Virtual Reality Ci torniamo sopra con calma Architettura: supporto al design Architettura: preview: comunicazione assessment ArchiCAD (Graphsoft) M a r c o T a r i n i C o m p u t e r G Strata Area3D r a p Renderer h (with i c s VRay) (Strata) / 1 1 Brazil U n SputterFish i v e r s i t à d e l l I n s u b r i a Summary Computer Graphics interattiva: schema ricorrente Computer Graphics ( CG ): molteplici applicazioni medicali industriali beni culturali militari telecomunicazioni commerciali ricerca scientifica (scivis) intrattenimento: games intrattenimento: movies e altro (realta' virtuale...) informazione preprocessing modelling modellazione rappresentazione adeguata (per...) /visualizzazione Immagine/i applicazione interattiva 7

8 esempio: acquisizione 3D per beni culturali esempio: games Statua reale Range scanning (scansione laser) Artista conent creator modellazione manuale (e.g. 3Dstudio max, Maya, Blender ) Mesh poligonale 3D Mesh low-poly + textures /visualizzazione Semplificazione, flitering Immagine/i chiosco museale semplificazione, u-v mapping, rigging Immagine/i videogame esempio: sci-vis analisi di un terremoto Rendering Modello matematico del terremoto Simulazione fisica Parola utilizzata in molti contesti Campo di altezza (time-varying) /visualizzazione Modello Immagine processing vari (es color-coding) Immagine/i descritto da un insieme di primitive applicaz interattiva Rendering Rendering Esempio: nei web browser Rendering 3D Scena 3D Immagine... testo in HTML (+ immagini, ccs, etc) modello della pagina WEB la pagina come un immagine 8

9 Rendering Algoritmi di Rendering Rendering 3D Due tipi: On-Line Rendering Interattivo: circa 1 10 frames per sec ("fps") Real-Time: circa fps Off-line Rendering Tipicamente: da minuti ad ore per fotogramma... Scena 3D modello 3D punti 3D primitive... Immagine Molto differenti: nelle applicazioni nei vincoli nella qualità visiva raggiunta (e.g. fotorealismo) negli algoritmi e SD usate insomma: approcci diversi, mondi diversi. Real Time VS Offline Real Time VS Offline Distanza si accorcia 1993 Distanza si accorcia 2001 Jurassic Park - Universal Studios 1993 nvidia tech demo at SIGGRAPH 2001 nvidia quadro Final Fintasy Squaresoft 2001 Virtua Fighter - Sega 1993 real time offline real time offline Jurassic M a Park r c o - Universal T a r i n Studios i 1993 C o m p u t e r G r a p h i c s Jurassic M a Park r c o - Universal T a r i n Studios i 1993 C o m p u t e r G r a p h i c s Real Time VS Offline Distanza si accorcia 2007 Rendering Rendering 3D Scena 3D Immagine GPUGems III, d'eon & Luebke (NVidia), 2007 Spiederman 3 Squaresoft 2007 real time offline Jurassic M a Park r c o - Universal T a r i n Studios i 1993 C o m p u t e r G r a p h i c s 9

10 Immagine: su che display hardware? Frame buffer Su un monitor, naturalmente! Il tubo catodico: un fascio di elettroni viene diretto su una superficie coperta di materiale fosforescente Display vettoriali: il fascio veniva pilotato direttamente in maniera totalmente libera Display CRT: raster linea per linea, si spazza tutto lo schermo un certo numero di volte al secondo (refresh rate) Asteroids Atari 1980 Bomb jack - Tehkan 1984 Una porzione di memoria dedicata alla memorizzazione dell immagine come array 2D di pixel da mostrare a video. Caratteristiche: Risoluzione (numero di pixel) Range tipici 320x x1200 Profondità (bit per pixel) Range tipici (128) Divisi in tipicamente 4 (o 3) canali ( R, G, B e Alpha) Rendering Ci occuperemo principalmente di: Real Time 3D Rendering Scena 3D Immagine Real Time 3D Rendering Problema challanging! per esempio: pixel = 32 bit = 4 bytes ("pixel depth") screen buffer = 1024 x 768 pixels ("screen resolution") frame rate = 60 Hrz ("fps") dal resto dell' applicazione N volte al sec screen buffer ( es N=60 ) ( array 2D di pixel ) total = 4 x 1024 x 768 x 60 byte al sec ("fill-rate", in bytes) 188 MegaBytes / sec (in questo esempio) (e mancano altri fattori moltiplicativi, come depth complexity, multipassate vedremo) Real Time 3D Rendering Fill-rates molto elevati Anticipazione:...e il fill-rate non è sempre il collo di bottiglia Anticipazione 2:...e questa è una sottostima del fill-rate. manca il fattore depth-complexity ~ x2.5 (come vedremo...) sono piu' di 32 bit x pixel ~ Real Time 3D Rendering Problema difficile fortunatamente, processo massicciamente parallelizzabile "embarrassingly parallel" Ingrediente base della soluzione: hardware specializzato C'è bisogno di muscoli potenza di calcolo 10

11 dunque, questo corso......è un corso (introduttivo) di: Real-Time Hardware-Based 3D Rendering Non ci occuperemo di altri aspetti della CG: (sono solo 6 CFU ) Altri paradigmi di es. offline, radiosity, global illumination, raytracing Data representation es. volumetric data, polygonal meshes, NURBS, splines, subdivision surfaces, LODs, multiresolution structures 3D acquisition (catturare modelli 3D dalla realtà) es. shape from shading (silhouettes), range scanning, BRDF acquisition Modellazione di superfici es. surface simplification, filtering, denoising, parametrization Image-based + modelling es. light fields, mixed representations, Applicazioni specifiche della CG es. scientific or data visualization, beni culturali, games Animation techniques es. keyframing, cinematica diretta /inversa, skeletal animations, rigging GP-GPU, o CUDA, o OpenCL 11