Lezione 19: Grafica in tempo reale. I problemi del Real Time. I problemi del Real Time. I problemi del Real Time. I problemi del Real Time

Transcript

1 I problemi del Real Time Lezione 19: Grafica in tempo reale Come visto nelle precedenti lezioni, i calcoli necessari a generare immagini 3D sono numerosi e complessi. I programmi di grafica 3D impiegano spesso diversi minuti (anche ore) per generare un singolo fotogramma di animazione. Eppure esistono numerose applicazioni in tempo reale. I problemi del Real Time I problemi del Real Time I videogiochi a cui siamo abituati oggi permettono ai personaggi di muoversi in interi mondi tridimensionali. In numerose applicazioni vengono utilizzati simulatori (ad esempio i simulatri di volo) che riproducono immagini 3D realistiche in tempo reale. I problemi del Real Time I problemi del Real Time I problemi che bisogna affrontare sono di 2 tipi: Problemi di banda Problemi di calcolo La realta' virtuale ci ha poi portato a definire mondi 3D in cui l'utente puo' muoversi.

2 I problemi del Real Time I problemi di banda sono legati al trasferimento delle immagini dalla memoria del PC al video. Si verificano tanto nella grafica 2D che in quella 3D. I problemi di calcolo sono invece legati alla generazione delle immagini. Essi sono minimi nella grafica 2D, ma sono assai significativi nella grafica 3D. Per comprendere i problemi di banda, occorre concentrarsi sull'architettura di un PC e comprendere il meccanismo di generazione delle immagini. La componente di un PC che crea le immagini visualizzate sullo schermo viene chiamata scheda video. Il processore del PC comunica con la memoria centrale e con la scheda video attraverso un dispositivo chiamato. Normalmente ogni schdea video possiede una memoria privata () incorporata. La scheda video invia al monitor le immagini create in base alle informazioni presenti nella memoria privata. Il processore visualizza le immagini trasferendo i colori dei singoli pixel dalla memoria centrale alla memoria della scheda video passando per il.

3 Bit-Blit 32 MB/s L'operazione di trasferimento di un'immagine dalla memoria centrale alla memoria video viene chiamata Bit-Blit. Il e' in grado di trasferire i dati ad una velocita' limitata x 768 x 16M colori = 3 MB 3 MB x 60 Hz = 180 MB/s La quantita' di memoria necessaria per memorizzare un'immagine puo' rendere la velocita' del inadeguata a produrre animazioni fluide. Il fatto di condividere un unico canale per accedere sia alla memoria centrale che alla scheda video causa ulteriori rallentamenti. AGP 32MB/s 1MB/s Per risolvere questo problema i PC di oggi hanno 2 Bus uno dei quali dedicato esclusivamente alla scheda video (AGP). Questo e' molto piu' veloce di quello standard. Essendo poi fisicamente separato puo' lavorare indipendentemente dalla memoria centrale.

4 Il trasferimento rapido di dati dalla memoria centrale alla scheda video non è sufficiente a garantire la fluidita' delle immagini. Un'altra serie di problemi da risolvere e' quella del sincronismo con il video. Il monitor ridisegna l'immagine con un pennello ottico volte al secondo. La scheda video legge dalla propria memoria il colore del pixel da inviare al monitor. Se si disegna un'immagine mentre il pennello ottico sta passando... La soluzione piu' semplice consiste nell'aspettare il V-Sync per incominciare a trasferire un'immagine.... questa viene "mozzata"! La parte inferiore dell'immagine viene visualizzata nel primo fotogramma, l'immagine intera in quello successivo! La scheda video avvisa il processore (V-Sync) quando ha iniziato a trasferire una nuova immagine. La ha quindi il tempo di comporre la nuova figura prima che quest'ultima venga raggiunta dal pennello ottico.

5 L'attesa obbligata del V-Sync rallenta l'animazione. Puo' succedere che i vari elementi che compongono un'animazione si muovano a scatti. Se la scheda video ha memoria sufficiente per ospitare due immagini, si puo' adottare la tecnica chiamata doppio buffer. Il processore compone l'immagine in una delle due aree mentre la scheda video invia al monitor l'altra Non appena l'immagine e' stata composta, la scambia le 2 aree. La scheda video visualizza l'immagine precedente, mentre la compone la nuova. Lo scambio avviene ad un V-Sync. Quando l'animazione e' destinata alla televisione si puo' aumentare la fluidita' utilizzando l'interlacciamento. La televisione ha una FPS di 25 frame al secondo ma ritraccia l'immagine 50 volte al secondo. La prima volta traccia le righe pari, poi quelle dispari. I programmi possono sfruttare questo fatto generando prima le righe pari, poi quelle dispari. In questo modo si crea l'illusione di avere immagini a 50 fps su un mezzo che in realta' ne consente solo 25!

6 I problemi causati dal bus e dal sincronismo si verificano tanto per grafica 2D che 3D. La grafica 3D richiede pero' calcoli piu' complessi che complicano ulteriormente l'operazione di visualizzazione in tempo reale. I calcoli necessari a realizzare un'immagine 3D in tempo reale vengono suddivisi in fasi. La sequenza delle fasi viene chiamata pipeline. Vediamo quali tecniche sono state sviluppate per accelerare i singoli stadi della pipeline. Costruzione del modello Trasformazione di visualizzazione Trasformazione del modello Clipping Accettazione Illuminazione Divisione per w Rasterizzazione Una versione piu' generale della pipeline di visualizzazione puo' includere fino ad 8 fasi. Nella fase di costruzione del modello vengono ricercati tutti gli oggetti che compongono un modello. Durante un'animazione un modello puo' cambiare. Esistono due modi con cui si possono aggiornare i cambiamenti: immediato e trattenuto (retained). Nel modalita' immediata il modello viene ricostruito da zero ad ogni frame. Nella modalita' trattenuta il modello precedentemente memorizzato viene mantenuto. Il programma provvede solamente a modificare le parti necessarie. Nella fase di trasformazione del modello vengono applicate tutte le trasformazioni necessarie per calcolare le posizioni dei vertici dei singoli oggetti. In questa fase vengono effettuati numerosi prodotti vettore per matrice per determinare le posizioni dei vertici.

7 Nella fase di accettazione s'individuano gli oggetti esterni al campo visivo e si eliminano le superfici nascoste. Durante la fase di illuminazione vengono valutati i parametri necessari al calcolo delle luci (le direzioni delle normali alle superfici, le direzioni delle luci nei vari punti...). Non viene pero' ancora effettuato il calcolo dei colori dei pixel. Lo stadio di trasformazione di visualizzazione calcola le proiezioni prospettiche dei vertici degli oggetti. La fase di clipping determina le parti degli oggetti che intersecano la finestra di visualizzazione. La divisione per w, trasforma le coordinate omogenee in coordinate 2D. La fase di rasterizzazione si occupa di: Disegnare le superfici Determinare le superfici visibili Applicare texture e luci Il disegno delle superfici esamina semplicemente tutti i triangoli corrispondenti agli oggetti e determina a quali pixel essi corrispondano. La determinazione delle superfici visibili viene generalmente realizzata mediante z-buffer. Corrisponde quindi a calcolare la distanza di ogni pixel dall'osservatore. Schede video accelerate Si determina quindi il colore effettivo del pixel da disegnare considerando le texture ed effettuando il calcolo delle luci. S'inserisce quindi il pixel nella memoria della scheda video, considerando l'informazione contenuta nello z-buffer. L'ultimo stadio della pipeline e' quello che nasconde la complessita' maggiore. Esso richiede un numero enorme di operazioni tra numeri interi (uno per ogni pixel generato). Fino a pochi anni fa', questo era il punto piu' difficile e che richiedeva alla la massima potenza di calcolo.

8 Schede video accelerate Sono nate quindi numerose schede video accelerate capaci di rendere piu' veloce questo stadio di visualizzazione. Ormai quasi tutte le schede video presenti in commercio forniscono queste funzionalita'. In passato esistevano componenti addizionali che andavano acquistate separatamente (es. 3Dfx). Schede video accelerate Il tipo piu' semplice di accelerazione consiste nello z-buffer hardware. La deve solo determinare il colore dei pixel e la loro distanza. La scheda video automaticamente determina le superfici visibili utilizzando lo z-buffer. La scheda deve pero' disporre di un maggiore quantitativo di memoria in modo da memorizzare anche lo z-buffer. Schede video accelerate Il livello di accelerazizone successivo consiste nello spostare la determinazione del colore dei pixel sulla scheda video. In questo caso la scheda determina i colori dei pixel utilizzando le informazioni relative alle luci ed alle texture. Schede video accelerate La scheda deve avere piu' memoria in quanto deve anche memorizzare le texture. Questo tipo di schede implementa in hardware interamente l'ultimo stadio della pipeline. Schede video accelerate Le prime schede accelerate erano in grado di elaborare tramite hardware solamente triangoli. I modelli attuali sono in grado di gestire anche oggetti piu' complessi come NURBS e superfici di Hermite. Schede video accelerate L'accelerazione in hardware fatta direttamente dalla scheda video presenta numerosi vantaggi. Con l'accelerazione hardware, nè il processore nè la memoria centrale restano coinvolti nel calcolo dell'ultimo stadio di visualizzazione.

9 Schede video accelerate Il processore puo' quindi dedicare tutta la sua potenza di calcolo ai primi stadi della pipeline. L'ultimo stadio e' quello piu' facilmente parallelizzabile. La scheda video puo' quindi implementare un'architettura parallela dedicata per questo tipo calcoli ottenendo un'efficienza superiore a quella raggiungibile dal solo processore. Le estensioni dei processori Oltre alle schde video, anche i processori sono stati estesi per accelerare la pipeline di visualizzazione 3D. Due dei tentativi piu' importanti sono le istruzioni MMX e le estensioni SIMD. Le estensioni MMX Un primo tentativo di accelerare la pipeline di visualizzazione nei PC domestici fu compiuto nel 1995 dall'intel con l'introduzione dei processori PENTIUM MMX. Questi processori includevano alcune istruzioni capaci accelerare i calcoli interi utilizzati nello stadio finale della pipeline. Le estensioni MMX Queste istruzioni erano studiate per facilitare la decompressione di filmati MPEG e per velocizzare operazioni comuni come rotazioni e scalamenti di texture 2D. Permettevano inoltre un'implementazione software efficiente dello z-buffer. Le estensioni MMX Sebbene l'idea fosse interessante queste estensioni non ebbero il successo atteso. Esse infatti erano poco utili in un contesto di grafica 3D, in quanto potevano intervenire in modo adeguato solamente nella fase di implementazione dello z-buffer software. Le estensioni MMX Come accennato precedentemente, le stesse operazioni vengono fatte in modo migliore dalle schede video accelerate. Le estensioni MMX sono quindi oggi utilizzate solamente per la decompressione delle immagini JPEG e dei filmati MPEG.

10 Le estensioni SIMD Le schede video possono accelerare solamente l'ultimo stadio della pipeline di visualizzazione. Occorrono quindi altri meccanismi hardware per accelerare i primi 7 stadi della pipeline. Le estensioni SIMD I processori Intel a partire dal pentium 3, e gli AMD a partire dal K6-3, hanno introdotto nuove istruzioni per questo scopo. Queste istruzioni prendono il nome di estensioni SIMD (single instruction, multiple data) in quanto permettono di eseguire piu' calcoli con un'unica istruzione in linguaggio macchina. Le estensioni SIMD Le soluzioni proposte dalle due principali marche di processori sono differenti e non sono compatibili tra loro. Entrambe si basano sullo stesso principio: facilitare i calcoli vettoriali e matriciali. Le estensioni SIMD Le istruzioni SIMD permettono di realizzare con una singola istruzione in linguaggio macchina una somma o un prodotto matriciale o vettoriale. Vengono solamente considerati vettori a 4 componenti e matrici di dimensione 4x4: quelli necessari per effettuare le trasformazioni 3D in coordinate omogenee. Le estensioni SIMD Grazie a queste estensioni si riesce a velocizzare di un ordine di grandezza i calcoli necessari nelle prime fasi della pipeline. In questo modo si possono considerare anche modelli con migliaia di poligoni ed un numero elevato di trasformazioni. Gli standard software Le possibilita' di accelerazione fornite dalle schede video variano da modello a modello. Anche i set d'istruzioni per l'accelerazione fornite dai processori non sono compatibili. Occorre quindi un meccanismo uniforme per rendere queste estensioni diponibili ai programmi.

11 Gli standard software Esistono due standard per rendere disponibili le accelerazioni grafiche ai programmi: OpenGL DirectX Gli standard software Entrambi i meccanismi si basano sullo stesso principio: definiscono una serie di funzionalita' che i programmi possono utilizzare per realizzare grafica 3D. Ogni costruttore di scheda grafica o processore fornisce i suoi driver che implementano le funzionalita' richieste sfruttando al meglio le ottimizzazioni messe a disposizione dai propri prodotti. OpenGL OpenGL e' uno standard aperto per la visualizzazione 3D indipendente dal sistema operativo, dal linguaggio di programmazione e dall'architettura utilizzata. Esiste per Windows e per UNIX, tanto per PC che per macchine piu' specializzate (come ad esempio le Silcon Graphics). OpenGL Fornisce tutte le primitive necessarie per inserire oggetti nella pipeline e per visualizzarli. Permette di inserire texture, luci e materiali (di tipo Phong). E' meno efficiente delle DirectX, ma trova maggiore compatibilità con sistemi non Windows. DirectX Le DirectX sono un insieme di primitive disponibili in ambiente Windows per facilitare la realizzazione di videogiochi. Includono primitive per il suono, per la grafica, l'accesso alla rete, al Joystick... Direct3D e' la componente delle DirectX che si occupa della grafica tridimensionale. DirectX Le DirectX esistono solo su PC ed esclusivamente in ambiente Windows. Consentono di utilizzare superfici complesse con texture e vari meccanismi di illuminazione.

12 DirectX Essendo specifiche per Windows, l'hardware delle schede grafiche e' ottimizzato per la grafica DirectX. Sono piu' potenti ed efficienti rispetto all' OpenGL, ma meno compatibili.