Rendering di dati visuali

Transcript

1 Rendering di dati visuali Marco Tagliasacchi

2 Sommario 2 Rendering di dati visuali Display 2D Free-viewpoint TV Display stereo Display autostereoscopici Display olografici

3 Display 2D 3 CRT (Cathod Ray Tube) 1897 (Braun Tube) 1907 First CRT TV prototype Colore Shadow mask Aperture grille (Trinitron)

4 Display 2D 4 Plasma 1964 Primo prototipo 1992 Primo display a colori Ciascuna cella funziona come una piccola lampada a fluorescenza

5 Display 2D 5 Plasma Pro: Luminoso Ampio angolo visuale Ampia gamma cromatica (gamut) No sfuocatura dovuta al moto Può avere grandi dimensioni (fino a 150in, 3.8m) Ottima riproduzione del nero Contro: Alto consumo di potenza Glare (a causa della superficie in vetro) Difficile da produrre in piccole dimensioni (> 37in) Pesante Non funziona in altitudine Interferenza con radio AM

6 Display 2D 6 LCD (Liquid Crystal Display) Sfruttano le proprietà di polarizzazione della luce dei cristalli liquidi

7 Display 2D 7 LCD

8 Display 2D 8 LCD La luce passante dal filtro polarizzatore 1 è polarizzata in direzione verticale Quando non viene applicata una corrente agli elettrodi, il cristallo liquido fa ruotare di 90 la polarizzazione, facendola diventare orizzontale, allineata quindi con il filtro polarizzatore 2 Quando viene applicata una corrente il cristallo liquido di allinea con la corrente e perde la struttura a spirale. La luce in questo caso non passa dal filtro polarizzatore 2

9 Display 2D 9 LCD Pros: Basso consumo di potenza ( mobile) Luminoso Ampio angolo visuale Ampia gamma cromatica (gamut) Cons: Il nero non è perfettamente riprodotto

10 Display 2D 10 Proiettori LCD

11 Display 2D 11 Proiettori DLP (Digital Light Processing) Utilizzano tecnologia DMD (Digital Micromirror Device)

12 Display 2D 12 E-paper Obiettivo: simulare l effetto dell inchiostro su carta A differenza dei display retroilluminati, e-paper riflette la luce ambientale come la carta

13 Display 2D 13 E-paper Pro Basso consumo energetico Visibile anche con luce solare diretta Contro Basso refresh rate ( difficile realizzare applicazioni interattive, zooming, ecc.) Ghosting

14 Free-viewpoint TV 14 Obiettivo: esplorare una scena in 3D variando dinamicamente il punto di vista Generare un numero infinito di viste differenti I seguenti problemi devono essere risolti Rappresentazione dei dati di una scena 3D Acquisizione della scena 3D Rendering: generazione di una vista arbitraria a partire da un numero finito di viste osservate Interfaccia utente Codifica [Tanimoto et al., IEEE SPM 2011]

15 Free-viewpoint TV 15

16 Free-viewpoint TV 16 Rappresentazione di una scena 3D

17 Free-viewpoint TV 17 Rappresentazione di una scena 3D

18 Free-viewpoint TV 18 Rappresentazione di una scena 3D

19 19 Complessità lato acquisizione Free-viewpoint TV Architetture per FTV Quantità di dati da trasmettere

20 Free-viewpoint TV 20 Interfacce

21 Free-viewpoint TV 21 Rendering depth+texture

22 Display 3D 22 Il sistema visivo umano è in grado di ricostruire una scena 3D a partire da osservazioni in 2D Occlusioni (un oggetto che copre l altro) Prospettiva Conoscenza a priori (ad esempio, dimensioni note) Turbolenza atmosferica (oggetti lontani appaiono meno nitidi)

23 Display 3D 23 Esistono però alcune osservazioni che non possono essere fatte a partire da un immagine 2D Parallasse stereo (vedere immagini diverse con ciascun occhio) Movement parallax (vedere immagini diverse quando muoviamo la testa) Accomodation (la lente oculare mette a fuoco l oggetto di interesse) Convergenza (entrambi gli occhi convergono sull oggetto di interesse)

24 Display stereoscopici vs. autostereoscopici 24 I display stereoscopici sono in grado di fornire solo la parallasse stereo I display autostereoscopici forniscono un immagine 3D senza la necessità di indossare dispositivi di visione

25 Display 3D con occhiali o headsets 25 L utente indossa occhiali speciali Gli occhiali selezionano quale immagine è visualizzata dall occhio destro e quale dal sinistro

26 Display 3D con occhiali o headsets Tecnologie utilizzate Un display standard, combinato con occhiali colorati (anaglyph) 26 Due display standard ed uno specchio half-silvered, combinato con occhiali polarizzati Due proiettori, che proiettano un immagine su uno schermo che preserva la polarità della luce riflessa, combinati con occhiali polarizzati Un display double frame-rate combinato con occhiali shuttered Con queste si ottiene la parallasse stereo e la convergenza oculare. Se combinate con un head tracker forniscono anche la parallasse dovuta la moto per un singolo utente.

27 Display autostereoscopici 27 Obiettivo: Fornire una visione 3D senza la necessità di indossare occhiali o altri dispositivi Tipologie di display Two-view, head tracked per utente singolo Multiview per più di un utente I sistemi migliori consentono di ottenere immagini che vengono percepite con qualità simili ad immagini olografiche

28 Display autostereoscopici 28 Quando un osservatore guarda una scena reale, vede una immagine differente per ciascun occhio ed immagini differenti muovendo la testa. L osservatore può vedere potenzialmente un numero infinito di immagini della scena.

29 Display autostereoscopici 29 Lo stesso campo visivo viene diviso orizzontalmente in fasce. In ciascuna fascia viene vista una sola immagine per ciascun occhio L osservatore vede immagini diverse per ciascun occhio, ed immagini differenti quando si muove. Tuttavia, le immagini cambiano in modo discreto passando da una fascia all altra Pertanto, un numero limitato di viste consente di ottenere sia la parallasse stereo sia (approssimativamente) la parallasse dovuta al moto

30 Display autostereoscopici 30 Per fornire i dati necessari ad un display autostereoscopico, è necessario acquisire la scena con un sistema multi-view Il display autostereoscopico deve poi essere in grado di produrre un immagine diversa per ciascun punto di vista

31 Display autostereoscopici 31 Two-view displays Head-tracked (tipicamente two-views) Multi-view

32 Display autostereoscopici two views 32 Dispositivi a lenslets

33 Display autostereoscopici two views 33 Dispositivi a barriera di parallasse

34 Display autostereoscopici two views 34 L immagine viene divisa in due sottoimmagini Le colonne pari rappresentano la vista per l occhio destro Le colonne dispari rappresentano la vista per l occhio sinistro Un sistema ottico (lenslets o barriera di parallasse) fa in modo che ciascun occhio veda la vista corretta

35 Display autostereoscopici two views 35 Problemi: C è il 50% di probabilità che l utente veda la vista scorretta L osservatore deve rimanere fermo nella corretta posizione Avvicinandosi e allontanandosi dal display si rischia di non vedere l immagine corretta

36 Display autostereoscopici two views 36 Soluzione: Head-tracking Incrementare il numero di viste (multi-view)

37 Display autostereoscopici head tracked 37 Quando viene utilizzato un sistema di head tracking (per osservatore singolo) viene prodotta una coppia di immagini, in modo tale che gli occhi vedano la vista corretta In questo caso di può utilizzare un display stereoscopico dotato di un sistema di elaborazione che genera le immagini dinamicamente in funzione della posizione dell osservatore

38 Display autostereoscopici multi view 38 Più di un osservatore Ciascuno vede una scena 3D dal suo punto di vista

39 Display autostereoscopici multi view 39 Problemi: Difficoltà di costruire display con molte viste Difficoltà nella generazione simultanea di tutte le viste (ciascuna vista viene sempre rappresentata, anche quando non c è l osservatore)

40 Display autostereoscopici multi view 40 Generazione di viste multiple: Multiproiezione: un singolo display è utilizzato per ciascuna vista Spatial multiplexing: la risoluzione spaziale del dispositivo è divisa tra viste differenti Time-sequential: un singolo display, molto veloce, viene utilizzato per tutte le viste

41 Display autostereoscopici multi view 41 Multiproiezione Un proiettore per ogni vista Può fornire un gran numero di viste (decine) Prototipi con 128 viste. Non ci sono dispositivi commerciali

42 Display autostereoscopici multi view 42 Multiproiezione In ciascuna zona, solo una vista è visibile

43 Display autostereoscopici multi view 43 Spatial multiplexing Parallax barrier (e.g. Nintendo 3DS) Lenticular arrays (e.g. iphone 3DeeSlide)

44 Display autostereoscopici multi view 44 Spatial multiplexing Barriere/lenti verticali 4 viste Problema: l osservatore vede bande nere tra un pixel e l altro muovendo la testa

45 Display autostereoscopici multi view 45 Spatial multiplexing Barriere/lenti slanted 7 viste (Philips), 9 viste (Stereographics)

46 Display autostereoscopici multi view 46 Time sequential Un display (trasparente) è illuminato da una barra verticale e osservato attraverso una lente L immagine è visibile solo in una delle zone Sincronizzando il display con l accensione delle barre è possibile creare immagini diverse per ciascuna zona.

47 Display autostereoscopici multi view 47 Time sequential Quante viste devono essere generate? Se una vista deve essere più piccola di una pupilla, 3mm per vista 20 viste tra i due occhi Compromesso pratico: 21mm per vista, 3 viste tra i due occhi

48 Display autostereoscopici multi view 48 Time sequential Quante viste devono essere generate? Singolo osservatore (movimento laterale 189mm) - 9 viste Due osservatori, uno di fianco all altro - 28 viste

49 Display autostereoscopici multi view 49 Time sequential