Multimedia. Creazione di Modelli 3D usando ARC3D

Transcript

1 Multimedia Creazione di Modelli 3D usando ARC3D - The 3D models are created by the ARC 3D webservice, developed by the VISICS research group of the KULeuven in Belgium - Presentazione a cura di Filippo L.M. Milotta

2 Cos è? ARC3D è un Web Service pubblico e di uso gratuito. Cosa fa? Genera dei modelli 3D di una scena usando come input delle fotografie fornite dall utente. (o almeno ci prova )

3

4

5

6

7

8 Un punto di forza di ARC3D è il non richiedere un dispositivo di acquisizione delle immagini specifico, ma anche uno generico, come una comune fotocamera, può andar bene. Samsung S5 mini HTC Pro2 Iphone 4s

9 Dopo l upload delle fotografie non è necessaria (né possibile) nessun altra azione da parte dell utente. Il server deve garantire robustezza per evitare che l utente ripeti l upload: la pipeline automatica di ricostruzione dovrebbe avere quindi determinate caratteristiche.

10 Una Pipeline Opportunistica tiene in considerazione l ordine con cui vengono inviate le fotografie, rendendo più veloce la ricerca di elementi in comune fra le immagini. ARC3D sceglie di non adottare questa strategia nel WS.

11 Una Pipeline Gerarchica effettua determinate operazioni su una versione sottocampionata delle immagini di partenza e applica i risultati sulle immagini originali. Questo velocizza la ricerca di elementi in comune ( features ) e la rende più stabile.

12 In una Pipeline Parallela si possono svolgere più operazioni indipendenti in parallelo, ad esempio ricerca di elementi in comune oppure l esecuzione di più job in parallelo, ricordiamo che abbiamo a che fare con un WS!

13 Sottocampionamento di tutte le immagini e creazione di possibili coppie di immagini consecutive. Subsampling Subsampling

14 Estrazione delle features dalle coppie; se positiva si tenta la creazione di triplette per la proiezione 3D. (una feature dev essere riconosciuta in almeno 3 immagini)

15 Per facilitare il matching si osservano i metadati Exif delle immagini (distanza focale).

16 Si assegna un ordinamento spaziale alle fotografie e si applicano i risultati sulle immagini originali. Upscale

17 Ad ogni immagine viene associata la relativa mappa di densità di profondità.

18 Gli occhi umani sono posti a una certa distanza fra loro e la visione combinata di ciascun occhio permette al cervello di stimare la profondità relativa fra gli oggetti.

19 Basati su Visione Binoculare Ricerca di features, triangolazione 2+ immagini Messa a fuoco Vari livelli di messa a fuoco Movimento 1 sola immagine Colore, ombre, occlusioni Relazione col tempo ARC3D utilizza un algoritmo di conversione basato su Visione Binoculare.

20 La profondità è ricavata dal confronto di una coppia di immagini, creata in base alle features presenti. La qualità del risultato dipende dalle informazioni aggiuntive presenti: 1. Tutti i parametri spaziali sono conosciuti; 2. Solo i parametri della fotocamera sono conosciuti (-> scaling); 3. Nessun parametro è conosciuto.

21 Noto anche come problema dello Stereo Matching, comprende vari calcoli, fra cui la ricerca di una matrice fondamentale che permetta la costruzione delle proiezioni. Z = f T x l x r = f T d

22 E importante che le fotografie vengano scattate seguendo delle linee guida, semplici ma vincolanti al tempo stesso. Se le fotografie non rispettano le linee guida la ricostruzione del modello potrebbe perdere qualità. Inoltre, tutto ciò che non compare nelle foto non comparirà nel modello 3D!

23

24 Aumentano l errore nel calcolo delle profondità.

25

26 Stanza Mobile Conservatorio Ponte Monumenti Fontana Monumenti Liotru Monumenti Statua Bellini Stanza Presepe Stanza Pupazzo Stanza MiniDoc Scrivania AngeloRosso Monumenti (facciate) P.Teatro Mon. (facciate) P.Università Mon. (facciate) Duomo Scrivania AngeloBianco Stanza Frutta

27 ... Foto scattate in modalità quasi Pan!

28 Riflesso nelle finestre ed occlusione del lampione sospeso!

29 Non ci sono abbastanza features per ricostruire la profondità della scena!

30 Un maggior numero di fotografie avrebbe aumentato la qualità.

31 Il lampione occlude parte della facciata, che non viene aggiunta al modello finale.

32 Le scritte nei teli sono delle ottime features (più che altro lo sono i teli bianchi). I passanti hanno invalidato alcune fotografie.

33 Lo sfondo bianco potrebbe aver creato problemi nella ricostruzione della parte superiore del modello? -> Diamo un occhiata alle mappe di profondità.

34 La ricostruzione 3D è riuscita in maniera discreta anche con poco colore.

35 Il vetro della fruttiera è troppo trasparente, questo genera dei buchi nel modello 3D. Molte features da utilizzare per ricostruire il modello 3D. Molta eterogeneità nella scena, colori diversi e nessun pattern predominante.

36 Costo delle risorse, economico e computazionale, per l utente minimo. L utente non deve allineare le mesh parziali. Non richiede eccessive conoscenze preliminari. Precisione e qualità più bassa. Risultato non garantito. Tempi di elaborazione dati, sebbene più veloci del laser a triangolazione, legati ai server. Se volessi allineare le singole mappe di profondità, perché non farlo con il laser scanner?

37 Grazie per l attenzione!