REALIZZAZIONE DI MOSAICI ARTIFICIALI IN AMBIENTE 3D

Transcript

1 REALIZZAZIONE DI MOSAICI ARTIFICIALI IN AMBIENTE 3D S. BATTIATO, G. DI BLASI, G. GALLO, A. MILONE Università degli Studi di Catania Dipartimento di Matematica ed Informatica Viale A. Doria, Catania (Italy) Image Processing Laboratory: battiato@dmi.unict.it, gdiblasi@dmi.unict.it, gallo@dmi.unict.it, alfredo.milone@alice.it Riassunto: In questo articolo viene presentata una tecnica nell ambito del Non-Photorealistic Rendering, volta a riprodurre mosaici digitali in ambiente 3D. A partire da un immagine digitale bidimensionale si utilizzano algoritmi della computer grafica per ottenerne una versione mosaicizzata che imita le tecniche degli artisti (es. opus musivum, opus vermiculatum). Allo stesso modo in cui un mosaicista utilizza uno schizzo come guida per piazzare i tasselli, la tecnica presentata simula ciò tramite la ricerca e l utilizzo dei contorni (edge) dell immagine in input. I tasselli di forma rettangolare sono posizionati a distanze regolari seguendo delle linee di livello, risolvendo le collisioni ed evitando di scavalcare i contorni. La versione bidimensionale di questa tecnica è stata estesa al mondo 3D, mediante una serie di euristiche volte a generalizzare il processo di rendering (vettorializzazione e semplificazione dei tasselli). Alcune semplici variazioni casuali rispettivamente su colore, posizione e inclinazione dei tasselli, inducono un forte impatto realistico. Inoltre, sono state implementate delle funzionalità che realizzano il mapping tridimensionale dell immagine mosaicizzata su diverse superfici 3D (cupole, piramidi, cilindri, ecc.). Parole chiave: Non-Photorealistic Rendering, Mosaico, 3D Abstract: Artificial Mosaic Rendering in a 3D Environment In this paper we present a technique belonging to Non-Photorealistic Rendering, which renders digital mosaics in a 3D environment. Starting from a digital bidimensional image, we exploit algoritms tipical of computer graphics to extract a mosaicized version of it, which mimicks artits techniques (e.g., opus musivum, opus vermiculatum). Like a mosaicist, which uses a sketch as a guide to position tiles, our technique simulates it by search and use of edges of the input image. Rectangular shape tiles are positioned at regular distances following contour lines, solving collisions and preventing to overcome edges. We extended this technique s bidimensional version to 3D world, by a series of heuristics directed to generalize the rendering process (vectorializing and simplifying tiles). Some simple random changes on tiles color, position and tilt angle, bring a strong realistic impact. Moreover, some features have been implemented, which attain a three dimensional mapping of the mosaicized image to different 3D surfaces (domes, pyramids, cylinders, etc.). Keywords: Non-Photorealistic Rendering, Mosaic, 3D 1

2 Introduzione Il mosaico è un arte figurativa di origine antica. Si può considerare una forma primordiale di arte digitale. Rispetto alle immagini digitali, i cui pixel sono disposti su una griglia quadrata regolare, esso riesce a trasportare molte più informazioni, perché tende a seguire qualunque contorno presente nell immagine, non solo quelli orizzontali e verticali. Esistono molte tecniche per la realizzazione di mosaici; tra queste, alcune costituiscono una forma di arte arte decorativa, ad esempio l opus musivum e l opus vermiculatum. Con lo sviluppo della Computer Grafica, nasce l esigenza di utilizzare il calcolatore per produrre nuove forme di arte. In particolare, nascono i concetti di Photorealistic Rendering (produrre qualcosa che assomiglia alla realtà) e Non-Photorealistic Rendering; nella seconda categoria si collocano i mosaici digitali, cioè dei mosaici prodotti automaticamente dal computer a partire da un immagine digitale bidimensionale. I mosaici digitali riempiono con dei tasselli la maggiore quantità di area possibile di un immagine, in modo che i tasselli descrivano al meglio l area che ricoprono. Attualmente esistono quattro tipi di mosaici digitali. Crystallization Mosaic, che tende a simulare le vetrate colorate in stile medievale; Ancient Mosaic, tecnica che cerca di imitare i mosaici antichi; Photo-mosaic, mosaico composto usando come tasselli piccole immagini; Puzzle Image Mosaic, mosaico ottenuto incastrando come in un puzzle varie forme. Per ogni tipologia è mostrato un esempio in Figura 1. Per maggiori dettagli a riguardo si veda l articolo di Battiato et al. (2007), che contiene una panoramica completa di tutte le tecniche attuali. Crystallization Mosaic (Haeberli P.) Ancient Mosaic (Battiato S. et al.) Photo-mosaic (Silver R., Hawley M.) Puzzle Image Mosaic (Kim J., Pellacini F.) Figura 1: Esempi di mosaici digitali Il mosaico antico (Ancient Mosaic) è certamente quello che più si avvicina ai mosaici reali, e lo si realizza imitando il lavoro del mosaicista. Egli parte da un disegno che utilizza come guida per posizionare i tasselli. Un buon algoritmo per produrre mosaici antichi deve partire dalla ricerca dei contorni dell immagine, quindi deve posizionare i tasselli di forma rettangolare a distanze regolari su varie file parallele ai contorni, risolvendo le collisioni tra i tasselli ed evitando di scavalcare le linee di bordo; le collisioni si risolvono tagliando via alcuni pezzi dalla forma originaria del tassello. L algoritmo di Ancient Mosaic sviluppato da Di Blasi et al. (2005) permette di produrre mosaici di tipo opus musivum e opus vermiculatum, ottenendo risultati estetici di forte impatto visivo. Con lo sviluppo della grafica tridimensionale, è possibile convertire in 3D anche il risultato della mosaicizzazione. La terza dimensione consente di ottenere nuovi effetti rispetto al mondo 2D. Nel passaggio dal 2D al 3D si possono aggiungere nuove informazioni sui singoli tasselli (come l inclinazione), oppure ottenere mosaici su superfici non piane (ad esempio una cupola). 2

3 La trasformazione del mosaico da 2D in 3D però non è affatto banale, infatti l algoritmo bidimensionale di Di Blasi et al. (2005) produce tasselli raster, mentre per ottenere un rendering 3D non troppo pesante bisogna produrre delle forme vettoriali con poche facce; quindi le forme bidimensionali sono state generate direttamente in vettoriale, utilizzando un procedimento a metà tra raster e vettoriale, ottenendo, comunque, dei buoni risultati. Una volta prodotto il mosaico 2D, esso può essere mappato su una qualunque superficie 3D; per fare ciò si possono aggiungere nuove librerie all applicazione, le quali dovranno contenere tutte le informazioni necessarie a produrre la superficie desiderata. Gli algoritmi qui presentati sono stati implementati utilizzando il linguaggio di programmazione Java. Schema dell articolo Il paragrafo 1 descrive l algoritmo di Di Blasi et al. (2005) e Battiato et al. (2006); il paragrafo 2 descrive il procedimento di ottimizzazione e trasformazione in 3D; il paragrafo 3 mostra alcuni risultati sperimentali ottenuti. 1 Mosaici artificiali di Di Blasi et al. L algoritmo descritto in Di Blasi et al. (2005) e Battiato et al. (2006) prende in input un immagine digitale bidimensionale e restituisce in output un immagine contenente un mosaico digitale artificiale di due possibili tipi: opus musivum, in cui i tasselli formano delle curve parallele ai contorni principali dell immagine; opus vermiculatum, in cui il mosaico viene suddiviso in background e foreground; la regione di foreground viene trattata come un opus musivum, mentre nel background i tasselli vengono posizionati su righe orizzontali. L algoritmo si basa sull individuazione dei bordi dell immagine. Presa in input un immagine, viene restituita in output un immagine in bianco e nero, che rappresenta una sorta di schizzo a matita dell immagine originale. Su questo schizzo è poi possibile costruire dei meccanismi ad hoc per stabilire la posizione e l orientamento dei tasselli, mentre il colore dei tasselli si ottiene direttamente dall immagine di input. L algoritmo usa due possibili tecniche per individuare i contorni: le linee guida direzionali (Di Blasi, 2005) e lo Statistical Region Merging (si veda la Figura 2): le linee guida direzionali si ottengono applicando all immagine un filtro di smoothing e una funzione di soglia, la quale individua le zone dell immagine in cui si hanno delle brusche transizioni; lo Statistical Region Merging partendo dai singoli pixel dell immagine, aggrega le zone dell immagine che presentano caratteristiche simili, ottenendo una partizione dell immagine in zone via via più grandi; i confini tra le regioni ottenute possono quindi essere utilizzati come i bordi. a) Immagine di input b) Linee guida direzionali c) Statistical Region Merging Figura 2: Esempio di individuazione dei contorni di un immagine Se posizionando i tasselli, due di essi hanno in comune parte della loro superficie, di fatto sono in collisione; oppure un tassello potrebbe scavalcare le linee di bordo, cosa che porterebbe ad un maggiore senso di confusione. Dato però che i tasselli vengono costruiti come insieme di pixel, basta far sì che ogni pixel dell immagine venga occupato al più da un solo tassello e che i pixel di contorno non vengano occupati. Si realizza così una simulazione del taglio fisico effettuato dai mosaicisti. Inoltre, si possono applicate delle ottimizzazioni per evitare di produrre tasselli concavi e curvi, che non sono presenti nei mosaici reali. 3

4 Nell opus vermiculatum bisogna distinguere il soggetto in primo piano dallo sfondo. Poiché le tecniche automatiche per distinguere il background dal foreground non sono molto efficaci, si è preferito utilizzare una tecnica semi-automatica basata sullo Statistical Region Merging visto in precedenza, in cui è l utente a distinguere le regioni di background e foreground. I tasselli del background vengono posizionati su file orizzontali, con leggere variazioni casuali di posizione e dimensione. I tasselli del foreground vengono posizionati come in un opus musivum. Per entrambe le tecniche, è disponibile un applet Java che ne implementa on line le caratteristiche di base, all indirizzo: 2 Ottimizzazione e trasformazione in 3D Il primo passo per la generazione del mosaico 3D è quello di applicare all immagine una maschera (silhouette) che elimina a priori i pixel dell immagine non desiderati; poi si passa alla determinazione delle linee principali, eseguita allo stesso modo di quanto visto nel paragrafo precedente. Uno dei principali ostacoli da superare nella trasformazione 3D è stata la conversione dei tasselli bidimensionali da raster a vettoriale, necessaria per poter rappresentare il mosaico in 3D. Un poligono raster è un insieme di pixel. Lo si può immaginare come una matrice di bit, in cui i pixel appartenenti al poligono hanno valore 1, mentre tutti gli altri hanno valore 0. Un poligono vettoriale, invece, è un insieme di vertici (memorizzati tramite le rispettive coordinate), ordinato in senso orario o antiorario. Collegando ogni vertice con il successivo e l ultimo col primo, si ottiene il perimetro del poligono. Fortunatamente sono venuti in aiuto alcuni strumenti già presenti nelle librerie standard di Java che consentono di effettuare operazioni binarie di intersezione, unione e sottrazione tra aree poligonali del piano. Grazie a questi strumenti, è stato possibile rimuovere le collisioni mantenendo i tasselli vettoriali. Invece, la ricerca delle collisioni si effettua usando una mappa raster. Per ogni pixel dell immagine la mappa permette di capire se è libero, occupato da un bordo, oppure occupato da un tassello già posizionato; in quest ultimo caso, essa permette di risalire alla forma poligonale del tassello che lo occupa. Ogni nuovo tassello inizialmente ha la forma di un rettangolo o un quadrilatero simile ad un trapezio; la posizione e l orientamento vengono calcolati come nel paragrafo precedente. Successivamente, viene esplorato l insieme dei pixel liberi che possono essere occupati dal nuovo tassello e si interseca la forma iniziale con il più piccolo rettangolo (bound) contenente tale insieme di pixel. Poi l algoritmo cerca i tasselli che collidono col tassello corrente e, ad una ad una, tutte le forme dei tasselli in collisione vengono sottratte dalla forma corrente. Le forme ottenute vengono private dei vertici troppo vicini o che producono un arco. Se il tassello trovato risultasse a) situazione iniziale b) calcolo del bound c) intersezione col bound e) rimozione delle concavità f) eliminazione dei tasselli piccoli g) rimozione dei bordi d) sottrazione dei tasselli in collisione h) risultato finale Figura 3: Esempio di rimozione delle collisioni e ottimizzazione dei vertici degenere oppure troppo piccolo, allora sarà scartato. La rimozione dei vertici superflui permette di ridurre al minimo il numero di vertici dei tasselli, caratteristica utile per ottenere buone prestazioni nel rendering 3D. Per ogni spezzata poligonale valida vengono eliminati i vertici concavi, allo stesso modo di quanto fatto in Di Blasi et al. (2005). Infine, l algoritmo 4

5 verifica se nella forma ottenuta ci sono pixel di bordo; essi vengono ordinati dal più vicino al più lontano dal centro del tassello e per ognuno di essi viene effettuato un taglio. L intero procedimento è illustrato in Figura 3. Le forme ottenute possono essere rimpicciolite leggermente, in modo da lasciare trasparire lo sfondo di cemento. Poi vengono effettuate delle alterazioni casuali, che consentono di introdurre delle imperfezioni e rendere il mosaico più realistico: l alterazione delle posizioni dei vertici consiste nello spostamento dei vertici all interno del perimetro stesso, evitando così di ottenere forme concave e di produrre nuove collisioni indesiderate; l alterazione casuale dei colori consiste nell alterazione separata dei valori RGB del colore. Il passaggio successivo è la creazione di una versione semplificata delle forme 3D, sulla quale si possono effettuare ulteriori elaborazioni in modo semplice ed immediato. Ogni tassello 2D viene trasformato in un prisma retto o un tronco di piramide, in base alle esigenze dell utente; nel tassello a tronco di piramide la base superiore del solido a): Tasselli a prisma b): Tasselli a tronco di piramide risulta più piccola rispetto alla base Figura 4: Esempio di forme dei tasselli 3D inferiore, amplificando la sensazione di profondità del solido prodotto (si veda la Figura 4). Le coordinate dei tasselli 2D vengono modificate in modo da adattarle a quelle del mondo virtuale 3D. Anche in questa fase vengono effettuate alcune alterazioni casuali: l alterazione delle posizioni dei vertici superiori avviene sia orizzontalmente (in modo simile a quanto fatto nella fase 2D) che verticalmente; l alterazione verticale simula l inclinazione del tassello e rendere la superficie superiore lievemente irregolare; l inclinazione può arrivare fino a 45 ; le diverse inclinazioni dei tasselli producono effetti simili a quelli dei mosaici bizantini; l alterazione dei colori dei vertici consiste in piccole variazioni casuali delle componenti RGB dei colori di ogni vertice; ciò serve a simulare le impurità del materiale di cui sono fatti i tasselli. Le forme 3D semplificate ottenute fino a questo punto corrispondono ad un mosaico 3D su superficie piana. Qualora si volesse ottenere una superficie diversa, il mosaico si potrà mappare sulla superficie desiderata. Ciò si ottiene applicando la trasformazione voluta alle coordinate 3D correnti. È anche possibile aggiungere una superficie 3D corrispondente al cemento sotto i tasselli del mosaico. Inoltre, l applicazione sviluppata fornisce le seguenti superfici di default: piano, cilindro, cupola, con alcuni parametri modificabili dall utente. Altre superfici possono essere aggiunte da uno sviluppatore, mediante delle librerie esterne da aggiungere all applicazione, a mo di plug-in. A scopo esemplificativo, è stata sviluppata una libreria esterna per la piramide a base rettangolare. Le forme 3D semplificate vengono poi trasformate in una geometria tridimensionale effettivamente rappresentabile dal motore di rendering 3D. Si ottiene una superficie composta da triangoli, in cui ogni triangolo risponde alla luce come se fosse una faccia diversa del solido. Vengono create solo le facce superiori e laterali dei tasselli. Il mosaico ottenuto può essere salvato in formato binario ed importato in qualunque applicazione Java usando una apposita libreria che ricostruisce la geometria 3D a partire dal file binario. 5

6 Per visualizzare il mosaico, l applicazione crea un ambiente 3D con alcune luci di default. L utente può ruotare l ambiente e può avvicinare e allontanare la visuale dal mosaico. 3 Risultati sperimentali Questo paragrafo presenta alcuni risultati ottenuti dall applicativo sviluppato. In Figura 5 viene mostrato un esempio di mosaico 3D su di una superficie cilindrica concava. a) Immagine di input b) Mosaico 2D c) Mosaico 3D Figura 5: Mosaico 3D su di una superficie cilindrica concava di 120 con tasselli di 4x6 pixel In Figura 6 viene mostrato un mosaico 3D su di una piramide concava. a) Immagine di input b) Mosaico 2D c) Mosaico 3D Figura 6: Mosaico 3D su di una piramide concava, con tasselli di 8x14 pixel 6

7 In Figura 7 viene mostrato un mosaico 3D su di una superficie a cupola concava. a) Immagine di input b) Mosaico 2D c) Mosaico 3D Figura 7: Mosaico 3D su di una superficie a cupola concava, con tasselli di 6x10 pixel In Figura 8 viene mostrato un mosaico 3D su di un settore di cupola concava con un arco di 180. a) Immagine di input b) Mosaico 2D c) Mosaico 3D Figura 8: Mosaico 3D su di un settore di cupola concava con un arco di 180, con tasselli 4x6 pixel 7

8 Conclusioni In questo articolo è stata presentata una possibile tecnica per produrre mosaici 3D a partire da immagini digitali bidimensionali. I risultati ottenuti possono portare alla costruzione di una galleria virtuale di mosaici, distribuiti su varie sale virtuali e mappati su diversi tipi di superfici. L algoritmo si può ulteriormente migliorare, ad esempio cercando di raffinare le tecniche per la ricerca dei contorni o per il posizionamento dei tasselli. Sviluppi futuri prevedono la possibilità di mappare il mosaico sulla superficie di qualunque oggetto 3D, sfruttandone la mappatura per la texture. Riferimenti bibliografici BATTIATO S., DI BLASI G., FARINELLA G. M., GALLO G., 2007 Digital Mosaic FrameWork An Overview Computer Graphics Forum Vol. 26, No 4, pp BATTIATO S., DI BLASI G., FARINELLA G. M., GALLO G., 2006 A Novel Tecnique for Opus Vermiculatum Mosaic Rendering. Proc. ACM/WSCG2006, pp DI BLASI G., GALLO G., PETRALIA M., 2005 Tecniche di Fast Mosaic Rendering. Università degli Studi di Catania. DI BLASI G., 2006 Tutorial su Java3D Presentato alla Eurographics Italian Chapter. DI BLASI G., GALLO G., 2005 Artificial Mosaics. The Visual Computer, Vol. 21, No.6, pp MILONE A., 2007 Sviluppo ed implementazione di tecniche per la realizzazione di mosaici artificiali su superfici 3D. Tesi di Laurea - Università degli Studi di Catania. 8