Tecniche Fast di Mosaic Rendering. Di Blasi Gianpiero - D.M.I. - Università di Catania

Transcript

1 Tecniche Fast di Mosaic Rendering Di Blasi Gianpiero - D.M.I. - Università di Catania

2 Sommario I mosaici e l'informatica Le tecniche di Mosaic Rendering per la realizzazione di: mosaici artificiali photomosaic mosaici puzzle Coming soon

3 Introduzione Gli artisti spesso inventano tecniche usate successivamente nella Computer Graphics I Mosaici, per esempio, sono immagini create mettendo assieme piccoli tasselli poligonali colorati Essi sono un esempio di tecnica di sintesi di immagini

4 Piazza Armerina

5 I mosaici digitali La creazione di mosaici digitali di qualità artistica è una delle sfide della Computer Graphics È anche una delle più recenti direzioni di ricerca nel campo del Non-Photorealistic Rendering I mosaici digitali sono un tipo di arte in cui un'immagine è composta da una collezione di piccole immagini chiamate tile (tasselli) Partendo dalla stessa immagine è possibile ottenere differenti tipi di mosaico a seconda del dataset di tile e dei vincoli imposti

6 Il problema (1) Dati: una regione rettangolare I2 nel piano R2 un dataset di tile un insieme di vincoli Trovare N posizioni Pi(xi, yi) in I2 e posizionare N tile, una per ogni Pi, tali che: non vi siano sovrapposizioni tra tile l'area coperta sia massima i vincoli siano rispettati il più possibile

7 Il problema (2) Le definizione precedente essendo del tutto generale si adatta a moltissime applicazioni Le applicazioni non sono soltanto ludiche o grafiche Il problema può essere visto come: un caso particolare del cover problem un search and optimization problem un low-energy configurations of particles problem Vediamo tre possibili specializzazioni della precedente definizione

8 Artificial Mosaic Dati: un'immagine I2 nel piano R2 un campo vettoriale Ф(x,y) rappresentante i bordi di I2 2 Trovare N punti Pi(xi, yi) in I e posizionare N rettangoli, uno per ogni Pi, orientati con Ф(x,y), tali che: non vi siano sovrapposizioni tra rettangoli l'area coperta sia massima ogni tassello sia colorato da un colore che rappresenta la parte di immagine che il tassello copre

9 Photomosaic Dati: un'immagine I2 nel piano R2 un insieme di piccole immagini rettangolari una griglia rettangolare regolare Trovare N immagini nell'insieme e posizionarle sulla griglia in modo che: ogni cella della griglia sia coperta da un'immagine che ricorda la parte di I2 che l'immagine copre

10 Jigsaw Image Mosaic Dati: un'immagine I2 nel piano R2 un insieme di piccole immagini irregolari una griglia irregolare Trovare N immagini nell'insieme e posizionarle sulla griglia in modo che: non vi siano sovrapposizioni tra immagini l'area coperta sia massima ogni cella della griglia sia coperta da un'immagine che ricorda la parte di I2 che l'immagine copre

11 Un po' di storia (1) I mosaici esistono fin dai tempi dei Greci (più di 2000 anni fa) I tentativi di realizzarli al computer sono invece molto recenti Per esempio Adobe Photoshop fornisce un effetto mosaico, ma non fa esattamente quello che ci aspettiamo

12 Un po' di storia (2) Adobe Photoshop

13 Un po' di storia (3) Haeberli P.

14 Un po' di storia (4) Hausner A.

15 Un po' di storia (5) Silver R., Hawley M.

16 Un po' di storia (6) Kim J., Pellacini F.

17 L'idea di Hausner I mosaicisti prima posizionavano una alla volta le tile, poi le aggiustavano finché lo spazio non era uniformemente ricoperto Anche noi aggiusteremo ogni tile in accordo con Ф(x,y) ed in accordo con i relativi vicini Ogni aggiustamento richiede che altre tile si aggiustino a loro volta È necessario quindi un algoritmo che ottimizza simultaneamente tutte le posizioni: tale metodo è realizzabile tramite i Diagrammi di Voronoi Centroidali

18 I diagrammi di Voronoi (1) Cosa sono? Input: un insieme di punti (generatori, siti, ecc.) Output: le regioni più vicine ad ogni punto Come calcolarli? Divide et impera (Preparata) Sweep-line (Fortune)

19 I diagrammi di Voronoi (2)

20 I diagrammi di Voronoi centroidali (1) siti centroidi Algoritmo di Lloyd muovi il sito sul centroide ricalcola il DdV ripeti Converge? (si hanno dei problemi di oscillazione)

21 I diagrammi di Voronoi centroidali (2) Usando la metrica euclidea si ottiene una griglia esagonale Cosa si otterrebbe con altre metriche?

22 L'idea DdVC e tassellatura: migliore packing del cerchio tassellatura esagonale metrica euclidea metrica differente DdVC =? DdVC = tassellatura esagonale Creare una metrica mosaico : metrica di Manhattan locale (L1) variazione locale dell'orientamento problema: gli algoritmi per DdVC non lavorano su L1

23 La tecnica dello z-buffer (1) Il metodo di Hoff per il calcolo dei DdV: posizionare un cono infinito in ogni sito renderizzare il cono sulla proiezione ortogonale normale al piano contenente i siti L'algoritmo identifica le regioni più vicine ad ogni sito Questo poiché l'equazione del cono ingloba la metrica euclidea: z= x x 0 y y 0 2 2

24 La tecnica dello z-buffer (2) Cosa succede se in questo processo sostituiamo il cono con una piramide a base quadrata? Si otterrà un DdV per la metrica L1: z= x x 0 y y 0

25 L'algoritmo S insieme di punti random sull'immagine Ripeti fino alla convergenza: p S posiziona una piramide a base quadrata in p ruota ogni piramide sull'asse z per allinearla con Ф(p) renderizza la piramide sulla proiezione ortogonale normale al piano xy, producendo un DdV calcola i centroidi di ogni regione muovi ogni p nel centroide della sua regione disegna una tile centrata in p ed orientata lungo Ф(p)

26 Un esempio (1)

27 Un esempio (2)

28 Un esempio (3)

29 Un esempio (4)

30 Osservazioni L'algoritmo prevede come input un campo vettoriale che individua i lati Lo z-buffer deve essere eseguito tramite una scheda 3D per avere buone prestazioni Una realizzazione totalmente software risulta essere particolarmente complessa Non si può sapere dopo quanto tempo l'algoritmo converge, anzi lo convergenza non è nemmeno garantita

31 È corretto tutto ciò? (1) La distanza euclidea tra due punti è una proprietà isotropa (non varia per rotazioni) la distanza di Manhattan tra due punti non lo è P 1= 1,0 ; P 2= 1,1 d E P 1, P 2 =1 d M P 1, P 2 =1 2 2 R45 P 1 =, ; P 2R45 = 0, d E P 1R45, P 2R45 =1 R45 R45 d M P 1, P 2 = 2

32 È corretto tutto ciò? (2) I mosaicisti realizzavano davvero così i mosaici? E come facevano per i mosaici a tetto a riordinare le tile? I mosaici sono spesso composti da tile spezzate totalmente assenti invece in questo algoritmo Come si fa se non si ha a disposizione un campo vettoriale che individua i lati? Quanto tempo ci vuole per eseguire uno z-buffer senza scheda 3D?

33 La nostra idea (1) Per creare un mosaico i mosaicisti prima tracciavano le forme dell'immagine che volevano ottenere Poi riempivano le forme con una sequenza di curve parallele (curve di offset) Infine posizionavano le tile lungo le curve

34 La nostra idea (2) I primi due passi della creazione di un mosaico sono molto semplici e di solito non rappresentavano un problema L'ultimo è il più complesso poiché i mosaicisti avevano un insieme di tile limitato Di solito erano disponibili solo tile rettangolari I mosaicisti dovevano, quindi, adattare (tagliando) le tile per poterle inserire nella figura che stavano realizzando

35 La nostra idea (3)

36 Le linee guida direzionali (1) Il primo passo del nostro algoritmo è l'individuazione delle linee guida direzionali dell'immagine La tecnica è molto semplice: equalizzazione x 2 y e filtro Gaussiano (σ=16): G x, y = 2 2 soglia: filtro Laplaciano { 1 if I 1 x, y T ; con T =, =media, =varianza 4 0 elsewhere

37 Le linee guida direzionali (2)

38 Come abbiamo copiato i mosaicisti (1) Supponiamo ora di avere un'immagine e le sue linee guida direzionali Tramite le linee guida direzionali è possibile calcolare la trasformata della distanza La trasformata della distanza indica la minima distanza di ogni pixel dalle linee guida ed è rappresentabile tramite una matrice (nel seguito indicata con dtm)

39 Come abbiamo copiato i mosaicisti (2) immagine di input linee guide direzionali trasformata della distanza

40 Come abbiamo copiato i mosaicisti (3) Utilizzando la trasformata della distanza è possibile ottenere le altre due matrici necessarie per l'elaborazione finale: la matrice del gradiente (gm) dtm x, y 1 dtm x, y 1 gm x, y =arctan dtm x 1, y dtm x 1, y la matrice delle linee di livello (llm) { 1 if module dtm x, y,2 tsize =0 llm x, y = 2 if module dtm x, y,2 tsize =tsize 0 elsewhere dove tsize è la dimensione delle tile

41 Come abbiamo copiato i mosaicisti (4) matrice del gradiente matrice delle linee di livello

42 Come abbiamo copiato i mosaicisti (5) Siamo ormai pronti per realizzare il mosaico Come nel caso reale dobbiamo adattare le tile per inserirle nell'immagine La matrice llm forma una catena utile per posizionare i centri delle tile, l'orientamento è dato usando la matrice gm Se le tile sono posizionate solo in base a quanto detto si verificano però due problemi: le tile potrebbero sovrapporsi una tile può coprire un'area a cavallo delle linee guida

43 Come abbiamo copiato i mosaicisti (6) Entrambi questi effetti non sono piacevoli In particolare il secondo problema distrugge completamente le linee guida Per risolvere questi problemi basta adottare due semplici strategie (gia usate dai mosaicisti): se una nuova tile A si sovrappone ad una tile gia posizionata, i pixel in comune di A sono tagliati via se una nuova tile ha dei pixel oltre una linea guida questi pixel sono tagliati via

44 Come abbiamo copiato i mosaicisti (7)

45 Come abbiamo copiato i mosaicisti (8)

46 Confronto tra i metodi (1)

47 Confronto tra i metodi (2) Metodo di Hausner Il nostro metodo Tempo: 20 sec (?) Tempo: 24 sec Dimensione: 900x900 Dimensione: 1024x768 CPU: PIII 600Mhz CPU: Athlon XP-M RAM:? RAM: 192MB Linguaggio:? Linguaggio: JAVA Scheda: GeForce+ 32MB Scheda: non usata T(n):? T(n): O(n)

48 Esempi (1)

49 Esempi (2)

50 I Photomosaic (1) Photomosaic è una tecnica che trasforma un'immagine in una griglia rettangolare di piccole immagini che preserva l'aspetto dell'immagine originale Molti li conoscono dai poster e dalle copertine prodotte da Robert Silvers Tipicamente un algoritmo di photomosaic cerca in un database di immagini quella che meglio approssima un blocchetto di pixel nell'immagine in input

51 I Photomosaic (2) La qualità dell'output dipende dalla dimensione del database Di conseguenza il collo di bottiglia in tutti gli algoritmi di photomosaic è il processo di ricerca Questa ricerca è sequenziale e la maggior parte del tempo viene persa in questa fase Alcuni algoritmi di photomosaic eseguono delle operazioni off-line per costruire una struttura dati adatta a velocizzare la ricerca Il tempo richiesto per crearla è però proibitivo

52 La nostra idea (1) Utilizzare le strutture dati tipiche dei database per risolvere un problema di Computer Graphics Tale ottimizzazione permette di implementare l'algoritmo di photomosaic come plug-in di un qualsiasi software di elaborazione di immagini Un'idea originale e con nessun precedente in letteratura (per quello che ne sappiamo noi) L'idea può essere estesa a moltissimi altri problemi analoghi nel campo della Computer Graphics (ne vedremo un esempio a breve)

53 La nostra idea (2) Che struttura dati conviene usare? Ci sono molte scelte, noi abbiamo utilizzato l'antipole Tree Data Structure L'Antipole è adatto per ricerche su grandi insiemi di dati immersi in uno spazio metrico (X, d) Nel nostro caso ogni immagine nel database diventa un punto in X La distanza d tra due immagini è calcolata come la distanza euclidea tra i rispettivi vettori delle componenti RGB

54 L'algoritmo (1) Il nostro algoritmo può essere idealmente diviso in due parti indipendenti: acquisizione del database di immagini creazione del photomosaic Ovviamente l'acquisizione del database può essere effettuata una sola volta così da risparmiare ancora più tempo

55 L'algoritmo (2) Acquisizione: partizionare ogni immagine del database in 9 rettangoli uguali posizionati un una griglia 3x3 calcolare i valori medi RGB di ogni rettangolo costruire un vettore x composto da 27 componenti (tre componenti RGB per ogni rettangolo) x è il vettore con cui si effettuerà il processo di ricerca

56 L'algoritmo (3) Creazione: partizionare l'immagine input in una griglia regolare partizionare ogni cella della griglia in un'ulteriore sotto-griglia 3x3 calcolare i valori medi RGB di ogni sotto-cella della sotto-griglia costruire un vettore x composto da 27 componenti (tre componenti RGB per ogni sotto-cella) x è il vettore con cui si effettuerà il processo di ricerca eseguire il best-matching, ridimensionare l'immagine selezionata per adattarla e disegnarla sulla cella

57 Risultati Tempo: 6 secondi su un'immagine 320x240 pixel 16 secondi su un'immagine 640x480 pixel 19 secondi su un'immagine 800x600 pixel 32 secondi su un'immagine 1024x768 pixel CPU: Athlon XP-M RAM: 192MB Linguaggio: JAVA T(n): O(n)

58 Esempi (1)

59 Esempi (2)

60 Jigsaw Image Mosaic Si ispira ai quadri di Giuseppe Arcimboldo, un poeta italiano del Rinascimento Arcimboldo dipingeva i suoi quadri componendo e sovrapponendo vari oggetti (principalmente vegetali) Egli chiamò questa forma di disegno the composite head Jigsaw Image Mosaic vuole riprodurre questo effetto

61 Estate di Giuseppe Arcimboldo

62 Obiettivi di JIM JIM si pone tre obbiettivi: effetto finale piacevole basso costo computazionale minimo intervento dell'utente Di questi solo il primo è stato pienamente raggiunto

63 L'idea Scrivere una funzione energia che rappresenti il problema è cercare di minimizzarla: E=w c E c w g E g w o E o w d E d

64 Descrizione per grandi linee Senza scendere troppo nel dettaglio l'algoritmo si basa sempre su: i diagrammi di Voronoi un metodo per deformarli ed adattarli alle forme a disposizione una ricerca della migliore forma in un database un ciclo che ripete le operazioni precedenti che termina quando una certa condizione viene soddisfatta

65 Un esempio

66 Limitazioni Deformazione delle tile (Arcimboldo non lo faceva) Costo computazionale troppo alto È necessario avere in input i bordi dell'immagine È limitato solo ad immagini relativamente semplici in termini di forma e colore

67 La nostra idea (1) Mettiamo assieme le idee dei due precedenti metodi per creare PIM: Puzzle Image Mosaic Riadattiamole al nuovo problema e cerchiamo un collante Il tutto deve avere un basso costo computazionale Ci serve: una tecnica per trovare i bordi (mosaici artificiali) una suddivisione caotica dell'immagine (Voronoi) una tecnica di ricerca fast (Antipole Tree)

68 La nostra idea (2) Supponiamo di partire dalla solita immagine

69 La nostra idea (3) Ci serve: una tecnica per trovare i bordi

70 La nostra idea (4) Ci serve: una suddivisione caotica dell'immagine

71 La nostra idea (5) Mettiamo assieme le due cose

72 La nostra idea (6) Adesso bisogna cercare per ogni poligono dell'immagine precedente, un'immagine nel database che approssima: la forma del poligono il colore dell'immagine originale sottostante L'operazione di ricerca della forma può essere svolta come già nel caso del photomosaic dall'antipole Tree Per il colore è possibile effettuare uno shifting cromatico per allinearsi al colore sottostante

73 La nostra idea (7)

74 Osservazioni (1) Anche in questo caso era necessario definire uno spazio metrico ed una metrica Questa volta il vettore su cui effettuare il processo di ricerca di ogni singolo poligono è stato costruito nel seguente modo: inscrivere il poligono in una circonferenza partizionare il poligono in 90 spicchi calcolare la distanza dei vertici degli spicchi dal centro della circonferenza costruire un vettore x composto da 90 componenti (uno per ogni vertice)

75 Osservazioni (2) Le distanze dei vertici sono normalizzate in [0, 1] così da rendere il metodo scale independent Il distanza tra forme si esegue calcolando la distanza Euclidea tra i vettori Tale calcolo tiene conto di tutti gli shifting tra i due vettori (tutte le mutue rotazioni tra le due forme) così da rendere il metodo rotation independent e starting point independent Il massimo errore compiuto in questo calcolo è al più di 4 gradi ( π/45 radianti)

76 Confronto tra i metodi (1)

77 Confronto tra i metodi (2) JIM PIM Tempo: 2 ore Tempo: 292 sec Dimensione: 900x600 Dimensione: 900x600 N. di tile: 900 N. di tile: 1025 CPU:? CPU: Athlon XP-M RAM:? RAM: 192MB Linguaggio:? Linguaggio: JAVA T(n):? T(n): O(n)

78 Esempi (1)

79 Esempi (2)

80 Coming soon Photomosaic basato su QuadTree ogni tessera o viene riempita con una tile dal database o viene suddivisa in quattro tessere (QT-Photomosaic) ogni tessera può essere riempita solo con tile dell'immagine stessa ma provenienti da un livello superiore (FQT-Photomosaic) Mosaici 3D (superficiali e volumetrici) Altre idee?

81 Bibliografia Haeberli P., Paint by Numbers. In proceedings of SIGGRAPH1990 Hausner A., Simulating Decorative Mosaics. In proceedings of SIGGRAPH2001 Di Blasi G., Gallo G., Artificial Mosaic. Submitted to The Visual Computer Silvers R., Hawley M., Photomosaics. Henry Holt, New York Di Blasi G., Petralia M., Fast Photomosaic. To appear in ACM/WSCG2005 Kim J., Pellacini F., Jigsaw Image Mosaics. In proceedings of SIGGRAPH2002 Di Blasi G., Gallo G., Petralia M., Puzzle Image Mosaic. Submitted to ACM/SCCG2005