Compressione lossless di immagini composite

Transcript

1 Compressione lossless di immagini composite Corso di Compressione Dati Sistemi Multimediali Compressi Compression Team Prof. Bruno Carpentieri A.A. 2007/2008

2 Overview Introduzione Analisi del problema Approcci attuali Soluzioni proposte Compression Team Compressi

3 Immagini composite Immagini contenente testo Es: Pagina di un libro quotidiano Es: Pagina di un libro, quotidiano, giornale, depliant, libretto istruzioni

4 Immagini composite (2) Gli algoritmi di compressione immagine attuali sono nati per la memorizzazione di foto in digitale e quindi sono ottimizzati per la rappresentazione di immagini naturali. Comprimere il testo con la stessa Comprimere il testo con la stessa tecnica non è una soluzione ottimale

5 Immagini composite (3) In determinate circostanze il testo contenuto all'interno di un'immagine ha solo significato informativo e non necessità degli stessi dettagli grafici dell'immagine. L'obiettivo è dunque quello di migliorare il q q g rapporto di compressione di un'immagine composita mantenendo comunque un buon compromesso con la perdita di informazione/qualità della parte del testo

6 Comportamento Jpeg col testo La compressione di immagini/testo con JPEG classico offre risultati inquietanti.

7 Comportamento JPEG col testo(2) L'immagine precedente contenente solo testo è di circa 66 KB salvata in Bitmap monocromatico e varia tra i 68 KB e i 140 KB se salvata in formato JPG.

8 SLIm (Segmented Layered Image) La mancanza di un formato per bitmap composite ha portato allo sviluppo del sistema SLIm. Separa testo e linee dalle immagini di sfondo, per comprimerli più efficientemente.

9 Le caratteristiche Estremamente semplice e veloce. Performance di compressione prossime allo stato dell arte. Possibile utilizzo in diverse applicazioni. Opera segmentando l immagine in tre distinte componenti: background, foreground e mask layer.

10 Architettura di SLIm crea la maschera binaria che indica per ciascun pixel se appartiene al foreground o al background.

11 Architettura di SLIm separa l immagine in input, utilizzando la maschera, su due livelli: lli foreground e background.

12 Architettura di SLIm Binary coder: codifica la maschera. Image coder: è un codificatore standard di immagini (JPEG, JPEG-2000) che codifica background e foreground.

13 Architettura di SLIm combina l immagine di foreground e di background in base alla maschera, restituendo in output l immagine compressa.

14 Come funziona SLIm? F B

15 I 2 approcci di compressione Un primo approccio è usare un codec di immagini che utilizza la maschera per codificare separatamente sia l immagine di background che quella di foreground. Background Foreground

16 I 2 approcci di compressione Un altro approccio possibile è utilizzare un codec off-theshelf per codificare l intero bitmap del background e del foreground, perciò si assegnano dei valori che producono una buona compressione a quei pixels don t care che figurano all interno della maschera. Background Foreground Masked pixel

17 Il Problema Il problema principale consiste nell interpolare i pixels validi all interno delle locazioni che figurano nella maschera in modo da non introdurre sharp edges. Esistono tre diversi algoritmi per risolvere il problema che producono quasi le stesse performance di compressione, pur richiedendo diverse velocità di esecuzione: Algoritmo di Voronoi Algoritmo POCS Algoritmo di Filtering (da noi usato)

18 Filtering Esegue un filtro, calcolante una media, che scandisce l immagine da sinistra a destra e dall alto in basso, sostituendo ogni pixel (con maschera) con una combinazione lineare (ad esempio la media) del pixel a sinistra e di quello superiore.

19 Filtering (2) Un altro simile filtro opera allo stesso modo, ma segue la direzione opposta (parte dall angolo in basso a destra dell immagine) immagine). Infine, viene calcolata una combinazione lineare dei risultati ottenuti da entrambi i filtri, pesata al valore della distanza del pixel più vicino (senza maschera) incontrato dai filtri.

20 Mask Separation L obiettivo è assegnare ogni pixel al background o al foreground in modo da massimizzare la compressione combinata di maschera, foreground e background. Supponiamo: IMG N pixel 2 N possibili maschere ma è oneroso ricercarle tutte. La soluzione, è usare un approccio greedy divide and conquer su regioni più piccole: calcoliamo la maschera usando solo una versione a livelli di grigio dell immagine che minimizza la varianza all interno di queste regioni, fino a quella ottimale.

21 Mask Separation (2) POSSIBILI MERGE newf newb F1, B1 F1 F1, B1, F2 B2 F2, B1, B2 F1, F2, B2 B1 F2 F1, B1, B2 F2, B2 F=F2; B=B1,B2,F1 F1, F2 B1, B2 F1, B1 F2, B2 F1, B2 F2, B1

22 IMMAGINE ORIGINALE MASK(43K) FOREGROUND(34k) BACKGROUND(29K)

23 DjVu Sviluppato dal 1996 negli AT&T Labs Consente la distribuzione su Internet di immagini ad alta risoluzione, di documenti scannerizzati, ati documenti digitali e fotografie.

24 Modellazione con DjVu Si basa su un modello che propone la segmentazione dell'immagine in background layer (foto e texture) e foreground layer (testo) ciascuno dei quali viene compresso con algoritmi specifici (es. algoritmo di tipo wavelet come per JPEG 2000). Con questa tecnica si possono ottenere file molto "leggeri", veloci da visualizzare anche su computer di vecchia generazione.

25 Prestazioni DjVu Fattori di compressione documenti a colori, dalle 5 alle 10 volte migliori rispetto ad altri formati concorrenti quali JPEG e GIF; documenti in bianco e nero, fattori dalle 3 alle 8 volte migliori rispetto al formato TIFF G4; documenti digitalizzati a 400 ppi in full- color, con rapporti di compressione tra 1:300 e 1:1000.

26 DjVu VS JPEG Bitmap DjVu 300dpp JPEG 300dpp (699 KB) (37 KB) (54 KB)

27 Immagine originale JPEG (200 kbytes) SLIm (100 kbytes) DjVu (65 kbytes)

28 Approcci Compression Team L approccio che sarà adottato è quello basato sulla tecnologia SLIm Compressione dei due livelli (background e foreground) settando i pixel don t care a: 1 (bianco) 0 (nero) Media dei pixel adiacenti Filtering

29 Esempi approcci Codificati A Non codificati Mascherato non codificato B X

30 Esempi approcci Codificati A Non codificati Mascherato non codificato B 1 Settaggio pixel mascherato ad 1 (bianco)

31 Esempi approcci Codificati A Non codificati Mascherato non codificato B 0 Settaggio pixel mascherato ad 0 (nero)

32 Esempi approcci Codificati A A + B B 2 Non codificati Mascherato non codificato Settaggio pixel mascherato alla media dei valori dei pixel adiacenti

33 Esempi approcci U Filtro 1 Analizzati dal filtro A V X Non analizzati X U + V = 2 Pixel da mascherare Analizzato senza maschera più vicino Y Z + W = Y W 2 Z B Filtro 2

34 Esempi approcci Codificati Non codificati Mascherato non codificato X X = d ( X, A) X + d( Y, B) d ( X, A ) + d ( Y, B ) Y Settaggio pixel mascherato alla combinazione lineare dei risultati ottenuti dai filtri, pesata al valore della distanza del pixel più vicino senza maschera incontrato dai filtri

35 Soluzione Proposte da Compressi Utilizzo di una maschera colore per estrarre dall'immagine tutte i pixel di un colore selezionato dall'utente, che corrisponde al colore del testo. Utilizzo di una maschera che selezioni ed estragga i pixel solo oltre una certa oscurità indicata dall'utente (threshold) Utilizzo di Canny per l'edge detection e cercare di dividere l'interno (testo) e l'esterno (sfondo e immagine) dei contorni e comprimerli separatamente.

36 Maschera colore La maschera colore è uno strumento che permette di effettuare l estrazione di un determinato colore, selezionato dall utente, da una immagine. Esempio estrazione del colore rosso:

37 Maschera colore (cont.) Utilizzando la maschera colore si può estrarre un testo. L esempio seguente mostra come la selezione del colore rosso comporta l esclusione dello stesso nell area relativa al testo.

38 Soluzione Proposte Utilizzo di una maschera colore per estrarre dall'immagine tutte i pixel di un colore selezionato dall'utente, che corrisponde al colore del testo. Utilizzo di una maschera che selezioni ed estragga i pixel solo oltre una certa oscurità indicata dall'utente (threshold) Utilizzo di Canny per l'edge detection e cercare di dividere l'interno (testo) e l'esterno (sfondo e immagine) dei contorni e comprimerli separatamente.

39 Utilizzo della Threshold La scelta della corretta soglia permette di separare il background dagli oggetti. Se il testo possiede una tonalità di colore diversa dal resto dell immagine potrà essere facilmente selezionata attraverso il taglio dell istogramma decidendo il corretto intervallo corrispondente alla tonalità di colore da eliminare.

40 Soluzione Proposte Utilizzo di una maschera colore per estrarre dall'immagine tutte i pixel di un colore selezionato dall'utente, che corrisponde al colore del testo. Utilizzo di una maschera che selezioni ed estragga i pixel solo oltre una certa oscurità indicata dall'utente t (threshold) Utilizzo di Canny per l'edge detection e cercare di dividere l'interno (testo) e l'esterno (sfondo e immagine) dei contorni e comprimerli separatamente.

41 Edge Detection L' Algoritmo di Canny è un operatore ideato da John F. Canny nel 1986, ed adottato nel campo dell'elaborazione delle immagini per il riconoscimento dei contorni. I bordi nelle immagini spesso corrispondono a contorni di oggetti dove l intensità varia rapidamente. L individuazione dei bordi e largamente utilizzata quando si vuole dividere l immagine in aree corrispondenti a oggetti differenti. Inoltre rappresentare un immagine attraverso i suoi bordi permette che la quantità di dati da memorizzare sia ridotta significativamente. Il metodo di Canny segue i seguenti passi: 1. Filtro gaussiano 2. Norma del gradiente 3. Thresholding 4. Thinning

42 Edge Detection (cont.)

43 Passi dell algoritmo Immagine input Immagine senza testo Compressione con LOCO Selezione Creazione Estrazione Combina della regione maschera testo bits maschera Compressione maschera Immagine con testo compressa

44 Passi dell algoritmo proposto Immagine da comprimere Per il forte balzo di intensità intorno alla scritta OK l algoritmo di compressione lossless JPEG non è efficiente i

45 Passi dell algoritmo proposto (cont.) Passo 1) L utente seleziona la minima area L utente seleziona la minima area contenente del testo.

46 Passi dell algoritmo proposto (cont.) Passo 2) Sull area selezionata viene applicato l algoritmo di Canny Edge Detection. Canny edge detection

47 Passi dell algoritmo proposto (cont.) Passo 3) Creazione della maschera Maschera colore Sfruttando il Canny Edge Detector Threshold sull istogramma La maschera verrà compressa e salvata separata dall immagine

48 Codice della maschera

49 Passi dell algoritmo proposto (cont.) Passo 4) Si sostituisce il colore dei pixel corrispondenti alla maschera nell immagine i originale i con il valore dei pixel intorno al testo Così facendo si attenueranno le forti e repentine variazioni di intensità presenti nell immagine in modo da garantire un migliore funzionamento dell algoritmo Lossless Jpeg.

50

51 Passi dell algoritmo proposto (cont.) Passo 5) Compressione senza perdita dell immagine e della maschera ottenute. Al momento della visualizzazione dell immagine compressa, maschera e i pixel del contorno saranno riutilizzati per riposizionare il testo all interno dell immagine di partenza.