UNIVERSITÀ DEGLI STUDI DI TRIESTE

Transcript

1 UNIVERSITÀ DEGLI STUDI DI TRIESTE Corso di Elaborazione Elettronica di Immagini CODIFICA DI IMMAGINI MEDIANTE DCT LO STANDARD JPEG

2 Sommario Introduzione alla compressione di immagini 1 Introduzione alla compressione di immagini

3 Motivazione Tipi di compressione Misure di distorsione INTRODUZIONE ALLA COMPRESSIONE DI IMMAGINI

4 Motivazione Introduzione alla compressione di immagini Motivazione Tipi di compressione Misure di distorsione Un immagine digitale grezza contiene grandi quantità di dati: Raw bit per pixel RGB 24 bit per pixel YCbCr 4:2:0 12 bit per pixel I dati presentano varie forme di ridondanza, che possono essere sfruttate per una codifica efficiente: Inter-pixel (correlazione spettrale, spaziale/geometrica, temporale) Trasformate, predittori Psicovisiva (sensibilità dell occhio a luminanza/frequenza) Correzione gamma, quantizzazione Codifica (probabilità non uniforme) Codifica entropica

5 Tipi di compressione Motivazione Tipi di compressione Misure di distorsione Con perdita (lossy) Rapporto Fotografie digitali Video Senza perdita (lossless) Rapporto 2 10 Documenti legali/commerciali Immagini satellitari/scientifiche (alto valore) Immagini medicali (rischio di errori nella diagnosi) Disegni/grafici (artefatti fastidiosi, buone prestazioni della compressione lossless) Necessità di elaborazioni successive

6 Misure di distorsione Motivazione Tipi di compressione Misure di distorsione Misure oggettive { Mean squared error: MSE E [ ^I(x, y) I(x, y) ] 2 } { [ I(x, ] } 2 Signal to noise ratio: SNR E y) /MSE Peak signal to noise ratio: PSNR I 2 max/mse Metodi che tengono conto della distribuzione spaziale dell errore. Esempio: Visible difference predictor (Daly, 1992), Structural Similarity Index (Bovik, 2004). Misure soggettive Giudizio dato da osservatori Variabilità, difficile standardizzazione (esempio: VQEG) Scarsa corrispondenza con le misure oggettive

7 Misure di distorsione Motivazione Tipi di compressione Misure di distorsione La distorsione tipicamente diminuisce all aumentare del bit-rate

8 Motivazione e principi Definizione LA DISCRETE COSINE TRANSFORM (DCT)

9 Motivazione Introduzione alla compressione di immagini Motivazione e principi Definizione Un immagine fotografica contiene tipicamente zone con luminosità uniforme o lentamente variabile. Le variazioni brusche (bordi) occupano un area limitata Conseguenza: forte correlazione statistica tra pixel vicini Esempio di stimatori: Covarianza: Cov(I 1, I 2 ) E { (I 1 Ī 1 )(I 2 Ī 2 ) } = E { I 1 I 2 } Ī1 Ī 2 Funzione di autocorrelazione: A(Δx, Δy) E { I(x, y)i(x + Δx, y + Δy) } Due variabili aleatorie statisticamente indipendenti hanno covarianza nulla non correlate f (i 1 i 2 ) = f 1 (i 1 )f 2 (i 2 ) E[I 1 I 2 ] = E[I 1 ]E[I 2 ]

10 Codifica mediante trasformata Motivazione e principi Definizione Idea: calcolare opportune combinazioni lineari dei campioni che producano valori (idealmente) non correlati La codifica mediante trasformata (transform coding) Divide i dati in blocchi Calcola per ogni blocco una applicazione lineare invertibile Trasformata ottima : Karhunen-Loève Transform (KLT) Formulazione equivalente: Principal Component Analysis (PCA)

11 Definizione Introduzione alla compressione di immagini Motivazione e principi Definizione La KLT, seppure ottima, pone alcuni problemi pratici: La trasformata dipende dalle proprietà statistiche dei dati Mancanza di algoritmi di calcolo efficienti (cfr. FFT) È preferibile usare una trasformata che abbia un espressione analitica fissa. Si osserva che le funzioni base della KLT per segnali naturali sono approssimabili con segmenti di coseno Discrete Cosine Transform (DCT) di una sequenza f con N campioni: N 1 F [k] = C k n=0 f [n] cos (2n + 1)kπ 2N C k { 1/N se k = 0 2/N se k 0

12 Definizione Introduzione alla compressione di immagini Motivazione e principi Definizione La DCT è ortogonale, quindi la trasformata inversa (IDCT) ha un espressione analoga: f [n] = N 1 k=0 F [k] C k cos (2n + 1)kπ 2N Per sequenza bidimensionali (immagini) di M N campioni, la DCT si calcola in modo separabile : M 1 F [j, k] = C j C k N 1 m=0 n=0 f [m, n] cos (2m + 1)jπ 2M cos (2n + 1)kπ 2N La codifica JPEG usa blocchi di 8 8 campioni (pixel)

13 Motivazione Metodo di quantizzazione QUANTIZZAZIONE DEI COEFFICIENTI

14 Motivazione Introduzione alla compressione di immagini Motivazione Metodo di quantizzazione I coefficienti della DCT sono numeri reali. Per poterli codificare con pochi bit, è necessario quantizzarli in modo da ottenere numeri interi. La quantizzazione introduce un errore codifica lossy. L occhio umano ha una diversa sensibilità alle diverse componenti di frequenza spaziale Bassa sensibilità alla componente continua (adattamento locale) Bassa sensibilità alle alte frequenze (campionamento dei fotorecettori) Maggiore sensibilità alle componenti orizzontali o verticali rispetto alle diagonali Dipendenza dalla luminosità, distanza, età, persona, ecc.

15 Contrast sensitivity function Motivazione Metodo di quantizzazione La sensibilità dell occhio alle diverse frequenze spaziali si misura sperimentalmente con apposite immagini Contrasto (Michelson): C L max L min L max + L min Contrast sensitivity: Reciproco del contrasto alla soglia di visibilità

16 Metodo di quantizzazione Motivazione Metodo di quantizzazione È ragionevole usare passi di quantizzazione diversi per ciascun coefficiente, in funzione della sensibilità (tipica) dell occhio a quella frequenza spaziale. Si definisce una tabella di quantizzazione Q[j, k]. Ogni coefficiente della DCT viene diviso per l elemento corrispondente della tabella di quantizzazione e arrotondato all intero più vicino F q [j, k] Round ( ) F [j, k] Q[j, k] Alla decodifica, i coefficienti vengono moltiplicati per gli elementi della tabella: F dec [j, k] Q[j, k] F q [j, k]

17 Tabelle di quantizzazione Motivazione Metodo di quantizzazione Esempio di tabella di quantizzazione per la luma Fonte: ITU-T Recommendation T.81, Annex K

18 Tabelle di quantizzazione Motivazione Metodo di quantizzazione Esempio di tabella di quantizzazione per la croma Fonte: ITU-T Recommendation T.81, Annex K

19 Effetto della quantizzazione Motivazione Metodo di quantizzazione Le tabelle di quantizzazione sono arbitrarie, e vengono memorizzate all interno del file JPEG Scalando opportunamente i coefficienti delle tabelle, è possibile variare la qualità dell immagine codificata Artefatto tipico: discontinuità tra i blocchi

20 Motivazione Metodo di quantizzazione Scalaggio delle tabelle di quantizzazione Esempio: libreria open-source libjpeg, sviluppata dall Independent JPEG Group (IJG): L utente sceglie un fattore di qualità q tra 1 e 100 q < 50 s = 5000/q q > 50 s = 200 2q T s [j, k] = Round ( s Q[j,k] 100 Valori limitati tra 1 e (tipicamente) 255 q = 50 lascia le tabelle inalterate. I software proprietari usano talvolta altri metodi. )

21 Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC CODIFICA DEI COEFFICIENTI QUANTIZZATI

22 Introduzione Introduzione alla compressione di immagini Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC La trasformata DCT, calcolata (ad esempio) su blocchi di 8 8 pixel, produce una tabella di 8 8 coefficienti reali: 1 coefficiente DC 63 coefficienti AC I coefficienti vengono quantizzati utilizzando tabelle di quantizzazione che tengono conto della sensibilità dell occhio umano alle diverse frequenze spaziali, in modo da ottenere numeri interi e piccoli

23 Introduzione Introduzione alla compressione di immagini Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC I coefficienti quantizzati vengono codificati opportunamente con diverse tecniche che tengono conto delle loro proprietà statistiche, in modo da ottenere sequenze di bit più brevi possibile. È conveniente codificare in modo diverso e separato le componenti DC e AC, per due motivi principali Diverse proprietà statistiche Possibilità di usare i coefficienti DC per generare anteprime veloci

24 Codifica dei coefficienti DC Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC Ogni coefficiente DC è proporzionale alla media dei 64 campioni del blocco. I coefficienti formano quindi una versione ridotta dell immagine Anche i coefficienti DC presentano ridondanze spaziali, che si possono sfruttare per migliorare ulteriormente la compressione. Lo standard JPEG utilizza una codifica differenziale

25 Codifica dei coefficienti DC Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC La codifica differenziale raddoppia il range dei dati, ma tende a produrre valori prossimi allo zero. I numeri più grandi (in valore assoluto) appaiono con probabilità bassa Distribuzione di probabilità (approssimativamente) di Laplace Per codificare questi valori in modo efficiente, si memorizzano soltanto le cifre binarie significative eliminando gli 0 iniziali (o gli 1 per valori negativi, rappresentati in complemento a 1). Si usa quindi un numero variabile di bit È necessario delimitare opportunamente i valori. Lo standard JPEG inserisce, prima di ogni valore, un simbolo che identifica il numero di bit rappresentazione size + amplitude

26 Difference magnitude categories Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC

27 Entropy coding Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC I simboli indicati con SSSS ( Size ) indicano il numero di bit necessario per codificare il valore DIFF seguente Per rappresentare i simboli SSSS sarebbero necessari 4 bit. Tuttavia, i simboli hanno una distribuzione di probabilità non uniforme che può essere sfruttata per ridurre il numero di bit utilizzati in media Esistono appositi codici a lunghezza variabile, che utilizzano un numero di bit più basso per rappresentare i simboli che appaiono con una probabilità maggiore. Lo standard JPEG ne prevede due: Huffman coding (supportato da tutti i decodificatori) Arithmetic coding (più efficiente ma poco utilizzato per costo computazionale e licenze)

28 Cenni di teoria dell informazione Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC La teoria dell informazione, fondata da Claude Elwood Shannon nel 1948, fornisce limiti teorici alle prestazioni dei codici a lunghezza variabile Consideriamo una sorgente senza memoria che genera sequenze da un alfabeto di N simboli, con probabilità p i. Vogliamo codificare ciascun simbolo con una sequenza lunga n i bit In media, per rappresentare i simboli della sequenza si utilizzerà un numero di bit pari a N n = p i n i i=1 C. E. Shannon, A Mathematical Theory of Communication, Bell System Technical Journal, Vol. 27, pp & , July & October, 1948.

29 Cenni di teoria dell informazione Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC Se i simboli sono equiprobabili (p i = 1/N), un codice a lunghezza variabile non porterebbe benefici. Per rappresentare i simboli, sono necessari log 2 (N) = log 2 (1/p) bit Se la sorgente emette un solo simbolo (con probabilità 1), la sequenza è completamente prevedibile e non è necessario spendere bit per rappresentarla: n = 0 L entropia di una sorgente è definita come N ( ) 1 H(p) p i log 2 p i=1 i Si dimostra che il numero medio di bit n necessario per codificare i simboli della sorgente è limitato inferiormente dall entropia

30 Huffman coding Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC In una sequenza di bit prodotta da codice a lunghezza variabile, è necessario poter riconoscere dove un simbolo termina ed inizia il successivo Questo obiettivo si può ottenere senza costi aggiuntivi se nessun codice è il prefisso di un altro codice Il codice ottimo è stato ideato nel 1952 da David Albert Huffman. I codici per ciascun simbolo vengono generati costruendo un albero binario in base alle loro probabilità p i, e soddisfano ( ) ( ) 1 1 log 2 n i < log p i p i D. A. Huffman, A Method for the Construction of Minimum-Redundancy Codes, Proceedings of the I.R.E., September 1952, pp

31 Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC Huffman coding nello standard JPEG I simboli SSSS vengono codificati in modo efficiente utilizzando un codice di Huffman Idealmente, il codificatore dovrebbe generare il codice di Huffman ottimo misurando la probabilità dei simboli. Il codice viene memorizzato in una o più Huffman tables all interno del file JPEG Questo richiede un procedimento in due passi. Spesso, per velocizzare la codifica, si utilizzano tabelle predefinite Esistono software che ottimizzano un file JPEG, ricalcolando le Huffman tables in base all effettiva probabilità dei simboli

32 Codifica dei coefficienti AC Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC La DCT e la quantizzazione tendono a produrre blocchi di coefficienti con molti zeri. Esempio, con la tabella di quantizzazione predefinita: Con una codifica opportuna, è possibile rappresentare in modo compatto i coefficienti nulli

33 Zig-zag order Introduzione alla compressione di immagini Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC I coefficienti nulli si trovano prevalentemente per le componenti in alta frequenza Nello standard JPEG, i coefficienti vengono riordinati seguendo un percorso a zig-zag che tende a raggruppare i coefficienti nulli Risultato sul blocco di coefficienti mostrato prima: (-56)

34 Zig-zag order Introduzione alla compressione di immagini Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC Il riordinamento tende a produrre una sequenza con Coefficienti nulli raggruppati Coefficienti nulli alla fine Per codificare la sequenza in modo efficiente, si memorizzano soltanto i coefficienti non nulli. Prima di ogni coefficiente si inserisce un simbolo (indicato con RRRR) che indica il numero di coefficienti nulli eliminati Esempio di run-length encoding Gli zeri alla fine della sequenza vengono sostituiti da un simbolo di end of block (EOB)

35 Codifica Introduzione alla compressione di immagini Introduzione Codifica dei coefficienti DC Codifica dei coefficienti AC I coefficienti AC hanno solitamente valori prossimi allo zero. I numeri più grandi (in valore assoluto) appaiono con probabilità bassa Per codificare questi valori in modo efficiente, si utilizza un procedimento analogo a quello utilizzato per i coefficienti DC differenziali. Ogni coefficiente AC è dunque rappresentato da una terna di valori: runlength + size + amplitude Le coppie di simboli (RRRR, SSSS) vengono codificate in modo efficiente utilizzando un codice di Huffman. Un codice apposito è usato per indicare il simbolo EOB

36 Lo standard JPEG DCT-based process Progressive DCT-based process DESCRIZIONE DELLO STANDARD JPEG

37 Lo standard JPEG Lo standard JPEG DCT-based process Progressive DCT-based process

38 Lo standard JPEG Lo standard JPEG DCT-based process Progressive DCT-based process Lo standard prevede 4 diversi modes of operation. Non è richiesto che i software li implementino tutti 1 Sequential DCT-based 2 Progressive DCT-based 3 Lossless 4 Hierarchical Il procedimento utilizzato più comunemente, e descritto in precedenza, è il Sequential DCT-based

39 Il colore nello standard JPEG Lo standard JPEG DCT-based process Progressive DCT-based process Lo standard JPEG consente di rappresentare immagini con più canali di colore, ma non specifica che cosa significhino. Normative a parte (es. JFIF, EXIF) definiscono appositi header per i file JPEG con significato dei canali, risoluzione, profilo colore, ecc. Tipicamente: 1 canale Luma 3 canali YCbCr Ogni canale può essere sotto-campionato a piacimento e usare diverse tabelle di quantizzazione e Huffman.

40 DCT-based process Lo standard JPEG DCT-based process Progressive DCT-based process

41 Baseline JPEG Introduzione alla compressione di immagini Lo standard JPEG DCT-based process Progressive DCT-based process Lo standard JPEG è molto ampio, e raramente un decodificatore ne implementa tutte le funzioni. È stato definito un sottoinsieme di funzioni che ogni decodificatore dovrebbe supportare: baseline process

42 Progressive DCT-based process Lo standard JPEG DCT-based process Progressive DCT-based process Nella modalità sequential, i blocchi DCT vengono codificati e trasmessi uno dopo l altro. Nelle immagini a colori, le diverse componenti vengono alternate tra di loro (interleaving). Se il file JPEG viene trasmesso attraverso un canale di comunicazione lento (esempio: immagini in una pagina web), il decodificatore può già visualizzare le prime righe dell immagine prima che il download sia completato

43 Progressive DCT-based process Lo standard JPEG DCT-based process Progressive DCT-based process In alternativa, è possibile trasmettere prima una porzione dei coefficienti AC (spectral selection), oppure i bit più significativi (successive approximation), o combinazioni miste: modalità progressive Il decodificatore è in grado di visualizzare rapidamente un anteprima con qualità ridotta