TRATTAMENTO E COMPRESSIONE DI DATI MULTIMEDIALI (Corso di Laurea in Ingegneria Informatica, SSD: ING-INF/05, CFU:5) Prof.

Transcript

1 TRATTAMENTO E COMPRESSIONE DI DATI MULTIMEDIALI (Corso di Laurea in Ingegneria Informatica, SSD: ING-INF/05, CFU:5) Prof. Edoardo Ardizzone Il corso si propone di integrare le conoscenze degli allievi relative alla elaborazione ed alla analisi delle immagini digitali, e di fornire le conoscenze di base relative alla compressione di immagini, video e suoni. Il corso è costituito, in linea di massima, da 30 ore di lezione e 18 ore di esercitazione in aula, che si tengono nel 2 modulo del I semestre. Propedeucità E richiesto il possesso dei crediti relativi all insegnamento di Elaborazione delle Immagini Digitali. Verifiche dell apprendimento Sulla base di quanto previsto dal Regolamento Didattico di Facoltà, sono previste una prova in itinere e una prova di completamento, le cui modalità e date di svolgimento vengono comunicate dal Docente all inizio del corso. PROGRAMMA DEL CORSO Proprietà delle trasformate delle immagini. Funzioni di base. Algoritmi di trasformazione veloce. Approfondimento dei concetti relativi a campionamento, convoluzione e correlazione. Altre trasformate di immagini. Trasformata wavelet Compressione delle immagini. Ridondanza. Criteri di fedeltà. Modello del processo di codifica. Codifica senza perdita di informazione e con perdita di informazione. Algoritmi di compressione delle immagini. Rappresentazione e compressione di segnali audio Analisi del movimento: tecniche di block matching Principali standards di rappresentazione e compressione di immagini e video. Le famiglie JPEG e MPEG. Caratteristiche globali e locali. Descrittori. Tecniche di elaborazione e analisi basate sulla morfologia matematica. Gestione basata sul contenuto di archivi multimediali. TESTI CONSIGLIATI R.C. Gonzalez, R. E. Woods, Digital Image Processing, Addison-Wesley. Y.Q. Shi, H. Sun, Image and Video Compression for Multimedia Engineering, CRC Press Altro materiale didattico fornito dal docente. TESTI DI CONSULTAZIONE K.R. Rao, J.J.Hwang, Techniques and Standards for Image Video and Audio Coding, Prentice Hall.

2 Trattamento e Compressione di Dati Multimediali Parte A Prof. Edoardo Ardizzone A.A

3 Compressione di immagini e video La compressione di immagini e video è un settore, oggi estremamente significativo, del più ampio contesto della compressione dei dati (digitali) Molte delle tecniche e degli algoritmi utilizzati nella compressione di immagini e video sono infatti mutuati da altri ambiti, mentre diversi altri sono stati sviluppati ad hoc, sfruttando la specificità dell informazione visuale e le caratteristiche del sistema visivo umano L interesse verso la compressione di immagini si accese negli anni 60, quando cominciarono a svilupparsi le prime tecniche (analogiche) di riduzione della banda di frequenza necessaria alla trasmissione dei segnali video Negli ultimi venti anni, l interesse si è ovviamente spostato verso il trattamento di dati digitali, e, grazie anche all adozione di alcuni importanti standard internazionali, il settore ha visto la significativa applicazione del lavoro teorico di C. Shannon e degli altri autori che negli anni 40 formularono l approccio probabilistico alla rappresentazione, trasmissione e compressione dell informazione E. Ardizzone 2

4 Compressione di immagini e video La compressione di immagini è attualmente ritenuta una tecnologia abilitante (enabling technology), in quanto cruciale per una varietà crescente di applicazioni nei più svariati settori A giustificare questa affermazione bastano due semplici esempi, uno relativo alla archiviazione e l altro relativo alla trasmissione di immagini La archiviazione in forma digitale (non compressa) dell Enciclopedia Britannica richiederebbe più di 25 GB, dato che il documento è costituito da circa pagine, e tipicamente una pagina (8.5 x 11 ), scandita a 300 dpi e quantizzata a due livelli, genera più di 8 Mbit di dati La trasmissione di una sequenza video RGB, a 30 frame per secondo, con ogni frame alla risoluzione di 288 linee e 352 pixel per linea (CIF - Common Intermediate Format, USA), con ogni pixel quantizzato a 24 bit (8 bit per colore primario), necessita di circa 73 Mbps. Se la comunicazione ha luogo attraverso un modem con velocità massima di bps, il rapporto tra i due valori è circa di 1290: di altrettante volte occorre comprimere il video per rendere possibile la trasmissione E. Ardizzone 3

5 Compressione di immagini e video La compressione o codifica di immagini e video è il processo che riduce la quantità di dati necessaria a rappresentare una data quantità di informazione, a scopo (tipicamente) di trasmissione o di archiviazione Il processo deve soddisfare alcuni requisiti: la quantità di dati ridotta deve essere inferiore o uguale alla massima accettabile per l applicazione deve essere garantita una qualità delle immagini decompresse (cioè un grado di fedeltà all immagine o al video originali) accettabile per la applicazione il livello di complessità computazionale del processo di codifica/decodifica deve essere accettabile per l applicazione Dati e informazione sono due concetti correlati ma che devono essere chiaramente distinti: i dati rappresentano l informazione, ovvero sono il supporto tramite il quale l informazione è convogliata E. Ardizzone 4

6 Compressione di immagini e video Ciò significa, tra l altro, che differenti quantità di dati possono essere usate per rappresentare la stessa quantità di informazione Si considerino, per esempio, due persone che raccontano una storiella, l una in maniera prolissa e l altra in maniera concisa In questo caso, l informazione è la storiella, mentre i dati sono le parole utilizzate dai due narratori Se essi utilizzano, come ipotizzato, un numero differente di parole, vengono a crearsi due versioni della stessa storiella, ed almeno una di esse contiene un certo numero di parole non essenziali, in quanto o prive di informazioni rilevanti oppure contenenti informazioni già note In altri termini, almeno una delle due versioni della storiella è caratterizzata da ridondanza dei dati E. Ardizzone 5

7 Compressione di immagini e video L aspetto importante, ai fini della compressione, è che sia la quantità di dati che la quantità di informazione possono essere misurate Nel contesto digitale in cui ci muoviamo, l unità di misura consueta è il bit In particolare, un parametro importante relativo alla quantità di dati utilizzata per rappresentare immagini e video è il bit rate (o coding rate) Il bit rate è normalmente misurato in bit per secondo (bit/sec o bps) nella trasmissione di immagini bit per pixel (o bpp) nella memorizzazione di immagini bit per simbolo nel caso generale di codifica dei simboli generati da una sorgente di informazione Per ciò che riguarda la qualità dell immagine decompressa, in alcune applicazioni (mediche, legali, artistiche) è richiesto che essa sia perfettamente uguale a quella dell originale E. Ardizzone 6

8 Compressione di immagini e video Il processo di compressione deve essere in tal caso completamente reversibile, e quindi avvenire senza perdita di informazione (compressione error-free o lossless o information-preserving) In altri casi (TV, cinema, web), la perdita di una certa quantità di informazione è in genere tollerabile. Si possono pertanto adoperare processi di compressione con perdita di informazione (o lossy) La qualità del risultato di un processo di compressione/decompressione può essere misurata prendendo in considerazione criteri di fedeltà soggettivi oppure oggettivi Come si è detto, la ridondanza dei dati è un elemento essenziale per la compressione. Non si tratta di un concetto astratto, ma di una entità matematicamente quantificabile Infatti, detti n 1 e n 2 il numero di bit necessari a rappresentare la stessa informazione in due differenti data set, la ridondanza relativa del primo data set rispetto al secondo è definita come: E. Ardizzone 7

9 R D Università degli Studi Compressione di immagini e video 1 n1 = 1, dove C R è il rapporto di compressione, definito come C R =, CR n2 e questo nome si giustifica se la seconda rappresentazione è compressa Se n 1 = n 2, C R = 1 e R D = 0: la prima rappresentazione dell informazione non contiene dati ridondanti (rispetto alla seconda) Se n << n 2 1, C R e R D 1: la prima rappresentazione è estremamente ridondante, il rapporto di compressione può assumere valori significativi Se n >> n 2 1, C R 0 e R D : la seconda rappresentazione contiene molti più dati della prima, si ha una espansione piuttosto che una compressione dei dati In generale, si ha pertanto: 0 < C R < e < R D < 1. In pratica, un rapporto di compressione pari a 10 significa che la ridondanza è 0.9, cioè che il 90% dei dati della prima rappresentazione può essere rimosso E. Ardizzone 8

10 Ridondanza dei dati e dell informazione La compressione è resa possibile da due tipi di ridondanza presenti nelle immagini: la ridondanza statistica e la ridondanza psicovisuale La ridondanza statistica può a sua volta essere classificata come ridondanza interpixel o geometrica e ridondanza della codifica La ridondanza interpixel è legata al fatto che i pixel di una immagine (o di un gruppo di immagini successive in una sequenza) sono in genere correlati, e quindi statisticamente non indipendenti La ridondanza interpixel può essere di tipo spaziale o di tipo temporale La ridondanza spaziale o intraframe riguarda la correlazione statistica tra i pixel di una singola immagine. Questa correlazione è il risultato delle relazioni strutturali e/o geometriche tra gli oggetti presenti nell immagine Si consideri l esempio seguente: E. Ardizzone 9

11 Ridondanza interpixel intraframe Le due immagini hanno istogrammi (mostrati al centro) praticamente identici, con tre modi, indicanti la presenza di tre gamme di grigio dominanti In basso è mostrato il coefficiente di autocorrelazione calcolato lungo una linea di ciascuna delle immagini Tale coefficiente è calcolato utilizzando una versione normalizzata della correlazione: f e ( x) o g ( x) = M 1 m= 0 per x = 0, 1,, M-1 e f * e ( m) g e ( x + m) E. Ardizzone 10

12 Ridondanza interpixel intraframe Per l esattezza, il coefficiente calcolato è: γ ( n) = A( n) A(0) dove A( n) N 1 n f y= 0 y + n) Il valore di x identifica la linea dell immagine presa in considerazione. Il fattore di scala tiene conto del numero variabile di termini che possono essere presenti nella somma, a seconda del valore di n. Naturalmente n < N, essendo N il numero dei pixel della linea Al variare di n, il coefficiente dà una misura quantitativa normalizzata della correlazione esistente tra due pixel distanti n. Per n = 0, γ = 1: la correlazione di un pixel con sé stesso è massima Si può notare la forte differenza nell andamento del coefficiente per le due immagini prese ad esempio, legata alla differente struttura delle immagini = 1 N n ( x, y) f ( x, E. Ardizzone 11

13 Ridondanza interpixel intraframe In particolare, l elevata correlazione tra i pixel distanti 45 e 90 nella seconda immagine è dovuta alla presenza di oggetti uguali posti alle distanze indicate Soprattutto, i pixel adiacenti in entrambe le immagini sono molto correlati (per n = 1, γ = e γ = rispettivamente) Questa è una caratteristica della maggior parte delle immagini non sintetiche, come per esempio hanno dimostrato gli studi sulle proprietà statistiche delle immagini televisive (appropriatamente campionate), condotti a partire dai primi anni 50 Quindi i pixel lungo una riga (o una colonna) esibiscono un valore di autocorrelazione molto alto (prossimo al massimo) con i pixel spostati di una posizione lungo la stessa riga (o colonna) Ciò deriva dal fatto che normalmente le intensità dei pixel di una immagine cambiano in modo graduale, eccetto che nei contorni E. Ardizzone 12

14 Ridondanza interpixel interframe La ridondanza spaziale implica che il valore di un pixel può essere ragionevolmente previsto, se si conoscono i valori dei suoi vicini, cioè la quantità di informazione associata al singolo pixel è relativamente bassa, nel senso che la maggior parte del suo contributo visuale è ridondante Diversi metodi di compressione (predittiva o differenziale, run-length, etc.) si basano su queste considerazioni La ridondanza temporale o interframe riguarda la correlazione statistica tra i pixel di frame consecutivi in una sequenza video. Essa deriva dalla forte similarità tra due immagini della stessa scena, se la ripresa ha luogo ad intervalli di tempo molto brevi, come 1/25 (o 1/30) di secondo, o comunque non significativi rispetto alla dinamicità della scena Per esempio, le due immagini seguenti sono, rispettivamente, il frame n.10 e il frame n. 11 della sequenza Claire : E. Ardizzone 13

15 Ridondanza interpixel interframe Si tratta di due immagini 288 x 360. Di questi pixel, solo 4314 (circa il 4.1%) cambiano il loro valore di più del 3% del massimo livello di grigio (255 in questo caso) Tecniche di codifica predittiva interframe, basate sull analisi dei frame temporalmente adiacenti a quello di interesse, possono essere quindi utilizzate per prevedere i valori dei pixel di un frame E. Ardizzone 14

16 Ridondanza della codifica Più efficaci risultano però le tecniche di codifica basate sull analisi del moto nella scena considerata. Esse si basano sull osservazione che le variazioni da un frame al successivo sono principalmente dovute al movimento degli oggetti presenti nella scena Si parla in questo caso di codifica predittiva con compensazione del moto La ridondanza della codifica, al contrario della ridondanza interpixel, che è associabile alla correlazione tra i pixel, è direttamente legata alla rappresentazione dei pixel, cioè alla codifica stessa Ricordiamo che un codice è un insieme di simboli usati per rappresentare un insieme di eventi (o più in generale una certa quantità di informazione) e di regole che permettono di associare una sequenza di simboli o codeword ad ogni evento (o pezzo di informazione) La lunghezza di un codeword è il numero di simboli del codice che la costituiscono E. Ardizzone 15

17 Ridondanza della codifica Supponiamo nuovamente che i livelli di grigio dell immagine siano rappresentati da una variabile random discreta r k, che assume valori nell intervallo [0, 1], e che sia p r (r k,) la probabilità di ciascun livello r k : p ( r ) r k = nk n dove k = 0, 1,, L-1, n è il numero totale dei pixel, n k è il numero di pixel di livello r k, L è il numero dei livelli possibili Se l(r k ) è il numero di bit usati per rappresentare il valore r k, il numero medio di bit richiesto per rappresentare ogni pixel (cioè la lunghezza media delle parole utilizzate per codificare ogni livello di grigio) è: L 1 = Lavg l( rk ) pr ( rk ) k = 0 Pertanto il numero totale di bit richiesto per codificare una immagine di dimensioni M x N è pari a MNL avg E. Ardizzone 16

18 Ridondanza della codifica Se il codice adoperato è un codice binario naturale a m bit, cioè la lunghezza del codeword utilizzato per rappresentare ciascun evento è costante e pari a m, si ha ovviamente: L L 1 L 1 avg = l( rk ) pr ( rk ) = m pr ( rk ) = k = 0 k = 0 Si consideri adesso una immagine a 8 livelli di grigio, con le probabilità di occorrenza mostrate nella seguente tabella: r k p r (r k ) Cod. 1 l 1 (r k ) Cod. 2 l 2 (r k ) r 0 = r 1 = 1/ r 2 = 2/ r 3 = 3/ r 4 = 4/ r 5 = 5/ r 6 = 6/ r 7 = E. Ardizzone 17 m

19 Ridondanza della codifica Se si usa il codice 1, a 3 bit, la lunghezza media è proprio 3 bit. Se invece si utilizza il codice 2, che prevede parole di lunghezza più breve per i livelli più probabili, la lunghezza media si riduce a: L avg 7 = l k = 0 2 ( r k ) p r ( r k ) = 2(0.19) + 2(0.25) + 2(0.21) + 3(0.16) + 4(0.08) + 5(0.06) + 6(0.03) + 6(0.02) = 2.7 bit Ne risulta un rapporto di compressione C R = 3/2.7 = 1.11, cioè circa il 10% dei dati, se si usa il codice 1, è ridondante: 1 R D = 1 = Questo è un esempio di un tipo di codifica, detta a lunghezza variabile, che realizza la compressione sfruttando la ridondanza della codifica, sempre presente quando il codice adoperato non tiene conto delle probabilità dei simboli da codificare Perché le probabilità dei livelli di grigio delle immagini sono differenti? E. Ardizzone 18

20 Ridondanza della codifica Le immagini sono tipicamente composte da oggetti dalla morfologia e dalla riflettanza regolari, e di solito sono campionate in modo che le dimensioni degli oggetti risultino molto maggiori di quelle dei pixel Di conseguenza, alcuni livelli di grigio sono più probabili di altri (l istogramma non è in genere uniforme), e quindi il codice binario naturale non può che essere ridondante La codifica Huffman e la codifica aritmetica sono due tra le più note tecniche di codifica a lunghezza di parola variabile (VLC) Mentre la ridondanza statistica è originata dalle caratteristiche delle immagini, la ridondanza psicovisuale deriva direttamente dalle caratteristiche del sistema visivo umano In particolare, abbiamo già visto come non tutta l informazione visuale sia della stessa importanza per il sistema visivo umano (masking di una parte dell informazione) E. Ardizzone 19

21 Ridondanza psicovisuale Per esempio, la sensibilità alle variazioni di luminosità diminuisce man mano che l immagine diviene più scura (legge di Weber) Questo rende possibile usare una quantizzazione più grossolana nelle zone più scure dell immagine, utilizzando cioè meno dati per rappresentare l informazione meno importante: la conseguente perdita di informazione non influenza in modo rilevante la percezione Un altra caratteristica del sistema visivo umano, importante per la ridondanza psicovisuale, è l incremento della soglia di discriminazione al crescere del dettaglio dell immagine: si possono quindi utilizzare meno bit nelle zone a forte tessitura, mentre se ne devono usare di più nelle zone uniformi, per evitare i falsi contorni E. Ardizzone 20

22 Ridondanza psicovisuale La minore sensibilità del sistema visivo umano alle alte frequenze può essere sfruttata convertendo in rumore ad alta frequenza l errore di quantizzazione a bassa frequenza che dà origine ai falsi contorni Questa tecnica, nota come quantizzazione IGS - Improved Gray Scale, può essere illustrata dal seguente esempio: L immagine sulla sinistra è quantizzata a 256 livelli, quella al centro a 16 (quindi C R = 2), ma esibisce evidenti falsi contorni nelle regioni a grigio uniforme L immagine sulla destra dà un idea del significativo miglioramento visuale derivante da una differente allocazione dello stesso numero di bit E. Ardizzone 21

23 Ridondanza psicovisuale I falsi contorni risultano grandemente ridotti, mentre aumenta la granulosità dell immagine (rumore ad alta frequenza), che però risulta molto meno fastidiosa: sfruttando la peculiarità del sistema visivo umano, con lo stesso numero di bit (quindi ancora C R = 2), si ottengono risultati qualitativamente più accettabili La tecnica di quantizzazione IGS lavora sommando ad ogni pixel un numero pseudo-casuale, generato dai bit di peso inferiore dei pixel contigui, e poi quantizzando a 4 bit il risultato di questa operazione Dato che i bit di peso inferiore sono quasi casuali (si ricordi l uso dei piani dei bit nella rappresentazione di una immagine a livelli di grigio), il procedimento illustrato aggiunge un certo grado di casualità, dipendente però dalle caratteristiche locali dell immagine, agli edge artificiali associati con i falsi contorni, che risultano di conseguenza frammentati e quindi meno fastidiosi Un esempio può servire ad illustrare la tecnica: E. Ardizzone 22

24 Ridondanza psicovisuale pixel liv. grigio somma cod. IGS i - 1 N/A N/A i i i i La somma (inizialmente posta a 0) è formata sommando il valore del pixel corrente ed i quattro bit meno significativi della somma del passo precedente Se invece i quattro bit più significativi del pixel corrente sono 1111, la somma è posta uguale al pixel corrente Ad ogni passo, i quattro bit più significativi della somma sono usati come valore codificato a quattro bit La tecnica IGS è rappresentativa di una classe di procedure di riduzione della ridondanza psicovisuale che operano direttamente sui livelli di grigio E. Ardizzone 23

25 Ridondanza psicovisuale Il desiderato effetto di compressione viene ottenuto mediante una riduzione del numero di livelli, oppure della risoluzione spaziale ovvero di quella temporale, ricorrendo eventualmente all uso di euristiche per compensare l effetto negativo (dal punto di vista visuale) del processo Come si può notare, la ridondanza psicovisuale è fondamentalmente differente dalla ridondanza statistica, in quanto essa è associata all informazione visuale, non soltanto ai dati: la sua riduzione (al limite, la sua eliminazione) è possibile solo in quanto l informazione stessa non è essenziale Una nota sulla terminologia: dato che l eliminazione di dati ridondanti dal punto di vista psicovisuale dà luogo ad una perdita di informazione, è questo processo ad essere chiamato, in generale, quantizzazione, e non solo la riduzione da un certo numero di livelli ad un più limitato numero di livelli Un altra caratteristica del sistema visivo umano importante per la ridondanza psicovisuale è il ritardo con cui esso si adatta ai bruschi cambiamenti di scena E. Ardizzone 24

26 Ridondanza psicovisuale Durante questa transizione il sistema visivo umano non è sensibile ai dettagli, e anche di questo si può tenere conto a scopo di codifica Infine, è noto che il sistema visivo umano è più sensibile alle variazioni di luminanza che a quelle di crominanza. Pertanto, meno bit possono essere utilizzati per la codifica delle componenti di crominanza che per la codifica della componente di luminanza Questo viene comunemente fatto nella codifica di immagini e video a colori. Per esempio, sia JPEG che MPEG utilizzano la piena risoluzione per la componente di intensità, mentre le due componenti di crominanza vengono sotto-campionate (nel rapporto 2:1) sia in orizzontale che in verticale Dato che la quantizzazione, intesa come rimozione della ridondanza psicovisuale, comporta una perdita di informazione visuale reale, l operazione è chiaramente non reversibile, e la compressione che ne deriva è con perdita E. Ardizzone 25

27 Criteri di fedeltà Durante la quantizzazione si rischia però di perdere informazione non ridondante; è quindi necessario poter misurare o almeno caratterizzare quantitativamente la perdita di informazione, ovvero la qualità dell immagine ricostruita, cioè la sua fedeltà all originale Per esempio, il confronto tra due metodi di compressione richiede la valutazione della qualità delle immagini ricostruite con i due metodi: solo a parità di qualità è possibile giudicare superiore il metodo che produce meno dati, o, in alternativa, a parità di dati prodotti è possibile giudicare superiore il metodo che realizza la migliore fedeltà dell immagine o del video ricostruiti all originale Purtroppo, non è semplice misurare la qualità di immagini e video ricostruiti A tal fine sono stati definiti dei criteri di fedeltà, che si dividono in due grandi classi: criteri soggettivi e criteri oggettivi I criteri soggettivi si basano sull osservazione umana, e risultano più appropriati quando la destinazione finale delle immagini decompresse è il sistema visivo umano E. Ardizzone 26

28 Criteri di fedeltà I criteri oggettivi si basano invece su misure quantitative effettuate direttamente sulle immagini Un criterio soggettivo viene in genere applicato mostrando tipiche immagini (o frame video), ricostruite a partire da immagini compresse con parametri di codifica variabili, ad un campione di osservatori ed effettuando una media delle loro valutazioni sulla qualità delle immagini stesse La valutazione di ciascun osservatore può essere effettuata utilizzando una scala assoluta di valori, oppure mediante una comparazione dell immagine ricostruita con l originale Un esempio di criterio comparativo, messo a punto presso i Bell Labs e poi adottato come uno degli standard di valutazione dal CCIR (Comité Consultatif International des Radiotélécommunications), oggi ITU-R (International Telecommunications Union - Radiocommunication Sector), prevede una scala a 5 valori del peggioramento (rispetto all originale) della qualità dell immagine ricostruita: E. Ardizzone 27

29 Criteri di fedeltà 1. Il peggioramento non è evidente 2. Il peggioramento è appena visibile 3. Il peggioramento è decisamente visibile, ma non sgradevole 4. Il peggioramento è sgradevole 5. Il peggioramento è decisamente sgradevole Un altra soluzione consiste nell identificazione, nell ambito di un insieme di immagini, di quelle che sembrano di uguale qualità, e nella produzione, a partire da esse, di curve isopreferenza nello spazio dei parametri di codifica Questa tecnica è stata per esempio seguita nell esperimento di Huang che abbiamo citato a proposito degli effetti della variazione contemporanea di risoluzione e quantizzazione La valutazione soggettiva della qualità è comunque una operazione costosa, poiché necessita in genere di un gran numero di immagini e di osservatori, dura a lungo, etc. E. Ardizzone 28

30 Criteri di fedeltà Un buon esempio di criterio di fedeltà oggettivo è l errore quadratico medio (rms) tra l immagine originale (o di input) f(x,y) e l immagine ricostruita (o di output) fˆ ( x) In ogni punto (x,y), l errore e(x,y) è così definito: e( x, y) = fˆ( x, y) f ( x, y) per cui l errore totale tra le due immagini, supposte M x N, è: M [ 1N 1 fˆ( x, y) f ( x, y) ] x= 0 y= 0 Quadrando l errore totale, mediandolo sull intero array M x N, ed infine estraendone la radice quadrata, si ottiene l errore quadratico medio e rms tra f(x,y) e fˆ ( x) : e rms 1 MN M 1N 1 = x= 0 y= 0 [ fˆ( x, y) f ( x, y) ] E. Ardizzone 29

31 Criteri di fedeltà Un altro criterio oggettivo, abbastanza correlato al precedente, è costituito dal rapporto segnale - rumore tra l immagine originale e quella decompressa, definito come: SNR ms = 1 [ fˆ( x, y) ] M N 1 [ fˆ( x, y) f ( x, y) ] x= 0 M 1 N 1 y= 0 x= 0 Si è considerata in questo caso l immagine decompressa come un segnale affetto dal rumore e(x,y), la cui versione non rumorosa è proprio f(x,y): y= 0 f ˆ( x, y) = f ( x, y) + e( x, y) Naturalmente la versione rms di SNR si ottiene estraendo la radice quadrata di SNR ms 2 2 E. Ardizzone 30

32 Criteri di fedeltà E abbastanza comune anche la versione logaritmica della definizione precedente: SNR ms = 10log 10 M x x= 1N 1 = 0 M y= 0 1N 1 2 [ fˆ( x, y) ] 0 y= 0 2 [ fˆ( x, y) f ( x, y) ] Come è facile vedere, maggiore è il SNR, migliore è la qualità della immagine ricostruita, dato che essa approssima l originale Il problema con le misure oggettive di qualità è che esse non tengono conto della utilizzazione piuttosto diversificata che il sistema visivo umano fa dell informazione visuale, per cui il risultato della misura oggettiva non è necessariamente coerente con le risultanze del giudizio soggettivo E. Ardizzone 31

33 Criteri di fedeltà Un buon esempio da questo punto di vista si ha con le immagini mostrate per illustrare la tecnica IGS: assumendo l immagine a 256 livelli di grigio come originale, vogliamo confrontare le due immagini compresse Per esse risulta, rispettivamente, e rms = 6.93 e e rms = 6.78, mentre SNR rms = e SNR rms = Questi valori sono molto simili, eppure, come si è già osservato, la qualità visuale della immagine IGS appare sicuramente superiore. E. Ardizzone 32

34 Modelli generali della compressione Un sistema per la compressione-decompressione di immagini consiste di due distinte unità strutturali: il codificatore (encoder) ed il decodificatore (decoder): f ( x, y) Codificatore di sorgente Codificatore di canale Canale Decodificatore di canale Decodificatore di sorgente fˆ ( x, y) Codificatore Decodificatore L immagine di ingresso, f(x,y), è elaborata dal codificatore, che genera un set di simboli del codice i quali vengono trasmessi, attraverso il canale, fino al decodificatore, che genera una immagine ricostruita f ˆ ( x, y) In generale, fˆ ( x, y) può essere oppure no una replica esatta della f(x,y) E. Ardizzone 33

35 Modelli generali della compressione Se la replica è esatta, il sistema si dice error free o information preserving, in caso contrario esso manifesta un certo grado di distorsione nell immagine ricostruita Sia il codificatore che il decodificatore sono costituiti da due sotto-blocchi relativamente indipendenti In particolare, l encoder è costituito dal codificatore di sorgente, che rimuove le ridondanze presenti nei dati di input generando una rappresentazione codificata, e dal codificatore di canale, che incrementa l immunità al rumore del segnale di uscita del codificatore di sorgente Il decodificatore comprende il decodificatore di canale ed il decodificatore di sorgente, che svolgono le funzioni inverse rispetto a quelle svolte dai blocchi del codificatore Se il canale di trasmissione è senza errore, codificatore e decodificatore di canale vengono omessi E. Ardizzone 34

36 Modelli generali della compressione In generale, il codificatore di sorgente opera su tutte e tre le forme possibili di ridondanza. La specificità dell applicazione, e i connessi criteri di fedeltà, determinano la tecnica più appropriata da utilizzare Normalmente, è possibile utilizzare un modello separato per ciascuna delle tre operazioni di riduzione della ridondanza: f ( x, y) Mapper Quantizzatore Codificatore di simbolo Canale Codificatore di sorgente Compito del mapper è quello di trasformare i dati di input in un formato (normalmente non visuale) pensato per ridurre la ridondanza interpixel Questa operazione può direttamente effettuare una compressione, oppure no E. Ardizzone 35

37 Modelli generali della compressione Per esempio, le tecniche di run-length coding assicurano un certo grado di compressione mentre contemporaneamente effettuano il mapping, invece la rappresentazione di una immagine mediante i coefficienti di una sua trasformata non dà compressione diretta, bensì predispone i dati alla compressione che avviene negli stadi successivi del processo di codifica L operazione di mapping è in genere reversibile Il quantizzatore riduce la ridondanza psicovisuale presente all uscita del mapper, in generale nel rispetto di un criterio di fedeltà Dato che la quantizzazione è una operazione irreversibile, il quantizzatore non può essere presente se la compressione deve essere senza perdita di informazione Infine il codificatore di simbolo genera l uscita complessiva del processo di compressione, utilizzando un codice a lunghezza di parola fissa o, più frequentemente, variabile, che sfrutta la ridondanza della codifica Anche la codifica di simbolo è una operazione reversibile E. Ardizzone 36

38 Modelli generali della compressione In questa schematizzazione, il processo di compressione è stato esplicitamente scomposto in tre fasi successive Non necessariamente questo avviene negli algoritmi reali di compressione: come già detto, l operazione di quantizzazione può non essere presente, mentre in altri casi alcune fasi, per esempio mapping e quantizzazione, possono essere effettuate contemporaneamente Il decodificatore di sorgente contiene solo due blocchi, che effettuano in ordine rovesciato l inversione delle operazioni dei corrispondenti blocchi del codificatore Non può esistere un quantizzatore inverso, dato che l operazione del quantizzatore è irreversibile Canale Decodificatore di simbolo Mapper inverso fˆ ( x, y) Decodificatore di sorgente E. Ardizzone 37

39 Modelli generali della compressione Quando il canale di trasmissione è rumoroso, l immunità al rumore del segnale può essere incrementata dall azione del codificatore di canale, che introduce un grado controllato di ridondanza nel segnale compresso dal codificatore di sorgente, utilizzando tecniche di codifica (per esempio alla Hamming) già note da altre discipline Questa operazione, che viene poi invertita in ricezione dal decodificatore di canale, è ovviamente costosa dal punto di vista del rapporto di compressione complessivo E. Ardizzone 38

40 Alcuni elementi di teoria dell informazione Dato che comprimere una immagine significa ridurre la quantità di dati necessari per convogliare l informazione associata all immagine, o anche ridurre l informazione stessa, è importante misurare l informazione, in modo da poter stabilire, per esempio, la quantità minima di dati necessaria per una rappresentazione dell immagine senza perdita di informazione Di questi argomenti si occupa la teoria dell informazione, la cui premessa essenziale è che la generazione di informazione può essere modellata come un processo probabilistico che può essere oggetto di misure Se E è un evento casuale la cui probabilità è P(E), l informazione ad esso associata è espressa da 1 I( E) = log = log P( E) P( E) I(E), detta anche la auto-informazione di E, si misura in unità di informazione determinate dalla base del logaritmo. Se essa è 2, l informazione si misura in unità binarie o binit (da binary unit) o bit E. Ardizzone 39

41 Alcuni elementi di teoria dell informazione Questa definizione si accorda con l intuizione: la quantità di informazione generata dal verificarsi di un evento è inversamente proporzionale alla sua probabilità, e quindi direttamente proporzionale alla sua incertezza Se P(E) = 1, cioè se l evento è certo, I(E) = 0, cioè nessuna informazione è associata all evento. Se P(E) = 0,99, cioè se l evento è estremamente probabile, il suo verificarsi trasmette una quantità estremamente ridotta di informazione. E in questo caso il suo non verificarsi che, in quanto estremamente improbabile, trasmette una elevatissima quantità di informazione: quando P(E) 0, I(E) Se P(E) = 1/2 (e la base del logaritmo è 2), I(E) = 1 bit. Quindi 1 bit è la quantità di informazione generata dal verificarsi di uno di due eventi ugualmente probabili, per esempio il lancio di una moneta Supponiamo ora che l evento sia la generazione di un simbolo da parte di una sorgente di informazione discreta e a memoria zero E. Ardizzone 40

42 Alcuni elementi di teoria dell informazione La sorgente si dice discreta se il suo alfabeto è un insieme numerabile di simboli A = {a 1,,a J }, e si dice a memoria zero se l emissione di un simbolo è indipendente da quella del simbolo precedente Detta P(a j ) la probabilità che il simbolo emesso sia a j, la auto-informazione associata alla generazione del simbolo a j è I(a j ) = - log P(a j ) Se vengono generati k simboli, per la legge dei grandi numeri, con k sufficientemente grande il simbolo a j verrà emesso, in media, k P(a j ) volte Quindi l auto-informazione media ottenuta da k emissioni è: J 1 )log P( a1) kp( a2 )log P( a2 ) kp( aj )log P( aj ) = k P( a j )log P( a j ) j= 1 kp( a K Pertanto l entropia o incertezza della sorgente, ovvero la quantità media di informazione associata alla singola generazione di un simbolo da parte della sorgente, è data da H = J j= 1 P( a )log P( j a j ) E. Ardizzone 41

43 Alcuni elementi di teoria dell informazione L entropia si misura in bit ed è tanto maggiore quanto più grande è l incertezza della sorgente, ovvero quanto maggiore è l informazione ad essa associata Se i simboli della sorgente sono equiprobabili, l entropia è massima: ad ogni emissione la sorgente fornisce la massima informazione possibile Supponiamo adesso che ad ogni simbolo della sorgente sia associata una parola di un codice a lunghezza variabile La lunghezza media delle parole del codice, espressa in bit per simbolo, è il bit rate del sistema di codifica In assenza di rumore nel canale di trasmissione e nel sistema di codifica, un risultato fondamentale della teoria dell informazione è espresso dal teorema di Shannon della codifica priva di rumore (noto anche come I teorema di Shannon): per una sorgente di informazione discreta e a memoria zero, il bit rate minimo è in media uguale all entropia della sorgente E. Ardizzone 42

44 Alcuni elementi di teoria dell informazione Il teorema dice in media in quanto Shannon lo dimostrò per una codifica a blocchi, cioè con la sorgente che codifica un certo numero di simboli (un blocco), poi attende, codifica un altro blocco, e così via, e nell ipotesi di dimensione del blocco, cioè di ritardo tra un blocco ed il successivo, divergente In realtà, è stato anche dimostrato che con blocchi di dimensione finita si possono ottenere valori del bit rate molto prossimi all entropia Il I teorema di Shannon stabilisce quindi un limite inferiore, pari all entropia della sorgente, per il bit rate di un sistema di codifica (e canale di trasmissione) privo di distorsione, quando cioè l obiettivo principale del sistema di codifica è la compattezza della rappresentazione L esistenza di un limite teorico consente di stabilire in modo semplice una misura dell efficienza di una tecnica di codifica a lunghezza variabile: η = H L avg H è l entropia, mentre L avg è la lunghezza media dei codeword del codice utilizzato E. Ardizzone 43

45 Alcuni elementi di teoria dell informazione La definizione può essere generalizzata per valutare l efficienza relativa del codice C 2 rispetto al codice C 1 : η = L L avg1 avg 2 L avg1 e L avg2 sono le lunghezze medie dei codeword dei due codici, e si suppone L avg2 > L avg1 Un parametro complementare all efficienza è la ridondanza del codice, che può essere definita semplicemente come: ξ = 1 η Se un codice raggiungesse il limite teorico, la sua efficienza sarebbe massima, e la sua ridondanza sarebbe nulla Passiamo adesso a considerare un canale di trasmissione rumoroso. In tal caso, il principale obiettivo del sistema di codifica è l affidabilità della trasmissione A tal proposito, il teorema di Shannon della codifica rumorosa, detto anche II teorema di Shannon, stabilisce che la trasmissione priva di errore è possibile se il bit rate R è inferiore alla capacità del canale C: R < C E. Ardizzone 44

46 Alcuni elementi di teoria dell informazione Il II teorema di Shannon è formulato per canali a memoria zero, cioè tali che l uscita del canale corrispondente all input corrente è indipendente dall uscita corrispondente all input precedente La capacità del canale è determinata dal livello di rumore presente e dalla potenza del segnale Il II teorema di Shannon stabilisce quindi un limite superiore per il bit rate di un sistema di codifica senza distorsione, in presenza di un canale di trasmissione passibile di errore Nel caso infine di un sistema di codifica con perdita di di informazione, anche in presenza di un canale senza errore, è in generale presente un certo grado di distorsione, dovuta proprio alla perdita di informazione. In questo caso l obiettivo principale del sistema di codifica è la compressione dell informazione E. Ardizzone 45

47 Alcuni elementi di teoria dell informazione Il limite inferiore per il bit rate è stabilito in questo caso dal teorema di Shannon della codifica di sorgente: fissato un livello di distorsione D, la trasmissione può essere effettuata con una distorsione in media non maggiore di D, purché il bit rate R sia non inferiore di un valore limite che è funzione di D: R R(D) Combinando gli ultimi due teoremi, quindi considerando una trasmissione con perdita attraverso un canale rumoroso, devono valere entrambe le relazioni: R < C e R R(D). Si noti che R(D) prende il nome di rate distorsion function E stato in effetti dimostrato (Slepian) il cosiddetto teorema della trasmissione della informazione: se la capacità C di un canale rumoroso è tale che C R(D), la trasmissione della informazione può avvenire con una distorsione in media non superiore a D I risultati teorici della teoria dell informazione forniscono degli strumenti validi, in generale, per la trasmissione di informazione. Noi siamo interessati al problema più specifico della compressione di immagini digitali, a fini di memorizzazione o di trasmissione, ma senza preoccuparci dei dettagli relativi alla trasmissione E. Ardizzone 46

48 Applicazione al caso delle immagini Pertanto lo schema che ci interessa maggiormente è quello di codifica - decodifica di sorgente, e da ora in poi tralasceremo gli aspetti relativi al canale di trasmissione, tenendo conto degli elementi della teoria dell informazione che rimangono pertinenti Dal punto di vista della teoria dell informazione, occorre innanzitutto definire un modello statistico del processo di generazione di una immagine. Si consideri a tal fine la seguente immagine 4 x 8 a 8 bit: La definizione del modello è necessaria, innanzitutto, se si vuole stimare il contenuto informativo, cioè l entropia, dell immagine E. Ardizzone 47

49 Applicazione al caso delle immagini Per esempio, si può considerare l immagine come prodotta da una (immaginaria) sorgente di livelli di grigio a 8 bit, che emette valori statisticamente indipendenti, in accordo ad una predefinita legge di probabilità I simboli della sorgente sono pertanto i livelli di grigio, e l alfabeto della sorgente è costituito da 256 simboli Il calcolo dell entropia, che ricordiamo è la quantità media di informazione associata alla emissione di un simbolo, quindi nel nostro caso al singolo pixel, richiede la conoscenza della probabilità con cui vengono emessi i simboli, in modo da poter applicare la H = J j= 1 P( a )log P( j a j Se per esempio i livelli di grigio sono ipotizzati equiprobabili, l entropia della sorgente è pari a 8 bit/pixel, e l informazione complessiva dell immagine è 8 x 4 x 8 = 256 bit ) E. Ardizzone 48

50 Applicazione al caso delle immagini Avendo assunto uniforme la distribuzione di probabilità dei livelli di grigio, l immagine considerata è solo una delle 2 8x4x8 = immagini equiprobabili che la sorgente è in grado di produrre Più appropriata è l adozione di un modello della sorgente basato sulla frequenza delle occorrenze dei livelli di grigio nell immagine considerata In altre parole, l immagine è considerata in questo caso come un campione rappresentativo del comportamento della sorgente che l ha generata Ovviamente la distribuzione delle probabilità dei livelli di grigio coincide con l istogramma dell immagine: Liv. grigio N. pixel Prob / / / /8 L entropia è pertanto: H 3 3 = log 8 8 = log 8 8 bit/pixel 1 1 log log 8 8 E. Ardizzone 49 =

51 Applicazione al caso delle immagini Questa stima dell entropia della sorgente, che porta ad una entropia totale dell immagine di 1.81 x bit, è detta del primo ordine Una approssimazione ancora migliore del comportamento della sorgente può essere effettuata considerando le occorrenze di blocchi di pixel, e non di singoli pixel: quando la dimensione del blocco tende ad infinito, la stima dell entropia approssima il vero valore della entropia della sorgente Per esempio, una stima del secondo ordine dell entropia può essere calcolata considerando la frequenza delle occorrenze di coppie di pixel nell immagine campione (seconda estensione della sorgente): Liv. grigio N. coppie Prob. (21,21) 8 1/4 (21,95) 4 1/8 (95,169) 4 1/8 (169,243) 4 1/8 (243,243) 8 1/4 (243,21) 4 1/8 L immagine è stata considerata come se la fine di ogni riga fosse connessa con l inizio della successiva (la fine dell ultima con l inizio della prima) La stima dell entropia del secondo ordine risulta pari a 2.5/2, ovvero 1.25 bit/pixel E. Ardizzone 50

52 Applicazione al caso delle immagini Stime di ordine superiore al secondo forniscono una approssimazione migliore dell entropia della sorgente, ma divengono ben presto poco gestibili dal punto di vista computazionale Per esempio, un immagine a 8 bit ha in generale (2 8 ) 2 = possibili coppie di simboli di cui bisognerebbe calcolare la frequenza di occorrenza. Se si considerano blocchi di dimensione maggiore, per esempio di 5 pixel, il numero delle combinazioni possibili cresce a (2 8 ) Tuttavia le stime dell entropia sono utili in quanto possono dare indicazioni sulle possibilità di compressione dell immagine studiata Per esempio, la stima del primo ordine è il limite inferiore (come abbiamo visto) della lunghezza media di parola nel caso di codifica a lunghezza variabile Le differenze tra la stima del primo ordine e quelle di ordine superiore, invece, danno un idea del margine di compressibilità per riduzione della ridondanza interpixel E. Ardizzone 51

53 Applicazione al caso delle immagini Infatti, se i pixel fossero statisticamente indipendenti (nel qual caso l immagine non presenterebbe ridondanza interpixel), le stime di ordine più elevato sarebbero equivalenti a quella del primo ordine, e la codifica ottima sarebbe quella a lunghezza di parola variabile Nell esempio precedente, la differenza tra la stima del primo e quella del secondo ordine, = 0.56 bit/pixel, indica che è possibile effettuare una riduzione della ridondanza interpixel, e quindi ha senso cercare una appropriata tecnica di mapping Per esempio, se la trasformazione consistesse nella differenza aritmetica tra colonne adiacenti (con la prima colonna inalterata), si avrebbe: E. Ardizzone 52

54 Applicazione al caso delle immagini Ne risulterebbe la seguente distribuzione di valori: Differenze Occorr. Prob / / /8 Se questa matrice viene considerata generata da una sorgente di differenze di livelli di grigio, la stima del primo ordine dà 1.41 bit/pixel Questo significa che codificando a lunghezza variabile le differenze dei livelli di grigio, si otterrebbe la possibilità (teorica) di trovare un codice la cui lunghezza media di parola potrebbe tendere ad un limite inferiore pari a 1.41 bit, quindi 46 bit per l intera immagine Questo valore è più piccolo dei 58 bit derivanti dalla stima del primo ordine dell entropia dell immagine di partenza, ma rimane maggiore della stima dell entropia del secondo ordine (1.25 bit/pixel), per cui è probabilmente possibile trovare una trasformazione migliore dal punto di vista della riduzione della ridondanza interpixel E. Ardizzone 53

55 Applicazione al caso delle immagini Abbiamo quindi considerato il processo di compressione come un processo di riduzione dell entropia complessiva dell immagine (codifica di sorgente nel linguaggio della teoria dell informazione), che nel caso error free è relativo alle operazioni di mapping e codifica di simbolo Se invece la compressione è con perdita di informazione, quindi richiede una quantizzazione, sappiamo dal teorema di Shannon della codifica di sorgente che è possibile contenere la distorsione, purchè il bit rate soddisfi la condizione R R(D) E. Ardizzone 54

56 Compressione senza perdita Le tecniche di compressione senza perdita, peraltro le uniche accettabili o legalmente possibili in alcune applicazioni, consentono di raggiungere rapporti di compressione normalmente non superiori a Possono essere applicate sia a immagini binarie sia ad immagini a livelli Come si è visto, prevedono normalmente sia una operazione di mapping sia una codifica di simbolo Supponiamo dapprima di voler ridurre solo la ridondanza della codifica. Questo può essere fatto con una codifica a lunghezza variabile (VLC), che assegni i codeword più brevi ai livelli di grigio più probabili, in modo da minimizzare la L = 1 Lavg l( rk ) pr ( rk ) k = 0 In realtà, tecniche di questo tipo possono operare direttamente sui pixel o su una loro rappresentazione ottenuta attraverso un mapping capace di ridurre anche la ridondanza interpixel E. Ardizzone 55

57 Compressione alla Huffman La tecnica più nota per la riduzione della ridondanza di codifica è dovuta a D.A. Huffman: essa realizza la migliore performance possibile in caso di codifica individuale dei simboli emessi da una sorgente I codici Huffman sono pertanto codici a codeword di lunghezza variabile: i simboli dell alfabeto che costituiscono il messaggio sono codificati con sequenze di bit di diversa lunghezza. La potenza dei codici Huffman sta nel fatto che tutte le parole del codice sono univocamente decodificabili Si considerino per esempio i simboli a fianco, con i rispettivi codici: La sequenza di bit è decodificabile univocamente come `ACDABA` A 0 B 10 C 110 D 111 E. Ardizzone 56

58 Costruzione dei codici Huffman L algoritmo per la costruzione del codice Huffman è basato sul cosiddetto albero binario di codifica I passi dell algoritmo sono i seguenti: Ordinare i simboli per probabilità decrescenti Dai due simboli con probabilità più bassa costruire un nuovo simbolo virtuale la cui probabilità è la somma delle probabilità dei simboli di partenza Ripetere i primi due passi finchè non si ottiene un solo simbolo virtuale la cui probabilità è 1 Costruire l albero di codifica a partire dalla radice (corrispondente al simbolo virtuale con probabilità 1), retrocedendo fino ai simboli originali, e aggiungendo 1 ad ogni ramo inferiore e 0 ad ogni ramo superiore. E. Ardizzone 57

59 Esempio di codice Huffman Nel caso della compressione di immagini, i simboli da codificare possono essere direttamente i livelli di grigio Sia data una immagine in cui compaiono i seguenti livelli di grigio, con le rispettive probabilità: r r r r r Si ordinano i livelli di grigio in ordine di probabilità decrescente r r r r r I due simboli con le probabilità minori vengono aggregati in un nuovo simbolo virtuale, A, con probabilità pari alla somma delle probabilità: r r A 0.25 E. Ardizzone 58

60 Esempio di codice Huffman Il nuovo simbolo sostituisce i due simboli di partenza, e la lista dei simboli viene quindi riordinata per probabilità decrescenti: r A 0.25 r r Procedendo allo stesso modo: r r B 0.39 Il nuovo simbolo sostituisce i due simboli di partenza, e la lista dei simboli viene quindi riordinata per probabilità decrescenti: B 0.39 r A 0.25 Infine: C 0.61 B 0.39 Procedendo allo stesso modo: r A 0.25 D 1 C 0.61 E. Ardizzone 59