1 Esercizio - caso particolare di ottimalità

Transcript

1 Corso: Gestione ed elaborazione grandi moli di dati Lezione del: 5 giugno 2006 Argomento: Compressione aritmetica e Tecniche di compressione basate su dizionario Scribes: Andrea Baldan, Michele Ruvoletto e Matteo Zanon Esercizio - caso particolare di ottimalità Si consideri una sorgente memoryless S (A, p( )) dove A = {a, a 2,..., a k } e si supponga che sia potenza di 2 per ogni i =...k. Dimostrare che la codifica di Huffman per S ottiene un rate R = H(S), ovvero il minor rate possibile per qualsiasi codifica Uniquely Decodable. Prendiamo a titolo di esempio 5 simboli con le seguenti probabilità: a con p(a ) = 2, c = 0 a 2 con p(a 2 ) = 8, c 2 = 00 a 3 con p(a 3 ) = 8, c 3 = 0 a 4 con p(a 4 ) = 8, c 4 = 0 a 5 con p(a 5 ) = 8, c 5 = Le precedenti codeword sono state ricavate usando l albero di codifica di Huffman illustrato nella seguente figura.

2 Calcoliamo ora l entropia e il rate. H(S) = 2 log(2) log(8) = = 2 R = = 2 In questo esempio si è verificata la precedente ipotesi: R = H(S). Si può notare inoltre che la lunghezza delle parole di codice è Soluzione Generale c i = log Trovo un prefix code C = {c, c 2,..., c k } per S con rate R = H(S). Da un noto teorema sappiamo che la codifica di Huffman ottiene il rate minimo rispetto a un qualsiasi altro prefix code, e per cui il rate della codifica ( di ) Huffman non potrà essere maggiore di R! Definiamo la lunghezza l i = log per i =,..., k, che è una quantità intera dato che una potenza di 2. Quindi 2 l i = i= i= 2 log p(a i) = 2 log(p(ai)) = i= = per definizione di distribuzione di probabilità. Dal Lemma 2 segue che esiste un prefix code C con rate: R = ( l i ) = i= i= Quindi necessariamente Huffman avrà rate R = H(S). i= ( ) log = H(S) In generale, però, il rate di Huffman non è uguale all entropia e per poter raggiungere questo lower bound è necessario utilizzare la codifica a blocchi. 2

3 2 Compressione Aritmetica La codifica aritmetica è stata inventata da Rissanen e presentata in un articolo nel 979. Come tutte le altre codifiche per la compressione di dati, l idea è di ricodificare l informazione da trasmettere, assegnando le parole codificate di lunghezza minore a sequenze di simboli più frequenti. I codici aritmetici assegnano una codeword differente per ciascuna combinazione di ingresso. A differenza di codifiche tradizionali, come ad esempio quella di Huffman, che utilizzano un prefisso di lunghezza variabile per differenziare le codeword, in questo caso la parola di codice rappresenta un sottointervallo aperto di [0,). Ogni sottointervallo è rappresentato da un numero binario di precisione opportuna, tale da differenziarlo da tutti gli altri possibili sottointervalli. I sottointervalli sono ottenuti suddividendo progressivamente il segmento [0,), in modo che le ampiezze di ogni ripartizione siano proporzionali alla probabilità dei singoli simboli dell alfabeto di ingresso. È stato mostrato che i codificatori aritmetici ottengono rate arbitrariamente vicini all entropia senza aumentare la complessità della codifica, come succede nel caso della codifica di Huffman applicata a blocchi. 3 Tecniche di compressione basate su dizionario L idea si basa sull identificazione di pochi pattern di simboli frequenti, che vengono efficientemente codificati salvandone la loro codifica in un dizionario. Gli altri pattern o singoli caratteri si codificano, invece, banalmente. 3. Approccio Statico - Source Specific Questo approccio è molto legato alla sorgente ed è efficiente quando sono ben note le proprietà statistiche della sorgente e quando questa non varia. Definiamo Π = insieme di possibili pattern che compongono una sequenza X prodotta da S. Π = Π Π 2, dove: Π = pattern frequenti con m = Π Π 2 = pattern non frequenti con m 2 = Π 2 Per la codifica si ha: se π Π 0 c, se π 2 Π 2 c 2, c codeword associata a π di lunghezza log(m ) bit c 2 codeword associata a π 2 di lunghezza log(m 2 ) bit Dove 0 e segnalano se si tratta di pattern di Π o di Π 2. La codifica è vantaggiosa quando m m 2 ed i pattern di Π sono molto più frequenti di quelli di Π 2. 3

4 Sia Π un insieme di parole formate da 4 simboli appartenenti ad un alfabeto A contenente 32 simboli. Π = 32 4 = Siano: Π = {256 parole più frequenti} con m = 256 = 2 8 Π 2 = Π Π con m 2 = Procediamo in questo modo: per prima cosa associamo ai pattern in Π tutte le stringhe binarie su 8 bit (in generale servono log(m ) bit). In seguito associamo ai pattern in Π 2 m 2 stringhe binarie su 20 bit (in generale log(m 2 ) bit). Sia ora p la frequenza dei pattern di Π in una sequenza X tipica. Se X contiene n pattern, allora p n di questi (in media) saranno di Π. Calcoliamo il rate di questa codifica: R = 4 (p (8 + ) + ( p) (20 + )) }{{}}{{} Π Π 2 = 2 4 3p La quantità tra parentesi rappresenta il numero medio di bit usati per codificare un pattern ed è divisa per 4 perchè il rate deve essere misurato in bit per simbolo. Si noti che alla codifica di pattern si aggiunge un bit per distinguere tra pattern di Π e pattern di Π 2, come precedentemente specificato. Il risultato finale dipende da p e dal numero di pattern frequenti che abbiamo scelto. Con una codifica banale si ottiene invece un rate: R = bit codeword pattern = 20 4 = 5. Ne consegue quindi che la codifica efficiente se p > 0,083 per i pattern frequente, infatti: R < R 2 4 3p < 5 3p > 0.25 p > Approccio Statico 2 - Less Source Specific (Digram Coding) L idea di questo approccio si basa sulla codifica di simboli e coppie di simboli (digrammi) molto frequenti. Viene definito un dizionario D contenente le codeword per i k simboli di A e per le 2 d k coppie di simboli più frequenti, dove d è scelto in modo tale che k < 2 d k + k 2. Ogni codeword è composta da d bit. La decodifica si rivela semplice poichè tutte le codeword hanno lunghezza costante e il dizionario è noto. 4

5 Algoritmo di codifica di una sequenza X = x, x 2,..., x n i while (i n) do { if((i < n) and (x i x i+ ) D) then { produci in output c(x i x i+ ) //codeword della coppia x i x i+ i i + 2 } else { } produci in output c(x i ) //codeword di x i i i + } A = {a, b, c, d, r}, d = 3 a 000 b 00 c 00 d 0 r 00 ab 0 ra 0 ca }{{} a b 0 }{{} r a 0 }{{} c a }{{} d 0 }{{} a b 0 }{{} r a 0 Per codificare abracadabra si procede scandendo la parola per digrammi. Se il digramma è presente nel dizionario allora lo si codifica con la sua codeword. In caso contrario si codifica solamente il primo simbolo del digramma e si prosegue con il prossimo. Terminata la codifica, sono stati usati 8 bit per simboli con un rate R = 8 =.64. Se si fosse usata una codifica banale si sarebbe ottenuto un rate R = 3, ovvero quasi il doppio rispetto alla codifica con digrammi, dato che per codificare 5 simboli servono 3 bit per simbolo. Vediamo una condizione che rende questa codifica più efficiente rispetto a quella banale. Sia p tale che, in una sequenza X tipica di n simboli, vi siano p n coppie appartenenti al dizionario. Il rate ottenuto dal diagram coding è: R = n (d p n + d (n 2 n p)) = d ( p) 5

6 Di cui il primo termine nella parentesi indica i bit necessari per codificare le coppie, il secondo i bit necessari per i simboli codificati individualmente. Il rate è funzione di d e della probabilità p delle coppie. Con una codifica banale invece avrò: R = log(k) perciò: R < R d( p) < log(k) Per esempio, usando un solo bit in più rispetto alla codifica banale per le codeword (ossia d = log(k) + ), avrò un vantaggio solo se p > log(k) +, infatti: d( p) < log(k) (+ log(k) ) ( p) < log(k) p > log(k) log(k) + = log(k) Approccio Adattivo Questo approccio è stato proposto nel 977 dai ricercatori A.Lempel e J.Ziv. La loro idea si basa su due elementi:. il dizionario è cablato sulla porzione di sequenza già codificata o decodificata 2. si conosce inizialmente solo l alfabeto A ed una codifica, anche banale, dei simboli di A. L algoritmo leggendo la sequenza crea on line un dizionario usando i pattern più frequenti, rilevati fino a quel momento. Esso indica anche dei puntatori ai pattern frequenti già letti nella sequenza. Codificatore e decodificatore costruiscono il dizionario separatamente e indipendentemente. 6

7 Bibliografia [S05] Khalid Sayood. Introduction to Data Compression 3rd Ed. Morgan Kaufmann Publishers Inc, [V00] Fabrizio Vacca, dicembre Standard JPEG 2000: sistemi di decodifica riconfigurabili per applicazioni mobili. Sito web 7