Compressione Delta mediante l algoritmo LZSS

Transcript

1 Compressione Delta mediante l algoritmo LZSS CORSO DI COMPRESSIONE DATI IN SISTEMI MULTIMEDIALI ANNO 2007/08 PROF. B. CARPENTIERI Gruppo TK

2 Indice degli argomenti Introduzione LZSS Delta Encoding Delta Encoding mediante LZSS Compressed Delta Encoding con decodifica parziale Compressed Delta Encoding senza decodifica Risultati sperimentali Fasi successive

3 Introduzione

4 Indice degli argomenti Introduzione LZSS Delta Encoding Delta Encoding mediante LZSS Compressed Delta Encoding con decodifica parziale Compressed Delta Encoding senza decodifica Risultati sperimentali Fasi successive

5 LZSS Lempel, Ziv, Storer e Szymansky Basato su LZ77 Metodo di compressione adattiva Algoritmo reso portabile Utilizzo di finestra di testo sliding window Coppie ordinate (offset, length) Offset: indica a che distanza dal punto di lettura attuale si trova la stringa appena incontrata Length: indica la lunghezza di tale stringa Differenze con LZ77 Sottostringhe di lunghezza minore di 3 non vengono codificate

6 LZSS vs LZ77 La codifica di singoli caratteri e di sequenze di caratteri inferiori a tre occupa più spazio in termini di byte rispetto ai caratteri non codificati Codificare una stringa da un dizionario di 4096 simboli richiede: 16 bits per memorizzare interi offset e length 8 bits per memorizzare un singolo carattere non codificato Soluzione di Storer e Szymanski Utilizzo di un flag per indicare se un simbolo è codificato o meno 17 bits per memorizzare interi offset e length 9 bits per memorizzare un singolo carattere non codificato

7 Esempio di LZSS S = BDEFXDEFDE Finestra = 4 BDEF XDEFDE BDEFX BDEFX DEFDE BDEFX(4,3)D BDEFX DEFD E BDEFX(4,3)D(3,1) BDEFX(4,3)DE E(S) = BDEFX(4,3)DE

8 Indice degli argomenti Introduzione LZSS Delta Encoding Delta Encoding mediante LZSS Compressed Delta Encoding con decodifica parziale Compressed Delta Encoding senza decodifica Risultati sperimentali Fasi successive

9 Delta Encoding File sorgente S File compresso E(S) File target T File compresso E(T) File Delta Δ(S,T) Differenza tra S e T senza decompressione

10 Delta Encoding Full Compressed Differencing Problem Utilizzo di E(S) e di E(T) Δ(S,T) generato direttamente da E(S) ed E(T) Senza ricorrere a decompressione Semi Compressed Differencing Problem Solo 1 tra S e T risulta compresso Original Differencing Problem Nessuna compressione di S e T

11 Delta Encoding Codifica statica di Huffman Generazione di Δ(S,T) da E(S) e E(T) Taglia di Δ(S,T) generato da E(S) e E(T) <= Taglia di Δ(S,T) generato da S e T Esempio a={00} e b={01} bab S = T = baa E(S) = {010001} E(T) = {010000}

12 Delta Encoding Motivazioni Riduzione del numero di operazioni di I/O Risparmio di banda utilizzata Individuazione somiglianze tra file compressi Risparmio di memoria e tempo

13 Delta Encoding Esempio 1 Aggiornamento di pagine web Solo un piccolo numero di campi fissati vengono cambiati Es. Data Corrente / Orario Aggiornamenti di backup in database che hanno un rigido layout Viene eseguita l update di un numero limitato di campi

14 Delta Encoding Esempio 2 Esempio di trasmissione di un file contenente interi Nel file S sono presenti i seguenti numeri: 1024, 990, 1050, 1100 Per codificare dei numeri compresi tra 0 e 2048 occorrono: 11 bits 44 bits totali Mediante la codifica delta si ottiene: 1024, -34, +60, +50 Risultato: 10 bits per il primo + 6 bits per ogni numero successivo al primo + 1 bits di segno per ogni numero successivo al primo 31 bits totali Differenza: 13 bits risparmiati

15 Indice degli argomenti Introduzione LZSS Delta Encoding Delta Encoding mediante LZSS Compressed Delta Encoding con decodifica parziale Compressed Delta Encoding senza decodifica Risultati sperimentali Fasi successive

16 Delta Encoding mediante LZSS LZSS: file visto come sequenza di copie e singoli caratteri. Copie=coppia(offset, length) Offset: indica a che distanza dal punto di lettura attuale si trova la stringa appena incontrata Length: indica la lunghezza di tale stringa (S,T) costruito rispetto a S o a T. Ambiguità: Utilizzo bit di flag (1,off,length) copie sottostringhe in S (0,off,length) copie sottostringhe in T

17 Delta Encoding mediante LZSS E(S)=s 1 s 2 s u e E(T)=t 1 t 2.t v dove ogni s i e t i = coppia (o i, l i ) Se s i e t i sono un singolo carattere allora l i =1 l i s =parola codice appartenente a S l it = parola codice appartenente a T Esempio: S=abcxabccxaabc T=abcxdbccxdabc

18 Delta Encoding mediante LZSS E(S) a b c x (4,3) (5,3) (6,3) S a b c x a b c c x a a b c T a b c x d b c c x d a b c E(T) a b c x d (4,2) (5,3) (10,3)

19 Delta Encoding mediante LZSS Output prodotto file delta compatto Osservazioni (1,0,4) d (1,0,4) d (1,0,3) Sostituzioni di caratteri Parametri offset posti a 0 Calcolo offset basato su T

20 Indice degli argomenti Introduzione LZSS Delta Encoding Delta Encoding mediante LZSS Compressed Delta Encoding con decodifica parziale Compressed Delta Encoding senza decodifica Risultati sperimentali Fasi successive

21 Compressed Delta Encoding con decodifica parziale (S,T) ottenuto con decodifica parziale di sottostringhe di E(S) e E(T). p= locazione della prima differenza c= locazione corrente in T c-o p < c-o+l Intersezione tra la coppia (o, l) e la lista dei cambiamenti che, dopo la prima differenza,contiene soltanto {p}.

22 Esempio E(T) A B C D E (4,3) F G (4,3) t1 t2 t3 t4 t5 t6 t7 t8 t9 T = ABCDEBCD p c c-o p < c-o+l 6-4 p < 6-4+3

23 Esempio con decodifica parziale BCD E(T) A B C D E (4,3) F G (4,3) t1 t2 t3 t4 t5 t6 t7 t8 t9 p c c-o p < c-o+l 9-4 p < T = ABCDEBCDFGCDF

24 Esempio con decodifica parziale 1/3 E(S) A B C D E (5,5) F G (4,3) (14,3) (7,3) t1 t2 t3 t4 t5 t6 t7 t8 t9 t10 t Totale = 14 Per decodificare t10 = (14,3) B C D In questo caso non è stato necessario esplodere alcuna stringa codificata perché t10 non punta ad alcuna di esse

25 Esempio con decodifica parziale 2/3 E(S) A B C D E (5,5) F G (4,3) (14,3) (7,3) t1 t2 t3 t4 t5 t6 t7 t8 t9 t10 t11 Per decodificare t9 = (4,3) C è bisogno di espandere t6 = (5,5) = ABCDE Il testo espanso sarà = A B C D E A B C D E F G (4,3) (14,3) (7,3) t6 t9 Nel caso peggiore bisogna decodificare tutta l intera stringa!

26 Esempio con decodifica parziale 3/3 E(S) A B C D E (5,5) F G (4,3) (14,3) (7,3) t1 t2 t3 t4 t5 t6 t7 t8 t9 t10 t Per codificare t11 occorre prendere t8 + i primi due caratteri di t9 t9 però è stato già decodificato in precedenza e verrà decodificato di nuovo Soluzione: Utilizzo di un buffer per mantenere le stringhe precedentemente decodificate

27 Algoritmo con Decodifica Parziale 1/2

28 Algoritmo con Decodifica Parziale 2/2

29 Indice degli argomenti Introduzione LZSS Delta Encoding Delta Encoding mediante LZSS Compressed Delta Encoding con decodifica parziale Compressed Delta Encoding senza decodifica Risultati sperimentali Fasi successive

30 Compressed Delta Encoding senza decodifica Algoritmo alternativo al precedente Svantaggio:Non sempre il file delta prodotto è ottimale Vantaggio: Non necessita di alcuna decodifica dell input Si divide in due casi: Algoritmo per una singola sostituzione, usato nel caso in cui il file target differisce per una singola sostituzione, ad esempio un singolo carattere in una sola posizione. Algoritmo generale per più sostituzioni, usato nel caso in cui il file target differisce per più sostituzioni, cioè differisce in più punti.

31 Compressed Delta Encoding senza decodifica Descrizione dell algoritmo per una singola sostituzione: Supponiamo dati i file S (sorgente) e T (target) compressi usando LZSS. Essi differiscono esclusivamente nella k-esima parola codificata, cioè: E(S) = S1, S2,, Sk-1, Sk, Sk+1,, Sn. E(T) = T1, T2,, Tk-1, Tk, Tk+1,,Tn. L unica differenza è Sk Tk. L unica sostituzione avviene alla k-esima parola, quindi (S,T) = (1,l) Tk (1, E(T) - l - 1), dove Tk è l unica parola codificata sostituita. Questo significa che il delta consiste in due copie di sottostringhe di S (possibilmente vuote) con il carattere Tk inserito tra di esse.

32 Compressed Delta Encoding senza decodifica Codice dell algoritmo per una singola sostituzione:

33 Compressed Delta Encoding senza decodifica Funzionamento dell algoritmo per più sostituzioni: Per generalizzare il caso precedente consideriamo k sostituzioni, con k 1, riferendoci ad una sostituzione che non sia la prima. Si verifica: quando 2 parole codificate corrispondenti sono differenti quando due parole Tj in E(T) ed Sj in E(S), anche se uguali, si riferiscono a sottostringhe influenzate da precedenti sostituzioni Se parole codificate diverse si riferiscono a sottostringhe identiche lo possiamo sapere solamente con la decodifica. Due identiche coppie ordinate si riferiscono a differenti sottostringhe solamente quando puntano a precedenti sostituzioni.

34 Compressed Delta Encoding senza decodifica Descrizione dell algoritmo per più sostituzioni: Difetti del Decompress then Delta : Usando un buffer con il metodo Decompress then Delta si potrebbe produrre un file delta errato in due casi: Se i due file non sono allineati. Se i due file differiscono per un inserimento o una cancellazione di una grandezza di circa quella del buffer, in questi file usando il buffer si rischia di non individuare alcuna somiglianza tra S e T. Produrre il file delta richiede spazio per S e T decompressi e un buffer è adatto solo con file, compressi con LZSS, con un limite sull offset (la taglia del buffer) Se questa limitazione è valida allora in casi ristretti il buffer è sufficiente.

35 Compressed Delta Encoding senza decodifica Descrizione dell algoritmo per più sostituzioni: Se la forma compressa del file è data in remoto, il trasferimento del file in locale è necessario a meno che non ci sia spazio in remoto, questo comporta uno spreco di tempo per operazioni I/O L algoritmo di Compressed Delta Encoding : Non richiede alcuna assunzione sulla grandezza dell offset. Le operazioni possono essere svolte in remoto, con conseguente risparmio di operazioni I/O.

36 Compressed Delta Encoding senza decodifica Codice dell algoritmo per più sostituzioni:

37 Indice degli argomenti Introduzione LZSS Delta Encoding Delta Encoding mediante LZSS Compressed Delta Encoding con decodifica parziale Compressed Delta Encoding senza decodifica Risultati sperimentali Fasi successive

38 Esperimenti Mostriamo le performance del Compressed Delta Algorithm senza decodifica(numero di sostituzioni sconosciuto) File input: Paper1 ( Calgary Corpus ) Kennedy.xls, sum ( Canterbury Corpus ) Applichiamo a ciascun file 3 diversi metodi di compressione Compressed Delta Algorithm(CDA): generazione del delta file sui file input compressi Xdelta : generazione del delta file sui file input decompressi LZSS(T) : compressione LZSS sul file target T

39 Compressed Delta Algorithm : Codifica La codifica usata per il CDA è la seguente: Un byte piu un bit di flag per i caratteri Formato statico per le coppie ordinate derivanti da T 4 bits per la componente length 12 bits per la componente offset La componente length nelle copie presenti in S è stata codificata in base alla dimensione della loro taglia 5 bit flag 0 8 bit flag bit flag 11

40 Risultati Compressed Delta Algorithm : Codifica

41 CDA vs XDelta CDA preferibile a Xdelta per un numero piccolo di sostituzioni Se il numero di sostituzioni aumenta il delta file prodotto da CDA è piu grande di quello prodotto da Xdelta CDA e XDelta funzionano meglio rispetto a LZSS(T)

42 Indice degli argomenti Introduzione LZSS Delta Encoding Delta Encoding mediante LZSS Compressed Delta Encoding con decodifica parziale Compressed Delta Encoding senza decodifica Risultati sperimentali Fasi successive

43 Fasi Successive Prima fase: Comprensione ed analisi dei documenti Approfondimento dell argomento del progetto Presentazione a lezione dell argomento del progetto Seconda fase: Comprensione ed analisi del codice in allegato alla tesi Testing del codice in allegato alla Tesi Debugging del codice in allegato alla Tesi Terza fase: Stesura del documento finale del progetto