Teoria e pratica della compressione dati senza perdita. L esempio dell algoritmo DEFLATE

Transcript

1 Unverstà degl Stud d Padova DIPARTIMENTO DI INGEGNERIA DELL INFORMAZIONE Corso d Laurea Trennale n Ingegnera dell Informazone Teora e pratca della compressone dat senza perdta. L esempo dell algortmo DEFLATE Canddato: Marco Boscolo Anzolett Matrcola Relatore: Dott. Lorenzo Fnesso Anno Accademco

2 a Mchele

3 Indce 1 Introduzone 3 2 Lmt teorc alla compressone dat Denzon d base Dsuguaglanza d Kraft Teorema d Shannon sulla codca d sorgente Codca d Human Codca a blocch Codca Unversale Algortmo LZ L'algortmo DEFLATE LZ Codca d Human per DEFLATE Descrzone Convenzon Dettagl del blocco Codca Decodca Conclusone Bblograa 24 2

4 Captolo 1 Introduzone Il problema della compressone nasce dal bsogno d rdurre lo spazo d memorzzazone delle nformazon, sa per quanto rguarda l'uso del calcolatore, dove è sempre pù crtca la gestone delle nformazon a causa della smsurata quanttà d cu ogg dsponamo, sa per quel che rguarda le trasmsson dgtal, dove l problema ha rpercusson sul tempo d nvo/rcezone e sulla qualtà de segnal. In partcolare, la compressone dat senza perdta (loseless) è la compressone tale da ottenere la stessa dentca nformazone dopo la compressone/decompressone de dat. Infatt le nformazon qual l codce d un programma, testo, document, database e le d sstema devono rmanere ntegr n ogn parte se l s vuole utlzzare. Questa modaltà d compressone comporta de vncol alla compressone stessa, come dmostrato da rsultat teorc che sono stat raggunt nell'ultmo secolo [NAT]. Se da un lato la teora c ndca la strada, da un punto d vsta pratco la scrttura e l'mplementazone d algortm capac d comprmere dat n modo ecente è una questone tutt'ora aperta e molte sono state le dee svluppate per ottenere un buon lvello d compressone. Per esempo, n questo lavoro mostreremo algortm che operano n manera concettualmente dversa: 1. l'algortmo d Human, che s basa sulla frequenza de smbol da comprmere 2. l'algortmo LZ77, che opera senza conoscere la frequenza 3. l'algortmo DEFLATE, un metodo che vene utlzzato anche ogg all'nterno de pù comun programm d compressone dat (Gzp, Wn- Zp, PKZIP... ), molto popolare graze alle sue ottme prestazon e alla lcenza gratuta. Esso s serve de due algortm sopractat per raggungere una codca ottmale. 3

5 CAPITOLO 1. INTRODUZIONE 4 La tes è una modesta (ma non banale) trattazone della codca delle nformazon e della loro compressone: nel prmo captolo espongo alcun lmt teorc alla codca delle nformazon, mentre nel secondo captolo descrvo brevemente l'algortmo DEFLATE, l suo funzonamento e la stratega vncente che esso adotta per esegure la compressone. Buona lettura.

6 Captolo 2 Lmt teorc alla compressone dat 2.1 Denzon d base Denzone 2.1 (Sorgente). Il luogo n cu vene generata l'osservazone o l messaggo che modellamo come un processo aleatoro X 1, X 2,..., X } {{ n. } sequenza d v. a. Qu faremo rfermento al usso d dat n ngresso come sorgente de messagg che vorremmo comprmere. Le potes che faccamo rguardo alle varabl aleatore sono: consderamo l caso ad alfabeto nto d M smbol X X = {x 1, x 2,... x M } le statstche del processo sono supposte note e assumamo che le v.a. X sano ndpendent e dentcamente dstrbute (..d.). Percò la denstà dscreta p := P [X = x ] = 1, 2..., M caratterzza completamente l processo (scrveremo n seguto p(x )). Denzone 2.2 (Codce). Per una varable sngola X : un codce è una mappa (Ω, F, P ) X C : X {0, 1} x C(x) dove x è un generco smbolo dell'alfabeto X e C(x) la sua codca (codeword). 5

7 CAPITOLO 2. LIMITI TEORICI ALLA COMPRESSIONE DATI 6 La lunghezza n bts della codca e la lunghezza meda del codce sono: l(x) := C(x) e l := E[l(X )] = x X l(x)p(x) Se la mappa C è nettva, allora è garantta la decodcabltà senza errore d smbol solat. Nel caso pratco, però, c nteressa codcare una sequenza d smbol X 1, X 2,..., X n d lunghezza n arbtrara. Una soluzone potrebbe essere quella d dvdere smbol con uno spazo o una vrgola, ma questa dea rsulta necente. Denzone 2.3 (Estensone d un codce). Dato un codce C denamo l codce esteso C C : X n {0, 1} x 1,x 2,..., x n C(x 1 x 2... x n ) := C(x 1 )C(x 2 )... C(x n ) } {{ } concatenazone Se per ogn n l'estensone C è nettva allora l codce è unvocamente dentcable. Denzone 2.4 (Codce a presso). Un codce s dce a presso (prex-code) se nessuna parola d codce è presso d un'altra. Un codce a presso può essere decodcato senza avere nformazon sulla codeword successva perchè la ne d ogn parola è mmedatamente rconoscble. Esempo 2.1. X = {a, b, c} e C = {0, 10, 110} x C (x) a 0 b 10 c 110 C è un codce a presso perchè nessuna parola d codce può essere l presso d un'altra. Data una sequenza bnara posso stantaneamente decodcare dat compress nel loro alfabeto d orgne, come nell'esempo sottostante: aabcaaba

8 CAPITOLO 2. LIMITI TEORICI ALLA COMPRESSIONE DATI Dsuguaglanza d Kraft Il nostro obettvo è quello d costrure un codce decodcable che abba lunghezza mnma. L'nseme d tutte le lunghezze de codc decodcabl è lmtata dalla seguente: Dat X, C e l(x) precedentemente dent Teorema 2.1 (Dsuguaglanza d Kraft). Dat l 1, l 2... l M con M 1, esse sono possbl lunghezze d un codce a presso C per X, l 1 = l(x 1 ), l 2 = l(x 2 ),..., l m = l(x M ) se se solo se: M 2 l 1 (2.1) Dmostrazone. =1 1. C a presso dsuguaglanza soddsfatta. Sano l 1 l 2 l max le lunghezze de codc a presso. Costruamo l'albero del codce no alla profondtà l max : ram uscent da l 1 è 2 l max l 1 ram uscent da l 2 è 2 l max l 2.. ram uscent da l max è 2 lmax lmax da cu ottenamo che ram uscent totale d ram coè l max 2 l max l 2 l max dsuguaglanza soddsfatta =1 2. dsuguaglanza soddsfatta C è a presso. Se per l 1, l 2... l M s ha che M =1 2 l 1 allora esste un codce a presso con quelle lunghezze. Basta costrure un albero d codca con quelle lunghezze. L'dea è che le lunghezza l non possono essere prese tutte corte come s vorrebbe fare, altrment la condzone 2.1 sarà volata e nessun codce a presso può essere costruto.

9 CAPITOLO 2. LIMITI TEORICI ALLA COMPRESSIONE DATI Teorema d Shannon sulla codca d sorgente D'ora n po vale che log = log 2 Denzone 2.5 (Entropa). Data una msura d probabltà P su X, s dce entropa: H p := E[log p(x)] = p(x) log p(x) (2.2) x X Nota. H p = x X Lemma p(x) log 1 p(x) è una funzone concava n {p 1, p 2..., p n } 0 H p log X (2.3) Dmostrazone. 0 p log 1 ( 1 ) log p = log X (2.4) p p Denzone 2.6 (Dvergenza tra msure d probabltà). Sano {p } e {q } due msure d probabltà tal che p, q 0 p = 1, q 1. S dce Dvergenza d p, q: D(p q) = n p log p q (2.5) Lemma D(p q) 0, D(p q) = 0 per p = q Dmostrazone. per la concavtà del logartmo abbamo che D(p q) = p log q ( q ) ( ) log p = log q 0 p p

10 CAPITOLO 2. LIMITI TEORICI ALLA COMPRESSIONE DATI 9 Teorema 2.2. () Sa P = {p 1, p 2,..., p n } una sorgente data. La lunghezza meda d ogn codce a presso (stantaneo) per P soddsfa: () Esste un codce a presso per cu Dmostrazone. () l HP (2.6) l HP + 1 (2.7) l HP = p l p log 1 p = p l + p log p = p log 2 l + p log p = per la dsuguaglanza d Kraft per l lemma sulla dvergenza p log p 2 l 2 l 1 p log p q 0 l H P 0 l H P Dmostrazone. () prendamo come lunghezza del codce a presso: l = log 1p allora 2 l = 2 log 1 p 2 log 1 p = 1 qund, per la dsuguaglanza d Kraft è un codce a presso valdo. log 1 p l log 1 p + 1 p log 1 p l p log 1 + p p p p log 1 p l p log 1 + p p H P l H P + 1 p

11 CAPITOLO 2. LIMITI TEORICI ALLA COMPRESSIONE DATI Codca d Human Dal punto d vsta applcatvo, m nteressa la lunghezza meda del codce: l := E[l(X )] = l(x)p(x) x X n partcolare, voglo avere un codce decodcable che abba lunghezza meda mnma e che rspett la dsuguaglanza d Kraft. Il problema è così descrtto: M mn l p l 1,l 2...,l M =1 M 2 l 1 =1 Un esempo d codce a presso che rsolve questo problema data una dstrbuzone d probabltà, s può rcavare attraverso un algortmo scoperto da Human. L'dea vncente d questo algortmo consste nel dare codc pù cort a smbol dell'alfabeto che compaono con pù frequenza. Charamo l suo funzonamento con un esempo Esempo 2.2. Consderamo una varable aleatora X che prende valor nell'nseme X = {1, 2, 3, 4, 5} con probabltà 0.25, 0.25, 0.2, 0.15, Voglamo ottenere che la codca bnara assegn codc pù lungh agl ultm due smbol, che sono quell con mnore probabltà, mentre voglamo assegnare codc pù cort a prm. Per ottenere cò mettamo n colonna smbol dell'alfabeto, ordnat n ordne decrescente per probabltà. Sommamo le probabltà degl ultm due smbol e ottenamo un nuovo smbolo d probabltà 0.30 e rfaccamo la colonna ordnata, che avrà un smbolo n meno. Quando arrvamo ad avere solo due smbol damo al smbolo pù probable la codca 0 e all'altro 1. Rpetamo l procedmento dvdendo smbol precedentemente sommat nchè non ottengo le codche d tutt smbol. La tabella seguente elenca quanto detto: Lunghezza del codce Codce X Probablty

12 CAPITOLO 2. LIMITI TEORICI ALLA COMPRESSIONE DATI 11 Ottenamo una mappa che va da smbol dell'alfabeto alla loro codca X C(x) Questo codce ha lunghezza meda d 2.4 bts. S può provare con una lunga dmostrazone (reperble n [CT91, paragrafo 5.8]) che la codca d Human è ottmale, coè se C è la codca d Human e C è un'altra codca, allora L(C ) L(C ) 2.4 Codca a blocch Il teorema d Shannon determna un lmte alla lunghezza mnma del codce a presso. S può mglorare l'upper bound costruendo codc per 'blocch' d smbol d dmensone k (X 1, X 2,..., X k ) C(X 1, X 2,..., X k ) d lunghezza l(x 1, X 2,..., X k ) Allora è, ndcando con l k la lunghezza meda lk = l(x1 k )p(x1 k ) X1 k X k (Qu non è l k = k l. Il codce è costruto speccamente per blocch d lunghezza k e non come gustapposzone de codc d lunghezza 1). Applcando la prma parte del teorema d Shannon abbamo: H p(k) l k e, costruendo l codce d Shannon drettamente per l blocco prendamo lk(x s 1 k 1 ) = log rsulta qund p(x1 k ) 1 log p(x1 k ) ls k(x1 k 1 ) log p(x1 k ) + 1 Calcolando la meda ottenamo qund: kh p l s k kh p + 1 Normalzzando rspetto a k ottenamo, per la lunghezza meda n bts/smbolo H p l s k k H p + 1 k Asntotcamente, n k, l codce d Shannon raggunge lunghezza meda, n bts/smbolo, par all'entropa.

13 CAPITOLO 2. LIMITI TEORICI ALLA COMPRESSIONE DATI Codca Unversale In tutt rsultat rcavat n precedenza abbamo sempre potzzato process..d. e s assumeva nota la statstca del processo, coè la probabltà con cu la sorgente produceva l messaggo. Tuttava, l modello..d. non è sempre l mglore. In molt cas v sono correlazon tra smbol, come nella lngua talana (dclmente dopo aver trovato una q n un testo segurà una r) o n generale ne lnguagg uman, oppure n una fotograa, n cu pxel aancat hanno buona probabltà d essere sml. Per esempo, un modello d correlazone a corto raggo è dato dalle 'catene d Markov', n cu la probabltà d transzone a uno stato del sstema dpende uncamente dallo stato precedente: P (X n+1 = x n+1 X n, X n 1,..., X 0 ) = P (X n+1 = x n+1 X n ) Un modello utle per descrvere process con correlazon anche a dstanza è fornta dalla classe de process stazonar, per cu vale: P (X k 1 = x k 1) = P (X t+k k = x k 1) La denzone d entropa per questo gruppo d process è [ ] 1 1 H = lm E log = lm P (X n P (X1 n 1 n = x n 1 ) n n 1) log P (X1 n = x n 1) x n 1 Xn 1 per raggungere la codca ottmale dobbamo raggungere questo lmte d entropa. Tuttava spesso non è nota la statstca del processo. Percò s tratta d trovare un metodo d codca che sa ottmo anche senza l'nformazone P (X n 1 = x n 1), utlzzando solo messagg che c arrvano dalla sorgente. Una codca con questa propretà prende s dce codca unversale. Un esempo d algortmo che opera n questo modo è l Lempel-Zv (LZ). La compressone che s ottene da esso è ndpendente dalla probabltà con cu smbol arrvano n ngresso, ha rsultat eccellent e raggunge l'entropa nella classe de process che sono stazonar Algortmo LZ Questo algortmo, dovuto a due scenzat Abraham Lempel e Jacob Zv, s basa su un'dea molto semplce e faclmente mplementable, cosa che, graze anche alla sua ecenza e veloctà, lo ha reso molto popolare come algortmo standard per la compressone dat ne computer.

14 CAPITOLO 2. LIMITI TEORICI ALLA COMPRESSIONE DATI 13 Consderamo una sorgente bnara da cu arrva una sequenza d bt e dvdamo questa sequenza n strnghe tal che non c sano rpetzon, come 1,0,11,01,010,00,10,.... Dopo ogn vrgola prendamo come strnga la sequenza d bt pù corta che non è ancora stata vsta. Essendo la pù corta, essa è formata da un presso che è gà apparso come strnga e da un ulterore bt. Allora codchamo questa strnga con l'ndce del suo presso e l suo ultmo bt. Sa c(n) l numero d dvson dell'nput n strnghe. Allora abbamo bsogno d log c(n) bts per descrvere l'ndce della locazone del presso e d un bt per descrvere l'ultmo bt. La codca della sequenza d'esempo è (000,1)(000,0)(001,1)(010,1)(100,0)(010,0)(001,0), dove l prmo termne è l'ndce del presso e l secondo è l'ultmo bt. La decodca è lneare e s può rcavare la sequenza nzale senza errore. In questo esempo banale può sembrare che non s sa ottenuto un grande rsultato (l numero d bt sembra addrttura ncrementato rspetto alla sequenza d base) ma per sequenze molto pù lunghe questo tpo d descrzone dventa molto ecente. S può dmostrare [CT91, paragrafo 13.8] che questo algortmo raggunge asntotcamente l'ottmaltà

15 Captolo 3 L'algortmo DEFLATE Il DEFLATE è un algortmo d compressone dat senza perdta che utlzza una combnazone d due metod d compressone: l'algortmo LZ77 e la cod- ca d Human ([R1951] e [SAL]). Esso è ampamente utlzzato ne software d compressone, merto della sua ecenza e dell'assenza d brevetto. Prma d avventurarc nella spegazone del DEFLATE è fondamentale capre l funzonamento delle mplementazon d LZ77 e Human che s utlzzano n questo algortmo LZ77 La compressone LZ77 s basa su un approcco adattvo, coè s rcava un modello della statstca de dat n ngresso drettamente dal processo d codca. Esso opera sulle sequenze d dat d massmo 32kB (32*1024 bt) che contengono al loro nterno strnghe rpetute. Quando nella sequenza comnca una strnga che è gà comparsa prma, questa vene sosttuta con un puntatore formato da due numer: la dstanza, che rappresenta pass che devo fare all'ndetro per arrvare al punto della sequenza n cu la strnga gà vsta comnca, e la lunghezza, che descrve l numero d caratter che devono essere rpetut a partre da quel punto. Un esempo renderà tutto pù charo [FELD]: Esempo 3.1. Supponamo d avere un usso d dat d questo tpo: Blah blah blah blah blah! l'algortmo comnca a rcevere dat e legge seguent caratter: 'B', 'l', 'a', 'h', ' ' e 'b'. I cnque caratter che seguono sono: 14

16 CAPITOLO 3. L'ALGORITMO DEFLATE 15 vvvvv Blah blah blah blah blah! ^^^^^ C'è una perfetta corrspondenza tra quest caratter e quell che abbamo gà rcevuto. Percò possamo mandare n output l puntatore con le due nformazon d dstanza e lunghezza. I dat che abbamo n qu sono: n output ottenamo: Blah blah b Blah b[d=5, L=5] La compressone può essere ulterormente ncrementata perchè ne successv confront s trovano gl stess caratter rpetut. In questo partcolare esempo rsulta che 18 caratter che comncano dal secondo carattere sono dentc a 18 caratter successv che comncano al settmo. Sfruttando al massmo la compressone rsulta: Blah b[d=5, L=18]! L'mplementazone d questo algortmo rchede due spaz d memora al ne d gestre l search buer e l look-ahead buer. Il prmo memorzza dat gà codcat, mentre l secondo contene la parte d strnga successva che deve essere codcata [GMD06]. Mostramo queste due sequenze nella gura sottostante, supponendo d trovare la strnga dell'esempo precedente n un certo stante del usso d ngresso: Blah } {{ } b lah } blah {{ blah blah! } search buer look-ahead buer } {{ }} {{ } sequenza gà codcata sequenza da codcare l codcatore cercherà l presso pù lungo del search buer contenuto nel look-ahead buer Codca d Human per DEFLATE La codca d Human è gà stata descrtta n precedenza. Rportamo rsultat ottenut dall'esempo 2.2 per ntrodurre l concetto d 'albero d Human'. X C(x)

17 CAPITOLO 3. L'ALGORITMO DEFLATE 16 Le codche de smbol possono essere descrtte medante un albero bnaro cu ram rappresentano 0 e 1 a seconda se sono l ramo destro o snstro. Il percorso che porta dalla radce alle fogle letto nella sua sequenza d 0 e 1 è la codca del smbolo presente nella fogla. Per la tabella precedente abbamo che l suo albero d Human è: /\ / \ 0 1 Smbolo Codfca / \ /\ \ 1 01 / \ \ \ 3 11 / \ \ /\ (1) \ / \ /\ / \ / \ (4) (5) (2) (3) Questa codca, descrtta precedentemente, s derenza da quella base per due regole agguntve: 1. gl element che hanno la codca pù corta sono dspost alla snstra d quell con codca pù lunga. 2. tra gl element con la codca della stessa lunghezza, quell che compaono per prm nell'nseme sono mess a snstra. Con l'aggunta d queste due propretà è possble costrure un solo tpo d albero d Human (qund una sola codca) per ogn nseme d element e le loro rspettve frequenze. Nel nostro caso potremmo rcodcare l'esempo sopra per segure questa regola come segue, partendo dal presupposto che l'ordne dell'alfabeto è : 01, 10 e 11 precedono 000 e 010, e due grupp d codc d lunghezza due e tre sono lesscogracamente ordnat:

18 CAPITOLO 3. L'ALGORITMO DEFLATE 17 /\ / \ / \ 0 1 Smbolo Codfca / \ / \ 1 01 /\ /\ / \ / \ (1) (2) (3) \ /\ 0 1 / \ (4) (5) Queste specche consentono al parser, durante la decompressone, d codcare sempre senza ambgutà smbol. Ogn volta che s trova davant a un nuovo codce, esso deve 'cammnare' attraverso l'albero seguendo l percorso d 0 e 1 no a raggungere l smbolo corretto. 3.1 Descrzone DEFLATE comprme dat del usso d ngresso n blocch d byte d lunghezza arbtrara (tranne nel caso d blocch non compress, la cu lunghezza massma è d 64kB bytes-). Ogn blocco è compresso separatamente medante una combnazone d LZ77 e Human. Gl alber d Human usat per un blocco sono ndpendent da quell utlzzat per blocch precedent o successv, mentre LZ77 può utlzzare un rfermento a una strnga duplcata vsta n precedenza sulla sequenza d nput, no a un massmo d 32kB. La decsone su come dvdere blocch e su quale stratega d compressone utlzzare non è presa da DEFLATE, bensì l programmatore che mplementerà l'algortmo dovrà occupars d scrvere ulteror algortm che faccano n modo ntellgente questa scelta. Un sngolo blocco è dvso n due part: un codce d Human che descrve la compressone e dat compress. Quest'ultm consstono d una sere d element d due tp: semplc strnghe d byte d cu non s è trovato un duplcato dentro 32kB precedent, chamat lterals, e puntator alle strnghe duplcate format da coppe <dstanza, lunghezza>. La rappresentazone usata da DEFLATE lmta la 'dstanza' a 32 kb e la 'lunghezza' a 258 bytes,

19 CAPITOLO 3. L'ALGORITMO DEFLATE 18 ma non è un vncolo alla grandezza del blocco (eccetto dat non compress, come detto n precedenza). Ogn tpo d dato (lterals, dstanze, lunghezze) è rappresentato ne dat compress con codc d Human: un albero per lterals e le lunghezze e un albero separato per le dstanze. Quest alber sono memorzzat nel blocco appena prma de dat compress Convenzon Usamo questo smbolo: <-- le barre vertcal non sono per forza necessare per ndcare un byte; mentre +==========+ +==========+ rappresenta un numero varable d bytes. Inoltre utlzzeremo spesso le parole 'dstanza' e 'lunghezza': esse vanno ntese come msure costrute dall'algortmo LZ77. Con l termne 'blocco' ndcheremo sempre le part n cu l'algortmo dvde dat. Il numero bnaro all'nterno d un byte ha la cfra pù sgncatva a snstra Dettagl del blocco Ogn blocco è preceduto da 3 bt che danno le seguent nformazon: 1 bt: marcatore della sequenza 1: questo blocco è l'ultmo della sequenza 0: c sono altr blocch oltre a questo 2 bt denscono l tpo d codca per l blocco 00: l blocco non vene codcato 01: comprm l blocco con la codca d Human utlzzando un albero precostruto 10: comprm l blocco con la codca d Human utlzzando un albero creato apposta per questo blocco (Human dnamco)

20 CAPITOLO 3. L'ALGORITMO DEFLATE 19 11: rservato (comando non utlzzato) Molt blocch saranno codcat con l metodo 01, che produce una codca d Human ottmzzata ndvdualmente per ogn blocco. Le struzon per generare l'albero d Human sono memorzzate subto dopo 3 bt nzal Codca (00) - nessuna compressone La forma del blocco è: 1. Tre bt nzal 000 o S salta l resto del byte corrente. I quattro bytes successv contengono l LEN e l suo complemento NLEN, dove l LEN è l numero d bytes nel blocco. Questo è l motvo per cu la grandezza è lmtata a bytes. 3. LEN bytes ================================+ LEN NLEN... LEN bytes d dat ================================+ Questo modo d comprmere ha senso per que le, o part d le, che sono ncomprmbl o gà compress, o per cas n cu l software è chamato a segmentare dat. Un caso tpco è un utente che vuole spostare un le d 8 Gb da un computer ad un altro ma ha solo un DVD rscrvble. L'utente vorrebbe dvdere l le n due part da 4 Gb cascuna senza comprmere. Un semplce software d compressone basato su DEFLATE può svolgere questo compto usando l modo (00). (01) - compressone con albero d Human sso La forma del blocco è: 1. Tre bt nzal 001 o Seguono subto codc a presso de dat compress nella forma d lterals o d coppe dstanza/lunghezza 3. Il codce 256 (o meglo, l suo codce a presso) che desgna la ne del blocco

21 CAPITOLO 3. L'ALGORITMO DEFLATE 20 Bts Bts Bts Edoc extra Lunghezza Codce extra Lunghezza Codce extra Lunghezza , , , , Tabella 3.1: Edoc per strnghe/lunghezze del modo (01) Bts Bts Bts Edoc extra Dstanza Codce extra Dstanza Codce extra Dstanza , , Tabella 3.2: Edoc delle dstanze nel modo (01) Codce edoc Bts a presso Tabella 3.3: Codc d Human per gl Edoc del modo (01)

22 CAPITOLO 3. L'ALGORITMO DEFLATE 21 La modaltà (01) utlzza due tabelle d codc: uno per le lunghezze e un'altra per le dstanze. I codc delle tabelle e non sono n realtà quell che verranno scrtt ne dat compress ma sono un traguardo ntermedo, percò, al ne d toglere eventual ambgutà, usamo l termne edoc per rferrc ad ess. Ogn edoc è po convertto n un codce a presso (tabella ) che sarà l rsultato della compressone. Gl edoc da 0 a 255 sono rservat a lterals e sono 256 come le possbl congurazon d un byte, nfatt nel caso peggore avrò n ngresso 256 byte dvers (tutte le 2 8 possbl rappresentazon d un byte) prma d un puntatore. Un esempo d caso lmte è questo: n ngresso abbamo n sequenza tutt gl nter da 0 a ================= ================= qu non è possble operare sosttuzon con puntator, e l codcatore assegna tutt gl edoc da 0 a 255 a byte. Gl edoc sono usat per le lunghezze e quest'ultm non sono sucent a rappresentare tutte le 256 possbl lunghezze, per cu ad alcun vengono aggunt de bt extra. Per le dstanze s rutlzzano gl edoc da 0 a 29 con l'aggunta d bt extra. Dopo una lunghezza c'è sempre una dstanza per cu l parser nterpreterà sempre l codce successvo correttamente senza ambgutà. Inne l'edoc 256 è l codce 'ne-del-blocco'. Il rsultato nale della compressone è l codce a presso degl edoc (tabella ). Notamo che gl edoc d 286 e 287 non sono creat, percò loro codc a presso non sono usat. Faccamo un esempo d codca: Esempo 3.2. Abbamo n ngresso un blocco d dat e ad un certo stante l'algortmo ndvdua una rpetzone d 20 lterals byte a dstanza d 2051 byte. Il prmo passo è creare l puntatore con gl edoc: <(269)01,(22) >. Po s usa la codca d Human trasformando tutto n bnaro: < } {{ } 01 } {{ } > Human code Human code (10) - compressone con albero d Human dnamco Questa modaltà d compressone è senza dubbo la pù complessa. Le due tabelle d edoc che abbamo vsto n precedenza, qu devono essere rscrtte, e per farlo c s basa sulle nformazon raccolte da smbol che abbamo sul nostro blocco d dat da comprmere, così come l codce d Human. Successvamente tutte le tabelle devono essere memorzzate all'nterno del blocco e

23 CAPITOLO 3. L'ALGORITMO DEFLATE 22 'spedte' con esso per garantre la successva decodca (addrttura esse sono ulterormente codcate con Human per dmnure ancora lo spazo d memorzzazone!). L'dea è che un buon codcatore DEFLATE possa raccoglere nformazon su dat n ngresso e su blocch compress, per po utlzzare queste per costrure l codce a presso mglore per blocch successv. Ma un' mplementazone poco ecente d questa modaltà del DEFLATE potrebbe portare ad avere codc a presso sml a quell della modaltà (01) o, ancor peggo, ad ottenere blocch d dat non compress. Come detto n precedenza, sta al programmatore che mplementerà l'algortmo la capactà d prendere la decsone sull'uso o meno d questa tecnca d compressone. Per una descrzone approfondta d questa modaltà s rmanda alla [R1951] Decodca L'unca derenza tra due cas d compressone è l modo n cu sono dent codc d Human per le strnghe/lunghezze e le dstanze. In ogn caso, l'algortmo d decodca non è complesso e possamo darne una semplce rappresentazone n pseudocodce: do { legg l'nzo del blocco dal flusso d ngresso; f(modaltà senza compressone) { gnora gl altr bt d questo byte; legg l LEN e l NLEN; copa LEN bytes d dat n uscta; } else f(modaltà con Huffman dnamco) { legg la rappresentazone degl alber d codce; } loop { decodfca la strnga/lunghezza dal flusso d ngresso; f(l suo valore < 256) /* un lteral */ { copa l dato n uscta; } f(valore = 256) /* smbolo d fne-del-blocco */ { break; } else /* valor da 257 a 285, coè una lunghezza */ { decodfca dstanza e successva lunghezza; torna al byte segnato dal puntatore dstanza nel flusso n uscta e copa byte da questa poszone al flusso d uscta fn quanto segnalato dal puntatore della lunghezza; } } whle(non è l'ultmo blocco)

24 CAPITOLO 3. L'ALGORITMO DEFLATE 23 Notamo che le strnghe duplcate possono rferrs a strnghe d blocch precedent, coè un puntatore d dstanza può attraversare uno o pù blocch sngol (ma non può ma puntare ad una poszone che vada oltre l'nzo del usso d dat n uscta). Inoltre, è possble che un puntatore produca una strnga rpetendo pù volte la strnga a cu s rfersce; per esempo, se gl ultm due byte decodcat sono X e Y, un puntatore <lunghezza = 5, dstanza = 2> aggunge X,Y,X,Y,X all'uscta. Esempo 3.3. Usando l rsultato dell'esempo 3.2, quando l parser esegurà la decodca non avrà ma l dubbo su cosa stà leggendo n quell'stante perché lterals e le lunghezze provengono da un codce d Human (percò a presso) e sa che dopo una lunghezza troverà sempre una dstanza. Ad esempo: l parser rconosce codc: } {{ } } {{ } lterals puntatore <lung./dst.> l traduce ottenendo: <(269)01, (22) > <20, 2051> Conclusone DEFLATE è un algortmo d compressone dat senza perdta che negl ann s è rvelato un componente mportante d molt programm d compressone. Esso rchede memora per l look-ahead e l search buer e per le due tabelle d codc a presso. Tuttava, la quanttà d memora d cu necesstà l codcatore/decodcatore è ndpendente dalla grandezza de dat o da blocch. Inoltre la sua mplementazone, certamente non banale, è pù semplce d mplementazon pù recent present ne format JPEG 2000 o MPEG. Gl algortm d compressone nat per appost format, come audo e vdeo, sono n genere pù performant del DEFLATE, ma esso ha un fattore d compressone tra 2.5 e 3 per l testo, leggermente nferore per le esegubl e ancor meglo per le mmagn. Inne, è mportante sottolneare che, nel caso peggore, l'algortmo espande dat d sol 5 byte ogn 32 kb d blocco.

25 Bblograa [CT91] T.M. Cover, J.A. Thomas (1991), Elements of Informaton Theory 2 th Ed., Wley, New York, pagne [FELD] A. Feldspar (1997), An Explanaton of the Deate Algorthm, Sto web [FIN] L. Fnesso (2006), Noseless Source Codng, Introduzone al problema della compressone dat, Corso: Probabltà e statstca, LL Informatca 05/06, UnPd. [GMD06] F. Lana, D. Masato, L. Poln (2006), Tecnche d compressone con dzonaro, Corso: Gestone ed elaborazone grand mol d dat, LS Ing. Informatca 05/06, UnPd. [NAT] S. Natarajan (2001), Entropy, Codng and Data Compresson, Resonance, Vol. 6, No. 8, pagne [R1951] P. Deutsch (1996), Request For Comments 1951, Sto web [SAL] D. Salomon (2007), Data Compresson. The Complete Reference 4 th Ed., Sprnger, pagne [WELC] T.A. Welch (1984), A Technque for Hgh-Performance Data Compresson, Computer, Vol. 17, No. 6, pagne