rendere più veloce il trasferimento dei dati, per esempio attraverso una rete;

Transcript

1 Corso: Gestone ed elaborazone grand mol d dat Lezone del: 29 maggo 2006 Argomento: Introduzone alla compressone de dat: tecnche d compressone, msure d performance, entropa della sorgente, modell statstc Scrbes: Crstan Fuser e Matteo Volpato 1 Introduzone Nelle lezon precedent s è potuto vedere come l Dsk Model ntroduca un nuovo approcco allo svluppo d algortm per grand mol d dat, ponendo l accento, a dfferenza del modello RAM, sulle operazon d I/O su dsco rcheste dall algortmo ed ncoraggando la localtà, sa spazale che temporale. Il fatto d trattare grand mol d dat, costrnge l applcazone a rcorrere al dsco come mezzo d memorzzazone de dat d nput e d output. Oltre a svluppare algortm che sfruttno la localtà e che sano adatt al Dsk Model, s può consderare noltre d mplementare una rappresentazone effcente de dat, con l obettvo d rappresentare dat nel modo pù compatto possble. S rcorre qund a tecnche d compressone de dat, n modo tale da: rsparmare spazo per la rappresentazone de dat; rendere pù veloce l trasfermento de dat, per esempo attraverso una rete; poter lavorare drettamente su una rappresentazone de dat compressa; n questo modo l elaborazone de dat avverrebbe senza la necesstà d rcorrere alla decompressone degl stess. Questo procedmento è possble solo n alcun cas, mentre soltamente è necessaro rcorrere alla decompressone. In generale, con compressone de dat s ntende un processo d codfca de dat n modo tale che la rappresentazone compressa occup meno spazo (n bt) della rappresentazone orgnara. Da dat d orgne s passa qund a dat n una forma compressa, elmnandone le nformazon rdondant. Una volta n presenza d una rappresentazone compressa, l obettvo è d rcostrure dat orgnal o qualche buona approssmazone d ess. La compressone de dat è possble n quanto la maggor parte de dat real è caratterzzata da rdondanza statstca. Ad esempo, nella lngua nglese la lettera e è molto pù comune della lettera z e la probabltà che una q sa seguta da una z è molto bassa. Generare una rappresentazone compressa de dat è noltre molto mportante, n quanto, come descrtto n precedenza, permette d rdurre l utlzzo d rsorse, qual la memora e l occupazone d banda. Allo stesso tempo però, la compressone rchede una fase d elaborazone de dat, che può essere costosa. Per questo motvo s rende necessaro un trade-off 1

2 tra capactà d compressone, eventuale dstorsone ntrodotta, requst computazonal per la compressone. 2 Compressone Prma d entrare ne dettagl de metod mpegat per l consegumento dell effettva compressone de dat, s andranno d seguto a rportare alcune defnzon, essenzal per la comprensone degl aspett teorc alla base d tal tecnche. Defnzone 1 (Tecnca d compressone) E una coppa d algortm C, D tale che, data una sequenza X = (x 1 x 2... x n ) su un certo alfabeto fnto A, produce le trasformazon: X C X c, ovvero l applcazone d C (algortmo d codfca) alla sequenza X ottenendo una nuova sequenza X c ; D X c Y, ovvero l applcazone d D (algortmo d decodfca) alla sequenza Xc ottenendo un altra sequenza Y. dove X c rchede per la sua rappresentazone meno bt d X. Gl obettv che s voglono raggungere dalle trasformazon sono rspettvamente: per C ottenere una sequenza compressa che occup meno spazo d quella orgnale; per D nvece lo scopo è quello d permettere la rcostruzone della sequenza orgnale a partre da quella compressa. S fornsce ora un dea prelmnare de concett d tecnca d compressone con perdta e non, che s andranno a vedere n dettaglo nel seguto. Le tecnche d compressone s dvdono n due categore: tecnche lossless: comprmono dat attraverso un processo senza perdta d nformazone che sfrutta le rdondanze nella codfca del dato; esse garantscono Y = X; tecnche lossy: comprmono dat attraverso un processo con perdta d nformazone che sfrutta le rdondanze nell utlzzo de dat; esse non garantscono Y = X. Le tecnche senza perdta d nformazone sono caratterzzate dal fatto d preservare l messaggo orgnale quando effettuano la compressone. Un loro esempo è l formato ZIP per fle o l GIF per le mmagn. Le tecnche con perdta d nformazone, nvece, ottengono delle compresson molto spnte de dat a scapto dell ntegrtà degl stess. I dat prma della compressone e dopo la decompressone sono sml, ma non dentc. Normalmente le tecnche lossy vengono utlzzate per comprmere fle multmedal: quest nfatt, n orgne sono troppo grand per essere agevolmente trasmess o memorzzat qund s prefersce avere una pccola rduzone della qualtà, 2

3 ma nel contempo fle molto pù legger. Un esempo sono le mmagn n formato JPEG o lo standard MPEG. La sequenza X sopra ctata rappresenta l nformazone che dev essere compressa ed è possble consderarla composta da una sequenza d smbol appartenent ad un alfabeto fnto arbtraro A. La sequenza compressa X c vene nvece vsta come sequenza d bt. Per unformare le due rappresentazon s vede anche X come sequenza d bt rappresentando sngol smbol tramte bt. La sequenza d partenza X s assume prodotta da una cosddetta sorgente S (reale o mmagnara). Come esempo d sorgente s può pensare ad un essere umano che produce un testo n lnguaggo naturale n una determnata lngua. S andranno successvamente a modellare le propretà della sorgente S e qund d tutte le possbl sequenze che tale sorgente può generare; queste dpendono fortemente dal modello mplementato per la stessa. Vale la pena sottolneare l fatto che una tecnca d compressone è defnta per una sorgente S n modo che resca a comprmere effcacemente tutte le sequenze prodotte da S. 3 Msure d performance La bontà d una tecnca d compressone vene valutata utlzzando alcune msure d prestazone: 1. Compresson Rato: X X c dove rappresenta lo spazo occupato dalla sequenza msurato n bt. 2. Compresson Rate: X c n dove n è l numero d smbol nella sequenza X. Il Compresson Rate vene d solto espresso n bts/smbolo come meda statstca, ossa esprme quant bt n meda vengono utlzzat per rappresentare n manera compressa una tpca sequenza prodotta da S. L obettvo sarebbe quello d avere un valore d rate basso, n quanto tale stuazone equvarrebbe ad avere un numero lmtato d bt per rappresentare medamente ogn smbolo compresso, ottenendo così una tecnca d compressone effcace. dpendente dalle caratterstche della sorgente. Il rate è comunque un valore In generale s può affermare che la comprmbltà d una sequenza X è tanto maggore quanto pù è predcble l comportamento della sorgente S che l ha generata. La comprmbltà, noltre, è legata alla quanttà d nformazone che una data sequenza X contene: nfatt 3

4 se una sequenza porta molta nformazone questa rsulta essere poco comprmble, mentre se questa ha poca nformazone è caratterzzata da una buona comprmbltà. Un ulterore legame può essere consderato tra la quanttà d nformazone d una sequenza e la predcbltà della sua sorgente, ntesa n termn d conoscenza a pror delle sequenze da essa prodotte. Nel caso d una sorgente predcble nfatt, le sequenze da essa prodotte portano poca nformazone, pochè è gà noto, con un certo grado d certezza, l contenuto nformatvo delle stesse. Può captare che certe sequenze possano non rsultare compresse dopo l applcazone dell algortmo d codfca. Questo può accadere per sequenze mprobabl oppure perchè l modello utlzzato per la sorgente S non rsulta essere troppo accurato. S verfca qund un bsogno d trade-off tra l accuratezza del modello e la possbltà d comprmere molte sequenze. Per questo motvo durante la modellazone c s rfersce alla compressone delle sequenze n termn probablstc. 4 Entropa della sorgente Per meglo comprendere termn n cu verranno trattate le propretà della sorgente, vale la pena soffermars su alcune consderazon prelmnar. S consder un espermento S con un certo numero d possbl rsultat (outcome) O 1 O 2... n cu p(o ) rappresenta la probabltà che l rsultato dell espermento sa O. rsultato è O, l nformazone assocata al verfcars d tale evento s msura con log 1 p(o ) = log p(o ) Quando l Tale msura rsulta essere adeguata, n quanto se O s verfca con certezza (p(o ) = 1), la msura è par a 0 (log 1 = 0) e dunque l nformazone ad essa assocata è nulla, dato che l rsultato è noto. Come è facle notare, pù bassa è la probabltà che s verfch un certo rsultato, maggore sarà la msura dell nformazone portata. L entropa assocata all espermento S è data da: 1 p(o ) log p(o ) = p(o ) log p(o ) Questa formula rappresenta l ncertezza totale legata a S. Essa fornsce seguent rsultat: se l espermento è totalmente predcble, ossa esste un rsultato con probabltà certa d accadere o n stuazon n cu tale probabltà è molto maggore rspetto alle altre, l entropa rsulta essere bassa; se nvece gl event sono equprobabl l entropa è alta. È possble ora costrure un analoga tra l espermento appena dscusso e una generca sorgente d sequenze S. Una sorgente emette uno stream, ossa una sequenza d smbol x 1 x

5 su un alfabeto fnto A. Qund è possble assocare le sequenze prodotte da S a rsultat dell espermento e dunque dervare la defnzone d entropa per la sorgente, sfruttando rsultat ottenut n precedenza. Prma d defnre formalmente l entropa d una sorgente S, s ntroducono le seguent notazon. Sa A (n) = e a. nvolte {}}{ A A A p( a), a A (n) la probabltà che n smbol successv prodott da S sano ugual al vettore Defnzone 2 L entropa della sorgente S vene defnta come H(S) = 1 ( lm n + n ) p( a) log p( a) a A (n) Questa rappresenta l ncertezza o la predcbltà della sorgente S. L entropa ha sempre un valore 0 ed è tanto pù pccola quanto pù è predcble l comportamento della sorgente S, ossa fornsce meno nformazone. S rporta ora l seguente teorema: Teorema 1 (Shannon) H(S) è un lmte nferore al Compresson Rate d una qualsas tecnca d compressone lossless per S. Avvalorata da tale teorema, v è la seguente consderazone, ovvero che la comprmbltà d una sequenza prodotta da una sorgente S è legata all entropa della sorgente stessa. Per meglo capre legam tra le vare propretà e concett fn ora ncontrat, s rporta n Fgura 1 uno schema rassuntvo. Fgure 1: Relazon tra le propretà vste 5 Modellazone della sorgente Come accennato n precedenza, l modello per una sorgente rcopre un ruolo molto mportante, n quanto permette d avere una descrzone statstca delle sequenze prodotte dalla sorgente. 5

6 L obettvo prmaro, dunque, è quello d determnare un modello accurato per la sorgente stessa. Il consegumento d tale obettvo porta ad ottenere una stma accurata dell entropa H(S) e permette d svluppare tecnche d compressone effcent, che s avvcnano al lmte teorco mposto dal teorema d Shannon. 5.1 Utlzzo del modello Fgure 2: Schema del modello d una sorgente L utlzzo d un modello per la sorgente è parte ntegrante della tecnca d compressone, sa n fase d codfca che n quella d decodfca. In Fgura 2 è llustrato l processo d codfca e d decodfca d una sequenza X. Come s può notare, la sorgente S genera X, la quale vene passata come parametro d ngresso asseme al modello per S all algortmo d codfca C. L algortmo produrrà la sequenza compressa X c la quale, per poter essere rportata allo stato orgnale, vene passata al decodfcatore D. Quest ultmo, sfruttando ancora l modello per S, genererà la sequenza fnale Y, che sarà par ad X nel caso d tecnca d compressone d tpo lossless. In alcun cas l modello può essere rcavato onlne dagl algortm C e D, mentre n altr cas l modello s assume noto a pror. 5.2 Modell statstc S è pù volte rbadto che una sorgente S è generatrce d uno stream d smbol x 1 x 2... su un alfabeto fnto A. Quando, per defnre le propretà d tale sorgente, s assumono smbol x come varabl aleatore su A, s parla d modellazone statstca. Esstono var tp d modell statstc, suddvs per ordne, tra qual: modello d ordne 0 e modello Markovano d ordne k Modello d ordne 0 Il modello pù semplce che possamo assumere per una sorgente S è l modello d ordne 0, l quale è defnto quando smbol x delle sequenze sono consderat come varabl aleatore 6

7 ndpendent e dentcamente dstrbute (d). S defnsca p(a) = P rob(x = a) ossa la probabltà che x assuma l valore del smbolo a appartenente ad A. S può qund dmostrare che l entropa della sorgente S s rduce n questo caso alla formula H 0 (S) = p(a) log p(a) a A In questo caso s parla d sorgente memoryless (senza memora), n quanto la probabltà che ogn smbolo assuma un certo valore non è condzonata da valor assunt da smbol precedent. Per fssare meglo le dee s presenta un breve esempo. Esempo S consder un alfabeto fnto A = {a 1, a 2 } d cardnaltà 2 n cu la probabltà p p(a 1 ) e 1 p p(a 2 ). Applcando la formula per H(S) appena presentata s ottene H 0 (S) = p log p (1 p) log (1 p) Tale funzone ha l seguente andamento: Fgure 3: Andamento d H(S) Il grafco precedente è stato ottenuto assumendo che 0 log 0 = 0 e che tutt logartm sano n base 2 pochè s lavora con smbol espress n bt. Ulteror consderazon possono essere fatte osservando l andamento dell entropa n funzone della probabltà: l entropa H 0 (S) vale 0 quando p assume valor 0 o 1, l che equvale a dre rspett- 7

8 vamente certezza nel verfcars d a 2 (p(a 2 ) = 1 p = 1) o certezza nell occorrenza d a 1 (p(a 1 ) = p = 1). Infatt, come detto n precedenza, n corrspondenza d alta predcbltà s ha bassa entropa. L entropa nvece assume un massmo per p = 1/2, l che sgnfca equprobabltà tra smbol e qund massma ncertezza: nfatt bassa predcbltà, alta entropa. È utle porre l accento su alcune propretà della funzone entropa H 0 (S) = a A p(a) log p(a) H 0 (S) 0, l entropa rsulta essere non negatva; H 0 = 0 sse a A con p(a) = 1 e p(a ) = 0 a a, come vsto nell esempo sopra; H 0 (S) log A. Per dmostrare tale propretà s rchama la dsuguaglanza d Jensen. Proposzone 1 (Dsuguaglanza d Jensen) Sa f una funzone convessa (rspettvamente concava) e s consder una dstrbuzone dscreta d probabltà p 1 p 2... p n, tale che p 0 e p = 1. Allora dat de valor arbtrar d x 1 x 2... x p nel domno d f, s ha ( ) p f(x ) f p x se f è convessa altrment ( ) p f(x ) f p x se f è concava Rtornando alla defnzone d H 0 s nota che l logartmo è una funzone concava, qund utlzzando l rsultato appena ctato s ottene: H 0 (S) = a A p(a) log 1 p(a) log 1 p(a) = log A p(a) a A L entropa d una sorgente memoryless è al pù log A. H 0 (S) = log A sse p(a) = 1 A a A. Cò sgnfca che l entropa è massma quando smbol sono equprobabl, come anche mostrato nell esempo precedente. Osservazone. Nel caso n cu tutt smbol sano equprobabl s parla d Full Ignorance e l entropa H 0 (S) = log A. Il fatto d avere smbol equprobabl corrsponde ad una stuazone d massma ncertezza sulla sorgente. Il rsultato d Shannon n questo caso afferma che al meglo è possble codfcare ogn smbolo della sequenza d partenza con log A bt. 8

9 5.2.2 Modello (Markovano) d ordne k o modello a contesto fnto d ordne k (k 1) A dfferenza del modello d ordne 0, n questo caso la dstrbuzone d probabltà per l prossmo smbolo prodotto dalla sorgente n esame dpende solo da k smbol precedent generat dalla sorgente stessa. S può qund affermare che: p(a n a n 1 a n 2... a 1 ) = p(a n a n 1 a n 2... a n k ) In questo modello qund, smbol precedent ad a n k non nfluenzano n alcun modo la probabltà d a n. Nel modello Markovano d ordne k 1, s può dmostrare che l entropa sarà data dalla seguente formula: H k (S) = p( a) p(b a) log p(b a) a A (k) b A dove con a A (k) s rappresentano le strnghe d k smbol nell alfabeto fnto A. Esempo (k = 1) S consder l caso d modello Markovano d ordne 1 per una sorgente S. La probabltà d uscta assocata ad ogn smbolo dell alfabeto dpenderà soltanto dal smbolo precedente generato dalla sorgente S. L entropa è qund data dalla formula H 1 (S) = p(a) p(b a) log p(b a) a A dove p(b a) rappresenta la probabltà condzonata del smbolo b dato a. b A Bblografa [WkIT] Wkpeda, Sto web dat. [WkEN] Wkpeda, Sto web compresson. 9