1) Codifica di sorgente sub-ottima: algoritmi di Shannon, Shannon-Fano.

Transcript

1 Argoment della Lezone ) Codfca d sorgente sub-ottma: algortm d Shannon, Shannon-Fano. 2) Codfca d sorgente basata su blocch 3) Sorgent con memora 4) Codfca d sorgent d Markov 5) Codfca unversale e codfca con erdte

2 Codfca d Codfca d Shannon Shannon La codfca d sorgente d Shannon orta ad un codce le cu lunghezze vengono defnte sulla base delle robabltà d emssone de smbol secondo la regola: Verfchamo la dsuguaglanza d Kraft er un codce d Shannon: n log 2 2 Verfchamo la dsuguaglanza d Kraft er un codce d Shannon: D conseguenza esste semre un codce d Shannon del to a refsso. Tale codce ha un effcenza mnore del codce d Huffman log log log X X X X X N N N N N n

3 Codfca d Shannon e Fano L algortmo d Shannon e Fano è l seguente:. Gl M smbol dell alfabeto d sorgente vengono ordnat n accordo a valor non crescent delle loro robabltà 2. S dvde la lsta n due art n un unto tale che le due art abbano arossmatvamente la stessa robabltà comlessva. 3. S assegna l smbolo 0 alla arte alta della lsta ed l smbolo alla arte bassa della lsta. 4. S retono ass 2 e 3 fnché la suddvsone fnale non contene tutt smbol con tutte le robabltà assocate. Tale algortmo non è ottmo. 3

4 Codfca dell alfabeto d sorgente: codfca a blocch Fno ad ora s è vsto come una code word ossa essere assegnata n modo effcente a cascun smbolo x d un alfabeto d sorgente X. Il maggor rsultato è l teorema: H ( X ) n < H ( X ) + Al lmte nferore del teorema c s uò avvcnare quanto s vuole ν se s codfcano blocch d ν smbol nvece d sngol smbol: ) data una sequenza d osservazon ndendent d X, s assegna una code word al rsultante gruo d smbol Y 2) s costrusce un codce er un nuovo alfabeto d smbol y, la cu robabltà è l rodotto delle robabltà de smbol che secfcano y X υ υ N X 4

5 Prmo Teorema d Shannon er la codfca a blocch Con l rmo Teorema d Shannon s uò costrure un codce er Y la cu lunghezza meda delle codeword soddsfa la relazone: n ν H ( Y ) nν < H ( Y ) + Ogn y è comosto da ν smbol ndendent d X, da cu s uò dmostrare che: D conseguenza s ha: H H ( Y ) νh ( X ) n ( X ) < H ( X ) + v ν v 5

6 Prmo Teorema d Shannon er la codfca a blocch Dalla recedente esressone l numero medo d dgt/smbolo n ν ν d X: uò essere reso arbtraramente vcno a H(X), se s rende ν suffcentemente grande Effcenza del codce d sorgente a blocch: ν H ( X ) ε n ν Rdondanza del codce d sorgente a blocch: ε 6

7 Esemo Dato l alfabeto d sorgente: X {x, x 2, x 3 } con 0.5, e 3 0.2, s vuole costrure un nuovo alfabeto: Y X 2 { y, y 2,..., y 9 } Raggruando smbol a due a due s ottene: 7

8 Esemo - contnua. Costruzone del codce d Huffman er le lunghezze d blocco: ν e ν 2 2. Calcolo ne due cas l numero d dgt/smbolo, usando la defnzone d effcenza d codce er l confronto: ν H ( X ) ε n ν 8

9 Esemo - contnua. Codce d Huffman er ν: x 0.5 x 0.3 x x x 0 x 2 0 x 3 3 n ν n dgt/smbolo ε ν H ( X ) H ( X ) 0.67H ( X n.5 ν ) 9

10 2. Codce d Huffman er ν2: y 0.25 y 0.5 y y 3 0. y 4 0. y y y y Esemo - contnua n ν y dgt/smbolo y 00 y 2 00 y 3 00 y 4 0 y 5 0 y 6 00 y 7 0 y 8 0 y ε ν H ( X Mauro De Sancts corso d Informazone e ncodfca ν 2 Unverstà 3d Roma Tor Vergata y n y 2 H ( X ) 2 H ( X ) ) 0

11 Esemo - contnua Pertanto, ur codfcando a blocch, se ν 2 non c è un mgloramento nell effcenza rsetto al caso ν S uò verfcare che er ν 3 comnca ad esserc un vantaggo n termn d effcenza.

12 Sorgent con memora e codfca adattatva 2

13 Se una sorgente X è dscreta e senza memora, l suo contenuto medo d nformazone è equvalente al contenuto medo d nformazone dell'alfabeto d sorgente con smbol avent robabltà d emssone ar alla massa d robabltà della varable aleatora X. Sorgent con memora Se smbol emess nel temo dalla sorgente sono dendent allora l modello d varable aleatora non è ù valdo. S ha la necesstà d estendere la defnzone d contenuto nformatvo dell ALFABETO d sorgente al contenuto nformatvo della SORGENTE Questo mlca d consderare la dendenza statstca tra smbol n un messaggo 3

14 Process aleator Un rocesso aleatoro è una funzone X(t,ω) del temo t assegnata ad ogn rsultato ω d un esermento aleatoro. Normalmente vene ndcato con X(t) o X t omettendo ω. La dstrbuzone d robabltà e la denstà d robabltà sono defnte come: F X ( x, t) P( X ( t) x), f ( x, t) X F xx ( x, t) Il temo t uò essere una varable contnua o dscreta. Un rocesso aleatoro temo dscreto corrsonde ad una sequenza d varabl aleatore. 4

15 Valore atteso: Autocorrelazone: Process aleator + [ X ( t) ] xf ( x t) η( t) E X, dx [ ( ) ( )] * X t X R XX ( t, t2 ) E t2 Autocovaranza: C XX ( t, t2) RXX ( t, t2) η( t) η( t2) Un rocesso aleatoro è detto stazonaro n senso lato (WSS) se le statstche del rmo e del secondo ordne sono nvarant rsetto a una traslazone del temo e d conseguenza: η t ) η, R ( t, t + τ ) ( XX RXX ( τ ) Denstà settrale d otenza d un rocesso WSS: S XX ( f ) + 2 F{ R τ } R τ e πτ XX ( ) XX ( ) dτ 5

16 Eserczo Una sorgente analogca è modellzzata come un rocesso aleatoro contnuo con denstà settrale d otenza lmtata tra 0 e 4kHz. Il segnale della sorgente vene camonato alla frequenza d Nyqust. S ottene una sequenza d varabl aleatore dscrete che s assume sano ndendente. Esstono 5 lvell d quantzzazone con robabltà ar a /2, /4, /8, /6, /6. Calcolare l entroa della sorgente quantzzata e la frequenza d nformazone. Soluzone: Poché la sorgente è senza memora (smbol ndendent), l entroa d sorgente è ar a: H( X ) log bt / smbolo Il camonamento alla frequenza d Nyqust roduce 2B8000 camon al secondo R 2 B H( X ) 5000 bt / s 6

17 Process d Markov e catene d Markov Un rocesso aleatoro X(t) è detto rocesso d Markov del rmo ordne se le robabltà condzonate dendono soltanto dall'ultmo valore recedente e non da tutt gl altr valor recedent: er P ogn t < t 2 <... < t n < t n+ ( X x X x, X x,..., X x ) P( X x X x ) tn n+ tn n tn n t tn n+ t + + n Una catena d Markov del rmo ordne è un caso artcolare d un rocesso d Markov del rmo ordne n cu X(t) uò avere soltanto valor aartenent ad un nseme dscreto S{s,s 2,...}. Gl element d S sono chamat stat della catena e, nel caso d catena a stat fnt S{s,s 2,...,s N }, N è l numero d stat della catena. n Un rocesso d Markov ed una catena d Markov ossono essere temo-contnu o temo dscret. 7

18 Process d Markov e catene d Markov Per una catena d Markov del rmo ordne X(t) s defnsce la robabltà d transzone d stato:, ( t) P t ( X s X s ) + Se le robabltà d transzone d stato non dendono dal temo t, la catena d Markov vene detta omogenea (o temo omogenea). Defnamo la matrce delle robabltà d transzone come: P, 2,... N,,2 2,2... N, , N 2, N... N, N Un catena d Markov è detta regolare se er qualsas numero ntero r, tutt gl element della matrce P r sono strettamente ostv. t N, 8

19 Process d Markov e catene d Markov Per una catena d Markov del rmo ordne X(t) ndchamo con u () vettore delle robabltà d stato al asso -esmo. l L'elemento -esmo del vettore u () ndca la robabltà che la catena s trov nello stato -esmo al asso -esmo Sa u l vettore delle robabltà d stato al asso 0 e u (n) l vettore delle robabltà d stato al asso n, s ha: n n u ( ) up 9

20 Process d Markov e catene d Markov Per una catena d Markov del rmo ordne X(t) se esste fnto l lmte: ( n) lm u π [ π,..., π n l vettore π vene detto vettore d dstrbuzone degl stat stazonar. N ] Teorema: er una catena d Markov a stat fnt, omogenea e regolare, esste l vettore π d dstrbuzone degl stat stazonar tale che: π π P 20

21 Sorgent con memora S consder una sorgente con memora che vene modellzzata tramte un rocesso aleatoro temo dscreto, ossa una sequenza d varabl aleatore X con ndce che raresenta l temo dscreto e tutte con alfabeto A { x, x2,..., x N X } Contenuto d nformazone condzonato: I ( x x ) 2 log P( x x 2 ) Entroa condzonata: H ( X 2 X ) N N X X P( x, x ) log P( x x ) S ha: H ( X 2 X) H ( X 2) 2

22 Sorgent con memora S consder l'emssone d un blocco d n smbol modellzzable come un vettore d n varabl aleatore X[X, X 2,..., X n ]. L'entroa del blocco d n smbol è data da: H (X) H ( X n, X n,..., X N X NX NX... P ( x ), x,..., x ) log 2 n n P( x, x,..., x ) 2 2 E' necessaro effettuare una normalzzazone er defnre l'entroa er smbolo d un blocco d n smbol: H n ( X ) H ( X) H ( X n, X n,..., X) n n n 22

23 Sorgent con memora S consder una sorgente dscreta con memora. Il contenuto nformatvo medo er smbolo (entroa) d tale sorgente è defnta come: H ( X ) lm H n ( X ) lm H ( X) lm H ( X n, X n,..., X) n n n n n se l lmte esste. Per una sorgente stazonara tale lmte esste. 23

24 Sorgent con memora Frequenza meda d nformazone ( nformaton rate ) della sorgente: R S H ( T S S vedrà come l aarzone del temo sa strettamente legata alla larghezza d banda del canale fsco che s usa er trasortare l nformazone X ) N.B. H ( X ) s msura n bt/smbolo, l temo d smbolo T s n s/smbolo: dunque R s s msura n bt/s 24

25 Sorgent d Markov Consderamo una sorgente dscreta e con memora X modellzzata da una catena d Markov temo dscreta omogenea e regolare, con N S stat, matrce d transzone P e vettore d dstrbuzone degl stat stazonar π. S assume che l'emssone d un smbolo sa generata da ogn transzone d stato che avvene ogn T s second. Il numero d smbol N X dell'alfabeto d sorgente è n generale dverso dal numero N S degl stat della catena. 25

26 Sorgent d Markov Sa S lo stato -esmo della catena. L'entroa della sorgente allo stato S è data da: H ( S ) N S, log, Teorema: s consder una sorgente dscreta e con memora X modellzzata da una catena d Markov temo dscreta omogenea e regolare, con N S stat, matrce d transzone P e vettore d dstrbuzone degl stat stazonar π. L'entroa d tale sorgente è data da: NS NS NS H ( X ), log π π H ( S ), 26

27 Eserczo Sa data la catena d Markov omogenea e regolare a due stat raresentata n fgura. Calcolare la matrce P delle robabltà d transzone, l vettore w degl stat stazonar e la matrce P delle robabltà d transzone lmte S S P Soluzone: ( S S) 0.2 P( S S2) 0.7 P( S2 S) 0.8 P( S2 S ) P( S S, ) P

28 Eserczo Essendo la catena regolare, er calcolare l vettore w degl stat stazonar è suffcente rsolvere l sstema: wp w [ w ] [ ] w2 w w w + w2 0.2w + 0.7w w w2 2 w w w 2.4w.4w w w w [ ] P w w

29 Codfca d una sorgente stazonara d Markov Nel caso d sorgent d Markov è alcable la rocedura d Huffman er codfcare smbol dell alfabeto er ogn stato S Cò uò rchedere l uso d un nseme d code word dverso er ogn stato d sorgente Per ottenere le restazon d tale rocedura s usa l teorema: n H( X) n < H( X) + ( S Indcando con l numero medo d dgt/smbolo d alfabeto usato nello stato S s ottene: ) H ( S ) n( S ) < H ( S ) + 29

30 Codfca d una sorgente stazonara d Markov La lunghezza meda della code word s uò defnre come: n N S π n( S ) Partendo dal rmo teorema d Shannon alcato ad ogn stato della catena d Markov e oerando una sommatora su π er tutt membr della dsequazone s ottene: H ( X ) n < H ( X ) + 30

31 Codfca unversale Fno ad ora sono state consderate sorgent d cu s conosce la dstrbuzone statstca de smbol. Tale nformazone non è d solto dsonble ed è necessaro svluare nuov metod er la comressone che non faccano uso delle robabltà d emssone de smbol. Un metodo semlce detto a due ass è quello d attendere che tutt smbol sano stat emess, calcolarne la frequenza d emssone er ogn smbolo e o codfcare la sorgente sulla base della statstca sulle frequenze d emssone che è stata msurata. Tale rocedmento ntroduce un rtardo agguntvo nella codfca. 3

32 Comressone d dat basata su dzonar Gl algortm d comressone basat su dzonar vengono utlzzat er la comressone d fle. Al contraro della codfca statstca, n questa classe d algortm s codfcano strnghe d smbol d sorgente a lunghezza varable con codeword d lunghezza costante. Vene creato un dzonaro contenente tutte le strnghe d smbol rcorrent nel fle. Ogn strnga d lunghezza varable resente nel fle vene codfcata con un ndrzzo che ndca la sua oszone nel dzonaro. Il rmo esemo d codfca basato su dzonaro fu l algortmo d Lemel e Zv del 977 (LZ77). Il formato d comressone.z utlzza una varante d LZ77. 32

33 Codfca d sorgente senza erdta d nformazone I t d dat analogc n natura (mmagn, audo, vdeo), er oter essere dgtalzzat devono essere subre un rocesso d quantzzazone che determna ntrnsecamente una certa erdta d nformazone. A seguto del rocesso d quantzzazone, l nformazone uò essere comressa utlzzando metod con erdta o senza erdta. Alcun de metod d codfca senza erdte ottmzzat er determnat t d dat analogc sono: - mmagn: TIFF (lossless), PNG, GIF, RAW format - audo (musca, voce): WAV, FLAC, ALAC, WMA (lossless), Monkey's Audo, WavPack - vdeo: Drac (lossless), FFV, YULS 33

34 Codfca d sorgente con erdta d nformazone In alcun cas, oltre alla erdta d nformazone dovuta alla quantzzazone, s è dsost a erdere una ulterore quanttà d nformazone nella fase d codfca d sorgente a vantaggo d una maggore comressone de dat. Alcun de metod d codfca con erdte sono: - mmagn: JPEG (lossy), JPEG2000 (lossy) - audo (musca): MP3, AAC, OGG - audo (voce): ACELP, QCELP, RCELP - vdeo: H.264/MPEG-4, WMV 34