Capitolo 12 - Codifica di sorgenti discrete

Transcript

1 Aut d Teora de Segal Catolo - Codfca d sorget dscrete Sorget seza memora... Itroduzoe... Defzoe d sorgete dscreta...3 Cocetto d formazoe...4 Etroa della sorgete...5 Etroa e umero d smbol dell alfabeto sorgete...6 La fase d codfca del segale...9 Itroduzoe...9 Esemo d codce a lughezza varable...9 etodo ad albero er la rcerca d codc uvocamete decodfcabl... umero medo d bt... La codfca d Huffma... Esemo d codfca d Huffma... 5 umero medo d bt ed etroa della sorgete... 5 Esemo... 6 La codfca a blocch... 7 Itroduzoe... 7 Esemo... 9 Sorget co memora... Itroduzoe... Etroa codzoale... Proretà... Geeralzzazoe... 4 Etroa all fto... 4 Sorget markovae omogeee... 5 Esemo... 8

2 Aut d Teora de Segal - Catolo Sorget seza memora ITRODUZIOE Quado abbamo comcato a arlare d robabltà, abbamo avuto modo d dre qualche cosa a roosto del geerco schema usato er la trasmssoe d u segale tra ua sorgete ed u rcevtore: Codfcatore Sorgete Caale Decodfcatore d caale Rcevtore d caale Abbamo descrtto stetcamete questo schema el modo seguete: c è tato ua sorgete che geera u segale (baro che deve arrvare al rcevtore (coè all utete; tale segale o vee erò trasmesso così com è, ma vee qualche modo elaborato da u oortuo dsostvo, che rede l ome d codfcatore d caale ; l segale emesso dal codfcatore vee vato al caale baro, l quale rareseta tutt que dsostv ecessar er la trasmssoe del segale stesso; artcolare, comto del caale è quello d far arrvare l segale ad u altro dsostvo, l decodfcatore d caale, l quale, comortados modo verso al codfcatore, rcostrusce l segale così come è stato emesso dalla sorgete e lo va al rcevtore. La ecesstà d codfcare l segale emesso dalla sorgete derva da var fattor, rmo tra qual roblem legat al fuzoameto del caale d trasmssoe: fatt, trattados d u seme d cav e dsostv fsc, è ossble che esso commetta degl error ella trasmssoe del segale. Allora, l codfcatore d caale vee rogettato modo che la sequeza d bt che corrsode al segale vato dalla sorgete sa tale da ermettere al decodfcatore d caale d recuerare evetual error verfcats durate la trasmssoe. Adesso, ossamo erfezoare quello schema, che come s vedrà ache seguto, è estremamete arossmato, aggugedo u ulterore comoete: s tratta del cosddetto codfcatore, ossa d u dsostvo che, dato l segale emesso dalla sorgete, v assoca ua corrsodete sequeza d bt (che costtusce auto la codfca del segale stesso ecessara er la trasmssoe del segale stesso forma dgtale. Codfcatore Sorgete Codfcatore Caale Decodfcatore d caale Rcevtore d caale E oortuo sottoleare le dffereze d comortameto tra l codfcatore ed l codfcatore d caale : l rmo rceve gresso l segale emesso dalla sorgete e geera uscta la sequeza d bt che serve er la trasmssoe d tale segale (otremo ercò arlare d coverttore aacodgtale, ma questa termoa, questo cotesto, otrebbe essere fuorvate; l secodo, vece, rceve gresso la sequeza d bt emessa dal codfcatore e oera su d essa quelle maolazo che ermetterao al decodfcatore d caale d recuerare evetual error dovut alla trasmssoe o deale tramte l caale. Ovvamete, così come l decodfcatore d caale s comorta modo ressoché verso al codfcatore d caale, c dovrà essere u ulterore dsostvo che s comorta modo verso al Autore: Sadro Petrzzell

3 Codfca d sorget dscrete codfcatore: tale dsostvo rceve gresso la sequeza d bt rulta, tramte l decodfcatore d caale, degl error dovut alla trasmssoe e, da questa sequeza, rcostrusce l segale emesso dalla sorgete vadolo al rcevtore. Possamo ercò cocludere che lo schema ù o meo comleto d u sstema d trasmssoe è l seguete: Codfcatore Sorgete Codfcatore Caale Decodfcatore d caale Decodfcatore Rcevtore d caale DEFIIZIOE DI SORGETE DISCRETA etre recedeza c samo occuat, molto velocemete, degl error cu è soggetto l segale codfcato durate la trasmssoe, quello d cu c occuamo adesso è l fuzoameto del codfcatore : voglamo coè studare qual soo rcal metod d codfca del segale. I artcolare, c lmtamo a cosderare ua stuazoe artcolare, dvduata dalle seguet due caratterstche fodametal: rmo luogo, suoamo che la codfca del segale sa bara : cò sgfca che al segale emesso dalla sorgete, quale che esso sa, verrà semre assocata, da arte auto del codfcatore, ua sequeza d bt; secodo luogo, c teressa l to d sorgete: aztutto, suoamo che questa sorgete o emetta modo cotuo el temo l roro segale, ma solo stat successv dscret; secodo luogo, suoamo ache che l segale emesso dalla sorgete sa costtuto da ua successoe d smbol dscret aarteet al cosddetto alfabeto della sorgete stessa. Per carc meglo, se suoamo che l alfabeto della sorgete sa geercamete X { x, x,..., x }, l otes che stamo facedo, che rede l ome d otes d sorgete dscreta, è che la sorgete emetta, stat d temo dscret e uo alla volta, smbol aarteet ad X ( u orde che dede dal to d formazo che s tede trasmettere. U altra otes semlfcatva co la quale lavoramo è che smbol emess dalla sorgete sao dedet tra loro: cò sgfca che og smbolo emesso è dedete da smbol emess recedeza. I term quattatv, ossamo esrmerc dcedo che la robabltà d emettere u smbolo ad u certo state è semre la stessa, a rescdere da qual smbol sao stat emess recedeza. Ua sorgete che gode d questa roretà rede l ome d sorgete seza memora. Idchamo allora co P( x la robabltà che la sorgete emetta l geerco smbolo x : se suoamo che l alfabeto della sorgete comreda smbol (co fto o fto umerable, avremo allora robabltà d trasmssoe (, (,.., ( P x P x P x E ovvo che queste robabltà d trasmssoe sao legate dalla relazoe P ( x 3 Autore: Sadro Petrzzell

4 Aut d Teora de Segal - Catolo E charo fatt che la sorgete uò emettere o l smbolo x o l smbolo x e così va, er cu la robabltà d emettere almeo uo de smbol dell alfabeto (ossa l terme a rmo membro d quella relazoe è ar ad. COCETTO DI IFORAZIOE Og smbolo emesso dalla sorgete costtusce charamete ua formazoe che la sorgete emette erché ragguga l rcevtore. Il to d formazoe è assolutamete geerco, el seso che la sorgete uò trasmettere formazo d qualsas to. Dovedo erò studare l fuzoameto della sorgete e del codfcatore, è utle raresetare qualche modo tale formazoe dal uto d vsta matematco. Dato allora l geerco smbolo x, ossamo defre, term matematc, l formazoe ad essa assocata el modo seguete: x I( x P( x S tratta adesso d gustfcare questa formula, ossa d vedere erché l formazoe è stata esressa questo modo. Le gustfcazo che ossamo dare soo tutte d atura essezalmete tutva. Per esemo, suoamo che la sorgete esame sa ua sorgete che ha u solo smbolo e qud trasmette solo quello: è evdete, allora, che questa sorgete, d fatto, o trasmette alcua formazoe, roro erché emette semre la stessa cosa. I term matematc, questo sgfca che l formazoe assocata all uco smbolo deve valere e questo effettvamete accade base alla defzoe d I( x : fatt, se la sorgete ossede u solo smbolo, è ovvo che P( x ( quato c è la certezza che emetta quell uco smbolo; adado allora a sostture ell esressoe d I( x, s trova che quest ultma è roro ar a. Ora suoamo d cosderare due geerc smbol x e x tra quell aarteet all alfabeto della sorgete; suoamo ache che l rmo abba meo robabltà del secodo d essere trasmesso, ossa suoamo che P( x < P( x. Questo sgfca che, dato u qualsas messaggo emesso dalla sorgete, l smbolo x comare meda EO volte rsetto al smbolo x ; se comare meo volte, è lecto asettars che l formazoe assocata a tale smbolo sa PIU mortate d quella assocata al smbolo x, ossa è lecto asettars che sa I( x > I( x. Effettvamete questo accade: fatt, oché P( x < P( x, adado a sostture ella defzoe d I( x, o trovamo che I( x > I( x P( x P( x U ultma gustfcazoe della defzoe d I( x otrebbe essere la seguete: suoamo che la sorgete emetta due smbol x e x modo del tutto dedete dall altro (come o stamo suoedo. Allora, o samo ortat a credere che l formazoe comlessva assocata alla x, x corrsoda alla somma delle formazo. Ache questo caso, questo s verfca: coa ( fatt, dcata co I( x, x P( x x Autore: Sadro Petrzzell 4

5 Codfca d sorget dscrete l formazoe assocata alla coa, s ha che I( x, x + I( x + I( x P( x P( x P( x P( x P( x P( x ETROPIA DELLA SORGETE Cosderamo adesso la ostra sorgete dscreta X e adottamo semre l otes er cu cascu smbolo emesso sa dedete da smbol emess recedetemete. S defsce allora etroa della sorgete la quattà H( X P( x I( x dove ovvamete è l umero d smbol che la sorgete è grado d emettere, P( x è la robabltà d emettere l geerco smbolo x e I( x è l formazoe assocata a tale smbolo. Possamo trovare ua esressoe ù recsa dell etroa, cosderado la defzoe data dell formazoe: fatt, usado la relazoe I( x, abbamo che P( x H( X P( x P( x Al fe d semlfcare u o' le ostre otazo, ossamo orre dveta H( X P( x, er cu l etroa Il valore umerco dell etroa della sorgete dede duque dalle robabltà d emssoe della sorgete stessa e dal umero d smbol d cu la sorgete dsoe; er esemo, suoamo che la ostra sorgete abba solo due smbol, er cu ; dato che la somma delle robabltà d emssoe deve essere ar ad, è charo che, se è la robabltà d emettere uo de due smbol, - sarà la robabltà d emettere l altro smbolo. Allora, l valore dell etroa rsulta essere l seguete: H( X + ( Evdetemete, al varare d avremo valor dvers d etroa. Possamo ercò rovare a dagrammare H(X fuzoe d (dove vara ovvamete tra ed essedo ua robabltà: cò che s ottee è 5 Autore: Sadro Petrzzell

6 Aut d Teora de Segal - Catolo H(X S ota qud che l etroa assume l suo massmo valore quado.5, ossa quado due smbol d cu dsoe la sorgete soo equamete robabl, metre assume decrescet, modo smmetrco, quado aumeta o cresce. Etroa e umero d smbol dell alfabeto sorgete L etroa è ua gradezza mortate er ua sere d motv che llustreremo: l rmo d quest è che essa è legata al umero d smbol d cu dsoe la sorgete dalla relazoe H( X Voglamo dmostrare la verdctà d questa formula e, artcolare, voglamo far vedere che l smbolo d uguaglaza vale SOLO quado tutt smbol soo equrobabl. Dmostrare quella relazoe equvale ovvamete a dmostrare che H( X Per rma cosa, ossamo sostture ad H(X l esressoe trovata rma: Ora, rcordadoc della roretà secodo cu forma H( X H( X, ossamo rscrvere quella relazoe ella Il terme o dede dall dce della sommatora, er cu ossamo ortarlo detro d essa: H( X Autore: Sadro Petrzzell 6

7 Codfca d sorget dscrete Adesso, l secodo membro uò essere osto tutto sotto u uca sommatora: H( X Ioltre, usado ua ota roretà de artm, ossamo ache scrvere che H( X A questo uto, se suoamo che tutt smbol della sorgete soo ugual, ossa suoamo che, quella relazoe dveta H( X Tuttava, dre che gl smbol soo equrobabl sgfca dre che /, er cu H( X Abbamo duque dmostrato che, quado smbol della sorgete soo tutt equrobabl, vale la relazoe H( X Resta ercò da far vedere che, el caso geerale d smbol co robabltà d emssoe dverse, vale la relazoe H( X < ossa, sosttuedo l esressoe della H(X e rrededo calcol fatt e assagg recedet, la relazoe < Per dmostrare questa relazoe ossamo rcorrere a due roretà de artm: la rma s ottee usado lo svluo sere d Taylor e dce che l y y la secoda rguarda vece l cambameto d base e dce che ( y l e l y 7 Autore: Sadro Petrzzell

8 Aut d Teora de Segal - Catolo ettedole seme, trovamo che ( ( ( y l e l y l e y Alcado questa roretà, ossamo scrvere che ( l e Posto er comodtà α ( l e, questa dveta α er cu ossamo scrvere che α α Sdoado due dverse sommatore, abbamo che α α A questo uto, saamo che, er cu α α Ioltre, la sommatora rmasta è ar ach essa roro ad ( quato l terme da sommare è / e o dede dall dce d sommatora e qud la sommatora stessa vale roro, dal che s deduce che Autore: Sadro Petrzzell 8

9 Codfca d sorget dscrete La fase d codfca del segale ITRODUZIOE Rredamo lo schema del sstema d trasmssoe trodotto all zo del catolo: Codfcatore Sorgete Codfcatore Caale Decodfcatore d caale Decodfcatore Rcevtore d caale Dato che c samo occuat gà recedeza della fase erete la trasmssoe del segale, qud de assagg che vao dalla codfca d caale alla decodfca d caale, ossamo semlfcare questo schema el modo seguete: Sorgete Codfcatore Trasmssoe medate caale baro Decodfcatore Rcevtore Dobbamo adesso esamare l asetto rguardate la codfca e la decodfca del segale emesso dalla sorgete. Abbamo detto che l codfcatore ha l comto d assocare, alla sequeza d smbol emess dalla sorgete, ua oortua sequeza d bt. E ovvo che questa sequeza d bt deve essere tale che, ua volta arrvata al decodfcatore, quest ultmo sa grado d rcostrure esattamete, a artre da essa, l segale emesso dalla sorgete. Questo è ossble solo se l codce baro utlzzato gode della roretà d essere uvocamete decodfcable: deve coè essere tale che la decodfca ossa essere ua ed ua sola, modo da avere la garaza che l rcevtore rceva cò che la sorgete ha emesso. E ovvo che codc a qual s uò esare soo ft. I lea d massma, requst che u codce deve avere, oltre auto alla uvoca decodfcabltà, soo seguet: deve revedere l ù basso umero d bt ossble, modo da rdurre tem d trasmssoe; deve oltre cosetre d rsarmare bada. A requst d questo geere rsodoo sa codc a lughezza fssa sa sorattutto quell a lughezza varable. Che cosa s tede co queste esresso? U codce a lughezza fssa è u codce cu ad og smbolo vee assocato semre lo stesso umero d bt: u esemo tco è la codfca ASCII de caratter. U codce a lughezza varable è vece evdetemete u codce cu l umero d bt assocat a cascu smbolo è varable. Esemo d codce a lughezza varable Faccamo subto u semlce esemo d codce a lughezza varable: suoamo che l alfabeto della ostra sorgete cost d 4 sol smbol e artcolare sa { A, B, C, D} ; u ossble codce a lughezza varable er questo alfabeto otrebbe essere l seguete: 9 Autore: Sadro Petrzzell

10 Aut d Teora de Segal - Catolo A B C D Allora, se er esemo l messaggo emesso dalla sorgete fosse A C B A la codfca d sorgete sarebbe Qud, l decodfcatore rceve gresso questa sequeza d bt e deve essere grado d rcostrure da essa la sequeza A C B A. S tusce allora subto quale sa l roblema d fodo de codc a lughezza varable: dato che bt arrvao uo doo l altro tervallat della stessa quattà e seza alcu searatore tra d ess, ossa seza che vegao dcat l zo e la fe d og blocco, come fa l decodfcatore a stablre se u certo bt va cluso el gruo d bt recedet, oure va reso da solo oure va cluso el gruo d bt successv? Per carc meglo, vedamo cosa succede quado l decodfcatore rceve la sequeza : l rmo bt è, er cu l decodfcatore deve stablre se questo va cosderato da solo, er cu corrsode alla codfca d A, oure va cosderato seme all che vee doo, er cu costtusce arte della codfca d B. Co u codce fatto questo modo, l decodfcatore o ha alcu elemeto er sceglere ua delle due ossbltà, dal che s deduce che quel codce O è uvocamete decodfcable. Il rsultato della decodfca uò essere la sequeza corretta A C B A, ma uò ache essere la sequeza sbaglata B A B A. ETODO AD ALBERO PER I CODICI UIVOCAETE DECODIFICABILI Dall esemo aea esamato sorge subto a seguete domada: come s fa ad otteere u codce a lughezza varable che sa uvocamete decodfcable? U rsultato mortate che s uò dmostrare a questo roosto è l seguete: codzoe suffcete affché u codce a lughezza varable sa uvocamete decodfcable è che og arola del codce O sa l refsso d alcua altra arola. A rescdere dalla dmostrazoe matematca, è tutvo comredere erché sussste questo rsultato: basta ad esemo cosderare l motvo er cu o rsultava uvocamete decodfcable l codce baro esamato ell esemo recedete: tale codce era A B C D er cu ossbl error vevao dal fatto che u bt uò essere reso come l refsso della arola assocata ad A oure d quella assocata a B, oure la sequeza oteva essere resa come refsso er C o come refsso er D. aturalmete, trattados d ua codzoe suffcete, è ossble che sao uvocamete decodfcabl codc che o abbao quel requsto. Autore: Sadro Petrzzell

11 Codfca d sorget dscrete Vee o da cheders come s ossa deare u codce baro che soddsf a quella codzoe. Il metodo mglore cosste ell usare la tecca ad albero: suoamo ercò che l alfabeto della ostra sorgete sa acora ua volta { A, B, C, D}. Traccamo allora uo schema ad albero del to seguete: A B C D Leggedo quest albero da sstra verso destra, otteamo l seguete codce: A B C D Questo codce, che è evdetemete a lughezza varable, gode della roretà er cu essua è arola è refsso d qualche altra, er cu o samo cert che s tratt d u codce uvocamete decodfcable. Vedamo allora come s comorta l decodfcatore: suoamo che l messaggo sa La codfca bara d questo messaggo è A B D A C Il rmo bt rcevuto dal decodfcatore è lo : lo comare solo ella arola corrsodete ad A ed è ache l uco terme d tale arola, er cu l decodfcatore geera subto l smbolo A. Il bt successvo è : questo uò essere l rmo bt delle arole corrsodet a B,C e D, er cu è ecessaro cosderare l bt successvo; questo è uguale a : la sequeza comare solo ella arola corrsodete a B, er cu l decodfcatore geera mmedatamete B. Il bt acora successvo è : ache qu vale lo stesso dscorso d rma, er cu bsoga cosderare l bt successvo, che vale acora ; la sequeza comare come refsso delle arole assocate a C e a D, er cu bsoga cosderare l bt successvo, che vale semre : a questo uto, la ossbltà è ua sola e coè che tal tre bt corrsodao al smbolo D che qud vee emesso. Cotuado questo modo, vee rcostruto co esattezza l messaggo emesso dalla sorgete. UERO EDIO DI BIT Il metodo ad albero aea esosto è uo de metod co qual s uò realzzare u codce, a lughezza fssa o varable, che sa certamete uvocamete decodfcable. Vee allora da cheders, dat due codc a lughezza varable uvocamete decodfcabl, quale covega Autore: Sadro Petrzzell

12 Aut d Teora de Segal - Catolo sceglere. Scuramete, l arametro ù mortate er la scelta è l umero d bt che l codce assoca a smbol. I artcolare, dato che s tratta d codc a lughezza varable, l arametro da cosderare è l umero medo d bt assocat a smbol del codce. Questo umero medo uò essere defto el modo seguete: dove è l umero d bt che l codce assoca al smbolo -smo, metre P( x è la robabltà che la sorgete emetta tale smbolo (e rcordamo a questo roosto che samo semre ella otes che tale robabltà sa dedete da smbol emess recedeza, ossa ella otes d sorgete seza memora. Il crtero d scelta è allora l seguete: quato ù ccolo è, tato mglore è l codce. Ifatt, quato ù ccolo è, tato more è l umero d bt da trasmettere e qud tato more è l temo rchesto er la trasmssoe del messaggo comleto. Per esemo, se suoamo che la ostra sorgete emetta u messaggo comosto da k smbol, l umero medo d bt da trasmettere sarà k. Faccamo osservare, come sarà charo ache dagl esem, che ache ccole varazo d soo comuque mortat: ad esemo, suoamo che l messaggo da trasmettere sa comosto da k smbol; allora l umero medo d smbol da trasmettere è ; se. 5, tale umero medo vale 5, metre, se. 8, esso vale 8. Abbamo ercò ua dffereza d 3 smbol che o è da ete, secalmete o se la veloctà del caale baro o è elevatssma. LA CODIFICA DI HUFFA Da quato detto è tutvo accorgers quato sa oortuo trovare u modo er deare u codce a lughezza varable che abba l mmo valore ossble d. Questo roblema è stato studato e ottmzzato medate ua tecca d codfca che rede l ome d codfca d Huffma. Questa tecca usa uo schema ad albero del to vsto rma, ma modo ù artcolareggato e questo al fe roro d otteere l mmo valore ossble er. Suoamo acora ua volta che l alfabeto della ostra sorgete sa comosto da 4 smbol e recsamete { A, B, C, D}. Suoamo ache d cooscere le robabltà d trasmssoe d tal smbol: ad esemo, redamo. A B C D Per costrure l albero, comcamo a dsorre 4 smbol dell alfabeto, co le rsettve robabltà, orde d robabltà decrescete, ossa artedo dal ù robable e adado verso l meo robable: el ostro caso, la scala rsulta essere Autore: Sadro Petrzzell

13 Codfca d sorget dscrete C (.4 B (.3 D (. A (. Adesso, cosderamo due smbol co robabltà more, che s troverao evdetemete al fodo della scala, e comcamo a costrure l albero assocado l bt a quello ù robable ed l bt a quello meo robable: abbamo duque C (.4 B (.3 D (. A (..3 A questo uto, cosderamo quest due smbol come u uco smbolo avete robabltà d trasmssoe ar alla somma delle robabltà, che questo caso.3. Il asso successvo cosste el retere l ragoameto cosderado smbol o acora esamat e l smbolo corrsodete agl altr due (co relatva ossbltà. Cosderado semre due smbol co robabltà more e assocado a quello ù robable ed all altro, abbamo che C (.4 B (.3 D (. A (..3.6 A questo uto rmagoo solo due smbol e qud l albero uò essere comletato: C (.4 B (.3 D (. A ( Autore: Sadro Petrzzell

14 Aut d Teora de Segal - Catolo A artre da quest albero, samo adesso grado d otteere l codce d Huffma della sorgete cosderata leggedo l albero stesso a artre dalla radce, ossa da destra verso sstra. Il codce che s ottee è l seguete: C B D A Ua osservazoe mortate che ossamo fare è che, data ua coa d smbol, o è assolutamete obblgatoro assocare a quello ù robable e all altro. E ossble ache vertre, a atto erò d farlo semre. Il codce che rsulta alla fe è charamete dverso, ma gode delle stesse caratterstche. Adamo a calcolare l valore d medate la semlce defzoe: 3 3*. + 3 * * *.. 9 A B C D Cofrotamo adesso questo valore co quello che s ottee se, mateedo le stesse robabltà d emssoe, vesse usato l codce rcavato recedeza: s trattava del codce A B C D (ach esso uvocamete decodfcable e, facedo calcol, s trova u valore del umero medo d bt ar a.5. Abbamo duque trovato ua coferma del seguete rco fodametale: codfcado ua sorgete dscreta seza memora co l codce d Huffma, s ottee l mmo valore ossble del umero medo d bt assocat a cascu smbolo. Questo comorta u altro mortate rsultato: suoamo d avere u certo alfabeto e d deare, co metodo qualsas, u codce er tale alfabeto che rsult uvocamete decodfcable; c adamo o a calcolare l valore d relatvo a tale codce: se trovamo, secodo crter che sarao esost tra oco, che questo valore è quello mmo ossble, allora otremo star cert che l codce deato corrsode a quello d Huffma, ossa a quello otteble co l metodo rma descrtto. Autore: Sadro Petrzzell 4

15 Codfca d sorget dscrete Esemo d codfca d Huffma Suoamo che l alfabeto della ostra sorgete sa comosto da 5 smbol e recsamete { A B C D E},,,,. Suoamo o che le robabltà d trasmssoe d tal smbol sao le seguet: A B C D E (s ot che la somma d quelle robabltà deve semre essere e che smbol soo gà stat ordat er robabltà d emssoe decrescete. Trovamo la codfca d Huffma d quell alfabeto: l rmo asso è la costruzoe dell albero, che è A (.3 B (. C (..4.6 D (. E (..3 Leggedo l albero a artre dalla radce rcavamo l codce: A B C D E Adado ora a calcolare quato vale, trovamo 3.5. UERO EDIO DI BIT ED ETROPIA DELLA SORGETE Abbamo detto che è semre buoa orma deare u codce, sa esso a lughezza varable o a lughezza fssa, che abba l ù ccolo valore ossble er. Abbamo ache detto, seza dmostrarlo, che dato u certo alfabeto, la codfca secodo Huffma è quella che reseta semre l mmo valore d. Sorge allora questa domada: suoamo d avere u certo alfabeto, d deare u codce e d calcolare l valore d ; come faccamo a stablre se questo valore sa o meo l ù ccolo ossble? Ossa, altre arole, dato u geerco codce, come s fa a calcolare l valore mmo d? Avedo detto che la codfca d Huffma reseta semre l valore mmo d, u modo otrebbe ache quello d trovare og caso tale codfca e d adars a calcolare. Tuttava, è 5 Autore: Sadro Petrzzell

16 Aut d Teora de Segal - Catolo charo che s tratta d u metodo tutt altro che agevole, secalmete cosderado che l umero d smbol d cu è costtuto l alfabeto d ua sorgete è geeralmete molto alto. Allora, er rsolvere l roblema, vee auto l seguete rsultato: H( X H( X + Esso dce qud che l umero medo d bt che l codce assoca a cascu smbolo dell alfabeto o uò essere ma ferore all etroa della sorgete, ossa a quella quattà defta come H( X I altre arole, H(X è l estremo ferore dell seme de ossbl valor d. Da sottoleare l cocetto d estremo ferore : solo alcu cas molto artcolar, uò raggugere l valore d H(X, metre geerale è semre leggermete maggore. D cosegueza, quado dobbamo codfcare ua certa sorgete, della quale sao ote le robabltà d emssoe (semre ell otes d dedeza tra smbol, c ossamo calcolare l etroa della sorgete, modo da saere l valore mmo d al quale o dobbamo tedere ell deare l codce. Esemo Vedamo subto u esemo cu l umero medo cocde roro co l etroa della sorgete. Suoamo che l alfabeto della sorgete sa { A B C D} ugual e ar qud ad /4. Calcolamo subto l etroa della sorgete:,,, e che le robabltà d emssoe sa tutte H( X Se l etroa è ar a, sarà ache l valore mmo che o otremo trovare er. Adamo allora a defre l codce da utlzzare: avedo 4 dvers smbol da codfcare, la codfca che vee mete er rma è certamete quella bara, ossa A B C D Evdetemete, essa ha, ossa ha u valore d cocdete co l valore della etroa. Cò sgfca che questa codfca è roro quella d Huffma. La verfca d questo uò essere fatta alcado l metodo stadard er la determazoe del codce d Huffma. Autore: Sadro Petrzzell 6

17 Codfca d sorget dscrete La codfca a blocch ITRODUZIOE Abbamo ù volte detto, egl ultm aragraf, che, ell deare u codce co cu codfcare l alfabeto d ua certa sorgete, l obbettvo rmaro da raggugere, oltre la uvoca decodfcabltà del codce, è quello d otteere l valore ù ccolo ossble er. Abbamo ache vsto che l valore mmo cu s uò asrare (ache se dffclmete uò essere ragguto corrsode al valore dell etroa H(X della sorgete, valore che s ragguge co la codfca d Huffma. C oamo allora l roblema seguete: voglamo deare u codce, che o sa quello d Huffma, l cu valore d, ur essedo maggore del valore mmo H(X, sa comuque l ù vco ossble ad H(X stesso. Suoamo, er comodtà d ragoameto, che l alfabeto sorgete sa { A, B, C}. D cosegueza, og messaggo emesso dalla sorgete sarà ua successoe d tal smbol. U esemo otrebbe essere l seguete: B A C C B A A A C B Ua sequeza d questo to uò essere esata due mod dfferet: l rmo è auto quello d vederla come ua sequeza d smbol sgol emess dalla sorgete X; u altro modo è vece quello d vederla come ua sequeza d COPPIE d smbol emess da ua certa sorgete Y. Possamo coè mmagare quel messaggo come rodotto dalla sorgete Y l cu alfabeto sa l seguete: A, A, A, B, A, C, B, A, B, B, B, C, C, A, C, B, C, C {( ( ( ( ( ( ( ( ( } S tratta coè d u alfabeto cu og smbolo corrsode ad ua delle ossbl coe d smbol che s ossoo formare co l alfabeto della sorgete X. Charamete, dato che X ha 3 smbol, la sorgete Y avrà 3*39 smbol. aturalmete, dato che o cooscamo smbol della sorgete X, cooscamo ache smbol della sorgete Y, er cu ossamo fare su d essa tutt dscors relatv ad ua geerca sorgete dscreta. I artcolare, ossamo esare d effettuare ua codfca d Huffma d tale sorgete: dcato co Y l umero medo d bt che tale codfca assoca a cascu smbolo d Y e dcata co H(Y l etroa della sorgete Y, varrà allora la relazoe H( Y H( Y + Y Vedamo allora quato vale H(Y: s tratta dell etroa della sorgete Y, er cu è defta come ( 3 3 H( Y P x, x (, x P x 7 Autore: Sadro Petrzzell

18 Aut d Teora de Segal - Catolo dove P( x, x è la robabltà che vega emessa la coa ( x x,, ossa che la sorgete X emetta rma l smbolo x e o l smbolo x. Poché samo elle otes d dedeza de smbol emess dalla sorgete Y, ossamo scrvere che P x, x P x P x er cu ( ( ( ( ( H( Y P( x P( x P( x P( x + P( x P( x P x P( x P( x + P( x P( x P x P x 3 3 ( ( ( ( ( 3 3 P( x P x + P x P x P x P x ( P( x P x P( x + P x ( H( X H( X H( X ( P( x Abbamo duque trovato che er cu ossamo scrvere che o ache che H( Y H( X H( X H( X + Y Y H( X H( X + Adesso, se Y è l umero medo d bt che l codce d Huffma assoca a cascu smbolo d Y, Y / o è altro che X, quato og smbolo d Y corrsode a smbol d X. Abbamo ercò otteuto che H( X X H( X + l che sgfca che abbamo sez altro otteuto u avvcameto d X al suo valore mmo rsetto a quello che avremmo otteuto se avessmo codfcato secodo Huffma drettamete la sorgete X. I deftva, qud, abbamo otteuto che l valore d X mglora (ossa s avvca a H(X se adamo a codfcare secodo Huffma la sorgete Y: questo metodo rede l ome d codfca a blocch e la sorgete Y rede l ome d sorgete a blocch. Autore: Sadro Petrzzell 8

19 Codfca d sorget dscrete E tutvo allora comredere come ulteror mgloramet s otterrebbero cosderado sorget a 3, 4 o ù blocch: s trova fatt che H( X X H( X + Il roblema, erò, vee dal fatto che, co questo metodo, gl aarat d codfca e decodfca dvetao semre ù comless e qud semre ù costos. Esemo Vedamo u esemo cu la codfca a blocch rsulta artcolarmete coveete. A, B l alfabeto della ostra sorgete e sao A. e B.9 le rsettve robabltà d Sa { } emssoe. Calcolamo l etroa della sorgete: abbamo gà avuto modo d vedere che la formula geerale, er ua sorgete co sol smbol, è H( X + ( Poedo allora.9. essa dveta H( X. 9 + (.. 9. Il valore esatto d H(X rsulta essere. Se codfchamo secodo Huffma questa sorgete, otteamo X : ache se s tratta del mmo valore che ossamo otteere co ormal metod d codfca d X, è evdete che s tratta d u valore molto dstate dal valore dell etroa., er cu questo è u tco caso cu è oortua ua codfca a blocch. Vedamo ercò se e come mglorao le cose usado ua codfca a blocch: tato, la sorgete a blocch sarà evdetemete Y A, A, A, B, B, A, B, B Le robabltà d emssoe soo oltre le seguet: {( ( ( ( } AA AB BA BB. 9 * * Adamo allora a codfcare secodo Huffma questa sorgete Y: l albero rsulta essere AA (.8 AB (.9 BA (.9 BB (... 9 Autore: Sadro Petrzzell

20 Aut d Teora de Segal - Catolo er cu l codce è AA AB BA BB Adado allora a calcolare l umero medo d bt che questo codce assoca a cascu smbolo della sorgete Y s trova che Y 9., da cu X Y. 645 Evdetemete, questo valore è gà molto more del valore che avevamo all zo, er cu effettvamete la stuazoe è mglorata. Sorget co memora ITRODUZIOE Fo ad ora o abbamo semre fatto ostr ragoamet rferedoc a due otes fodametal d base: la rma è che la sorgete sa dscreta, l che sgfca che essa emette, ad tervall d temo regolare, smbol facet arte d u alfabeto fto, del to { s, s,..., s } la secoda è che la sorgete sa seza memora, l che sgfca che l emssoe d cascu smbolo è del tutto dedete da smbol emess recedeza: E ovvo che, metre la rma otes è assolutamete realstca, o lo è certamete la secoda, quato, ella realtà, la maggor arte delle sorget soo sorget co memora, ossa sorget cu l emssoe d cascu smbolo è comuque codzoata da smbol emess recedeza. Voglamo allora studare questo to d sorget: come s vedrà, valgoo grossomodo gl stess cocett vst fo ad ora, co la dffereza rcale d ua maggore comlcazoe matematca, dervate essezalmete dalla reseza delle robabltà codzoate luogo d quelle assolute vste fo ad ora. ETROPIA CODIZIOALE s, s,..., s : questa sorgete, usado smbol d questo alfabeto, emette de messagg che dobbamo codfcare. Cascuo d quest messagg, dato che dobbamo metterc el caso ù geerale ossble, uò essere scuramete vsto come ua ossble realzzazoe d u rocesso stocastco, l che c cosete d studare l roblema sfruttado cò che saamo a roosto de rocess stocastc. Suoamo allora d avere seguet messagg geerc: Suoamo duque che l alfabeto della ostra sorgete co memora sa { } Autore: Sadro Petrzzell

21 Codfca d sorget dscrete messaggo s s s s s s... messaggo s s s s s s messaggo k s s s s s s Queste realzzazo soo evdetemete delle fuzo dscrete el temo ( quato l emssoe de smbol avvee o modo cotuo besì stat d temo dscret a valor dscret ( quato l alfabeto sorgete ossede u umero fto d smbol. Samo coè reseza d u rocesso temo-dscreto a valor dscret. Ioltre, ossamo esare d estrarre dal rocesso ua o ù varabl aleatore: la varable aleatora X estratta al geerco state tt dca ercò l valore assuto dal rocesso all state T o, cò che è lo stesso, l valore assuto dal rocesso al asso, che corrsode all tervallo d temo [( T, T]. Idchamo artcolare co X la varable aleatora estratta al asso, coè all state t, e co X quella estratta al asso, ossa all state tt. Prede allora l ome d etroa codzoale della sorgete la seguete quattà: ( ( H X X P X s X s ( P X s X s Vedamo rmo luogo d descrvere cosa comare questa defzoe: è l umero (fto o fto umerable d smbol d cu è costtuto l alfabeto sorgete; s ed s soo due geerc smbol aarteet a tale alfabeto; P( X s X s è la robabltà che l rocesso al asso assuma lo stato s, doo che al asso ha assuto lo stato s (o, term d sorgete, la robabltà che la sorgete emetta al asso l smbolo s doo che al asso ha emesso l smbolo s ; P( X s X s è la robabltà che l rocesso al asso assuma lo stato s e al asso lo stato s (o, term d sorgete, la robabltà che la sorgete emetta al asso l smbolo s e al asso l smbolo s. Faccamo ache osservare l aaa esstete tra questa defzoe e quella d etroa data er le sorget seza memora, che era H( X P( x P( x Faccamo fe osservare che la defzoe dell etroa codzoale H( X X o è altro che la defzoe d valor medo d ua varable aleatora otteuta come fuzoe della varable aleatora ( X X, dove la fuzoe o è altro che ( P X s X s Autore: Sadro Petrzzell

22 Aut d Teora de Segal - Catolo L etroa codzoale uò essere defta sa er le varabl aleatore estratte al asso ed al asso sa ache er quell estratte al asso, al asso e così va fo al geerco asso -smo: questo caso, la defzoe dveta evdetemete H X X,..., X, X... P X s... X s X s P X s X s X s ( ( (... Proretà Cosderamo l etroa codzoale al asso, ossa H( X X : dmostramo che vale la relazoe ( H( X H X X dove X è ratca vsta come ua sorgete seza memora avete come alfabeto quello stesso della sorgete X che stamo cosderado. Dmostrare quella relazoe equvale evdetemete a dmostrare che ( H( X H X X Comcamo a sostture l esressoe d H( X X datac dalla defzoe: ( ( ( H X X H X P X s X s ( P X s X s ( H X Sosttuedo oltre la defzoe d etroa d ua sorgete seza memora, abbamo che ( ( ( H X X H X P X s X s ( ( x P X P X s X s P X ( x Al fe d rcodurc ad u uca doa sommatora, ossamo usare l teorema delle robabltà total e scrvere che er cu, adado a sostture, abbamo che ( ( P X x P X x X x ( ( ( H X X H X P X s X s ( P X s X s ( P X x X x ( x P X Autore: Sadro Petrzzell

23 Codfca d sorget dscrete Poedo tutto sotto u uca doa sommatora, abbamo H( X X H( X P( X s X s P X s X s P X x ( ( Usado adesso ua ota roretà de artm, abbamo ( ( ( H X X H X P X s X s ( x P X ( P X s X s Adesso dobbamo usare u altra roretà de artm che è stata gà utlzzata recedeza: s tratta della roretà secodo cu y l e l y l e y ( ( ( el ostro caso, abbamo, alcado tale roretà, che ( x P X ( P X s X s ( l e ( x P X P X s X s ( er cu ( l e P( X s X s ( x ( 3 ( x P X H( X X H( X P( X s X s ( e l P X s X s P X P X s X s ( Adesso, l terme P( X s X s equvale ache a P( X s X s questo è ossble esrmerlo le robabltà codzoate: ( ( ( l ( ( H X X H X e P X s X s P X s e, oltre, ( x P X P X s X s ( Semlfcado e scomoedo adesso le due doe sommatore, abbamo che ( ( ( ( l ( ( ( H X X H X e P X s P X x P X s X s ( l e P( X s P( X x ( l e P( X s P( X s X s Autore: Sadro Petrzzell

24 Aut d Teora de Segal - Catolo A questo uto, ossamo mostrare come etramb term a secodo membro soo ar a l e, da cu cosegue la tes: er quato rguarda l rmo terme abbamo che ( ( ( ( ( ( ( l e P X s P X x l e P X s P X x l e l e Per quato rguarda vece l secodo, abbamo che ( l e P( X s P( X s X s ( l e P( X s P( X s X s ( l e P( X s P( X s X s ( l e Geeralzzazoe Cò che abbamo aea dmostrato è qud che ( H( X H X X Questa roretà uò essere ache estesa alla etroa codzoale al asso, quato s dmostra che vale la relazoe (,...,, (,..., H X X X X H X X X ETROPIA ALL IFIITO Data l etroa codzoale al asso, ossa H( X X X X all fto della sorgete cosderata la seguete quattà:,...,,, s defsce vece etroa ( H ( X lm H X X,..., X, X Sulla base della roretà (,...,, (,..., H X X X X H X X X è ossble dmostrare quest altra relazoe fodametale: ( H ( X H X Essa dce che l etroa all fto della sorgete co memora X è more o al ù uguale all etroa della stessa sorgete, calcolata erò come se essa fosse seza memora. Autore: Sadro Petrzzell 4

25 Codfca d sorget dscrete aturalmete, base a come abbamo defto le vare etroe, s casce come s tratt semre d quattà ostve, er cu ossamo ulterormete erfezoare quella roretà scrvedo che ( H ( X H X Perché è mortate questa relazoe? Perché, così come abbamo trovato er le sorget seza memora la relazoe H( X, dove è l umero medo d bt che o ossamo assocare a cascu smbolo dell alfabeto sorgete quado codfchamo la sorgete, allo stesso modo, er le sorget co memora, s trova che H ( X er cu abbamo acora ua volta ua stma del valore mmo che ossamo raggugere er. SORGETI ARKOVIAE OOGEEE I base alla defzoe data, rsulta evdete quato comlcato sa, geerale, la valutazoe dell etroa all fto della ostra sorgete co memora. C soo erò de cas cu vece questo calcolo rsulta semlfcato: uo d quest è sez altro quello delle cosddette sorget markovae, ossa sorget co memora, dove erò tale memora è lmtata al smbolo recedete. Per carc meglo, ua sorgete s dce markovaa ( accordo a quato vsto a roosto delle catee d arkov quado l emssoe d cascu smbolo dede solo dal smbolo emesso recedeza e o da tutt gl altr. La rma evdete semlfcazoe er ua sorgete markovaa è la seguete: metre er le sorget co memora geerca o cosderamo le robabltà codzoate d emssoe (... P X s X s X s er le sorget markovae tal robabltà s rducoo evdetemete a ( P X s X s Tra l altro, se la sorgete è markovaa omogeea, queste robabltà codzoate d emssoe rsultao costat asso er asso, ossa rsultao dedet da, metre rsultao dedet solo da smbol s e s Vedamo allora erché dveta facle l calcolo dell etroa all fto d ua sorgete markovaa: tedamo dmostrare che sussste la relazoe H ( X H( s π dove π è la robabltà astotca del geerco smbolo s metre H( s è l etroa dello stato s, defta come 5 Autore: Sadro Petrzzell

26 Aut d Teora de Segal - Catolo Dobbamo duque dmostrare che H H( s (X Itato, er defzoe, l etroa all fto è π ( H ( X lm H X X,..., X, X Sosttuedo l esressoe d H( X X X X,...,,, abbamo che ( H ( X lm... P X s... X s X s (... P X s X s X s I base alla roretà delle sorget markovae er cu abbamo o che H (X lm (... ( P X s X s X s P X s X s... P ( X s... X s X s ( s X s P X A questo uto, vertamo gl ord d sommatora, modo da avere er rmo l dce e er ultmo l dce : H (X lm... P ( X s... X s X s ( s X s P X Il terme artmco dede solo dalle rme due sommatore, er cu ossamo rscrvere quella relazoe ella forma H (X lm ( s X s... P X P ( X s... X s X s Ora o ossamo fare ua mortate semlfcazoe cosderado qual soo gl dc delle P X s X s X s... : s tusce sommatore che devoo essere alcate al terme ( fatt come quella relazoe s rduca a H (X lm P ( ( X s X s s X s P X Autore: Sadro Petrzzell 6

27 A questo uto, ossamo esrmere l terme P ( X s X s codzoate: cò che otteamo è che er cu, adado a sostture, abbamo H (X lm ( ( ( P X s X s P X s X s P X s Codfca d sorget dscrete medate le robabltà P ( ( X ( s X s P X s s X s P X Ora ossamo semlfcare u o' l asetto formale d questa relazoe: oedo fatt essa uò essere rscrtta ella forma H (X s s P( X X P( X P( X X lm Adesso, ell otes che la sorgete sa ache omogeea, abbamo detto che l terme P( X X o dede alcu modo da, er cu ossamo sostare l lmte el modo seguete: H (X P( X X lm P( X P X X ( Ioltre, dcado co P( X X asso, quella relazoe dveta acora H (X la geerca robabltà d traszoe ad u ( X lm P A questo uto abbamo otteuto cò che volevamo dmostrare, quato l terme lm P( X o è altro che la robabltà astotca π, er cu H ( X π Cosa c dce questa relazoe? Essa c dce che, data la ostra sorgete markovaa omogeea, ossamo calcolarc la sua etroa all fto, modo abbastaza semlce, cooscedo solo le robabltà d traszoe ad u asso e le robabltà astotche. D 7 Autore: Sadro Petrzzell

28 Aut d Teora de Segal - Catolo solto, le robabltà d traszoe ad u asso costtuscoo u dato del roblema, er cu tutto s rduce a calcolare le robabltà astotche. Esemo Vedamo u esemo ratco d quato aea detto. Suoamo d avere ua sorgete markovaa omogeea l cu alfabeto sa { A B C} traszoe ad u asso:,,. Suoamo d cooscere, d questa sorgete, la matrce d AA AB AC BA BB BC CA CB CC Ovvamete, l sgfcato d quelle robabltà è quello che s rcava dalla relazoe ( P X X Ad esemo: ( ( ( P X A X A AA P X B X A BA P X B X C CB aturalmete, essedo la sorgete omogeea, l valore d uò essere qualsas tra e. Per cooscere l etroa all fto d questa sorgete, dobbamo alcare la relazoe H ( X π er cu quello che c serve soo le robabltà astotche. queste s calcolao rsolvedo l sstema raresetato da [ π] [ π][ P] 3 el ostro caso, la relazoe matrcale [ π] [ π][ ] π P è la seguete: π π π A B C π π π A B C Autore: Sadro Petrzzell 8

29 Codfca d sorget dscrete Alle tre equazo raresetate da questa relazoe matrcale va agguta ua quarta equazoe + +. quato solo d esse soo learmete dedet: la quarta equazoe è auto π π π A B C Rsolvedo ercò l sstema, s determao le robabltà astotche e qud s uò calcolare l etroa all fto della sorgete cosderata. Autore: SADRO PETRIZZELLI e-mal: sadry@ol.t sto ersoale: htt://users.ol.t/sadry succursale: htt://dglader.ol.t/sadry 9 Autore: Sadro Petrzzell