Capitolo 9 - Teoria dell informazione

Transcript

1 Aunt d Comuncazon Elettrche Aunt d Catolo 9 - Teora dell nformazone Introduzone alla teora dell nformazone... Sorgente dscreta senza memora... entroa (del rmo ordne) della sorgente...4 Rcham d Teora de Segnal...6 Concetto d nformazone...6 Entroa della sorgente...7 Rcham su codc bnar...8 Metodo ad albero er la rcerca d codc unvocamente decodfcabl 8 Numero medo d bt...9 La codfca d Huffman... Numero medo d bt ed entroa della sorgente... Esemo: trasmssone medante fax-smle... 3 Codfca a blocch... 3 Esemo: trasmssone medante fax-smle... 6 Problem delle codfche a lunghezza varable... 7 Sorgent dscrete con memora... 7 Entroa condzonale... 8 Codfca run-length... 9 Entroa d ordne suerore... Canale bnaro deale e reale... Esemo: canale d trasmssone bnaro... Codc er rlevazone e correzone d errore... 6 Introduzone... 6 Uso d bt d artà... 6 Bt d artà sulle rghe e sulle colonne... 8 Codc d Hammng... 8 Soft decson e Hard decson... 8 Osservazone... 3 Codc convoluzonal... 3 Introduzone... 3 Prnc fondamental... 3 INTRODUZIONE ALLA TEORIA DELL INFORMAZIONE Consderamo lo schema d un generco sstema d trasmssone numerco: Codfcatore Sorgente Codfcatore Canale Decodfcatore d canale Decodfcatore Rcevtore d canale

2 Aunt d Comuncazon Elettrche - Catolo 9 C è una sorgente che genera un segnale analogco (televsvo, telefonco, muscale e così va) che deve arrvare al rcevtore (coè all utente); tale segnale vene er rma cosa convertto n forma numerca, da un dsostvo detto codfcatore. L uscta d questo dsostvo è dunque la sequenza d bt contenente l nformazone che ntendamo far arrvare al rcevtore. Questa sequenza d bt non vene erò trasmessa così com è, ma vene reventvamente elaborata dal codfcatore d canale, l quale la manola essenzalmente allo scoo d roteggerla dagl nevtabl error dovut alla trasmssone. E oortuno sottolneare le dfferenze d comortamento tra l codfcatore ed l codfcatore d canale : l rmo rceve n ngresso l segnale emesso dalla sorgente e genera n uscta la sequenza d bt corrsondente; l secondo, nvece, rceve n ngresso la sequenza d bt emessa dal codfcatore e oera su d essa quelle manolazon che ermetteranno al decodfcatore d canale d recuerare eventual error dovut alla trasmssone tramte l canale. Il segnale emesso dal codfcatore d canale vene nvato al mezzo trasmssvo, l quale raresenta tutt que dsostv necessar er la trasmssone del segnale stesso. L uscta del canale fa da ngresso er l decodfcatore d canale, che raresenta la classca cascata tra l fltro d rcezone, l camonatore ed l decsore: l comto d questo dsostvo è quello d rcostrure la sequenza d bt che è stata trasmessa, cercando, nel contemo, d rlevare ed eventualmente correggere gl nevtabl error ntrodott dal canale. L uscta del decodfcatore d canale è dunque la stessa sequenza d ngresso resumblmente emessa dal codfcatore. Segue allora un ulterore dsostvo, detto decodfcatore, che s comorta n modo nverso al codfcatore: tale dsostvo rceve n ngresso la sequenza d bt rulta, tramte l decodfcatore d canale, degl error dovut alla trasmssone e, da questa sequenza, rcostrusce l segnale analogco emesso dalla sorgente nvandolo al rcevtore. SORGENTE DISCRETA SENZA MEMORIA Lo scoo della teora dell nformazone è valutare lmt teorc dell nformazone che s uò trasmettere su un canale reassegnato. Questo serve er oter stablre de arametr comun utl er confrontare le restazon de sstem d trasmssone real. Mettamoc nelle seguent otes: n rmo luogo, suonamo che la codfca del segnale analogco emesso dalla sorgente sa bnara: cò sgnfca che al segnale emesso dalla sorgente verrà semre assocata, da arte del codfcatore, una sequenza d bt; suonamo che la sorgente non emetta n modo contnuo nel temo l roro segnale, ma solo n stant successv dscret; suonamo nfne che l segnale emesso dalla sorgente sa costtuto da una successone d smbol dscret aartenent al cosddetto alfabeto della sorgente stessa. Per carc meglo, se suonamo che l alfabeto della sorgente sa genercamente X = { x, x,..., x N }, l otes che stamo facendo, e che defnsce la cosddetta sorgente dscreta, è che la sorgente emetta, n stant d temo dscret e uno alla volta, smbol aartenent ad X (n un ordne che dende dal to d nformazon che s ntende trasmettere). Un altra otes semlfcatva con la quale comncamo a fare nostr ragonament, è che smbol emess dalla sorgente sano ndendent tra loro: cò sgnfca che ogn smbolo emesso è ndendente da smbol emess n recedenza. In termn quanttatv, ossamo esrmerc dcendo che la robabltà d emettere un smbolo ad un certo stante è semre la stessa, a rescndere da

3 Teora dell nformazone qual smbol sano stat emess n recedenza. Una sorgente che gode d questa roretà rende l nome d sorgente (dscreta) senza memora. Indchamo allora con P( x ) la robabltà che la sorgente emetta l generco smbolo x : se suonamo che l alfabeto della sorgente comrenda N smbol (con N fnto o nfnto numerable), avremo allora N robabltà d trasmssone ( ), ( ),.., ( ) P x P x P x N dove ovvamente sussste la relazone N P ( x ) = E charo nfatt che la sorgente uò emettere o l smbolo x o l smbolo x e così va, er cu la robabltà d emettere almeno uno de smbol dell alfabeto (ossa l termne a rmo membro d quella relazone) è ar ad. Se suonamo che gl N smbol sano equrobabl, abbamo evdentemente che P ( x ) = P( x ) =.. = P( x ) P( x ) N = Sotto questa otes, dovendo codfcare n modo bnaro cascuno d quest smbol, non ossamo far altro che usare, er ognuno d ess, confgurazone bnare formate da uno stesso numero d bt: er N smbol, avremo bsogno qund d N confgurazon bnare e qund d un numero d bt ar a n = log N. Ad esemo, se la sorgente ha N=8 smbol, allora servono confgurazon da n = log 8 = 7 bt/smbolo. Qund, la quanttà n bt/smbolo raresenta, d fatto, la quanttà d nformazone emessa dalla sorgente. Se è nota la veloctà (esressa n smbol/sec) con cu la sorgente emette ror smbol, avremo anche una msura del numero d bt trasmess nell untà d temo, coè della frequenza d cfra: f S bt sec = n bt smbolo smbol v sec Le cose cambano, nvece, se smbol non sono ù equrobabl. In questo caso, nfatt, è scuramente molto ù ragonevole usare una codfca a lunghezza varable: a smbol meno robabl faremo corrsondere arole d bt ù lunghe, mentre a smbol ù robabl faremo corrsondere arole d bt ù corte. Con questo sstema, otremo ancora defnre un numero medo d bt er untà d temo, che sarà scuramente ù basso del numero d bt er untà d temo che otterremmo assocando a tutt smbol confgurazon bnare d uguale lunghezza. Possamo dunque defnre, nel caso d smbol non equrobabl, una quanttà d nformazone meda, emessa dalla sorgente, ar a I(x) = N dove P(x ) è la robabltà d emssone del generco smbolo x e n l numero d bt assocat allo stesso x. P(x ) n N 3

4 Aunt d Comuncazon Elettrche - Catolo 9 ENTROPIA (DEL PRIMO ORDINE) DELLA SORGENTE Per saere quanto vale l nformazone emessa dalla sorgente, s usa l cosddetto teorema dell equartzone, che andamo a enuncare. Intanto, suonamo che la sorgente sa stazonara, ossa che le sue roretà statstche non varno nel temo. In secondo luogo, suonamo che la sorgente sa anche ergodca: n base alla nota defnzone d ergodctà d un rocesso stocastco, questo sgnfca che è ossble rcavare tutte le roretà statstche della sorgente a artre da una sola realzzazone. In concreto, l ergodctà della sorgente sgnfca che, osservando una sola realzzazone er un temo va va crescente, s uò essere scur che la sorgente asserà attraverso tutt suo ossbl stat. Questo c consente d fare l seguente ragonamento: se consderamo un messaggo comosto da M smbol, con M molto grande, con robabltà tale messaggo conterrà tutt smbol della sorgente, che comarranno ognuno un certo numero d volte: se M è l numero d volte n cu comare l generco smbolo x, rsulterà coè M = N M dove rcordamo ancora che N sono smbol della sorgente. Osservamo che l generco M non è altro, er defnzone, che M, coè l rodotto del numero totale d smbol da cu è comosto l messaggo er la robabltà del smbolo consderato. Consderato adesso l generco messaggo n esame, ossamo anche valutare la robabltà P mess,k che esso venga effettvamente emesso: nfatt, tale robabltà è ar alla robabltà che l smbolo x venga emesso M volte, che l smbolo x venga emesso M volte e così va fno all N smbolo; dato, erò, che l emssone d un smbolo è del tutto ndendente dall emssone degl altr, allora gl N event smbolo x emesso M volte, smbolo x emesso M volte e così va sono ndendent tra loro, l che sgnfca che ossamo scrvere che M M P = mess,k = M M... M N N dove abbamo ndcato sntetcamente con la robabltà d emssone del generco x. Poter valutare P mess,k, er cascun messaggo, è mortante n quanto non tutt messagg sono ossbl. Alcun d ess avranno robabltà d verfcars: ad esemo, un messaggo formato da tutt smbol ugual non s verfcherà ma, n quanto non orta con sé alcuna nformazone. Dobbamo dunque consderare solo messagg che hanno una robabltà maggore d d essere emess: quest messagg, semre er la suosta ergodctà della sorgente, non ossono che essere equrobabl: se, allora, ndchamo con m l numero d messagg con robabltà non nulla d essere emess, ossamo scrvere che m = Pmess,k = Pmess,k m = Pmess m m = P k= mess Con questo s ntende dre che è ergodco l rocesso stocastco corrsondente all emssone d smbol da arte della sorgente: ogn messaggo emesso dalla sorgente è una realzzazone d questo rocesso stocastco, er cu l ergodctà sgnfca che, osservando un sngolo messaggo, d durata suffcente, s uò rsalre alle caratterstche statstche del rocesso d emssone de smbol. Questo accade erché, er defnzone d ergodctà, er M tendente all nfnto, le cosddette frequenze relatve M /M de var smbol devono tendere alle rsettve robabltà. 4

5 Teora dell nformazone Abbamo coè concluso che l numero d messagg ossbl è ar al recroco della robabltà d emssone del generco d ess. Così come ossamo ensare d assocare un certo numero d bt ad ogn smbolo della sorgente, lo stesso ossamo fare er un ntero messaggo: dato che messagg sono n numero fnto e sono equrobabl, ognuno d ess sarà codfcato da uno stesso numero d bt, che vale n questo caso n mess = log m = log P mess = log P mess bt messaggo D altra arte, abbamo detto che l messaggo è comosto da M smbol, er cu l numero medo d bt necessar er descrvere l sngolo smbolo sarà H(x) n = M mess log P = M mess bt smbolo Questa quanttà rende l nome d entroa del rmo ordne della sorgente consderata: essa raresenta la quanttà d nformazone meda er smbolo. Possamo anche eslctarla meglo, sosttuendo l esressone d P mess rcavata rma: H(x) = M log M M M M M = log = M log M M Portando dentro la sommatora l fattore M, ottenamo l raorto M /M, che è la cosddetta frequenza relatva del generco x, ossa l numero d volte n cu esso comare nel messaggo consderato. D altra arte, n base semre all ergodctà, la frequenza relatva del generco smbolo, er M molto grande, tende alla robabltà del smbolo stesso, er cu ossamo concludere che l entroa del rmo ordne della sorgente è H(x) = M log Confrontamo adesso questa relazone con la relazone 5 N I (x) = n trovata rma er sorgent con smbol non equrobabl: s deduce che la quanttà log raresenta l numero mnmo teorco d bt necessaro a descrvere un smbolo. D conseguenza, ossamo affermare che l entroa raresenta l mnmo numero medo d bt er smbolo necessar er trasmettere. Questo è un concetto mortante, n quanto c dce che, er avvcnarc al lmte teorco ndcato aunto dalla H(x), dobbamo rcorrere a codfche a lunghezza varable. Tornando adesso all esressone dell entroa, s nota che l suo valore numerco dende dalle robabltà d emssone della sorgente stessa e dal numero d smbol d cu la sorgente dsone. Per esemo, suonamo che la sorgente abba solo due smbol (N=); dato che la somma delle robabltà d emssone deve essere ar ad, è charo che, se è la robabltà d emettere uno de due smbol, - sarà la robabltà d emettere l altro smbolo. Allora, l valore dell entroa rsulta essere H( X) = log = log + ( ) log

6 Aunt d Comuncazon Elettrche - Catolo 9 Al varare d avremo dunque valor dvers d entroa. Possamo dagrammare H(X) n funzone d (dove vara ovvamente tra ed ): H(X) S nota qund che l entroa assume l suo massmo valore quando =.5, ossa quando due smbol d cu dsone la sorgente sono equrobabl, mentre assume decrescent, n modo smmetrco, quando aumenta o dmnusce rsetto a.5. RICHIAMI DI TEORIA DEI SEGNALI Concetto d nformazone Ogn smbolo emesso dalla sorgente costtusce charamente una nformazone che la sorgente emette erché venga trasmessa al rcevtore. Il to d nformazone è assolutamente generco, nel senso che la sorgente uò trasmettere nformazon d qualsas to. Dovendo erò studare l funzonamento della sorgente, è utle raresentare n qualche modo tale nformazone dal unto d vsta matematco. Dato allora l generco smbolo x, ossamo defnre, n termn matematc, l nformazone ad essa assocata nel modo seguente: x I(x ) = log P(x ) S tratta adesso d gustfcare questa formula. Le gustfcazon che ossamo dare sono tutte d natura essenzalmente ntutva. Per esemo, suonamo che la sorgente consderata abba un solo smbolo e qund trasmette solo quello: è evdente, allora, che questa sorgente, d fatto, non trasmette alcuna nformazone, roro erché emette semre la stessa cosa. In termn matematc, questo sgnfca che l nformazone assocata all unco smbolo deve valere e questo effettvamente accade n base alla defnzone d I( x ) : nfatt, se la sorgente ossede un solo smbolo, è ovvo che P( x ) = (n quanto c è la certezza che emetta quell unco smbolo); andando allora a sostture nell esressone d I( x ), s trova che quest ultma è roro ar a. Ora suonamo d consderare due generc smbol x e x tra quell aartenent all alfabeto della sorgente; suonamo anche che l rmo abba meno robabltà del secondo d essere trasmesso, ossa suonamo che P( x ) < P( x ). Questo sgnfca che, dato un qualsas messaggo emesso dalla 6

7 Teora dell nformazone sorgente, l smbolo x comare n meda MENO volte rsetto al smbolo x ; se comare meno volte, è lecto asettars che l nformazone assocata a tale smbolo sa PIU mortante d quella assocata al smbolo x, ossa è lecto asettars che sa I( x ) > I( x ). Effettvamente questo accade: nfatt, oché P( x ) < P( x ), andando a sostture nella defnzone d I( x ), no trovamo che I(x ) = log > I(x ) = log P(x ) P(x ) Un ultma gustfcazone della defnzone d I( x ) otrebbe essere la seguente: suonamo che la sorgente emetta due smbol x e x n modo del tutto ndendente dall altro (come no stamo suonendo). Allora, no samo ortat a credere che l nformazone comlessva assocata alla coa x, x corrsonda alla somma delle nformazon. Anche n questo caso, questo s verfca: nfatt, ( ) ndcata con I( x, x ) = log l nformazone assocata alla coa, s ha che P( x x ) I(x, x ) = log = log = log + log = I(x ) + I(x P(x )P(x ) P(x ) P(x ) P(x ) P(x ) ) Entroa della sorgente Consderamo adesso la nostra sorgente dscreta e adottamo semre l otes er cu cascun smbolo emesso sa ndendente da smbol emess recedentemente. S defnsce allora entroa del rmo ordne della sorgente la quanttà H(X) = N P(x )I(x ) dove N è l numero d smbol che la sorgente è n grado d emettere, P( x ) la robabltà d emettere l generco smbolo x e I( x ) l nformazone assocata a tale smbolo. Avendo detto che I( x ) = log P( x ) e onendo er semlctà = P( x ), ossamo anche scrvere che N H(X) = log L entroa è una grandezza mortante er una sere d motv. Il rmo d quest è che essa è legata al numero N d smbol d cu dsone la sorgente dalla seguente relazone (che s uò dmostrare faclmente): H( X) log N In artcolare, l smbolo d uguaglanza vale SOLO quando tutt smbol sono equrobabl. 7

8 Aunt d Comuncazon Elettrche - Catolo 9 RICHIAMI SUI CODICI BINARI Abbamo detto che l codfcatore ha l comto d assocare, alla sequenza d smbol emess dalla sorgente, una oortuna sequenza d bt. E ovvo che questa sequenza d bt deve essere tale che, una volta arrvata al decodfcatore, quest ultmo sa n grado d rcostrure esattamente (a meno charamente degl error), a artre da essa, l segnale emesso dalla sorgente. Questo è ossble solo se l codce bnaro utlzzato gode della roretà d essere unvocamente decodfcable : deve coè essere tale che la decodfca ossa essere una ed una sola, n modo da avere la garanza che l rcevtore rceva cò che la sorgente ha emesso. I codc a qual s uò ensare sono nfnt. In lnea d massma, requst che un codce deve avere, oltre aunto alla unvoca decodfcabltà, sono seguent: deve revedere l ù basso numero d bt ossble, n modo da rdurre tem d trasmssone; deve noltre consentre d rsarmare n banda. A requst d questo genere rsondono sa codc a lunghezza fssa (ne qual ad ogn smbolo vene assocato semre lo stesso numero d bt 3 ) sa codc a lunghezza varable (ne qual nvece l numero d bt assocat a cascun smbolo è maggore ne smbol meno robabl). Metodo ad albero er la rcerca d codc unvocamente decodfcabl Sorge subto una domanda: come s fa ad ottenere un codce a lunghezza varable che sa unvocamente decodfcable? Un rsultato mortante che s uò dmostrare a questo roosto è l seguente: condzone suffcente affnché un codce a lunghezza varable sa unvocamente decodfcable è che ogn arola del codce NON sa l refsso d alcuna altra arola. A rescndere dalla dmostrazone matematca, è ntutvo comrendere erché sussste questo rsultato. Consderamo, er esemo, una sorgente con 4 sol smbol (A,B,C,D), codfcata con l seguente codce: A B C D In questo codce, un bt uò essere reso come l refsso della arola assocata ad A oure d quella assocata a B, oure la sequenza oteva essere resa come refsso er C o come refsso er D. D conseguenza, l codce non è unvocamente decodfcable. Naturalmente, trattandos d una condzone suffcente, è ossble che sano unvocamente decodfcabl codc che non abbano quel requsto. Vedamo allora come s uò deare un codce bnaro che soddsf a quella condzone. Il metodo mglore consste nell usare la tecnca ad albero. A, B, C, D. Traccamo allora uno Suonamo che l alfabeto della nostra sorgente sa ancora una volta { } schema ad albero del to seguente: 3 Un esemo tco è la codfca ASCII de caratter 8

9 Teora dell nformazone A B C D Leggendo quest albero da snstra verso destra, ottenamo l seguente codce: A B C D Questo codce, che è evdentemente a lunghezza varable, gode della roretà er cu nessuna è arola è refsso d qualche altra, er cu no samo cert che s tratt d un codce unvocamente decodfcable. Vedamo allora come s comorta l decodfcatore: suonamo che l messaggo sa La codfca bnara d questo messaggo è A B D A C Il rmo bt rcevuto dal decodfcatore è lo : lo comare solo nella arola corrsondente ad A ed è anche l unco termne d tale arola, er cu l decodfcatore genera subto l smbolo A. Il bt successvo è : questo uò essere l rmo bt delle arole corrsondent a B,C e D, er cu è necessaro consderare l bt successvo; questo è uguale a : la sequenza comare solo nella arola corrsondente a B, er cu l decodfcatore genera mmedatamente B. Il bt ancora successvo è : anche qu vale lo stesso dscorso d rma, er cu bsogna consderare l bt successvo, che vale ancora ; la sequenza comare come refsso delle arole assocate a C e a D, er cu bsogna consderare l bt successvo, che vale semre : a questo unto, la ossbltà è una sola e coè che tal tre bt corrsondano al smbolo D che qund vene emesso. Contnuando n questo modo, vene rcostruto con esattezza l messaggo emesso dalla sorgente. Numero medo d bt Il metodo ad albero aena esosto è uno de metod con qual s uò realzzare un codce, a lunghezza fssa o varable, che sa certamente unvocamente decodfcable. Vene allora da cheders, dat due codc a lunghezza varable unvocamente decodfcabl, quale convenga sceglere. Scuramente, un arametro fondamentale d gudzo è l numero d bt che l codce assoca a smbol. In artcolare, dato che s tratta d codc a lunghezza varable, l arametro da consderare è l numero medo d bt assocat a smbol del codce, che ossamo defnre come N = N n dove n è l numero d bt che l codce assoca al smbolo -smo, mentre è la robabltà che la sorgente emetta tale smbolo (e rcordamo a questo roosto che samo semre nella otes che tale robabltà sa ndendente da smbol emess n recedenza, ossa nella otes d sorgente senza memora). E evdente, 9

10 Aunt d Comuncazon Elettrche - Catolo 9 dunque, che N concde con la quanttà che abbamo nzalmente defnto come I(x), coè come una quanttà d nformazone meda emessa dalla sorgente. Il crtero d scelta è allora quello d rendere mnmo l valore d N, n modo da rendere anche mnmo l temo rchesto er la trasmssone del messaggo. Per esemo, se suonamo che la nostra sorgente emetta un messaggo comosto da k smbol, l numero medo d bt da trasmettere sarà kn. Faccamo osservare, come sarà charo anche dagl esem, che anche ccole varazon d N sono comunque mortant: ad esemo, suonamo che l messaggo da trasmettere sa comosto da k= smbol; allora l numero medo d smbol da trasmettere è N ; se N =. 5, tale numero medo vale 5, mentre, se N =. 8, esso vale 8. Abbamo ercò una dfferenza d 3 smbol che non è rrlevante, secalmente o se la veloctà del canale bnaro non è elevatssma. LA CODIFICA DI HUFFMAN Il roblema della deazone d un codce a lunghezza varable che abba l mnmo valore ossble d N è stato studato e ottmzzato medante una tecnca d codfca che rende l nome d codfca d Huffman. Questa tecnca usa uno schema ad albero del to vsto rma, ma n modo ù artcolareggato e questo al fne roro d ottenere l mnmo valore ossble er N. Suonamo ancora una volta che l alfabeto della nostra sorgente sa comosto da N=4 smbol e recsamente { A, B, C, D}. Suonamo anche d conoscere le robabltà d trasmssone d tal smbol: ad esemo, rendamo =. A B C D =. 3 =. 4 =. Per costrure l albero, comncamo a dsorre 4 smbol dell alfabeto, con le rsettve robabltà, n ordne d robabltà decrescente, ossa artendo dal ù robable e andando verso l meno robable: nel nostro caso, la scala rsulta essere C (.4) B (.3) D (.) A (.) Adesso, consderamo due smbol con robabltà mnore, che s troveranno evdentemente al fondo della scala, e comncamo a costrure l albero assocando l bt a quello ù robable ed l bt a quello meno robable: abbamo dunque

11 Teora dell nformazone C (.4) B (.3) D (.) A (.).3 A questo unto, consderamo quest due smbol come un unco smbolo avente robabltà d trasmssone ar alla somma delle robabltà, che n questo caso.3. Il asso successvo consste nel retere l ragonamento consderando smbol non ancora esamnat e l smbolo corrsondente agl altr due (con relatva robabltà). Consderando semre due smbol con robabltà mnore e assocando a quello ù robable ed all altro, abbamo che C (.4) B (.3) D (.) A (.).3.6 A questo unto rmangono solo due smbol e qund l albero uò essere comletato: C (.4) B (.3) D (.) A (.).3.6 A artre da quest albero, no samo adesso n grado d ottenere l codce d Huffman della sorgente consderata, leggendo l albero stesso a artre dalla radce (ossa da destra verso snstra). Il codce che s ottene è l seguente: C B D A Una osservazone mortante che ossamo fare è che, data una coa d smbol, non è assolutamente obblgatoro assocare a quello ù robable e all altro. E ossble anche nvertre, a atto erò d farlo semre. Il codce che rsulta alla fne è charamente dverso, ma gode delle stesse caratterstche.

12 Aunt d Comuncazon Elettrche - Catolo 9 Andamo a calcolare l valore d N medante la semlce defnzone: N N = N = 3 3*. + 3 * * *. =. 9 A B C D Confrontamo adesso questo valore con quello che s ottene se, mantenendo le stesse robabltà d emssone, vensse usato l codce rcavato n recedenza: s trattava del codce A B C D (anch esso unvocamente decodfcable) e, facendo calcol, s trova un valore del numero medo d bt ar a.5. Abbamo dunque trovato una conferma (ma non una dmostrazone) del seguente rnco fondamentale: codfcando una sorgente dscreta senza memora con l codce d Huffman, s ottene l mnmo valore ossble del numero medo d bt assocat a cascun smbolo. Questo comorta un altro mortante rsultato: suonamo d avere un certo alfabeto e d deare, con metodo qualsas, un codce er tale alfabeto che rsult unvocamente decodfcable; c andamo o a calcolare l valore d N relatvo a tale codce: se trovamo, secondo crter oortun, che questo valore è quello mnmo ossble, allora otremo star cert che l codce deato corrsonde a quello d Huffman, ossa a quello ottenble con l metodo rma descrtto. NUMERO MEDIO DI BIT ED ENTROPIA DELLA SORGENTE Abbamo detto, senza dmostrarlo, che dato un certo alfabeto, la codfca secondo Huffman è quella che resenta semre l mnmo valore d N. Sorge allora questa domanda: suonamo d avere un certo alfabeto, d dearne un codce e d calcolarne l valore d N ; come faccamo a stablre se questo valore sa o meno l ù ccolo ossble? Ossa, n altre arole, dato un generco codce, come s fa a calcolare l valore mnmo d N? Avendo detto che la codfca d Huffman resenta semre l valore mnmo d N, un modo otrebbe anche quello d trovare n ogn caso tale codfca e d andars a calcolare N. Tuttava, è charo che s tratta d un metodo tutt altro che agevole, secalmente consderando che l numero N d smbol d cu è costtuto l alfabeto d una sorgente è generalmente molto alto. Allora, er rsolvere l roblema, vene n auto l seguente rsultato (che s uò dmostrare faclmente): H( X) N H( X) + Esso dce qund che l numero medo d bt che l codce assoca a cascun smbolo dell alfabeto non uò essere ma nferore all entroa della sorgente. In altre arole, H(x) è l estremo nferore dell nseme de ossbl valor d N. Da sottolneare l concetto d estremo nferore : solo n alcun cas molto artcolar, N uò raggungere l valore d H(x), mentre n generale è semre leggermente maggore. D conseguenza, quando no dobbamo codfcare una certa sorgente, della quale sano note le robabltà d emssone (semre nell otes d ndendenza tra smbol), c ossamo calcolare

13 Teora dell nformazone l entroa della sorgente, n modo da saere l valore mnmo d N al quale no dobbamo tendere nell deare l codce. Quando o defnamo effettvamente l codce, magar usando la codfca d Huffman, gungeremo ad un valore d N molto rossmo, ma quas concdente, con H(x). Esemo: trasmssone medante fax-smle E l tco caso n cu la sorgente emette due sol smbol (banco o nero, B o N), d cu uno (l banco) normalmente molto ù robable del secondo (l nero). Suonamo allora che la robabltà d emettere B (banco) sa =.9, er cu quella d emettere N (nero) sarà -=.. Adottamo la seguente codfca: B= ed N=. L nformazone meda è evdentemente ar ad bt/smbolo: I(x) = N = n L entroa è nvece la seguente: = n + n = + ( ) banco banco nero nero = bt (X) = log = log + ( )log =.47 smbolo H Qund, nel caso del fax, dove non abbamo alcuna lbertà d scelta sulla codfca (a arte quella d sceglere se B= o B=), l nformazone meda è molto maggore dell entroa: srechamo, n ratca, l 53% dell nformazone trasmessa. Rcordamo anche che l andamento d H(x) er una sorgente con sol smbol è l seguente: H(X) L entroa vene bassa, come gà detto n recedenza, erché samo lontan dal vertce, che corrsonde a =.5, ossa a smbol equrobabl. Nel caso del fax, nvece, un smbolo è molto ù robable dell altro, er cu H(x)<. CODIFICA A BLOCCHI Abbamo dunque vsto che, nell deare un codce con cu codfcare l alfabeto d una certa sorgente, l obbettvo rmaro da raggungere, oltre la unvoca decodfcabltà del codce, è quello d ottenere l valore ù ccolo ossble er I(x). Abbamo anche vsto che l valore mnmo cu s uò asrare corrsonde al valore dell entroa H(x) della sorgente, valore cu c s avvcna molto tramte la codfca d Huffman. 3

14 Aunt d Comuncazon Elettrche - Catolo 9 C onamo allora l roblema seguente: voglamo deare un codce, che non sa quello d Huffman, l cu valore d I(x), ur essendo maggore del valore mnmo H(x), sa comunque l ù vcno ossble ad H(x) stessa. Suonamo, er comodtà d ragonamento, che l alfabeto sorgente sa { A, B, C}. D conseguenza, ogn messaggo emesso dalla sorgente sarà una successone d tal smbol. Un esemo otrebbe essere l seguente: B A C C B A A A C B Una sequenza d questo to uò essere ensata n due mod dfferent: l rmo è aunto quello d vederla come una sequenza d smbol sngol emess dalla sorgente X; un altro modo è nvece quello d vederla come una sequenza d COPPIE d smbol emess da una certa sorgente Y. Possamo coè mmagnare quel messaggo come rodotto dalla sorgente Y l cu alfabeto sa l seguente: A, A, A, B, A, C, B, A, B, B, B, C, C, A, C, B, C, C {( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )} S tratta coè d un alfabeto n cu ogn smbolo corrsonde ad una delle ossbl coe d smbol che s ossono formare con l alfabeto della sorgente X. Charamente, dato che X ha 3 smbol, la sorgente Y avrà 3*3=9 smbol. Naturalmente, dato che no conoscamo smbol della sorgente X, conoscamo anche smbol della sorgente Y, er cu ossamo fare su d essa tutt dscors relatv ad una generca sorgente dscreta. In artcolare, ossamo ensare d effettuare una codfca d Huffman d tale sorgente: ndcato con I(y) l numero medo d bt che tale codfca assoca a cascun smbolo d Y e ndcata con H(Y) l entroa della sorgente Y, varrà allora la relazone H (Y) I(y) H(Y) + Vedamo allora quanto vale H(Y): s tratta dell entroa della sorgente Y, er cu è defnta come ( ) 3 3 = H( Y) = P x, x log (, x ) dove P( x, x ) è la robabltà che venga emessa la coa ( x x ) P x,, ossa che la sorgente X emetta rma l smbolo x e o l smbolo x. Poché samo nelle otes d ndendenza de smbol emess dalla sorgente Y, ossamo scrvere che P x, x = P x P x er cu ( ) ( ) ( ) 4

15 Teora dell nformazone H( Y) = P( x ) P( x ) log = P( x ) P( x ) log + log = P( x ) P( x ) P x = = P( x ) P( x ) log + P( x ) P( x ) log = = P x = P x ( ) = ( ) 3 3 ( ) ( ) ( ) ( ) ( ) 3 3 = P( x ) log P x + P x P x log = P x = P x 3 3 = + ( ) P( x ) log P x log P( x ) = + = = = P x ( ) H( X) H( X) H( X) ( ) P( x ) = Abbamo dunque trovato che er cu ossamo scrvere che o anche che H( Y) = H( X) H(X) I(y) H(X) + I(y) H (X) H(X) + Adesso, se I(y) è l numero medo d bt che l codce d Huffman assoca a cascun smbolo d Y, I(y)/ non è altro che I(x), n quanto ogn smbolo d Y corrsonde a smbol d X: abbamo ercò ottenuto che H (X) I(x) H(X) + l che sgnfca che abbamo senz altro ottenuto un avvcnamento d I(x) al suo valore mnmo rsetto a quello che avremmo ottenuto se avessmo codfcato secondo Huffman drettamente la sorgente X. In defntva, qund, abbamo ottenuto che l valore d I(x) mglora (ossa s avvcna a H(X)) se andamo a codfcare secondo Huffman la sorgente Y: questo metodo rende l nome d codfca a blocch e la sorgente Y rende l nome d sorgente a blocch. E ntutvo allora comrendere come ulteror mglorament s otterrebbero consderando sorgent a 3, 4 o ù blocch: s trova nfatt n generale che H (X) I(x) H(X) + Il roblema, erò, vene dal fatto che, con questo metodo, gl aarat d codfca e decodfca dventano semre ù comless e qund semre ù costos: d conseguenza, convene aumentare la dmensone de blocch fno a quando l ncremento d effcenza che s ottene dventa ccolo rsetto all ncremento della comlesstà crcutale. n 5

16 Aunt d Comuncazon Elettrche - Catolo 9 Esemo: trasmssone medante fax-smle La trasmssone medante fax-smle è un tco caso n cu la codfca a blocch rsulta artcolarmente convenente. Abbamo n recedenza trovato che, rendendo banco =. e nero =.9, l entroa della sorgente rsulta essere H(x)=.47. Codfcando B= e N=, come è naturale fare, abbamo vsto che s ottene I(x)=: anche se s tratta del mnmo valore che no ossamo ottenere con normal metod d codfca, è evdente che s tratta d un valore molto dstante dal valore dell entroa.47, er cu questo è un tco caso n è oortuna una codfca a blocch. Vedamo ercò se e come mglorano le cose usando una codfca a blocch: ntanto, la sorgente a blocch sarà evdentemente Y = B,B, B, N, N,B, N, N {( ) ( ) ( ) ( )} Le robabltà d emssone sono noltre le seguent: BB BN NB NN =.9*.9 =.8 =.9*. =.9 =.9 =. Andamo allora a codfcare secondo Huffman questa sorgente Y: l albero rsulta essere BB (.8) BN (.9) NB (.9) NN (.).. er cu l codce è BB BN NB NN Andando allora a calcolare l numero medo d bt che questo codce assoca a cascun smbolo della sorgente Y s trova che I(y)=.9, da cu I(y) I (x) = =.645 Questo è dunque l numero medo d bt necessar er codfcare ogn smbolo (mentre.9 è l numero medo d bt necessaro er codfcare una coa d smbol). Evdentemente, questo valore è gà molto mnore del valore che avevamo all nzo, er cu effettvamente la stuazone è mglorata. 6

17 Teora dell nformazone PROBLEMI DELLE CODIFICHE A LUNGHEZZA VARIABILE Le codfche a lunghezza varable resentano una sere d roblem. Il rmo è stato gà ctato e rguarda la decodfcabltà: mentre, nel caso delle codfche a lunghezza fssa, l rcevtore è semre n grado d dstnguere una arola dall altra, nel caso d codfche a lunghezza varable questo è ossble solo se nessuna arola d codce costtusce refsso d una arola d codce dversa. Un altro roblema è l fatto che un errore su un bt comorta un errore non solo sulla arola d cu esso fa arte, ma anche sulle arole successve. Ancora, nel caso delle codfche a lunghezza varable l tasso d nformazone non è costante nel temo, mentre l mezzo trasmssvo uò accettare nformazone solo a tasso costante. S rende allora necessaro un rocesso d equalzzazone del tasso d generazone de bt: s usa ercò un dsostvo che rceve bt a tasso varable, ma l emette a tasso fsso, n modo che ossano transtare sul mezzo trasmssvo senza roblem. C sono erò una sere d roblematche relatve al funzonamento d questo dsostvo. Infatt, la erfetta equalzzazone s avrebbe solo se tale dsostvo otesse accumulare tutt bt da trasmettere, er o rtrasmetterl alla veloctà desderata. Così facendo, erò, avremmo un aumento ndefnto del rtardo medo con cu l nformazone gunge al destnataro. E necessaro, allora, fssare un rtardo massmo tollerable nella trasmssone e dmensonare d conseguenza la memora del dsostvo. Tale memora sarà una memora a doa orta, dove aunto s ossa scrvere a veloctà varable e leggere a veloctà costante. Il rtardo nevtable è dovuto charamente al fatto che la caactà d questa memora non uò essere nfnta: una volta fssato l rtardo massmo tollerable, vene d conseguenza fssata la caactà d memora. Non è ancora fnta, erché bsogna fare n modo che l dsostvo funzon anche n due stuazon crtche, che sono quelle d memora vuota (non c sono ù bt da trasmettere) e d memora ena (o overflow, er cu ulteror bt vengono ers): quando la memora rsulta vuota, l roblema è quello d tener occuato l canale, nvando nformazon semre con la stessa veloctà; n questo caso, s rcorre al cosddetto bt stuffng: s rocede alla trasmssone d bt a caso, rv d nformazone, facendo ovvamente n modo da avvsare l rcevtore che s tratta d bt fttz; quando, nvece, la memora è ena (overflow), gl ulteror bt ad essa nvat vengono necessaramente ers; allora, er erdere meno bt ossble, s cerca d abbassare, temoraneamente, l tasso d nformazone all ngresso della memora (l che equvale ovvamente a degradare, semre momentaneamente, la qualtà con cu s descrve l nformazone); è evdente che, anche n questo caso, l rcevtore va nformato, altrment non sarebbe ù n grado d rcostrure le nformazon: nfatt, rdurre l tasso d nformazone n ngresso alla memora sgnfca, n ratca, rdurre l numero d bt er ogn camone, ed l rcevtore deve ercò adeguare la rcostruzone del segnale ad questa rduzone (temoranea). SORGENTI DISCRETE CON MEMORIA Fno ad ora, abbamo suosto che la sorgente (dscreta) consderata emetta smbol, aartenent al roro alfabeto, n modo ndendente uno dall altro: n altre arole, l emssone d un smbolo, n un certo stante, ha una robabltà ndendente da qual sano stat smbol emess n recedenza. Questa otes non è molto realstca, n quanto, nella realtà, la maggor arte delle sorgent sono sorgent con memora, ossa sorgent n cu l emssone d cascun smbolo è comunque condzonata da smbol emess n recedenza. Voglamo studare questo to d sorgent: vedremo che valgono grossomodo gl stess concett vst fno ad ora, con la dfferenza 7

18 Aunt d Comuncazon Elettrche - Catolo 9 rncale d una maggore comlcazone matematca, dervante essenzalmente dalla resenza delle robabltà condzonate n luogo d quelle assolute vste fno ad ora. Possamo antcare subto un concetto: nel caso delle sorgent senza memora, abbamo vsto che l entroa H(x) della sorgente raresenta n ratca l contenuto nformatvo della sorgente. Nel caso delle sorgent con memora, questo non è ù vero, fondamentalmente erché la statstca dendenza tra smbol costtusce una nformazone agguntva, d cu non tenamo nvece conto nel caso dell entroa come è stata fno ad ora defnta. Entroa condzonale s, s,..., s M : questa sorgente, usando smbol d questo alfabeto, emette de messagg che vanno codfcat n bnaro. Cascuno d quest messagg, come abbamo gà detto, uò essere scuramente vsto come una ossble realzzazone del rocesso stocastco che raresenta l emssone da arte della sorgente. Suonamo allora d avere seguent messagg generc: Suonamo dunque che l alfabeto della nostra sorgente con memora sa { } messaggo s s s s s s... messaggo s s s s s s M 5 M M- messaggo k s s s s s s... M 4 M- Queste realzzazon sono evdentemente delle funzon dscrete nel temo (n quanto l emssone de smbol avvene non n modo contnuo bensì n stant d temo dscret) a valor dscret (n quanto l alfabeto sorgente ossede un numero fnto d smbol). Samo coè n resenza d un rocesso temo-dscreto a valor dscret. Per le stesse otes fatte n recedenza, l rocesso è ergodco, er cu resta ancora valdo l arocco, che è alla base della teora d Shannon, d consderare una sequenza d bt molto lunga er stablre le restazon lmte d un sstema. Possamo ensare d estrarre dal rocesso una o ù varabl aleatore: la varable aleatora X n estratta al generco stante t=nt ndca ercò l valore assunto dal rocesso all stante nt o, cò che è lo stesso, l valore assunto dal rocesso al asso n, che corrsonde all ntervallo d temo [( n ) T, nt]. Indchamo n artcolare con X la varable aleatora estratta al asso, coè all stante t=, e con X quella estratta al asso, ossa all stante t=t. Mentre, nel caso d smbol ndendent, abbamo consderato le robabltà d emssone de sngol smbol, adesso la cosa è ù comlcata, n quanto dobbamo consderare le robabltà condzonate: n un generco stante d osservazone, dovremo valutare la robabltà d emssone d un determnato smbolo s nell otes che l smbolo recedente sa stato s. Indcheremo questa robabltà con l smbolo P ( s s ). Estendendo l dscorso ad un ntero messaggo x, comosto da un numero M d smbol, avremo allora lo stesso rsultato trovato nel caso d smbol ndendent, con la dfferenza d ntrodurre n questo caso le robabltà condzonate al osto delle robabltà assolute: H(x s ) = M ( s ) log P( s s ) Questa è dunque l entroa del rmo ordne della sorgente con memora n esame. P s 8

19 Teora dell nformazone Se estendamo quella formula a tutte le ossbl stuazon condzonant, ossa a tutt ossbl smbol s, ottenamo H(x s) = M ( ) P( s s ) log P( s s ) P s Possamo ortare l termne P ( s ) all nterno della seconda sommatora: così facendo, ottenamo l rodotto P ( s ) P( s s ), che raresenta notoramente la robabltà d emettere rma s e o s : M M P H(x s) = P( s,s ) log P( s s ) ( s ) P( s s ) P( s, s ) = = Quella ottenuta è la cosddetta entroa condzonata della sorgente con memora. Faccamo osservare l analoga esstente tra questa defnzone e quella d entroa data er le sorgent senza memora, che era H(X) = N P(x )log P(x ) CODIFICA RUN-LENGTH E abbastanza ntutvo comrendere che, tenendo conto della statstca dendenza tra smbol emess dalla sorgente, ossamo ottenere restazon notevolmente mglor d quelle che nvece otterremmo trascurando tale dendenza. Un tco caso è quello della codfca run-length (o codfca a lunghezza d run), che er esemo trova un ottma alcazone nella trasmssone medante fax. Nel caso del fax, nfatt, non è corretto suorre la statstca ndendenza tra smbol, come abbamo nvece fatto n recedenza: una volta che s sa verfcato l evento NERO, è abbastanza robable che se ne verfch un altro, dato che la tracca della scrttura ha un certo sessore. Questo dscorso vale ancora maggormente nel caso del BIANCO: una volta che s sa verfcato l evento BIANCO, è estremamente robable che se ne verfch un altro, dato che un foglo d fax ha generalmente ù sazo lascato n BIANCO rsetto allo sazo rcoerto dal NERO, coè aunto dalla tracca. Il fatto che l BIANCO sa redomnante nduce ad adottare uno schema del to seguente: quando c s trova n una zona banca del fax, anzché trasmettere una lunga sequenza d, s effettua rma un conto d quant andrebbero trasmess, doo d che s nva al rcevtore un messaggo (detto aunto run length) che lo nform d quant sono quest smbol. E evdente che n questo modo s ottene una notevole rduzone del numero medo d bt er smbolo, l quale numero scenderà scuramente al d sotto dell entroa calcolata nell otes d smbol equrobabl ed ndendent: n ratca, coè, s sfrutta la statstca dendenza tra smbol n modo da ortare l numero medo d bt er smbolo al d sotto dell entroa del rmo ordne H (X) = P(x )log P(x ), che nvece sembrava essere l lmte mnmo raggungble. Tale lmte è consstente solo er smbol ndendent. N 9

20 Aunt d Comuncazon Elettrche - Catolo 9 ENTROPIA DI ORDINE SUPERIORE Osservando l emssone della sorgente er un erodo d temo suffcentemente lungo, samo dunque n grado d calcolarne l entroa condzonata, che raresenta n ratca l ulterore contenuto nformatvo trasmesso dalla sorgente. E erò necessaro calcolare anche l entroa vera della sorgente, ossa le entroe d ordne suerore. La dfferenza tra l entroa del rmo ordne e una entroa d ordne suerore sta semlcemente nel fatto che, mentre la rma consdera le robabltà P(x ) d emssone del sngolo smbolo, la seconda consdera le robabltà d una successone d smbol, ossa le robabltà congunte P(x, x+,...). L entroa del secondo ordne consdera ercò le robabltà del to P(x, x + ), quella d terno ordne le robabltà del to P(x, x +, x + ) e così va er entroe d ordne va va crescente. Quello che s osserva è che, all aumentare dell ordne, coè del numero d smbol consderat, l entroa tende ad un valore mnmo. Senza scendere ne dettagl analtc, è facle segars questo fatto: oltre una certa dstanza temorale, non c è ù dendenza statstca tra l rmo e l ultmo smbolo consderato. Questo valore mnmo dell entroa d ordne suerore è assunto essere l entroa della sorgente. Ovvamente, se smbol emess dalla sorgente sono ndendent, allora non ha senso consderare robabltà condzonate, che sarebbero ugual alle robabltà assolute, er cu l entroa d ordne suerore vene comunque a concdere con l entroa del rmo ordne. In questo caso, qund, l entroa della sorgente s rduce a sua volta all entroa del rmo ordne. CANALE BINARIO IDEALE E REALE Lo studo d una sorgente s rduce dunque al calcolo della sua entroa, la quale caratterzza la sorgente dal unto d vsta del contenuto nformatvo emesso. Il asso successvo è quello d utlzzare un canale che ossa trasmettere questo contenuto nformatvo al destnataro. Comncamo nostr dscors da un canale bnaro deale, coè rvo comletamente d rumore e qund della robabltà d sbaglare: bt Canale bnaro deale bt E bene osservare da cosa sa costtuto, n realtà, questo canale bnaro deale: come detto n recedenza, esso raresenta tutto quell nseme d dsostv necessar alla trasmssone de bt dal trasmetttore al rcevtore; d conseguenza, con rfermento a quanto vsto a roosto della trasmssone numerca, esso comrenderà, al mnmo, seguent dsostv: bt Codfcatore d lnea Mezzo trasmssvo (canale analogco) Fltro + camonatore + decsore bt Se l canale analogco c mette a dsoszone una banda B, saamo che ossamo raggungere dverse veloctà d trasmssone a seconda che usamo un sstema a lvell o a ù lvell:

21 Teora dell nformazone er un normale sstema bnaro (a sol lvell), la frequenza d cfra (o veloctà d trasmssone) è semlcemente l doo della banda dsonble (nell otes d un rogetto alla Nyqust): f = B S bt/sec ; se l sstema è a ù lvell, allora dobbamo consderare ù erod d cfra successv, consderare l messaggo comosto e contare quant messagg d questo to s ossono ottenere. In altr termn, s come una osservazone su un ntervallo d temo molto lungo e s conta quant ossbl messagg (confgurazon d smbol) s ossono verfcare n questo ntervallo d temo. Se ndchamo con N(t) l numero d messagg rscontrat, l numero d bt necessaro a descrverl sarà evdentemente log N(t). Per quantfcare l numero medo d bt/sec da trasmettere, non dobbamo far altro che rendere l temo d osservazone t quanto ù grande ossble e medare la quanttà log N(t) : s defnsce ercò caactà del canale (deale) la quanttà log Cdeale = lm t N(t) t bt sec Le cose cambano se l canale è reale, er cu bt n uscta, a causa del rumore, ossono essere n arte sbaglat. Per analzzare questa stuazone, consderamo semlcemente una sorgente, con entroa H(x), che trasmette bt su un sstema d trasmssone (che nclude l codfcatore d lnea, l mezzo trasmssvo ed l decodfcatore d lnea): Sorgente H(x) Sstema d trasmssone H(y) La sorgente emette un certo messaggo x, l quale deve essere recatato all utente tramte l sstema d trasmssone. Quest ultmo, essendo affetto da rumore, fornsce n uscta un messaggo y che, n generale, sarà dverso da quello trasmesso, a causa aunto degl error. A fn ratc, è come se no avessmo una sorgente, costtuta dall nseme sorgente vera+sstema d trasmssone, avente una certa entroa H(y). Se l sstema d trasmssone fosse deale, rsulterebbe H(y)=X(x) e non c sarebbero roblem. Al contraro, data la non dealtà, rsulta H(y) H(x): questa dverstà derva, qund, dal fatto che H(y) contene n arte nformazone corretta e n arte nformazone non corretta. Questo ha una conseguenza fondamentale: l contenuto nformatvo d H(y) che a no nteressa non è tutta H(y), ma solo quella arte d H(y) che contene le nformazon corrette. In altre arole, se voglamo valutare l nformazone vera a dsoszone dell utente, dobbamo consderare H(y) rvata erò della cosddetta equvocazone, ossa d quella arte d nformazone sbaglata che l canale ntroduce, d suo, a causa del rumore. L nformazone vera che emerge dal canale è dunque valutable nel modo seguente: I(x, y) = H(y) H(y x) Come detto, abbamo coè la dfferenza tra tutto cò che vene fuor dal canale, H(y), e tutto cò che c è d sbaglato, ossa l equvocazone H(y x). Questa equvocazone, n base alla smbologa H(y x), sembra dendere sa dal canale sa dall entroa della sorgente. In effett, come verfcheremo o negl esem, è ntutvo asettars che l equvocazone non

22 Aunt d Comuncazon Elettrche - Catolo 9 denda dall entroa della sorgente, coè dalla statstca della sorgente, n quanto saamo che l rumore è un rocesso ndendente da cò che transta sul canale. Esste anche un altro modo d valutare l nformazone vera I(x,y): nfatt, quando no trasmettamo un certo messaggo x sul canale, roro erché saamo che l canale non è deale c asettamo che x non arrv così com è all utente, ma affetto da un certo numero d error; abbamo coè una ncertezza su cò che l utente rceve a fronte d cò che gl abbamo trasmesso. In termn matematc, ossamo allora scrvere che I(x, y) = H(x) H(x y) dove H(x y) H(y x). Questa relazone è del tutto equvalente alla recedente, ma ossamo fare due osservazon: la rma è che essa mette meglo n evdenza l fatto che I(x,y) denda sa dal canale sa dalla sorgente; la seconda è che, nvece, questa esressone non è comoda a fn de cont. Lo caremo meglo con l esemo che segurà. A questo unto, er un canale reale, la caactà s defnsce nel modo seguente: C = max I(x, y) x Questa defnzone dce quanto segue: consderando tutte le ossbl sorgent d nformazone (coè consderando tutte le ossbl statstche d emssone dell nformazone), la caactà del canale consderato è ar alla massma quanttà d nformazone vera che l canale stesso resce a trasmettere. In altre arole, msurando, er tutte le nfnte sorgent, la quanttà d nformazone vera che l canale trasmette, la caactà è ar al massmo valore rscontrato. Questa defnzone, come sarà charo ù avant, mostra n ratca che, dato un canale reale con una data caactà C, l massmo delle restazon del canale s otterrà solo con quella sorgente tale che C=I(x y), ossa solo con quella che sorgente che consente al canale d trasmettere una nformazone vera ar roro alla sua caactà. Esemo: canale d trasmssone bnaro Faccamo subto un esemo ratco d alcazone de concett aena esost. Consderamo un canale d trasmssone bnaro e una sorgente che nva su d esso smbol x e x con robabltà rsettvamente α e -α. A fronte d quest smbol, l canale fornsce n uscta smbol y ed y, secondo uno schema del to seguente: x y x y C mettamo subto sotto due otes semlfcatve: l rumore sovraosto al segnale utle è d to gaussano ed l decsore ha la sogla a metà. Sotto queste otes, la robabltà d errore è la = P ε T = P ε T. Abbamo coè la stessa robabltà stessa quale che sa l smbolo trasmesso: ( ) ( )

23 Teora dell nformazone d confondere x con x oure x con x. Possamo allora ndcare le robabltà d errore sullo stesso schema d rma: x x - - y y La robabltà d non commettere error è ovvamente - n entramb cas. Voglamo dunque calcolare la caactà d un canale con queste caratterstche: alcando la defnzone, abbamo che C = max I(x, y) = max x x ( H(y) H(y x) ) = max( H(x) H(x y) ) Abbamo la ossbltà d sceglere se usare, er calcolare I(x,y), l esressone ( H(x) H(x y) ) oure l esressone ( H(y) H(y x) ). Per motv che saranno char tra oco, sceglamo quest ultma esressone, er cu dobbamo calcolare H(y) e H(y x). Alchamo anche qu le rsettve defnzon: H(y) = H(y x) = P(y )log = P(y, x P(y ) )log x P(y x ) Comncamo da H(y): eslctando due termn della sommatora, abbamo che H(y) = P(y)log P(y) P(y )log P(y ) Il smbolo y s ottene n uscta sa quando è stato trasmesso x e non c è stato errore sa quando è stato trasmesso x ma c è stato un errore; analogo dscorso er la rcezone d y. Possamo ercò scrvere che P(y ) = P(x ) P ε x + P(x )P ε x = α( ) + α = α + α P(y ) = P(x ( ( )) ( ) ( ) )( P( ε x )) + P(x )P( ε x ) = ( α) ( ) + α = α + α Sosttuendo nell esressone d H(y), ottenamo dunque che ( α + α) log ( α + α) ( α + α) log ( α + ) H(y) = α Come otevamo asettarc, questa quanttà dende sa dalla statstca della sorgente, tramte l arametro α, sa dalle caratterstche del canale, tramte l arametro. Passamo adesso al calcolo d H(y x), che s conduce n manera analoga, ma con la dffcoltà d dover consderare robabltà congunte e robabltà condzonate: 3

24 Aunt d Comuncazon Elettrche - Catolo 9 H(y x) = P(y, x )log = P(y, x )log = P(y P(y x ) = x ) P(y, x )log P(y x ) P(y, x )log P(y x ) P(y, x )log Possamo allora servrc d una tabella, nella quale ndchamo le 4 ossbl coe x y, x y, x y, x y e le corrsondent robabltà congunte e condzonate: P(y x ) coe x x x x y y y y P ( x, y ) P( x y ) ( ) α α ( α) ( α)( ) Abbamo dunque a dsoszone gl 8 termn da sostture nell esressone d H(y x): H(y x) = α( )log ( ) αlog = α ( α)log ( α)( )log ( ) = [ ( ) + ( α)( ) ] log ( ) [ α + ( α) ] log = log ( )log ( ) Osservando l rsultato ottenuto, deducamo che, come antcato n recedenza, H(y x) non dende dalla statstca della sorgente ma solo dalle caratterstche del canale. Questa roretà non è generale, ma dende dal fatto che abbamo consderato la sogla a metà, er cu le robabltà condzonate P(y x ) e P(y x ), coè le robabltà d errore, sono le stesse. Possamo dunque scrvere l esressone comleta d I(x,y): I(x, y) = [ ( α + α) log ( α + α) ( α + α) log ( α + α) ] [ log ( )log ( ) ] A questo unto, dato che C = max I(x, y), dobbamo massmzzare la quanttà I(x,y) rsetto alla x statstca della sorgente, ossa dobbamo dervare I(x,y) rsetto ad α: è evdente, allora, che, n questo calcolo, l termne H(y x), essendo ndendente da α, non ntervene: + di(x, y) dα = dh(y) dα = d dα [ ( α + α) log ( α + α) ( α + α) log ( α + ) ] α Questo è l motvo er cu, all nzo, abbamo consderato l esressone I(x, y) = H(y) H(y x) e non l altra esressone. Dovremmo adesso calcolare quella dervata rsetto ad α e uguaglarla a, n modo da rcavare l corrsondente valore d α. Possamo anche rocedere n modo ù semlce: nfatt H(y) è comunque l entroa d una sorgente bnara ed abbamo vsto che la sua esressone analtca, se β è la robabltà d emssone d uno de due smbol, è H(y) = log = βlog + ( β)log β β 4