Appunti di Teoria dell Informazione

Transcript

1 Corso d Telecomuncazon (Classe Qunta della specalzzazone Elettronca e Telecomuncazon) Pagna - -

2 . La teora dell nformazone La teora dell nformazone descrve l funzonamento de sstem d comuncazone sa analogc che dgtal ponendo l attenzone sul contenuto nformatvo del messaggo. Essa tratta aspett baslar qual: a) La msura dell nformazone assocata ad una sorgente. b) La msura della quanttà d nformazone trasferble attraverso un canale d comuncazone. c) L uso d codfche del messaggo per sfruttare al meglo la capactà nformatva del canale. La teora dell nformazone ha un teorema fondamentale: l teorema d Shannon. Sa data una sorgente S che emetta smbol alla veloctà R [bt/sec] ed un canale d capactà C [bt/sec], se R C allora esste un metodo d codfca della sorgente tale che la frequenza degl error al rcevtore sa arbtraramente pccola; se, nvece, R>C non esste alcun codce che consenta una equvocazone mnore d R-C.. Le sorgent Le sorgent sono dspostv che emettono messagg d natura DISCRETA o CONTINUA. In queste pagne saranno consderate solo sorgent dscrete. Qund una sorgente emetterà smbol appartenent ad un nseme numerable, detto alfabeto d sorgente; allora potremo scrvere per l generco smbolo x che x X = { x, x,..., x m } dove X è l alfabeto d sorgente e m la sua dmensone. La codfca d sorgente, ne mod che s vedranno, ha lo scopo d rdurre la RIDONDANZA e qund sfruttare al meglo la capactà del canale. 3. La quanttà d nformazone Per defnre correttamente la quanttà d nformazone è fondamentale comprendere che essa è collegata da una relazone d proporzonaltà nversa con l grado d conoscenza del messaggo. Coè, l nformazone assocata ad un evento noto è nulla; un messaggo relatvo ad un evento raro ha nvece elevato contenuto nformatvo. Pagna - -

3 Qund trattando l problema della quanttà d nformazone dal punto d vsta probablstco possamo procedere nel seguente modo. Sa S una sorgente dscreta che emette smbol x appartenent ad un alfabeto X d dmensone m. Ovvero x X = { x, x,..., x m } e sa P(x ) la probabltà d emssone del smbolo x, ovvamente sarà verfcato che m P ( x ) =. Abbamo gà detto che, detta I(x ) la quanttà d nformazone assocata all emssone del smbolo x, dovrà essere I( x ). Allora s può dare la P( x ) seguente defnzone d quanttà d nformazone assocata al smbolo x : def. I( x ) = log = log ( P( x )) P( x ) [bt]. La quanttà d nformazone vene msurata n bt e log0 ( a) convene anche rcordare la relazone log ( a ) =. 0,30 4. Entropa d una sorgente La quanttà d nformazone complessva emessa da una sorgente è tanto maggore quanto pù elevata è la capactà d scelta della sorgente stessa, ovvero quanto pù le probabltà d emssone sono unformemente dstrbute tra tutt suo smbol. Ora l entropa d sorgente H(x) msura l grado d scelta, ovvero d dspersone e d ncertezza, d una sorgente. Essa è l nformazone meda emessa dalla sorgente ed è defnta come: m m m def. = P( x = ) I( x ) P( x )log = P( x )log ( P( x )) P( x ) msurata n [bt/smbolo]. È evdente che se la sorgente non scegle, ad esempo emette un solo smbolo x j con P(x j )=, allora H(x)=0. Infatt m = P( x ) I( x ) = P( x j )log ( P( x j )) = log () = 0. Se nvece tutt smbol sono equprobabl s ha la massma dspersone, ovvero la massma possbltà d scelta, e qund Pagna - 3 -

4 m = P( x = ) I( x ) m log = log ( m) = H MAX. m m Per meglo charre quest ultmo concetto s consder l caso d una sorgente bnara con x { 0,} e P(0)=p e P()=-p. In tale caso s ha = p log ( p) ( p)log ( p) con valore massmo H MAX =log ()= bt/smbolo quando due smbol sono equprobabl. Facendo varare p nell ntervallo [0,] s ottene l seguente grafco dell entropa d una sorgente bnara. Entropa d sorgente bnara, 0,8 H(p) 0,6 0,4 0, 0 E-04 0, 0, 0,3 0,5 0,6 0,7 0,8 0,9 0,999 p 5. Rdondanza La rdondanza d sorgente è quella caratterstca per cu una sorgente d nformazone emette messagg deducbl da nformazon contenute ne messagg stess. La rduzone della rdondanza, medante opportune codfche, consente d sfruttare al meglo le caratterstche d un canale. Sono codfcator d sorgente quegl element che vengono nsert dopo la sorgente stessa allo scopo d rdurre la rdondanza del codce emesso; l messaggo è così trasformato n una successone d smbol l pù possble ndpendent tra loro ed equprobabl. La defnzone matematca d rdondanza è la seguente Pagna - 4 -

5 Rd =. H MAX S defnsce nvece Effcenza d Codfca Bnara de caratter d sorgente la seguente quanttà log (m) η =. N bt Dove per N bt s ntende l numero d bt mpegat per la codfca d sorgente, n genere superore a quell strettamente necessar. 6. Capactà nformatva d un canale dscreto La capactà nformatva d un canale dscreto è defnta come la massma quanttà d nformazone trasferble nel canale, nell untà d tempo, n modo affdable. S consder l seguente canale dscreto rumoroso x CANALE RUMOROSO y dove x sono smbol entrant e y smbol uscent. Sa H(x) l entropa d sorgente, ovvero l nformazone meda posseduta n orgne; sa H(x/y) l nformazone d dsturbo dovuta al canale. Posso qund defnre I( x; y) = H ( x / y) l nformazone che sarà posseduta alla destnazone. S defnsce Capactà d Informazone del Canale la quanttà: C S = msurata n bt/smbolo. max { I( x; y) } Conoscendo po la massma veloctà d trasmssone de smbol consentta nel canale, s può calcolare la Capactà Informatva del Canale come Massma Veloctà d Trasfermento su un Canale rumoroso. E s ha C = s CS = s max{ I( x; y) } msurata n bt/sec. Valore spesso rcavable dalla nota relazone d Shannon S C = 3,3B log0 +, N Pagna - 5 -

6 essendo B la banda passante del canale e S/N l rapporto segnale-rumore. 7. Veloctà d emssone dell nformazone S consder una sorgente che emetta smbol x X, dove X è un alfabeto d dmensone m. Sano note le probabltà P(x ) d emssone de smbol. Sa H(x) l entropa della sorgente, ovvero l nformazone meda per smbolo. S supponga, ora, che la sorgente emetta n smbol con veloctà v [smbol/sec]. In tale caso s potrà affermare che l nformazone totale trasferta è I( x) = n espressa n bt. Posso, qund, defnre la veloctà meda d emssone dell nformazone come nformazone trasmessa R =. tempo necessaro Allora, nel generco caso n esame, s avrà I( x) n R = = = v t n v msurata n bt/sec. Charamente se l nformazone è emessa n un canale dovrà essere sempre R C. Eserczo Una sorgente emette sequenze d n=4 smbol con veloctà v=000 smbol/sec. I smbol sono tutt equprobabl ed appartengono ad un alfabeto d dmensone m=8. Calcolare la mnma capactà d canale necessara. Calcolo l entropa = log (8) = 3bt/smbolo Calcolo l nformazone emessa nella sequenza I( x) = n = 4 3 = bt Calcolo la capactà mnma C = R = v = bt/sec. mn = Eserczo Una sorgente emette smbol ndpendent, appartenent ad un alfabeto d dmensone 5, con veloctà meda d emssone della nformazone Pagna - 6 -

7 R=7500bt/sec. Noto che: P = P ; P 3 = P ; P 4 = P 3 ; P 4 = P 5 calcolare l entropa d sorgente e la veloctà d emssone de smbol. Qund calcolare R nell potes d smbol equprobabl. 5 Noto che P =, sfruttando le condzon ndcate nella tracca, s calcolano le sngole probabltà che rsultano essere: P =P 3 =0, P =0,4 P 4 =P 5 =0,. Qund s calcola l entropa della sorgente come 5 P log ( ) 5 0 P = P log ( P ) = =, bt/smbolo. 0,30 D conseguenza la veloctà d emssone d sorgente sarà R 7500 v = = = 3538smbol/sec., Nell potes d smbol equprobabl s ha P = = = 0, e, qund, m 5 log0 (5) H MAX = log (5) = =,3 bt/smbolo. 0,30 In questo caso la veloctà d emssone dell nformazone sarà R v H = 3538,3 = 808 bt/sec. = MAX 8. Un esempo d codfca d sorgente: la codfca d Huffman L operazone d codfca d sorgente vene effettuata per rdurre la rdondanza ed alzare l effcenza d codfca. Ovvamente nel momento n cu s procede alla codfca d smbol non equprobabl s genereranno delle sequenze codfcate d lunghezze dverse, questo allo scopo d ottenere un codce ottmale senza equvocazone. Inzamo con l dare le seguent defnzon: N = lunghezza della parola d codce assocata al smbolo x P = probabltà d emssone del smbolo x Pagna - 7 -

8 m = numero de smbol da codfcare N = lunghezza meda della parola d codce, calcolata come m N = P N. S osserv che un codce rsulterà tanto pù effcente quanto pù N rsulterà pccola. Un codce sarà detto OTTIMALE se rspetterà la seguente condzone N +. S defnrà po EFFICIENZA DI CODIFICA la quanttà η =, N e perché s abba l nequvocabltà della codfca dovrà essere soddsfatta la seguente condzone (d Kraft): m = N K. In sntes, un codce potrà drs ottmale se saranno verfcate le seguent quattro condzon: N = H (x) η = K= N = I( x ) = log ( P ) Non rmane che esamnare l caso della codfca d Huffman e convene affrontarlo propro con un esempo. S consder una sorgente che emette smbol appartenent ad un alfabeto d dmensone m=6 con probabltà d emssone ndcate nella seguente tabella smbol probabltà X P(x )=0,3 X P(x )=0,5 X 3 P(x 3 )=0, X 4 P(x 4 )=0, X 5 P(x 5 )=0, X 6 P(x 6 )=0,05 Per operare la codfca d Huffman deve essere costruta una partcolare tabella, llustrata d seguto, seguendo le regole d seguto ndcate. Pagna - 8 -

9 Step Step Step 3 Step 4 Step 5 X =0,3 X =0,3 X =0,3 X 3456 =0,45 X =0,55 X =0,5 X =0,5 X =0,5 X =0,3 X 3456 =0,45 X 3 =0, X 3 =0, X 456 =0,5 X =0,5 X 4 =0, X 56 =0,5 X 3 =0, X 5 =0, X 4 =0, X 6 =0,05 X 56 =X 5 +X 6 =0,5 X 456 =X 4 +X 56 =0,5 X 3456 =X 3 +X 456 =0,45 X =X +X =0,55 ) Costrusc la prma colonna (step ) ordnando smbol per probabltà decrescent. ) Po crea un nuovo smbolo accoppando gl ultm due, tale smbolo avrà una probabltà par allo somma delle due che lo costtuscono. 3) Usando l nuovo smbolo crea una seconda colonna (step ), ordnando smbol sempre per probabltà decrescent. 4) Rpet le operazon de pass ) e 3), creando d volta n volta nuove colonne, fno a quando non rmangono solo due smbol raggruppat e ordnat per probabltà decrescent. Nel nostro caso l tutto termna allo step 5. Adesso la tabella va rletta da destra verso snstra, come una struttura ad albero, e ad ogn bforcazone s assegna uno 0 ed un fno a tornare a smbol orgnar. Smb. Valore Smb. Valore Smb. Valore Smb. Valore X 0 X 0 X X 3456 X 3 0 X 456 X 4 0 X 56 X 5 0 X 6 Adesso, per ogn smbolo orgnaro, non s deve fare altro che leggere l codce leggendo, da snstra a destra, la sequenza d bt che parte dall nzo del raggruppamento fno al smbolo n esame. Nel nostro esempo s verrà a generare l seguente codce: Pagna - 9 -

10 smbolo codce N X 00 X 0 X 3 0 X X X 6 4 S osserv come l codce generato è assolutamente prvo d equvocazone. Inoltra nella tabella sono ndcate anche le lunghezze delle sngole parole d codce. Calcolando l entropa della sorgente n esame s ottene H(x)=,366 bt/smbolo. Ora conoscendo l valore d N = 0,3 + 0,5 + 0, + 3 0, + 4 0, + 4 0,05 =, 4 bt/smbolo s vede che è verfcata la condzone N +. Inoltre rsulta η = 99% ed è soddsfatta la N condzone d Kraft (sull nequvocabltà), ovvero rsulta K = = + + =. Qund l codce è ottmale. Pagna - 0 -