..., x M. : codice o sequenza di bit che rappresentano il messaggio x i ; n i : lunghezza in bit del codice C X i

Transcript

1 Definizioni X : sorgente di informazione discreta; X k : messaggi prodotti da X ; ogni messaggio è una v.c.d., k è l'indice temporale; alfabeto di X : insieme {x,..., x } degli messaggi che la sorgente può produrre; C : codice o sequenza di bit che rappresentano il messaggio ; n i : lunghezza in bit del codice C X i ; k : probabilità che la sorgente X produca il simbolo ; i, X j x k, x l : probabilità (congiunta) che la sorgente X produca i simboli x k e x l rispettivamente negli istanti i e j ; sorgente stazionaria: sorgente per cui valga K =cost k ; la probabilità del simbolo si pone per definizione ; sorgente senza memoria: sorgente per cui valga i, X j x l, x m = i x l j x m i, j, k, l I =log : informazione del simbolo di una sorgente stazionaria. Nota che la base del logaritmo è 2 (anche in seguito, se non diversamente specificato); H X =E [ I ]= i= n= n i i= : entropia di una sorgente stazionaria; : costo medio di un codice; 2 n i : disuguaglianza di Kraft; i= univoca decodificabilità di un codice: ogni codice è univocamente associato ad un messaggio; immediata decodificabilità di un codice: nessun codice è l'inizio di un altro (condizione sufficiente all'univoca decodificabilità); codice ottimo: un codice univocamente decodificabile C è ottimo se C ' C univocamente decodificabile n C ' nc ; entropia condizionata: H X Y = y j = i= entropia congiunta: H X,Y = i= Y Y ;, Y, Y ; entropia di una sorgente con memoria: H X = lim H X k X k, X k 2,... X k l ; l sorgente di arkov con memoria m : sorgente per cui vale P x k x k, x k 2,... x k m =P x k x k, x k 2,... x k m ; entropia di una sorgente di arkov con memoria m :

2 H X = H X k X k, X k 2,... X k m ; definizione alternativa dell'entropia: X = lim L L H X, X,..., X ; k k k L distribuzione condizionata delle probabilità dei simboli all'uscita di un canale (caso discreto): X ; densità di probabilità dei simboli all'uscita di un canale (caso continuo) p Y X ; canale binario simmetrico (BSC): canale con alfabeto d'ingresso e di uscita {0,} e probabilità di errore identica per i due simboli. Il canale è completamente definito nota la probabilità 0= p ed il parametro ; canale additivo gaussiano discreto: canale con alfabeto d'ingresso discreto {x,...x }, x,... x R ed uscita continua Y = X N, N ~ N, 2 ; canale binario con cancellazione: canale con alfabeto d'ingresso {0,} e di uscita {0,, E }, X E 0= X E =, X 0= X 0 =0. Dimostrazioni Teorema della massima entropia X sorgente d'informazione discreta, stazionaria, senza memoria; {x,..., x } alfabeto di X con possibili messaggi; H X log H X = i = H X = i = H X = i = H X =log i = H X log= i = i = Per la disuguaglianza del logaritmo, ln x x, si può anche scrivere: H X log i = e

3 H X log i = H X log loge loge H X log 0 H X log, c.v.d. log e i = e La disuguaglianza di Kraft è condizione sufficiente all'esistenza di un codice immediatamente decodificabile Le stesse del teorema precedente, inoltre: C codici che rappresentano ; n i lunghezze dei codici C ; n n 2... n ; vale la disuguaglianza di Kraft. E' sempre possibile costruire un codice immediatamente decodificabile che rispetti la disuguaglianza di Kraft. Si scelgano arbitrariamente gli n bit di C x. Si scelgano arbitrariamente gli n 2 bit di C x 2 in modo che non inizino con la sequenza di C x. Si scelgano arbitrariamente gli n 3 bit di C x 3 in modo che non inizino né con la sequenza di C x né con quella di C x 2. E' possibile scrivere in questo modo tutti i codici fino a C x se: numerocombinazioni totali numerocombinazioni già usate 2 n 2 n 2 n 2n... 2n 2 n 2 2 n... 2 n 2 n 2 2 n 2 n 2 n i i= ossia se la disuguaglianza di Kraft è rispettata.

4 La disuguaglianza di Kraft è condizione necessaria all'univoca decodificabilità di un codice Le stesse del teorema precedente, inoltre: C è univocamente decodificabile. C rispetta la disuguaglianza di Kraft. Se C è univocamente decodificabile si può sempre costruire un altro codice i cui messaggi sono sequenze di N messaggi originali. Si definisce il nuovo alfabeto, i nuovi codice e le loro lunghezze come segue:, 2,..., N C,C 2,...,C N n i,n i 2,...,n in Si definisce inoltre la massima lunghezza n max =max n i,n i2,...,n i N. Per il nuovo codice vale la seguente uguaglianza: i=0 2 n N i = i =0 i2=0.. 2 n i n i2...n in i N =0 L'uguaglianza è una forma della definizione della potenza di polinomio. La stessa scrittura può assumere anche una terza forma: i =0 i2=0.. i N =0 N n 2 n i n i2...n max in = A n 2 n n= dove A n è il numero di messaggi con lunghezza totale n, che varia da bit a N n max bit. Perchè il nuovo codice sia univocamente decodificabile, deve essere A n 2 n, quindi: N n max n= ossia: N n max A n 2 n 2 n 2 n n= N n max A n 2 n N n max n= 2 n N i N nmax i=0 i=0 2 n i N N nmax L'ultima disuguaglianza, in particolare, deve valere per ogni N, quindi: N. In particolare deve valere per

5 2 n i i=0 che è la disuguaglianza di Kraft, il che dimostra che ogni codice univocamente decodificabile la rispetta. Primo Teorema di Shannon Le stesse del teorema precedente. Se un codice è univocamente decodificabile allora n H X. Per definizione, vale: H X n= i= n i i= H X n= [log i= n ] i H X n= i= 2 n i Utilizzando la disuguaglianza del logaritmo posso scrivere: 2 H X n n i e i= H X n i= 2 n i loge i= H X n log e[ 2 n i ] i= log e Per la disuguaglianza di Kraft 2 n i 0, quindi: i = H X n 0 ossia: H X n c.v.d. Ottimalità del codice di Huffmann per sorgenti senza memoria (traccia) X sorgente d'informazione discreta, stazionaria, senza memoria; {x,..., x } alfabeto di X con possibili messaggi;

6 C codici che rappresentano prodotti con l'algoritmo di Huffmann; n i lunghezze dei codici C ; C è ottimo. Traccia della dimostrazione Si dimostra il lemma seguente: Tra i codici ottimi ce n'è almeno uno che se x j allora n i n j ; per i due messaggi meno probabili, ad esempio x e x vale n =n e i rispettivi codici differiscono solo per l'ultimo bit. Se C è ottimo e rispetta il lemma, gli ultimi due codici avranno la stessa lunghezza e differiranno per l'ultimo bit, quindi la lunghezza media sarà calcolabile come: n= i= 2 n i = n i n [ x x ] i= Se fosse possibile codificare i messaggi x,... x 2 in modo ottimo, C sarebbe ottimo. A questo scopo è possibile costruire una nuova fonte X ' che abbia come alfabeto i messaggi {x,... x 2, x x } dove x x è un messaggio di probabilità x x che rappresenta sia x che x. X ' sarà codificata con un nuovo codice C ' identico a C per i primi 2 messaggi e che codifichi x x con gli n bit in comune in C. Per come è costruito, C ' è ottimo se fosse possibile codificare in modo ottimo i primi 3 messaggi; si può quindi continuare in maniera analoga ricorsivamente fino a provare che C è ottimo. Inoltre la lunghezza media di C ' è calcolabile come: n ' =n x x Quindi la differenza tra le lunghezze medie: n n ' = x x non dipende dai particolari simboli scelti. Entropia condizionata media La media dell'entropia condizionata può essere calcolata come: N H X Y = y j= N j= N i= j = i = Y Y Y Y a per la definizione di probabilità condizionata si può scrivere

7 P A B=P A,B P A, B=P B P A B quindi la scrittura precedente diventa: P B N, Y i= j = Y Quest'ultima forma si prende come definizione di entropia condizionata media: N H X Y =,Y i = j = Y. L'entropia condizionata è minore o uguale all'entropia semplice H X Y H X N H X Y H X =,Y i = j= Per il teorema della somma: N H X Y H X =,Y i = j= Y i= Y i= N j = N H X Y H X =,Y [log i = j= Y ] X i N P H X Y H X =,Y [log X i = j= Y ] N H X Y H X =,Y [log P y X i Y j i= j=,y ] Per la disuguaglianza del logaritmo si può anche scrivere: N H X Y H X,Y [ P x P y X i Y j i = j=,y ]log e N H X Y H X i= j= H X Y H X log e log e H X Y H X 0 quindi H X Y H X c.v.d. N log e,y log e i = j = Entropia congiunta di variabili indipendenti Se X Y allora,y = quindi N H X, Y = i= j=, Y

8 N H X, Y = i= j= H X, Y = i= H X, Y =H X H Y j= N j= i= N Formula alternativa dell'entropia congiunta ossia Dal momento che P A B=P A,B P A, B=P B P A B l'espressione dell'entropia P B congiunta si può riscrivere nella forma: N H X, Y = i= j= N H X, Y = i= j= N H X, Y = i= j=,y, Y, Y Y,Y H X, Y = i= H X, Y =H X H Y X i= N j= i= N j=, Y Y,Y Y Definizione alternativa dell'entropia per sorgente con memoria X sorgente d'informazione discreta, stazionaria, di arkov con memoria m ; Le due definizioni di entropia sono equivalenti. La definizione alternativa di entropia è X = L H X, X,..., X k k k L al tendere di L all'infinito. Questa definizione può essere scritta nella forma: X = L H X k X k,..., X k L L H X k,..., X k L X = L H X k X k,..., X k L L H X k X k 2,..., X k L L H X k 2,..., X k L Si può continuare in questo modo per L passi supponendo L L2 : X = L [ H X k X k,..., X k L...H X k L X k L,..., X k L] L H X k L,..., X k L

9 Inoltre, considerando che i termini della prima sommatoria sono tutti uguali per stazionarietà, si può scrivere: X = L m L Quindi, per L : H X k X k,..., X k L L H X k L,..., X k L X = H X k X k,..., X k L che è la prima definizione di entropia. Primo teorema di Shannon per sorgenti con memoria Si suppone di codificare L messaggi consecutivi ( x vettore dei messaggi) da una fonte X con un codice univocamente decodificabile. Siano i gli L messaggi x alfabeto di una nuova sorgente, Y, che può quindi essere a sua volta codificata. Le lunghezze n y i =n x dei messaggi devono soddisfare l'uguaglianza di Kraft: L 2 n x. = D'altra parte, è sempre vero che: X n= L H x n L dove n= P L x n. La scrittura può essere esplicitata come segue: = L X n= P L x = P L x n = L X n= P L x [log = n x ] i L X n= L = X n L = zero, quindi: n X. L L 2 n ed utilizzando la disuguaglianza del logaritmo: 2 n ma per Kraft il secondo membro può al più uguagliare