Lezione 4 Ugo Vaccaro

Transcript

1 Teoria dell Informazione II Anno Accademico Lezione 4 Ugo Vaccaro Nella lezione scorsa abbiamo derivato il seguente risultato. Teorema Per ogni codifica UD per una sorgente DSSM con alfabeto sorgente X e distribuzione di probabilità P = { : x X}, vale che la lunghezza media della codifica è limitata inferiormente dall entropia H(P ), ovvero l(x) H(P ). () Quindi, di nuovo incontriamo un limite nella possibilità di rappresentare in maniera compatta le emissioni di una sorgente mediante sequenze binarie, e questo limite è sempre lo stesso, sia che usiamo codifiche a lunghezza fissa che codifiche a lunghezza variabile, ovvero l entropia H(P ) della sorgente. É istruttivo riderivare la limitazione () in un modo alternativo. Stabiliamo innanzitutto un risultato matematico molto utile. Definizione Una funzione f : R R è detta convessa sull intervallo (a, b) R se x, x 2 (a, b) e 0 λ vale che f(λx + ( λ)x 2 ) λf(x ) + ( λ)f(x 2 ). f è detta strettamente convessa su (a, b) se l uguaglianza vale solo per λ = 0 e λ =. Intuitivamente, una funzione è convessa se il grafico della funzione è sempre sotto la corda λf(x ) + ( λ)f(x 2 ) che unisce i punti x e x 2. Equivalentemente, f è convessa se in ogni punto x 0 di (a, b) la funzione f è sopra la tangente passante per x 0, ovverosia se la seguente diseguaglianza vale: x (a, b) f(x) α(x x 0 ) + f(x 0 ). (2) Una funzione f : R R è detta concava sull intervallo (a, b) R se f è convessa. Vale il seguente risultato. Teorema 2 Se la funzione f ha derivata seconda che è 0 (ovvero > 0 sull intervallo (a, b), allora f è convessa (ovvero strettamente convessa). Dall ultimo Teorema discende, ad esempio, che le funzioni x 2, e x, x log x sono strettamente convesse per x 0, mentre log x, x sono strettamente concave per x 0. Ricordiamo ora che se abbiamo una variabile casuale X che assume valori in un insieme X in accordo alla distribuzione di probabilità P = { : x X }, il suo valor medio E[X] è definito come E[X] = x. E se abbiamo una funzione f : R R allora f ed X naturalmente definiscono una nuova variabile casuale f(x) di valor medio E[f(X)] = f(x). Sussiste il seguente importante risultato, noto sotto il nome di Diseguaglianza di Jensen. Teorema 3 Se f è convessa e X è una variabile casuale, allora vale che E[f(X)] f(e[x]). (3) Inoltre, se f è strettamente convessa, allora la diseguaglianza vale con il segno di eguaglianza se e solo se la variabile casuale è concentrata in un punto x 0, ovvero assume sempre lo stesso valore x 0.

2 Dimostrazione. Sia x 0 = E[X] ed applichiamo la formula (2). Otteniamo che f(x) α(x E[X]) + f(e[x]). Ricordando le proprietà della media di una variabile casuale, otteniamo che E[f(X)] α(e[x] E[X]) + f(e[x]) = f(e[x]). É inoltre chiaro che se la f fosse strettamente convessa la diseguaglianza è soddisfatta con uguaglianza solo nel punto di contatto tra la tangente α(x x 0 ) + f(x 0 ) e la funzione, ovvero in x 0 = E[X], da cui segue che se in (3) vale l uguaglianza, allora X = E[X]. Ovviamente, analogo risultato vale per funzioni concave con il verso della diseguaglianza invertito. Giova ricordare che la maggior parte delle diseguaglianze note in Analisi sono corollari della Diseguaglianza di Jensen. Mostriamo ora il seguente risultato, noto sotto il nome di Lemma di Gibbs. Lemma Sia P = (p,..., p n ) una distribuzione di probabilità, ovvero p i 0, i, e n i= p i =. Sia inoltre Q = (q,..., q n ) un vettore di reali tale che q i 0, i, e n i= q i. Vale n p i log p i 0. q i i= Dimostrazione. Si ha n p i log p n i = p i log q i q i i= i= log = log Ritorniamo al nostro problema i= p i (poichè log x = log(/x)) n q i p i (applicando la diseguaglianza di Jensen alla funzione log) p i n q i log = 0 i= min l(x) soggetto a 2 l(x) Applicando note proprietà dei logaritmi, otteniamo: l(x) = log 2 l(x) = = log 2 l(x) log 2 l(x) = log 2 + log l(x) log = H(P ). 2

3 dove l ultima diseguaglianza è conseguenza della Diseguaglianza di Gibbs. Quindi otteniamo che il minimo della funzione l(x), le cui variabili l(x) sono soggette al vincolo 2 l(x), è almeno pari all entropia H(P ). Che tale minimo sia proprio uguale a H(P ) lo si evince una volta che uno osservi che per l(x) = log, x X, si ha proprio l(x) = H(P ). Ci chiediamo ora se esistono codifiche UD la cui lunghezza media è vicina a H(P ). La risposta è si, ed abbiamo bisogno di una nuova definizione e di un risultato intermedio per giustificarla. Definizione 2 Una codifica c : X {0, } è detta prefisso se x, y X con x y, la parola codice c(x) non è inizio (prefisso) della parola codice c(y). Esempio Se X = {a, b, c}, la codifica che assegna c(a) = 0, c(b) = 0, c(c) = non è prefisso in quanto la codifica di c(c) è inizio della codifica di c(a). Invece la codifica che assegna c(a) = 00, c(b) = 0, c(c) = è prefisso. É chiaro che una codifica prefisso è anche UD, in quanto leggendo da sinistra a destra una qualunque sequenza codice, appena individuiamo una parola codice siamo certi che essa è quella corretta, in quanto non essendo inizio di nessun altra parola codice non vi è alcuna ambiguità nella sua individuazione. In più, le codifiche prefisso hanno ulteriori proprietà utili dal punto di vista pratico, ad esempio, impediscono che si creino lunghi ritardi nella decodifica. Per illustrare il concetto, immaginiamo di avere una codifica c : X {0, } di questo tipo: X = {a, b, c}, c(a) =, c(b) = 0, c(c) = 00. Questa codificasi può vedere essere unicamente decifrabile (quindi da ogni sequenza di parole codice è possibile dedurre la sequenza sorgente originaria) ma non è prefisso. Immaginiamo ora ricevere la sequenza binaria Essa si può decomporre nelle parole codice che darebbe origine alla sequenza sorgente che inizia con accccc, oppure si può decomporre nelle parole codice che darebbe origine alla sequenza sorgente che inizia con bccccc. Per sapere se l inzio corretto dell decodifica è con la lettera a o con la lettera b, dovremmo attendere la fine della della sequenza binaria (ovvero, dovremmo prima leggerla tutta). Se il numero di 0 in essa è pari, allora l inizio corretto è con la lettera sorgente a, altrimenti l inizio corretto è con la lettera b. Ovviamente, ciò è inaccettabile dal punto di vista pratico. Il seguente risultato và sotto il nome di Diseguaglianza di Kraft. Teorema 4 Siano l,..., l m interi tali che m i= 2 li, allora esiste una codifica c : X {0, } binaria, prefisso, con parole codice di lunghezza l,..., l m. Dimostrazione.Sia L = max{l,..., l m }. Dall ipotesi sappiamo che ovvero 2 L m 2 L li = 2 L l + 2 L l L lm, i= 2 L 2 L l 2 L l L lm 0. (4) Sia l... l m. Per costruire il codice prefisso promesso dal Teorema, procediamo nel modo seguente. Tra tutte le 2 L sequenze binarie di lunghezza L, scegliamone una in modo arbitrario e prendiamoci i suoi primi l bits per formare la prima parola codice di lunghezza l. Ciò ci impedirà di usare (per future scelte) tutte le sequenze binarie che hanno i primi l uguali alla parola scelta (ciò al fine di garantire la condizione prefisso, ovvero che la parola di lunghezza l non sia inizio di nessun altra parola). Tali sequenze che eliminiamo saranno in numero di 2 L l. Quindi, ne avevamo a disposizione 2 L, dopo aver scelto la prima parola ne rimangono a nostra disposizione solo 2 L 2 L l, che in virtù della (4) è un numero > 0. In altri termini, possiamo scegliere ancora un altra parola lunga L e prenderne i primi primi l 2 bits per formare la seconda parola codice di lunghezza l 2. Di nuovo, ciò ci impedirà di usare (per future scelte) tutte le sequenze 3

4 binarie che hanno i primi l 2 uguali alla parola scelta (ciò sempre al fine di garantire la condizione prefisso, ovvero che la parola di lunghezza l 2 non sia inizio di nessun altra parola). Tali sequenze che eliminiamo saranno in numero di 2 L l2. Quindi, dalle 2 L di partenza, dopo aver scelto la prima e seconda parola ne rimangono a nostra disposizione solo 2 L 2 L l 2 L l2, che in virtù della (4) è ancora un numero > 0. Possiamo quindi iterare sino a quando non avremmo scelto tutte le m parole del codice. Ritorniamo alla nostra sorgente DSSM con distribuzione di probabilità P = { : x X}. Dalla lezione scorsa ricordiamo che la lunghezza media l(x) di una codifica binaria è uguale all entropia H(P ) = log se e solo se le lunghezze l(x) della codifica soddisfano la relazione l(x) = log per ogni x X. Il problema è che la quantità log non è in generale un intero. Quindi, in generale, un codice UD con lunghezze di parole codice l(x) = log non esiste. Vediamo se ne esiste uno con lunghezze vicine al valore log, ovvero se esiste un codice UD con lunghezze di parola codice l(x) = log. Verifichiamo ciò usando la diseguaglianza di Kraft. Si ha 2 l(x) = 2 log 2 log = =. Pertanto, dalla diseguaglianza di Kraft sappiamo che esiste unacodifica prefisso, e quindi a fortiori UD in cui ogni x X ha associato una parola codice lunga l(x) = log. Calcoliamo la sua lunghezza media. Si ha l(x) = log < ( log Possiamo quindi riassumere ciò che abbiamo trovato nel seguente importante ) + = H(P ) +. Teorema 5 Per ogni codifica binaria c : X {0, } UD dei simboli di una sorgente DSSM con distribuzione P = { : x X} vale che la sua lunghezza media soddisfa la diseguaglianza l(x) H(P ). Inoltre, esiste una codifica binaria c : X {0, } prefisso (e quindi UD) dei simboli della sorgente la cui lunghezza media soddisfa la diseguaglianza l(x) < H(P ) +. Cosa succede se invece di assegnare parole codice a singole lettere sorgenti (e poi codificare sequenze di lettere sorgenti attraverso la concatenazione delle codifiche delle singole lettere che appaiono nella sequenza) assegniamo parole codice direttamente a sequenze sorgenti? In tal caso, è come se, invece di avere una sorgente che emette lettere in X emettesse superlettere (ovvero sequenze) in X k. Qual è l entropia di questa nuova sorgente? Denotiamo tale sorgente con X k. Visto che essa emette sequenze x... x k X k, ciascuna con probabilità 4

5 P (x... x k ) = k i= P (x i) (a causa del fatto che la sorgente è DSSM), la sua entropia H(X k ) sarà H(X k ) = = = = x X,...,x k X x X,...,x k X x X,...,x k X x X,...,x k X = x X P (x ) log = kh(p ). P (x... x k ) log P (x... x k ) log ( P (x... x k ) log P (x... x k ) log P (x ) P (x... x k ) k i= P (x i) ) P (x ) log P (x k ) P (x ) x k X P (x k ) log x X,...,x k X P (x k ) P (x... x k ) log P (x k ) Dal Teorema 5 applicato alla sorgente X k sappiamo che per ogni codifica binaria c : X k {0, } UD vale che k l(x) H(X k ) = kh(p ). Inoltre esiste una codifica c : X k {0, } che soddisfa la condizione prefisso la cui lunghezza media soddisfa k l(x) < H(X k ) + = kh(p ) +. La quantità k l(x) rappresenta il numero medio di bits che la codifica con lunghezze l(x) usa per per ogni sequenza sorgente x X k. Se vogliamo il numero medio di bits che la codifica usa per ogni simbolo sorgente x X, occorre dividere il tutto per k. Otteniamo quindi Teorema 6 Data una sorgente DSSM con alfabeto sorgente X e distribuzione di probabilità P = { : x X}, per ogni codifica binaria c : X k {0, } UD vale che il il numero medio di bits che la codifica usa per ogni simbolo sorgente x X soddisfa la diseguaglianza k k l(x) H(P ). Inoltre, esiste una codifica c : X k {0, } che soddisfa la condizione prefisso e che usa un numero di bits per simbolo sorgente per cui l(x) < H(P ) + k k. k Per k ritroviamo più o meno lo stesso risultato della prima lezione, ovvero che per codificare le emissioni della sorgente in modo da poter recuperare dalla codifica ciò che è stato emesso ci occorrono (e bastano) in media H(P ) bits per simbolo sorgente, e ciò anche nel caso in cui non vogliamo errori nella decodifica, e nel caso di codifiche a lunghezza variabile. Potrebbe sembrare che il risultato appena provato sia migliore di quello visto nella prima lezione, in quanto in quel caso avevamo codifiche che ammettevano una probabilità di errore (seppur piccola). Le codifiche studiate in questa lezione hanno invece probabilità di errore esattamente uguale a 0. La differenza è le codifiche qui 5

6 studiate assegnano ad ogni sequenza che la sorgente può emettere una distinta parola codice, mentre nella prima assegnavamo parole codice distinte ad un sottoinsieme di tutte le sequenze sorgenti. Di fatto, però, abbiamo eliminato un problema (cioè la possibilità di avere sequenze sorgenti su cui sbagliavamo la decodifica) ma ne abbiamo creato un altro. Ricordiamo che qui assegniamo a ciascuna sequenza x X k di probabilità una parola codice lunga l(x) = log. Ora, se è molto piccola, la quantità log è molto grande per cui occorrerà, ad esempio, leggere molti bits prima di poter decodificare. Riassumendo, abbiamo scambiato probabilità di errore piccole con una probabilità piccola di incorrere in ritardi molto grandi nella decodifica. Il Teorema 5 è stato dimostrato sotto l ipotesi che la distribuzione di probabilità P = { : x X}, in accordo alla quale la sorgente X emette i simboli, sia nota. Cosa succede se della P ne abbiamo una stima Q? In altri termini, supponiamo di codificare la sorgente X sotto l ipotesi che essa emetta simboli in accordo a Q = { : x X} (che può essere anche diversa da P ) e cerchiamo di capire quanto possiamo peggiorare rispetto al Teorema 5. A tal fine, ricordiamo innanzitutto che la Diseguaglianza di Gibbs vista nella lezione scorsa ci dice che n D(P Q) = log 0. (5) L espressione D(P Q) va sotto il nome di divergenza informazionale tra la distribuzione P e Q. Essa viene generalmente considerata una misura della distanza tra P e Q (pur non essendo D(P Q) una vera e propria distanza tra distribuzioni di probabilità in quanto, ad esempio, non è simmetrica nelle variabili e non soddisfa la diseguaglianza triangolare). Tuttavia, gode di varie proprietà che la rendono adatte a misurare di quanto P e Q differiscono. Infatti, si vede immediatamente che D(P Q) = 0 se e solo se =, x X. Inoltre, D(P Q) log X per ogni coppia di distribuzioni P e Q, e D(P Q) = log X se e solo se P è concentrata in un punto e Q è invece uniforme su X. É intuitivo che P e Q siffatte costituiscono le distribuzioni più diverse che uno possa immaginare. Supponiamo ora che uno codifichi la sorgente X, che emette i simboli in accordo a P = { : x X}, immaginando (erroneamente) che essa emetta invece i somboli in accordo a Q = { : x X}. In altri termini, invece di usare parole codice di lunghezza pari a log, useremmo parole codice di lunghezza l(x) = log. Cosa accadrà al numero medio di simboli codice per simbolo sorgente l(x) = log che useremo? Consideriamo per semplicità solo il caso in cui codifichiamo singoli simboli sorgente alla volta. Avremo che l(x) = log log = log = log + log = H(P ) + D(P Q). 6

7 D altra parte l(x) = < log ( log = log + ) + = log + log + = H(P ) + D(P Q) +. La morale è che migliore sarà la nostra stima Q = { : x X} di P = { : x X} (ovvero, più vicina alla distribuzione P sarà Q, secondo la divergenza D(P Q)) e più vicina all entropia H(P ) sarà la lunghezza media del nostro codice, come era intuitivo aspettarci. 7