Entropia. Motivazione. ? Quant è l informazione portata dalla sequenza? Abbiamo una sequenza S di N simboli (campioni audio, pixel, caratteri,...

Transcript

1 Entropia Motivazione Abbiamo una sequenza S di N simboli (campioni audio, pixel, caratteri,... ) s,s 2,s 3,... ognuno dei quali appartiene ad un alfabeto A di M elementi.? Quant è l informazione portata dalla sequenza? La lunghezza della più corta stringa binaria che descrive S. Entropia

2 Formulazione del problema Problem. Supponiamo () A = {,...,M}, (2) i simboli sono indipendenti ed identicamente distribuiti (iid) con probabilità P[s = n] = p n. Cerchiamo un algoritmo che associ ad ogni sequenza di N simboli una stringa binaria e tale che la lunghezza media delle stringhe sia minima. Detta L la minima lunghezza media per una sequenza di N simboli diremo che l informazione è L/N bit per simbolo. Entropia 2 Primo tentativo (molto scarso) Supponiamo A = {,2,...,6} Associamo ad ogni simbolo in A una stringa di 3 = log 2 A bit :-( Dato che log sprechiamo 0.4 bit per campione... Entropia 3

3 Secondo tentativo (un pelo meglio) Numeriamo tutte le possibili sequenze di N simboli (Es. associamo alla sequenza s n il numero n (s n )6 n ) Trasmettiamo la descrizione binaria dell indice associato alla sequenza? Quanti bit per simbolo usiamo? Ci sono M N possibili sequenze Servono N log 2 MN log 2 M + N bit per campione Per N grande lo spreco va a zero Entropia 4 Terzo tentativo Motivazione Si consideri il caso p = 0.999, p 2 = = p 6 = ed il seguente algoritmo Associa ad ogni sequenza di K seguita da un simbolo s la seguente stringa di bit K div4096 bit 0 bit K mod 4096 espresso come numero a 2 bit s espresso con un numero a 3 bit Quanti bit servono? Entropia 5

4 Dato che P[s ] = /000, Terzo tentativo (2) Prestazioni ci aspettiamo circa N/000 simboli diversi da l evento di trovare più di 4096 simboli uguali a sarà molto raro ogni simbolo diverso da costa 6 bit Il numero di bit per simbolo è ( ) N N = = log Entropia 6 Riflessione...? Cosa abbiamo imparato? È possibile usare meno di log 2 M bit per campione Il trucco è di sfruttare le caratteristiche statistiche dei simboli :-( Purtroppo la tecnica vista prima è molto ad hoc...? Riusciamo a trovare un algoritmo più generale? Entropia 7

5 L insieme tipico Introduzione L applicazione intuitiva della legge dei grandi numeri ci dice che il valore n si presenterà circa N p n in una sequenza lunga N Possiamo scommettere sul fatto che la sequenza S sia tipica Entropia 8 L insieme tipico (2) Definizione Sia f n (S) la frequenza con cui compare il simbolo s n nella sequenza S Diciamo che S è ε-tipica se f n (S) p n ε. Sia T ε,n l insieme delle sequenze ε-tipiche di lunghezza N La legge dei grandi numeri ci dice che fissati ε e δ esiste un N tale che P[S T ε,n ] δ Entropia 9

6 Nuovo algoritmo. Enumeriamo tutte le sequenze tipiche. 2. Se S è tipica, trasmettiamo il bit e l indice di S nella lista delle sequenze tipiche 3. Se S non è tipica, trasmettiamo il bit 0 e ogni simbolo di S codificato con log 2 M bit.? Quanti bit servono? Entropia 0 Nuovo algoritmo (2) Prestazioni Se N è molto grande possiamo trascurare il caso in cui S non è tipico Servono N log 2 T ε,n log 2 T ε,n N bit per simbolo. Dobbiamo calcolare T ε,n + N log 2 T ε,n N Entropia

7 Nuovo algoritmo (3) Prestazioni Supponiamo che S abbia esattamente N p n simboli uguali a n Il numero di sequenze tipiche è circa N! (N p )!(N p )! (N p M )! Entropia 2 Nuovo algoritmo (4) Prestazioni Il numero di bit per campione è circa N log N! 2 (N p )!(N p )! (N p M )! N (N log 2 N N p n log 2 N p n ) n N (N log 2 N n N p n log 2 p n n N p n log 2 N) = p n log 2 p n Entropia 3

8 Entropia Il valore H(X) = n p n log 2 p n si chiama entropia della v.a. X e misura la minima quantità di bit da spendere per codificare X. Entropia 4 Notazione Chiameremo P = [p,..., p M ] t vettore di probabilità Useremo talvolta la notazione H(P) Il dominio della funzione entropia è l insieme convesso D M = {P : p n 0, n p n = } P 2 P 2 P P 3 M = 2 M = 3 P Entropia 5

9 Proprietà base dell entropia Concavità L entropia è strettamente concava: siano P n, n =,...,K vettori di probabilità e sia K n= α n =, α n 0. H( n α n p n ) n α n H(p n ) L entropia è una funzione a panettone Dimostrazione Sia f (x) = xlog 2 x e si osservi che f (x) < 0 Da H(X) = n f (p n ) segue la tesi Entropia 6 Proprietà base dell entropia (2) Simmetria Si ha H(PP) = H(P) per qualsiasi matrice di permutazione P Invariante per permutazione degli assi Prova: ovvia Entropia 7

10 Proprietà base dell entropia (3) Non negatività Si ha H(X) 0 e H(X) = 0 se e solo se p n = per qualche n (X deterministica). Prova: ovvia Se sappiamo a priori che tutti gli elementi della sequenza sono uguali ad un certo simbolo, non serve trasmettere nulla. Entropia 8 Proprietà base dell entropia (4) Massimo H(X) log 2 M Il massimo viene raggiunto per la distribuzione uniforme P = [/M,...,/M] Interpretazioni L incertezza sul valore assunto da X è massima quando tutti i risultati sono equiprobabili Mal che vada possiamo sempre codificare usando log 2 M bit per campione Entropia 9

11 Proprietà base dell entropia (5) Massimo (prova) H è una funzione strettamente concava definita su un convesso ha un solo massimo Se P 0 è il punto in cui H assume il valore massimo, deve essere PP 0 = P 0 per qualsiasi permutazione P, altrimenti H avrebbe più di un punto di massimo L unica scelta possibile è P 0 = [/M,...,/M] Entropia 20 Entropia congiunta Siano X e Y due variabili aleatorie con alfabeti A X e A Y L entropia congiunta si definisce H(XY ) = p XY (x,y)log 2 p XY (x,y) x A X,y A Y Entropia 2

12 Entropia condizionata da un evento L entropia di X condizionata dall evento Y = α è definita da H(X Y = α) = x A X p X Y (x α)log 2 p X Y (x α) H(X Y = α) rappresenta l incertezza che abbiamo su X (o i bit necessari a descrivere X) una volta che sappiamo che Y ha assunto il valore Y Entropia 22 Codifica congiunta Si supponga di avere due sequenze di valori iid x x 2 x n y y 2 y n dove ogni coppia (x n,y n ) è distribuita secondo P XY. Algoritmo di codifica Codifica la sequenza y n usando H(Y ) bit per simbolo Dividi la sequenza x n in A Y sottosequenze S, S 2,... con S k = {x m : y m = k} Codifica ogni S k usando H(X Y = k) bit per campione? Che prestazioni otteniamo? Entropia 23

13 Codifica congiunta (2) Prestazioni La sequenza S k ha in media NP Y (k) elementi S k richiede NP Y (k)h(x Y = k) bit Il numero di bit/campione per codificare X è N k NP Y (k)h(x Y = k) = P Y (k)h(x Y = k) k Entropia 24 Entropia condizionata Definizione L entropia condizionata di X dato Y è definita come H(X Y ) = P Y (k)h(x Y = k) k H(X Y ) rappresenta il numero di bit per campione necessari per descrivere X quando si conosca Y Entropia 25

14 Entropia condizionata (2) Proprietà Un modo alternativo di scrivere l entropia condizionata è H(X Y ) = x A X,y A Y P XY (x,y)log 2 P X Y (x y) Nota: si usa la probabilità condizionata dentro il logaritmo, ma quella congiunta fuori. Entropia 26 Entropia condizionata (3) Proprietà Sfruttando la legge marginale P Y (k) = x AX P XY (x,k) si dimostra facilmente H(XY ) = H(Y ) + H(X Y ) Interpretazioni: L incertezza sulla coppia (X,Y ) è pari all incertezza su Y più l incertezza residua su X una volta che sia noto Y Codifica: l algoritmo visto prima Entropia 27

15 Entropia condizionata (4) Proprietà Sfruttando la concavità dell entropia ed il fatto che P X = k AY P Y (k)p X Y=k si ottiene H(X) = H(P X ) = H( k A Y P Y (k)p X Y=k ) k A Y P Y (k)h(p X Y=k ) = H(X Y ) Uguaglianza se P X Y =k non dipende da k X e Y indipendenti Interpretazione: se sappiamo qualcosa su Y l incertezza su X non può aumentare se X e Y sono indipendenti l incertezza non cambia (Y non ci dice nulla su X) Entropia 28 Entropia condizionata (5) Ovviamente H(X Y ) 0 dove l uguaglianza si raggiunge se e solo se H(X Y = α) = 0 per ogni α P X Y (x α) = per qualche x X è funzione di Y Interpretazione: se X è funzione di Y l incertezza residua risulta nulla una volta che sia nota Y Entropia 29

16 Altre proprietà Sfruttando il fatto che 0 H(X Y ) H(X) si ottiene che max(h(x),h(y )) H(XY ) H(X) + H(Y ) Si ha uguaglianza a sinistra se una variabile è funzione dell altra; uguaglianza a destra se le due variabili sono indipendenti Interpretazione L incertezza di (X,Y ) non può essere inferiore all incertezza delle singole componenti Per codificare la coppia (X,Y ) spendo al massimo H(X) + H(Y) bit Se una variabile è funzione dell altra è sufficiente trasmettere la variabile indipendente Entropia 30 Entropia di sorgente Motivazione Sia X k una successione stazionaria di v.a. (non necessariamente iid) Se codifico ogni valore separatamente, uso H(X) bit per simbolo, ma quando codifico X n conosco già X n H(X n X n ), a questo punto... posso codificare usando... perché non sfruttare tutto il passato? Entropia 3

17 Entropia di sorgente (2) Definizione Il condizionamento riduce l entropia la sequenza n H(X n X n,x n 2,...,X ) è monotona decrescente e non negativa esiste il limite H (X) = lim n H(X n X n,x n 2,...,X ) H (X) è detta entropia di sorgente e rappresenta l informazione portata da ogni nuovo simbolo quando si conosce l intera storia passata. Entropia 32 Informazione mutua Definizione L informazione mutua tra X e Y è I(X;Y ) = H(X) H(X Y ) Interpretazione: I(X;Y ) è la differenza tra l incertezza su X e l incertezza residua su X una volta che sia noto Y Quanta informazione su X è portata da Y Entropia 33

18 Informazione mutua (2) Proprietà Scritture alternative I(X;Y ) = H(X) + H(Y ) H(XY ) = H(Y ) H(Y X) L informazione mutua è simmetrica (dalla prima scrittura alternativa) I(X;Y ) = I(Y ;X) Entropia 34 Informazione mutua (3) Proprietà Dalle proprietà dell entropia condizionata 0 I(X;Y ) min(h(x),h(y )) I(X;Y ) = 0 quando X e Y sono indipendenti; I(X;Y ) raggiunge il valore massimo quando una variabile è funzione dell altra Entropia 35

19 Canali Un canale è modellato come una funzione (aleatoria) da A X a A Y Il legame tra ingresso ed uscita è dato specificato dalle probabilità condizionate P X Y 0 ε ε ε ε 0 Canale binario simmetrico (BSC) 0 ε ε ε ε Canale con cancellazione 0 perso Entropia 36 Capacità Sia C Y X la probabilità condizionata associata ad un canale e sia S l insieme delle probabilità congiunte compatibili con C Y X { S = P XY : C Y X (y,x) = P XY (x,y) } a P XY (x,a) La capacità del canale è definita come il massimo dell informazione mutua C = max I(X;Y ) P XY S Entropia 37

20 Teorema di capacità Su un canale con capacità C si possono trasmettere R < C bit per utilizzo con probabilità di errore arbitrariamente bassa Per qualsiasi R > C non è possibile trasmettere in maniera affidabile. Entropia 38 Capacità del canale binario simmetrico Consideriamo un canale binario simmetrico, ossia P(0 ) = P( 0) = ε P(0 0) = P( ) = ε e P X (0) = p. Probabilità congiunta P(0,0) = pε P(,0) = qε P(0,) = pε P(,) = qε Entropia 39

21 Capacità del canale binario simmetrico (2) Dato che abbiamo H(Y X) = H(ε) H(Y X = 0) = H(Y X = ) = H(ε) Inoltre, se p = /2 si vede che H(Y ) =, otteniamo C = H(Y ) H(Y X) = H(ε) Entropia 40 Grezzo... Dato che P Y = P Y X P X, si ha H(Y ) = H(P Y X P X ) = f (P X ) f è una funzione concava definita su un insieme convesso ed è invariante alle rotazioni degli assi Ne segue che il massimo è per P X uniforme Entropia 4

22 Algoritmi di compressione Primo tentativo (scarso assai) Vogliamo trovare un algoritmo di compressione pratico Associamo ad ogni simbolo una stringa binaria, dando stringhe corte ai simboli più probabili. Esempio: Sia P = [/4,/4,/4,/8,/6,/6] t (H(X) = 9/8 = bit) Usiamo le seguenti associazioni simboli stringe simbolo stringa simbolo stringa simbolo stringa

23 Primo tentativo (scarso assai) (2) Perché non funziona La sequenza viene codificata nella stringa per un totale di 26/6.6 bit/campione (< H(X)???), ma... :-(... la stessa stringa può essere ottenuta con le sequenze Il codice è ambiguo! Codici a prefisso Il codice visto prima non è univocamente decodificabile Una classe di codici sicuramente decodificabili è quella dei codici a prefisso Definition. Un codice è a prefisso se nessuna parola di codice è prefisso di un altra parola di codice. 44

24 Definizione del problema Cerchiamo un algoritmo che mappi ogni simbolo x A in una stringa di bit C (x) in modo tale che. L insieme delle parole di codice {C (x),x A } sia un codice a prefisso 2. La lunghezza media x A C (x) p x sia minima L euristica è sempre quella: probabilità grande, parole corte. 45 Codici a prefisso ed alberi? Come genero un codice a prefisso?! Sfrutto la corrispondenza biunivoca tra alberi binari e codici a prefisso Creo un albero binario avente gli elementi di A come foglie Etichetto i rami uscenti da ogni nodo con 0 e La parola di codice associata ad x la si legge sul percorso dalla radice verso x Il codice risultante è certamente a prefisso 46

25 Codici a prefisso ed alberi (2) Esempio c 0 f a b d e Al simbolo "b" associamo la stringa "00" simbolo stringa simbolo stringa simbolo stringa a 000 c 0 e 0 b 00 d 00 f 47 Riformulazione del problema Lunghezza della parola di codice C (x)=profondità della foglia x nell albero Costruisco l albero in modo tale che i simboli meno probabili corrispondano alle foglie più profonde 48