Comunicazioni Elettriche II

Transcript

1 Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A

2 Teoria dell informazione Esercitazione 3

3 Teoria dell informazione Sorgente Codificatore di sorgente Codificatore di canale Canale Destinazione La minima velocità di trasmissione ottenibile nella compressione dati: Entropia H [unità informative, es. bits] La massima velocità di trasmissione ottenibile nella trasmissione dati: Capacità di Canale C [unità informative / unità di tempo, es. bits/sec]

4 Entropia - Definizione Una sorgente dati può essere rappresentata da una variabile aleatoria X, avente dominio di definizione Ω X X:{x Ω X } p X (X) è la Probability Mass Function (PMF) di X.

5 Entropia Significato(i) L entropia ha vari significati: - L informazione media ottenibile osservando le realizzazioni di una v.a. - L incertezza media sulla v.a. prima di osservarne le realizzazioni. - L incertezza media rimossa dalla v.a. dopo l osservazione delle sue realizzazioni - Il numero medio di unità informative (bit) necessario per rappresentare opportunamente la sorgente dati di origine

6 Entropia di un sorgente discreta

7 Entropia di una sorgente binaria X è una sorgente tale che Ω X ={0, 1} e: p X 1 p X 0 H ( X) = qlog 2 ( q) ( 1 q)log 2 ( 1 q) 1 ( ) = q ( ) =1 q 1/2

8 Entropia e codifica di una sorgente binaria equiprobabile Se le realizzazioni di X sono equiprobabili (q = 1/2), H(X) è massima e pari ad 1 bit, ovvero si ha bisogno, in media, di un bit per codificare ogni realizzazione della sorgente. In questo caso, le possibili realizzazioni sono due (la sorgente è binaria), quindi si utilizza esattamente 1 bit per ogni realizzazione.

9 Entropia e codifica di una sorgente binaria non equiprobabile Valutare il numero medio di bit necessario per codificare una sorgente binaria non equiprobabile, caratterizzata da q = 0.1. ü Definizione di entropia: H(X) = 0.1*log *log = 0.47 bit ü Si ha bisogno, in media, di 0.47 bit per codificare ogni realizzazione della sorgente. Implementare un possibile codice binario che rappresenti in maniera efficiente tale sorgente: ü Un codice, in cui le realizzazioni vengono codificate a coppie. Ad esempio: Realizzazioni Codice Associato non ottimizzato n bit = [p(0,0)*1+p(0,1)*2+p(1,0)*3+p(1,1)*3] / 2 = = [0.9* *0.1* *0.9* *0.1*3]/2 = bit > 0.47 bit

10 Entropia e codifica di una sorgente non binaria, non equiprobabile X è una sorgente tale che Ω X ={a 1, a 2, a 3, a 4 } e: Valutare l entropia, e un possibile codice binario di rappresentazione. ü Un possibile codice che rappresenta le realizzazioni di X con un numero medio di bit pari a 1.75: Realizzazioni Codice Associato a 1 0 a 2 10 a a n bit = [p(a 1 )*1+p(a 2 )*2+p(a 3 )*3+p(a 4 )*3] / 1 = 1.75 bits

11 Entropia congiunta e entropia condizionata Legame tra entropia congiunta e entropia condizionata! H(X,Y )= H(X)+ H(Y / X)= H(Y )+ H(X /Y ) Nota:! H(Y / X) H(X /Y )! H(X) H(X /Y )= H(Y ) H(Y / X)

12 Esempio! (X,Y ) p(x, y) Calcola: H(X), H(Y) H(X Y), H(Y X) H(X,Y) H(Y) H(Y X) I(X,Y) Sia X\Y /3 1/ /3 p(x=0) = 1/3 + 1/3 = 2/3 p(x=1) = 0 + 1/3 = 1/3 p(y=0) = 1/3 + 0 = 1/3 p(y=1) = 1/3 + 1/3 = 2/3 H(Y X) H(X Y)

13 Entropia relativa Entropia relativa detta anche distanza di Kullback-Leibler tra due PMF p X (x) e q X (x) è definita come segue D(p q) = x Ω X p(x)log p(x) q(x) 0log 0 0 = 0; 0log 0 q = 0; plog p 0 = Quindi se esiste un simbolo per il quale p(x)>0 e q(x)=0 si ha D(p q) = Si dimostra che l entropia relativa è sempre positiva e pari a 0 se e solo se p=q Tuttavia non è simmetrica

14 Esempio Considera le distribuzioni in tabella per la sorgente ternaria X. Calcola: H(p), H(q) D(p q), D(q p) Symbol p(x) q(x) a 1/2 1/3 b 1/4 1/3 c 1/4 1/3 Mostra un esempio di due distribuzioni p e q per le quali D(p q) = D(q p) Symbol p(x) q(x) a z 1-z b 1-z z

15 Esercizio MATLAB 1: Entropia di una sorgente binaria Scrivere uno script MATLAB che produca un grafico rappresentante l entropia H(X) di una sorgente binaria X, al variare della PMF della sorgente stessa.

16 Esercizio MATLAB 2: Entropia di una sorgente discreta generica Scrivere uno script MATLAB che produca il calcolo dell entropia H(X) di una sorgente discreta X. Lo script deve prevedere la possibilità di scelta, da parte di un generico utente: della cardinalità della sorgente (numero di realizzazioni) della PMF della sorgente Inoltre, lo script deve prevedere il possibile errore dell utente nell immissione dei dati (ad es., sulla somma totale della probabilità), e reagire in modo opportuno. Nota: utilizzare il comando help di MATLAB per ottenere informazioni sulle funzioni input( ) e fprintf( ).

17 Esercizio MATLAB 3: Entropia relativa Produrre uno script che effettui il calcolo dell entropia relativa D(p q) tra due distribuzioni p(x) e q(x) di una sorgente binaria X. Considerando q(x) : Pr(x q =0)=[0:.1:1], graficare, nella stessa figura, l andamento di D(p q) al variare di Pr(x q = 0), nei seguenti casi: 1) p(x) uniforme 2) p(x) non uniforme e tale che Pr(x p =0) = 1/3; 3) p(x) non uniforme e tale che Pr(x p =0) = 2/3; Per i tre casi del punto precedente, mostrare nella stessa figura, ma in un numero di subplot opportuno, le curve ottenute calcolando D(p q) e D(q p), mostrando la proprietà di antisimmetria dell entropia relativa (in generale D(p q) D(q p).