Comunicazioni Elettriche II

Transcript

1 Comunicazioni Elettriche II Laurea Magistrale in Ingegneria Elettronica Università di Roma La Sapienza A.A

2 Teoria dell informazione Esercitazione 7

3 Teoria dell informazione Sorgente Codificatore di sorgente Codificatore di canale Canale Destinazione La minima velocità di trasmissione ottenibile nella compressione dati: Entropia H [unità informative, es. bits] La massima velocità di trasmissione ottenibile nella trasmissione dati: Capacità di Canale C [unità informative / unità di tempo, es. bits/sec]

4 Capacità di canale L analisi svolta finora ha considerato esclusivamente la sorgente I dati generati e codificati sono però tipicamente trasmessi su un canale che può introdurre errori Quanta informazione riesco a trasferire attraverso il canale volendo garantire una probabilità di errore (differenza tra input e output del canale) piccola a piacere? CAPACITÀ DEL CANALE

5 Canale discreto memoryless W Messaggio Codificatore X n Y n Ŵ Canale p(y/x) Decodificatore Stima del Messaggio Canale discreto: un sistema che consiste in - un alfabeto di ingresso X - un alfabeto di uscita Y - una matrice di probabilità di transizione p(y x): probabilità di osservare un simbolo y in uscita dato un simbolo x in ingresso, p(y/x). Canale senza memoria (memoryless): un uscita dipende solo dall ingresso allo stesso momento ed è indipendente sia da ingressi che da uscite precedenti

6 Capacità del canale discreto memoryless W Messaggio Codificatore X n Y n Ŵ Canale p(y/x) Decodificatore Stima del Messaggio La capacità del canale discreto senza memoria è! C = max I(X;Y ) p(x ) dove il massimo è rispetto a tutte le possibili distribuzioni dell ingresso p(x)

7 Si può scrivere: I ( X,Y ) = p X ( x) p Y /X y / x x Ω x Entropia Condizionata e Informazione mutua y Ω y Espressione di I(X,Y) in funzione di: p ( Y /X y / x )log 2 p Y /X y / x x Ω x ( ) ( ) p X ( x) Probabilità di transizione del canale, dipendenti dal canale Probabilità dei simboli di sorgente, dipendenti dal codificatore di trasmissione Vale: I(X,Y) = H(X) H(X Y) = H(Y) H(Y X) = I(Y,X)

8 Capacità di canale Un canale di comunicazione è quindi caratterizzato da una matrice di probabilità di transizione p(y x) che determina la distribuzione condizionata dell uscita Y dato l ingresso X. C S = max I X,Y ( x) p X ( ) [bits/simbolo] Simbolo è una realizzazione di X Se il canale è utilizzato s volte al secondo C = sc S [bits/sec]

9 Capacità di canali discreti Canale nonrumoroso BSC: Binary Symmetric Channel -p p p C = max I( X;Y ) = bit -p BEC: Binary Erasure Channel -α! C = H(p) bit! C = + plog p+ p 2 ( )log 2 p ( ) bit α α e C = max p( X ) C = max p( x) I(X;Y ) = max p( X ) -α (H(Y ) H(Y / X )) = maxh(y ) H(α ) p( X ) H(Y ) H(α ) = max( α )H(π )+ H(α ) H(α ) = π = max( α )H(π ) = α π

10 Esercizio: Capacità di un canale discreto Calcolare le entropie condizionate e la capacità del canale in figura, supponendo che tutte le probabilità di transizione siano pari a /3. /3 Si può facilmente osservare che ingresso e uscita sono indipendenti (osservando l uno non si hanno informazioni sull altro, e viceversa). Per questo motivo: E quindi H(X Y) = H(X) H(Y X) = H(Y) I(X,Y) = C = 2

11 Esercizio: Capacità di un canale simmetrico Canale simmetrico: le righe e le colonne della matrice di transizione p(y x) del canale sono permutazioni diuno stesso pattern di transizione. p(y x) a b c a b c Calcoliamo la capacità: C = max [I(X,Y)] = max [H(Y) H(Y X)] - H(Y): dipende da p(y) max è rispetto alla p(x) - H(Y X): H Y X = & p X = i H Y X = i = p x = a H Y x = a + p x = b H Y x = b + p x = c H Y x = c. = p x = a H.3,.2,.5 + p x = b H.5, p x = c H(.2,.5,.3) = = p x = a + p x = b + p x = c H.3,.2,.5 = H 789

12 Esercizio: Capacità di un canale simmetrico p(y x) a b c a b c C = max [I(X,Y)] = max[h(y) H row ] = log Y - H row L uguaglianza vale quando Y è uniforme. Y è uniforme quando X è uniforme: p y = & p y x p x = X c è la somma su una colonna della matrice di transizione. =? & p y x = c X = Y C = log(3) H(.5,.3,.2) = =.995 bit

13 Esercizio: Capacità di un canale debolmente simmetrico Canale debolmente (weakly) simmetrico: le righe della matrice di transizione p(y x) del canale sono permutazioni di uno stesso pattern di transizione. Tutte le colonne hanno la stessa somma. p(y x) a b c a /3 /6 /2 b /3 /2 /6 Anche in questo caso, utilizzando i calcoli del caso precedente, si può scrivere: Infatti C = log Y H row H Y X = & p X = i H Y X = i = p x = a H Y x = a + p x = b H Y x = b. = p x = a H /3, /6, /2 + p x = b H /3, ½, /6 = = p x = a + p x = b H /3, /6, /2 = H 789 C = max [I(X,Y)] = max[h(y) H row ] = log Y - H row C = log(3) H(/3, /6, /2) = =.259 bit

14 Esercizio: Capacità di un canale debolmente simmetrico Posso anche calcolare: p(y x) a b c a /3 /6 /2 b /3 /2 /6 C = max [I(X,Y)] = max [H(X) H(X Y)] - H(X): dipende da p(x) - H(X Y): devo calcolare le transizioni p(x y) Per il teorema di Bayes: p(x y) = p(y x)p(x)/p(y) Assumendo p(x) e p(y) uniformi: p(x y) a b c a /2 /4 3/4 b /2 3/4 /4

15 Esercizio: Capacità di un canale debolmente simmetrico p(x y) a b c a /2 /4 3/4 b /2 3/4 /4 H X Y = & p Y = i H X Y = i = p y = a H X y = a + p y = b H X y = b + p y = c H(X y = c). = p y = a H /2, /2 + p y = b H /4, 3/4 + p y = c H 3/4, /4 H X Y = 3 H 2, H 4, H 3 4, 4 = = =.8742 Quindi C = =.258 bit