Codifica sorgente e canale

Transcript

1 Codifica sorgente e canale Codifica sorgente Codifica canale in Canale Compressione Codifica Decodifica Decompress. Rumoroso out Codifica sorgente: comprimere i dati per rimuovere ridondanza Codifica canale: aggiungere ridondanza per proteggere da errori di trasmissione sul canale Comunicazione con successo: out=in p. 1/42

2 Codifica canale Codifica sorgente Codifica canale in Canale Compressione Codifica Decodifica Decompress. Rumoroso out Es. effetto rumore. Input possibili al canale: sequenze 101 e 111, input 101, rumore: secondo bit modificato, output: 111; input: 111, rumore: nessuno, output: 111; diverse sequenze in input producono lo stesso output (input confondibili). Obiettivo: proteggere l informazione da eventuali errori di trasmissione legati al rumore p. 2/42

3 Codifica canale Obiettivo: Input NON Confondibili correzione errori trasmissione p. 3/42

4 Codifica canale Obiettivo: Input NON Confondibili correzione errori trasmissione Metodo: Aggiungere ridondanza p. 3/42

5 Codifica canale Obiettivo: Input NON Confondibili correzione errori trasmissione Metodo: Aggiungere ridondanza Nota: impossibile eliminare effetto rumore vogliamo input non confondibili con alta probabilità p. 3/42

6 Canali discreti senza memoria Canale discreto (alfabeti I/O discreti): (X, Π, Y) x X Π y Y X = alfabeto input al canale Y= alfabeto output al canale Π = [p(y/x)]= matrice delle probabilità di transizione p. 4/42

7 Canali discreti senza memoria Canale discreto (alfabeti I/O discreti): (X, Π, Y) x X Π y Y X = alfabeto input al canale Y= alfabeto output al canale Π = [p(y/x)]= matrice delle probabilità di transizione Canale discreto senza memoria (DMC) (X, Π, Y): probabilità output dipende solo da input corrispondente NON da precedenti input o output. p. 4/42

8 Capacità per n usi del canale C (n) = 1 n max p(x 1...x n ) I(X 1...X n ;Y 1...Y n ) p. 5/42

9 Capacità per n usi del canale C (n) = 1 n max p(x 1...x n ) I(X 1...X n ;Y 1...Y n ) Per canale discreto senza memoria (DMC) I(X 1... X n ; Y 1... Y n ) = H(Y 1... Y n ) H(Y 1... Y n /X 1... X n ) = nx nx H(Y i /Y 1... Y i 1 ) H(Y i /X 1... X n, Y 1... Y i 1 ) i=1 nx H(Y i ) i=1 nx I(X i ; Y i ) i=1 i=1 nx H(Y i /X i ) i=1 regola catena+dmc p. 5/42

10 Capacità per n usi del canale C (n) = 1 n max p(x 1...x n ) I(X 1...X n ;Y 1...Y n ) Per canale discreto senza memoria (DMC) I(X 1... X n ; Y 1... Y n ) = H(Y 1... Y n ) H(Y 1... Y n /X 1... X n ) = nx nx H(Y i /Y 1... Y i 1 ) H(Y i /X 1... X n, Y 1... Y i 1 ) i=1 nx H(Y i ) i=1 nx I(X i ; Y i ) i=1 i=1 nx H(Y i /X i ) i=1 regola catena+dmc Max I(X 1...X n ;Y 1...Y n ) massimizzando ogni I(X i ;Y i ) Ci concentreremo su maxi(x,y ) singolo uso canale p. 5/42

11 Capacità Canale Capacità del canale senza memoria: C = max p(x) I(X;Y ) Dimostreremo: capacità = massimo numero di bit (di informazione) che possono essere trasmessi per ogni uso del canale. p. 6/42

12 Canale senza rumore Trasmette un bit per uso senza errore C = 1 p. 7/42

13 Canale senza rumore Trasmette un bit per uso senza errore C = 1 Infatti C = max p(x) I(X;Y ) = max p(x) H(X) H(X/Y ) = max p(x) H(X) = 1 per p(x) = (1/2, 1/2) p. 7/42

14 Canale binario simmetrico p p p 1 p 0 1 Π = p 1 p 1 p p I(X; Y ) = H(Y ) H(Y/X) = H(Y ) x p(x)h(y/x = x) = H(Y ) x p(x)h(p) = H(Y ) h(p) C = max p(x) I(X; Y ) = max p(x) H(Y ) h(p) 1 h(p) p(x) = (1/2, 1/2) p(y = 1) = 1 2 (1 p) p = 1 2 H(Y ) = 1 Quindi C = 1 h(p)bits 1 h(p) p p. 8/42

15 Canali Simmetrici Canale simmetrico: Ogni riga (risp. colonna) é permutazione di ogni altra riga (risp. colonna) Es. Π = p. 9/42

16 Canali Simmetrici Canale simmetrico: Ogni riga (risp. colonna) é permutazione di ogni altra riga (risp. colonna) Es. Π = Canale debolmente simmetrico: Ogni riga é permutazione di ogni altra riga; la somma su ogni colonna é costante Es. Π = [ 1/3 1/6 1/2 1/3 1/2 1/6 ] p. 9/42

17 Canali Simmetrici Canale simmetrico: Ogni riga (risp. colonna) é permutazione di ogni altra riga (risp. colonna) Es. Π = Canale debolmente simmetrico: Ogni riga é permutazione di ogni altra riga; la somma su ogni colonna é costante Es. Π = [ 1/3 1/6 1/2 1/3 1/2 1/6 ] Canale simmetrico Canale debolmente simmetrico p. 9/42

18 r=riga di Π Canali (Debolmente) Simmetrici I(X;Y ) = H(Y ) H(Y/X) = H(Y ) H(r) log Y H(r) p. 10/42

19 Canali (Debolmente) Simmetrici r=riga di Π I(X;Y ) = H(Y ) H(Y/X) = H(Y ) H(r) log Y H(r) Ponendo p(x) = 1/ X per ogni x X risulta p(y) = x p(x)p(y/x) = x p(y/x) X = somma colonna X = 1 Y p. 10/42

20 Canali (Debolmente) Simmetrici r=riga di Π I(X;Y ) = H(Y ) H(Y/X) = H(Y ) H(r) log Y H(r) Ponendo p(x) = 1/ X per ogni x X risulta p(y) = x p(x)p(y/x) = x p(y/x) X = somma colonna X = 1 Y Quindi C = log Y H(r) p. 10/42

21 Canali (Debolmente) Simmetrici r=riga di Π I(X;Y ) = H(Y ) H(Y/X) = H(Y ) H(r) log Y H(r) Ponendo p(x) = 1/ X per ogni x X risulta p(y) = x p(x)p(y/x) = x p(y/x) X = somma colonna X = 1 Y Quindi C = log Y H(r) Es. Π = [ ] 1/3 1/6 1/2 1/3 1/2 1/6 C = log 3 H( 1 3, 1 6, 1 2 ) = 1 2 log p. 10/42

22 Canale binario con cancellazioni 0 0 e Π = 1 α α 0 0 α 1 α 1 1 p. 11/42

23 Canale binario con cancellazioni 0 0 e Π = 1 α α 0 0 α 1 α 1 1 Sia p(x = 0) = p I(X;Y ) = H(Y ) H(Y/X) = H(Y ) ph(y/x = 0) (1 p)h(y/x = 1) = H(Y ) h(α) p. 11/42

24 Canale binario con cancellazioni 0 0 e Π = 1 α α 0 0 α 1 α 1 1 Sia p(x = 0) = p I(X;Y ) = H(Y ) H(Y/X) = H(Y ) ph(y/x = 0) (1 p)h(y/x = 1) = H(Y ) h(α) p(y = 0) = p(1 α), P(Y = e) = α H(Y ) h(α) = H(p(1 α),(1 p)(1 α), α) h(α) = (1 α)h(p) p. 11/42

25 Canale binario con cancellazioni 0 0 e Π = 1 α α 0 0 α 1 α 1 Sia p(x = 0) = p 1 I(X;Y ) = H(Y ) H(Y/X) = H(Y ) ph(y/x = 0) (1 p)h(y/x = 1) = H(Y ) h(α) p(y = 0) = p(1 α), P(Y = e) = α H(Y ) h(α) = H(p(1 α),(1 p)(1 α), α) h(α) = (1 α)h(p) C = max p (1 α)h(p) = 1 α, per p = 1/2 Frazione α bit cancellati mumero medio bit di info trasmessi é 1 α. p. 11/42

26 Canale asimmetrico α 1 α 1 α Π = α α α 1 α p. 12/42

27 Canale asimmetrico α 1 α 1 α Π = α α α 1 α Sia p(x) = (p, p, 1 2p) P(Y ) = (p, p, 1 2p) H(Y/X) = 2ph(α) + (1 2p)h(1) = 2ph(α) H(Y ) = H(p, p, 1 2p) = 2p log p (1 2p) log(1 2p) p. 12/42

28 Canale asimmetrico α 1 α 1 α Π = α α α 1 α Sia p(x) = (p, p, 1 2p) P(Y ) = (p, p, 1 2p) H(Y/X) = 2ph(α) + (1 2p)h(1) = 2ph(α) H(Y ) = H(p, p, 1 2p) = 2p log p (1 2p) log(1 2p) Per trovare C massimizziamo f(p) = H(Y ) H(Y/X) = 2p log p (1 2p) log(1 2p) 2ph(α) f (p) = 2 log e 2 log p + 2 log e + 2 log(1 2p) 2h(α) = 0 h(α) = log p + log(1 2p) C = 2p log p (1 2p) log(1 2p)+(2p log p 2p log(1 2p)) = log(1 2p) p. 12/42

29 Codifica Canale DMC Codifica sorgente Codifica canale in Compressione Codifica Π Decodifica Decompress. i X n (i) y n g(yn ) out Codice canale (M,n) per (X, Π, Y): Insieme di indici {1,...,M} ( possibili sequenze input) Funzione codifica X n : {1,...,M} X n Funzione decodifica g : Y n {1,...,M} p. 13/42

30 Codifica Canale DMC Probabilitá di errore quando si codifica indice i: λ i = Pr{g(Y n ) i/x n = i} = y n p(y n /X n (i))i(g(y n ) i) p. 14/42

31 Codifica Canale DMC Probabilitá di errore quando si codifica indice i: λ i = Pr{g(Y n ) i/x n = i} = y n p(y n /X n (i))i(g(y n ) i) Probabilitá massima di errore: λ (n) = max 1 i M λ i p. 14/42

32 Codifica Canale DMC Probabilitá di errore quando si codifica indice i: λ i = Pr{g(Y n ) i/x n = i} = y n p(y n /X n (i))i(g(y n ) i) Probabilitá massima di errore: Probabilitá media di errore: λ (n) = max 1 i M λ i P (n) e = 1 M M i=1 λ i p. 14/42

33 Codifica Canali Rumorosi Tasso codice (M,n): R = log M n bit trasm. p. 15/42

34 Codifica Canali Rumorosi Tasso codice (M,n): R = log M n bit trasm. Tasso R é ottenibile se esiste sequenza di codici ( 2 nr,n) con λ (n) 0 per n p. 15/42

35 Codifica Canali Rumorosi Tasso codice (M,n): R = log M n bit trasm. Tasso R é ottenibile se esiste sequenza di codici ( 2 nr,n) con λ (n) 0 per n Si dimostra che: (Teorema di Codifica Canale) (a) ogni tasso R C é ottenibile, (b) nessun tasso R > C é ottenibile p. 15/42

36 Codifica Canali Rumorosi Tasso codice (M,n): R = log M n bit trasm. Tasso R é ottenibile se esiste sequenza di codici ( 2 nr,n) con λ (n) 0 per n Si dimostra che: (Teorema di Codifica Canale) (a) ogni tasso R C é ottenibile, (b) nessun tasso R > C é ottenibile Capacitá = limite superiore di tutti i tassi ottenibili p. 15/42

37 Coppie Tipiche Definizione L insieme A ǫ (n) delle coppie tipiche {(x n,y n )} rispetto alla distribuzione p(x, y) è definito da: A (n) ǫ = dove p(x n,y n ) = n i=1 p(x i,x j ). { (x n,y n ) X n Y n : 1 n log p(xn ) H(X) < ǫ, 1 n log p(yn ) H(Y ) < ǫ, } 1 n log p(xn,y n ) H(XY ) < ǫ p. 16/42

38 Joint AEP Teorema Siano (X n,y n ) seqeuenze di v.c. i.i.d secondo p(x n,y n ) = n i=1 p(x i,x j ). Allora, 1. Pr((X n,y n ) A (n) ǫ ) 1 per n. p. 17/42

39 Joint AEP Teorema Siano (X n,y n ) seqeuenze di v.c. i.i.d secondo p(x n,y n ) = n i=1 p(x i,x j ). Allora, 1. Pr((X n,y n ) A (n) ǫ ) 1 per n. 2. (1 e)2 n(h(x,y ) ǫ) A ǫ (n) 2n(H(X,Y )+ǫ) p. 17/42

40 Joint AEP Teorema Siano (X n,y n ) seqeuenze di v.c. i.i.d secondo p(x n,y n ) = n i=1 p(x i,x j ). Allora, 1. Pr((X n,y n ) A (n) ǫ ) 1 per n. 2. (1 e)2 n(h(x,y ) ǫ) A ǫ (n) 2n(H(X,Y )+ǫ) 3. Se X n e Y n sono indipendenti e scelte secondo p(x n ) e p(y n ), quindi Pr( x n, y n ) = p( x n )p( y n ), allora per n (1 e)2 n(i(x;y )+3ǫ) Pr(( X n, Xn ) A (n) ǫ ) 2 n(i(x;y ) 3ǫ). p. 17/42

41 Teorema di Codifica Canale Teorema Per ogni tasso R < C, esiste una sequenza di codici (2 nr,n) con probabilità massima di errore λ (n) 0. p. 18/42

42 Teorema di Codifica Canale Teorema Per ogni tasso R < C, esiste una sequenza di codici (2 nr,n) con probabilità massima di errore λ (n) 0. Dim. La dimostrazione si basa sulle seguenti idee analisi di sequenze lunghe, in modo da sfruttare la legge dei grandi numeri e, specificamente, le proprietà delle coppie tipiche. p. 19/42

43 Teorema di Codifica Canale Teorema Per ogni tasso R < C, esiste una sequenza di codici (2 nr,n) con probabilità massima di errore λ (n) 0. Dim. La dimostrazione si basa sulle seguenti idee analisi di sequenze lunghe, in modo da sfruttare la legge dei grandi numeri e, specificamente, le proprietà delle coppie tipiche. Calcolo della probabilità di errore mediata su una scelta random del codice. p. 19/42

44 Codifica Canale - Parte Diretta Generiamo 2 nr parole codice i.i.d. scegliendone i simboli da X indipendentemente in accordo ad una fissata d.p. p(x). una sequenza x n è scelta con probabilità p(x n ) = n i=1 p(x i) p. 20/42

45 Codifica Canale - Parte Diretta Generiamo 2 nr parole codice i.i.d. scegliendone i simboli da X indipendentemente in accordo ad una fissata d.p. p(x). una sequenza x n è scelta con probabilità p(x n ) = n i=1 p(x i) un codice C = x 1 (1) x 2 (1)... x n (1) x 1 (2 nr ) x 2 (2 nr )... x n (2 nr ) con probabilità Pr(C) = 2 nr w=1 n i=1 p(x i(w)).. p. 20/42

46 Codifica Canale - Il Modello Consideriamo il seguente modello Il codice viene scelto in maniera random (vedi sopra) p. 21/42

47 Codifica Canale - Il Modello Consideriamo il seguente modello Il codice viene scelto in maniera random (vedi sopra) il messaggio W da trasmettere viene scelto uniformemente a caso: Pr(W = w) = 2 nr, per ogni w = 1, 2,...,2 nr. p. 21/42

48 Codifica Canale - Il Modello Consideriamo il seguente modello Il codice viene scelto in maniera random (vedi sopra) il messaggio W da trasmettere viene scelto uniformemente a caso: Pr(W = w) = 2 nr, per ogni w = 1, 2,...,2 nr. La parola codice X n (w), corrispondente alla w-esima riga di C viene spedita sul canale. p. 21/42

49 Codifica Canale - Il Modello Consideriamo il seguente modello Il codice viene scelto in maniera random (vedi sopra) il messaggio W da trasmettere viene scelto uniformemente a caso: Pr(W = w) = 2 nr, per ogni w = 1, 2,...,2 nr. La parola codice X n (w), corrispondente alla w-esima riga di C viene spedita sul canale. L output del canale è una sequenza Y n determinata in accordo alla distribuzione P(y n x n (w)) = n i=1 p(y i x i (w)). p. 21/42

50 La sequenza Y n viene decodificata come W se (X n ( W),Y n ) formano coppia tipica Non esiste un altro messaggio k t.c. (X n (k),y n ) formano coppia tipica. p. 22/42

51 La sequenza Y n viene decodificata come W se (X n ( W),Y n ) formano coppia tipica Non esiste un altro messaggio k t.c. (X n (k),y n ) formano coppia tipica. se non esiste un tale W o ce ne è più di uno, si emette un segnale di errore. p. 22/42

52 La sequenza Y n viene decodificata come W se (X n ( W),Y n ) formano coppia tipica Non esiste un altro messaggio k t.c. (X n (k),y n ) formano coppia tipica. se non esiste un tale W o ce ne è più di uno, si emette un segnale di errore. Dichiariamo la codifica errata se W W, e denotiamo con E tale evento. p. 22/42

53 La probabilità di errore. La calcoliamo mediata su tutte le parole del codice, e mediata su tutti i codici possibili: Pr(E) = C P(C)P e (n) (C) = C = 1 2 nr P(C) 1 2 nr 2 nr w=1 2 nr w=1 λ w (C) P(C)λ w (C) C p. 23/42

54 Poiché mediamo su tutti i codici P(C)λ w (C) C non dipende da w. Infatti, guardando a tutti codici, la stessa parola appare lo stesso numero di volte con ogni indice. Quindi possiamo assumere, senza perdita di generalità che l indice del messaggio inviato sia W = 1, poiché P(C) = 1 2 nr 2 nr P(C)λ w (C) = w=1 C C = Pr(E W = 1). P(C)λ 1 (C) p. 24/42

55 Sia Y n la sequenza output quando X n (1) viene trasmesso (codifichiamo W = 1). Definiamo i, l evento l i-esima parola codice e Y n formano coppia tipica : E i = {(X n (i),y n ) A (n) ǫ }, p. 25/42

56 Sia Y n la sequenza output quando X n (1) viene trasmesso (codifichiamo W = 1). Definiamo i, l evento l i-esima parola codice e Y n formano coppia tipica : E i = {(X n (i),y n ) A (n) ǫ }, Per la decodifica scelta, quando X n (1) viene trasmessa, si ha errore se una si verifica tra: (X n (i),y n ) A (n) ǫ, i 1: l evento E i ; (X n (1),Y n ) A (n) ǫ : l evento E 1. p. 25/42

57 Quindi P(E) = Pr(E W = 1) = P(E 1 E 2 E 3 E 2 nr) P(E 1 ) + 2 nr i=2 P(E i ). p. 26/42

58 Quindi P(E) = Pr(E W = 1) = P(E 1 E 2 E 3 E 2 nr) P(E 1 ) + 2 nr i=2 P(E i ). P(E 1 ) ǫ, per n (joint AEP 1.); p. 26/42

59 Quindi P(E) = Pr(E W = 1) = P(E 1 E 2 E 3 E 2 nr) P(E 1 ) + 2 nr i=2 P(E i ). P(E 1 ) ǫ, per n (joint AEP 1.); X n (1) e X n (i) indipendenti Y n e X n (i) indipendenti, i 1. p. 26/42

60 Quindi P(E) = Pr(E W = 1) = P(E 1 E 2 E 3 E 2 nr) P(E 1 ) + 2 nr i=2 P(E i ). P(E 1 ) ǫ, per n (joint AEP 1.); X n (1) e X n (i) indipendenti Y n e X n (i) indipendenti, i 1. P(E i ) 2 n(i(x;y ) 3ǫ) (joint AEP 3.). p. 26/42

61 Otteniamo P(E) P(E 1 ) + ǫ + 2 nr i=2 2 nr i=2 P(E i ) n(i(x;y ) 3ǫ) 2 = ǫ + (2 nr n(i(x;y ) 3ǫ) 1)2 2ǫ, ǫ + 2 3nǫ n(i(x;y ) R) 2 se scegliamo n sufficientemente grande e R < I(X;Y ) 3ǫ. p. 27/42

62 Se R < I(X;Y ), possiamo scegliere ǫ e n in modo da rendere la media (su tutti i codici) di P (n) e < 2ǫ. Che possiamo dire della probabilità massima di errore? p. 28/42

63 scegliamo p(x) = p (x) = max p(x) I(X;Y ) cioè quella che ottiene la capacità p. 29/42

64 scegliamo p(x) = p (x) = max p(x) I(X;Y ) cioè quella che ottiene la capacità quindi possiamo sostituire R < C ad R < I(X;Y ). p. 29/42

65 scegliamo p(x) = p (x) = max p(x) I(X;Y ) cioè quella che ottiene la capacità quindi possiamo sostituire R < C ad R < I(X;Y ). Se la media (su tutti i codici) di P e (n) (C) è 2ǫ, allora esiste un codice C tale che P e (n) (C) 2ǫ. p. 29/42

66 scegliamo p(x) = p (x) = max p(x) I(X;Y ) cioè quella che ottiene la capacità quindi possiamo sostituire R < C ad R < I(X;Y ). Se la media (su tutti i codici) di P e (n) (C) è 2ǫ, allora esiste un codice C tale che P e (n) (C) 2ǫ. eliminiamo da C ogni parola i con λ i > 4ǫ (sono meno della metá, altr. P e (n) (C) > 1 2 nr 2 nr 2 4ǫ = 2ǫ) p. 29/42

67 scegliamo p(x) = p (x) = max p(x) I(X;Y ) cioè quella che ottiene la capacità quindi possiamo sostituire R < C ad R < I(X;Y ). Se la media (su tutti i codici) di P e (n) (C) è 2ǫ, allora esiste un codice C tale che P e (n) (C) 2ǫ. eliminiamo da C ogni parola i con λ i > 4ǫ (sono meno della metá, altr. P e (n) (C) > 1 2 nr 2 nr 2 4ǫ = 2ǫ) allora 2ǫ 1 2 nr 2 nr i=1 λ i (C ) (i 1,...,i 2 nr 1) s.t. λ ij (C ) 4ǫ. p. 29/42

68 Creiamo un nuovo codice che contiene solo tali parole di C con prob. di errore piccola C = {X n (i j ) C j = 1, 2,...,2 nr 1 }. p. 30/42

69 Creiamo un nuovo codice che contiene solo tali parole di C con prob. di errore piccola C = {X n (i j ) C j = 1, 2,...,2 nr 1 }. Tale codice contiene ovviamente 2 nr 1 parole, quindi il suo tasso è R n 1 che per n grande non differisce significativamente da R. p. 30/42

70 Creiamo un nuovo codice che contiene solo tali parole di C con prob. di errore piccola C = {X n (i j ) C j = 1, 2,...,2 nr 1 }. Tale codice contiene ovviamente 2 nr 1 parole, quindi il suo tasso è R n 1 che per n grande non differisce significativamente da R. Concludendo: per ogni R < C, possiamo scegliere un codice di tasso R = R n 1, con probabilità massima di errore λ (n) 4ǫ. p. 30/42

71 Codifica Canale - Osservazioni La scelta random del codice serve per la prova non per la codifica p. 31/42

72 Codifica Canale - Osservazioni La scelta random del codice serve per la prova non per la codifica Mediando proviamo che esiste almeno un codice con le proprietà desiderate p. 31/42

73 Codifica Canale - Osservazioni La scelta random del codice serve per la prova non per la codifica Mediando proviamo che esiste almeno un codice con le proprietà desiderate Tale codice può essere trovato (ricerca esaustiva!?!) ed il processo di codifica e decodifica rimane completamente deterministico. p. 31/42

74 Codifica Canale - Osservazioni La scelta random del codice serve per la prova non per la codifica Mediando proviamo che esiste almeno un codice con le proprietà desiderate Tale codice può essere trovato (ricerca esaustiva!?!) ed il processo di codifica e decodifica rimane completamente deterministico. La ricerca di tale codice è esponenziale p. 31/42

75 Codifica Canale - Osservazioni La scelta random del codice serve per la prova non per la codifica Mediando proviamo che esiste almeno un codice con le proprietà desiderate Tale codice può essere trovato (ricerca esaustiva!?!) ed il processo di codifica e decodifica rimane completamente deterministico. La ricerca di tale codice è esponenziale Possiamo sceglierlo random e avere buone chance di trovarne uno con le caratteristiche richieste. Però la decodifica risulta altamente inefficiente. p. 31/42

76 Codifica Canale - Osservazioni La scelta random del codice serve per la prova non per la codifica Mediando proviamo che esiste almeno un codice con le proprietà desiderate Tale codice può essere trovato (ricerca esaustiva!?!) ed il processo di codifica e decodifica rimane completamente deterministico. La ricerca di tale codice è esponenziale Possiamo sceglierlo random e avere buone chance di trovarne uno con le caratteristiche richieste. Però la decodifica risulta altamente inefficiente. Un problema fondamentale: trovare codici con tasso prossimo a C e con una struttura che mantenga la decodifica efficiente p. 31/42

77 Codifica Canale - Parte Inversa Ci rimane da dimostrare che per ogni sequenza di codici (2 nr,n) con λ (n) n deve valere R < C. Cominceremo con il dimostrare due lemmi che ci serviranno per la dimostrazione. I(X n,y n ) n i=1 I(X i,y i ) H(X n Y n ) 1 + P e (n) nr. (Disuguaglianza di Fano) p. 32/42

78 Lemma (Disuguaglianza di Fano) Consideriamo un DMC. Sia il messaggio in input W scelto in accordo alla distribuzione uniforme tra 2 nr messaggi. Sia C il codice, Y n la parola ricevuta in output al canale, g( ) la funzione di decodifica e P (n) e = Pr(W g(y n )). Allora H(X n Y n ) 1 + P e (n) nr. p. 33/42

79 Disuguaglianza di Fano Dim. Definiamo E = { 1, se g(y n ) W, 0, se g(y n ) = W. Espandiamo H(E,W Y n ) in due modi diversi H(E,W Y n ) = H(W Y n ) + H(E W,Y n ) = H(E Y n ) + H(W E,Y n ) p. 34/42

80 Disuguaglianza di Fano Dim. Definiamo E = { 1, se g(y n ) W, 0, se g(y n ) = W. Espandiamo H(E,W Y n ) in due modi diversi H(E,W Y n ) = H(W Y n ) + H(E W,Y n ) = H(E Y n ) + H(W E,Y n ) Notiamo che H(E W,Y n ) = 0, H(E Y n ) H(E) 1, e H(W E,Y n ) = 1 P(E = i)h(w Y n,e = i) i=0 = (1 P (n) e )0 + P (n) e log(2 nr 1) P e (n) nr. p. 34/42

81 Dim. (cont.) Ne consegue che H(W Y n ) 1 + P e (n) nr p. 35/42

82 Dim. (cont.) Ne consegue che H(W Y n ) 1 + P e (n) nr da cui segue la tesi, in quanto H(X n Y n ) H(W Y n ), poiché X n è funzione di W. p. 35/42

83 Lemma Sia Y n l output di un DMC per input X n. Allora, per ogni distribuzione p(x n ), vale I(X n ;Y n ) n i=1 I(X i;y i ). Dim. I(X n,y n ) = H(Y n ) H(Y n X n ) n = H(Y n ) H(Y i Y 1,...,Y i 1,X n ) = H(Y n ) i=1 n H(Y i X i ) (no memoria) i=1 n H(Y i ) i=1 n H(Y i X i ) = i=1 n I(X i ;Y i ). i=1 p. 36/42

84 Lemma Sia Y n l output di un DMC per input X n. Allora, per ogni distribuzione p(x n ), vale I(X n ;Y n ) n i=1 I(X i;y i ). Corollario Sia Y n l output di un DMC per input X n. Allora, per ogni distribuzione p(x n ), vale I(X n ;Y n ) nc. p. 37/42

85 Codifica Canale - Parte Inversa Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. λ (n) 0 P (n) e 0. p. 38/42

86 Codifica Canale - Parte Inversa Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. λ (n) 0 P (n) e 0. Consideriamo il messaggio W scelto uniformemente in {1, 2,...,2 nr }, (quindi H(W) = nr) p. 38/42

87 Codifica Canale - Parte Inversa Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. λ (n) 0 P (n) e 0. Consideriamo il messaggio W scelto uniformemente in {1, 2,...,2 nr }, (quindi H(W) = nr) P (n) e = Pr(g(Y n ) W). p. 38/42

88 Codifica Canale - Parte Inversa Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. λ (n) 0 P (n) e 0. Consideriamo il messaggio W scelto uniformemente in {1, 2,...,2 nr }, (quindi H(W) = nr) P (n) e Allora, = Pr(g(Y n ) W). nr = H(W) = H(W Y n ) + I(W;Y n ) H(W Y n ) + I(X n (W);Y n ) 1 + P e (n) nr + nc. [W X n (W) Y n p. 38/42

89 Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. (cont.) nr 1 + P e (n) nr + nc. p. 39/42

90 Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. (cont.) nr 1 + P e (n) nr + nc. Dividendo per n otteniamo R 1 n + P e (n) R + C p. 39/42

91 Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. (cont.) nr 1 + P e (n) nr + nc. Dividendo per n otteniamo R 1 n + P e (n) R + C e per n abbiamo la tesi, usando P (n) e 0 e 1/n 0. p. 39/42

92 Riscriviamo la disuguaglianza R n 1 + P e (n) R + C come P (n) e 1 C R 1 nr p. 40/42

93 Riscriviamo la disuguaglianza R n 1 + P e (n) R + C come P (n) e 1 C R 1 nr Questo mostra che per R > C la probabilità di errore si mantiene > 0 per n. p. 40/42

94 Riscriviamo la disuguaglianza R n 1 + P e (n) R + C come P (n) e 1 C R 1 nr Questo mostra che per R > C la probabilità di errore si mantiene > 0 per n. ma deve valere per ogni n. Infatti, se avessimo codici con P e (n) = 0 per n piccoli potremmo estenderli a codici di lunghezza maggiore per concatenazione. p. 40/42

95 Riscriviamo la disuguaglianza R n 1 + P e (n) R + C come P (n) e 1 C R 1 nr Questo mostra che per R > C la probabilità di errore si mantiene > 0 per n. ma deve valere per ogni n. Infatti, se avessimo codici con P e (n) = 0 per n piccoli potremmo estenderli a codici di lunghezza maggiore per concatenazione. In conclusione, non si può ridurre arbitrariamente la probabilità d errore a tassi superiori alla capacità. p. 40/42

96 Codifica Sorgente Canale Teorema Se V 1,...,V n soddisfano la PEA allora esiste una codice sorgente-canale con P e (n) 0 se H(V ) < C. Se H(V ) > C la probabilitá di errore non puó essere resa arbitrariamente piccola. p. 41/42

97 Codifica Sorgente Canale Teorema Se V 1,...,V n soddisfano la PEA allora esiste una codice sorgente-canale con P e (n) 0 se H(V ) < C. Se H(V ) > C la probabilitá di errore non puó essere resa arbitrariamente piccola. Dim. n n n n ^ n V X (V ) Y V p. 41/42

98 Codifica Sorgente Canale Teorema Se V 1,...,V n soddisfano la PEA allora esiste una codice sorgente-canale con P e (n) 0 se H(V ) < C. Se H(V ) > C la probabilitá di errore non puó essere resa arbitrariamente piccola. Dim. n n n n ^ n V X (V ) Y V PEA A (n) ǫ 2 n(h(v )+ǫ) e P(A ǫ (n) ) > 1 ǫ Codifichiamo solo sequenze tipiche 2 n(h(v )+ǫ) indici se R = H(V ) + ǫ < C possiamo trasmettere sul canale con prob. err < ǫ Quindi P (n) e = P(V n ˆV n ) P(V n / A (n) ǫ ) + P(g(Y n ) V n V n A ǫ (n) ) ǫ + ǫ = 2ǫ p. 41/42

99 Parte inversa. Dalla disuguaglianza di Fano H(V n ˆV n ) 1 + P e (n) log V n = 1 + P e (n) n log V p. 42/42

100 Parte inversa. Dalla disuguaglianza di Fano H(V n ˆV n ) 1 + P e (n) log V n = 1 + P e (n) n log V Quindi H(V ) = H(V 1...V n ) n = H(V n ) n 1 (n) (1 + P e n log V ) + 1 n n I(V n ; ˆV n ) = 1 n H(V n ˆV n ) + 1 n I(V n ; ˆV n ) 1 (n) (1 + P e n log V ) + 1 n n I(Xn ;Y n ) 1 n + P (n) e log V + C p. 42/42

101 Parte inversa. Dalla disuguaglianza di Fano H(V n ˆV n ) 1 + P e (n) log V n = 1 + P e (n) n log V Quindi H(V ) = H(V 1...V n ) n = H(V n ) n 1 (n) (1 + P e n log V ) + 1 n n I(V n ; ˆV n ) = 1 n H(V n ˆV n ) + 1 n I(V n ; ˆV n ) 1 (n) (1 + P e n log V ) + 1 n n I(Xn ;Y n ) 1 n + P (n) e log V + C Per n, se P (n) e 0 si ha H(V ) C. p. 42/42