CODIFICA CANALE. Comunicazione con successo: ricevitore ottiene output sorgente. Rumore. Sorgente Cofificatore Canale. Decodificatore.

Transcript

1 CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore Ricevitore Rumore Comunicazione con successo: ricevitore ottiene output sorgente p. 1/39

2 CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore Ricevitore Rumore Comunicazione con successo: ricevitore ottiene output sorgente Es. effetto rumore. Input possibili al canale sequenze 101 e 111, input 101, rumore: secondo bit modificato, output: 111; input: 111, rumore: nessuno, output: 111; diverse sequenze in input producono lo stesso output (input confondibili). p. 1/39

3 CODIFICA CANALE Sorgente Cofificatore Canale Decodificatore Ricevitore Rumore Comunicazione con successo: ricevitore ottiene output sorgente Es. effetto rumore. Input possibili al canale sequenze 101 e 111, input 101, rumore: secondo bit modificato, output: 111; input: 111, rumore: nessuno, output: 111; diverse sequenze in input producono lo stesso output (input confondibili). Obiettivo: proteggere l informazione da eventuali errori di trasmissione legati al rumore p. 1/39

4 Codifica Canale Obiettivo: Input NON Confondibili correzione errori trasmissione p. 2/39

5 Codifica Canale Obiettivo: Input NON Confondibili correzione errori trasmissione Metodo: Aggiungere ridondanza p. 2/39

6 Codifica Canale Obiettivo: Input NON Confondibili correzione errori trasmissione Metodo: Aggiungere ridondanza Nota: impossibile eliminare effetto rumore vogliamo input non confondibili con alta robabilità p. 2/39

7 Canali Canale discreto (alfabeti I/O discreti): (X,, Y) X= alfabeto input al canale Y= alfabeto output al canale Π = [p(y/x)]= matrice delle probabilità di transizione p. 3/39

8 Canali Canale discreto (alfabeti I/O discreti): (X,, Y) X= alfabeto input al canale Y= alfabeto output al canale Π = [p(y/x)]= matrice delle probabilità di transizione Canale discreto senza memoria (DMC) (X, Π, Y): distribuzione probabilità output dipende solo da input corrispondente NON da precedenti input o output. p. 3/39

9 Capacitá Canale Capacità del canale senza memoria: C = max p(x) I(X,Y ) p. 4/39

10 Capacitá Canale Capacità del canale senza memoria: C = max p(x) I(X,Y ) Dimostreremo: capacità = massimo numero di bit per uso del canale. p. 4/39

11 Canale senza rumore Trasmette un bit per uso senza errore C = 1 p. 5/39

12 Canale senza rumore Trasmette un bit per uso senza errore C = 1 Infatti C = max p(x) I(X,Y ) = max p(x) H(X) H(X/Y ) = max p(x) H(X) = 1 per p(x) = (1/2, 1/2) p. 5/39

13 Canale binario simmetrico p p p 1 p 0 1 Π = [ ] p 1 p 1 p p I(X;Y ) = H(Y ) H(Y/X) = H(Y ) x p(x)h(y/x = x) = H(Y ) x p(x)h(p) = H(Y ) h(p) p. 6/39

14 Canale binario simmetrico C = max p(x) I(X,Y ) = max p(x) H(Y ) h(p) 1 h(p) p(x) = (1/2, 1/2) p(y = 1) = 1 2 (1 p) p = 1 2 H(Y ) = 1 Quindi C = 1 h(p)bits 1 1/2 1 p. 7/39

15 Canali Simmetrici Canale simmetrico: Ogni riga (risp. colonna) é permutazione di ogni altra riga (risp. colonna) Es. Π = p. 8/39

16 Canali Simmetrici Canale simmetrico: Ogni riga (risp. colonna) é permutazione di ogni altra riga (risp. colonna) Es. Π = Canale debolmente simmetrico: Ogni riga é permutazione di ogni altra riga; la somma su ogni colonna [ é costante ] 1/3 1/6 1/2 Es. Π = 1/3 1/2 1/6 p. 8/39

17 Canali Simmetrici Canale simmetrico: Ogni riga (risp. colonna) é permutazione di ogni altra riga (risp. colonna) Es. Π = Canale debolmente simmetrico: Ogni riga é permutazione di ogni altra riga; la somma su ogni colonna [ é costante ] 1/3 1/6 1/2 Es. Π = 1/3 1/2 1/6 Canale simmetrico Canale debolmente simmetrico p. 8/39

18 Canali (Debolmente) Simmetrici r=riga di Π I(X;Y ) = H(Y ) H(Y/X) = H(Y ) H(r) log Y H(r) p. 9/39

19 Canali (Debolmente) Simmetrici r=riga di Π I(X;Y ) = H(Y ) H(Y/X) = H(Y ) H(r) log Y H(r) Ponendo p(x) = 1/ X per ogni x X risulta p(y) = x p(x)p(y/x) = somma colonna X = 1 Y p. 9/39

20 Canali (Debolmente) Simmetrici r=riga di Π I(X;Y ) = H(Y ) H(Y/X) = H(Y ) H(r) log Y H(r) Ponendo p(x) = 1/ X per ogni x X risulta p(y) = x p(x)p(y/x) = somma colonna X = 1 Y Quindi C = log Y H(r) p. 9/39

21 Codifica Canale DMC Codice canale (M,n) per (X, Π, Y): Insieme di indici {1,...,M} p. 10/39

22 Codifica Canale DMC Codice canale (M,n) per (X, Π, Y): Insieme di indici {1,...,M} Funzione codifica X n : {1,...,M} X n p. 10/39

23 Codifica Canale DMC Codice canale (M,n) per (X, Π, Y): Insieme di indici {1,...,M} Funzione codifica X n : {1,...,M} X n Funzione decodifica g : Y n {1,...,M} p. 10/39

24 Codifica Canale DMC Probabilitá di errore quando si codifica indice i: λ i = Pr{g(Y n ) i/x n = i} = y n p(y n /X n (i))i(g(y n ) i) p. 11/39

25 Codifica Canale DMC Probabilitá di errore quando si codifica indice i: λ i = Pr{g(Y n ) i/x n = i} = y n p(y n /X n (i))i(g(y n ) i) Probabilitá massima di errore: λ (n) = max 1 i M λ i p. 11/39

26 Codifica Canale DMC Probabilitá di errore quando si codifica indice i: λ i = Pr{g(Y n ) i/x n = i} = y n p(y n /X n (i))i(g(y n ) i) Probabilitá massima di errore: Probabilitá media di errore: λ (n) = max 1 i M λ i P (n) e = 1 M M i=1 λ i p. 11/39

27 Codifica Canali Rumorosi Tasso codice (M,n): R = log M n bit trasm. p. 12/39

28 Codifica Canali Rumorosi Tasso codice (M,n): R = log M n bit trasm. Tasso R é ottenibile se esiste sequenza di codici ( 2 nr,n) con λ (n) 0 per n p. 12/39

29 Codifica Canali Rumorosi Tasso codice (M,n): R = log M n bit trasm. Tasso R é ottenibile se esiste sequenza di codici ( 2 nr,n) con λ (n) 0 per n Si dimostra che: (Teorema di Codifica Canale) (a) ogni tasso R C é ottenibile, (b) nessun tasso R > C é ottenibile p. 12/39

30 Codifica Canali Rumorosi Tasso codice (M,n): R = log M n bit trasm. Tasso R é ottenibile se esiste sequenza di codici ( 2 nr,n) con λ (n) 0 per n Si dimostra che: (Teorema di Codifica Canale) (a) ogni tasso R C é ottenibile, (b) nessun tasso R > C é ottenibile Capacitá = limite superiore di tutti i tassi ottenibili p. 12/39

31 Coppie Tipiche Definizione L insieme A ǫ (n) delle coppie tipiche {(x n,y n )} rispetto alla distribuzione p(x, y) è definito da: A (n) ǫ = dove p(x n,y n ) = n i=1 p(x i,x j ). { (x n,y n ) X n Y n : 1 n log p(xn ) H(X) < ǫ, 1 n log p(yn ) H(Y ) < ǫ, } 1 n log p(xn,y n ) H(XY ) < ǫ p. 13/39

32 Joint AEP Teorema Siano (X n,y n ) seqeuenze di v.c. i.i.d secondo p(x n,y n ) = n i=1 p(x i,x j ). Allora, 1. Pr((X n,y n ) A (n) ǫ ) 1 per n. p. 14/39

33 Joint AEP Teorema Siano (X n,y n ) seqeuenze di v.c. i.i.d secondo p(x n,y n ) = n i=1 p(x i,x j ). Allora, 1. Pr((X n,y n ) A (n) ǫ ) 1 per n. 2. (1 e)2 n(h(x,y ) ǫ) A ǫ (n) 2n(H(X,Y )+ǫ) p. 14/39

34 Joint AEP Teorema Siano (X n,y n ) seqeuenze di v.c. i.i.d secondo p(x n,y n ) = n i=1 p(x i,x j ). Allora, 1. Pr((X n,y n ) A (n) ǫ ) 1 per n. 2. (1 e)2 n(h(x,y ) ǫ) A ǫ (n) 2n(H(X,Y )+ǫ) 3. Se X n e Y n sono indipendenti e scelte secondo p(x n ) e p(y n ), quindi Pr( x n, y n ) = p( x n )p( y n ), allora per n (1 e)2 n(i(x;y )+3ǫ) Pr(( X n, Xn ) A (n) ǫ ) 2 n(i(x;y ) 3ǫ). p. 14/39

35 Teorema di Codifica Canale Teorema Per ogni tasso R < C, esiste una sequenza di codici (2 nr,n) con probabilità massima di errore λ (n) 0. p. 15/39

36 Teorema di Codifica Canale Teorema Per ogni tasso R < C, esiste una sequenza di codici (2 nr,n) con probabilità massima di errore λ (n) 0. Dim. La dimostrazione si basa sulle seguenti idee analisi di sequenze lunghe, in modo da sfruttare la legge dei grandi numeri e, specificamente, le proprietà delle coppie tipiche. p. 16/39

37 Teorema di Codifica Canale Teorema Per ogni tasso R < C, esiste una sequenza di codici (2 nr,n) con probabilità massima di errore λ (n) 0. Dim. La dimostrazione si basa sulle seguenti idee analisi di sequenze lunghe, in modo da sfruttare la legge dei grandi numeri e, specificamente, le proprietà delle coppie tipiche. Calcolo della probabilità di errore mediata su una scelta random del codice. p. 16/39

38 Codifica Canale - Parte Diretta Generiamo 2 nr parole codice i.i.d. scegliendone i simboli da X indipendentemente in accordo ad una fissata d.p. p(x). una sequenza x n è scelta con probabilità p(x n ) = n i=1 p(x i) p. 17/39

39 Codifica Canale - Parte Diretta Generiamo 2 nr parole codice i.i.d. scegliendone i simboli da X indipendentemente in accordo ad una fissata d.p. p(x). una sequenza x n è scelta con probabilità p(x n ) = n i=1 p(x i) un codice C = x 1 (1) x 2 (1)... x n (1) x 1 (2 nr ) x 2 (2 nr )... x n (2 nr ) con probabilità Pr(C) = 2 nr w=1 n i=1 p(x i(w)).. p. 17/39

40 Codifica Canale - Il Modello Consideriamo il seguente modello Il codice viene scelto in maniera random (vedi sopra) p. 18/39

41 Codifica Canale - Il Modello Consideriamo il seguente modello Il codice viene scelto in maniera random (vedi sopra) il messaggio W da trasmettere viene scelto uniformemente a caso: Pr(W = w) = 2 nr, per ogni w = 1, 2,...,2 nr. p. 18/39

42 Codifica Canale - Il Modello Consideriamo il seguente modello Il codice viene scelto in maniera random (vedi sopra) il messaggio W da trasmettere viene scelto uniformemente a caso: Pr(W = w) = 2 nr, per ogni w = 1, 2,...,2 nr. La parola codice X n (w), corrispondente alla w-esima riga di C viene spedita sul canale. p. 18/39

43 Codifica Canale - Il Modello Consideriamo il seguente modello Il codice viene scelto in maniera random (vedi sopra) il messaggio W da trasmettere viene scelto uniformemente a caso: Pr(W = w) = 2 nr, per ogni w = 1, 2,...,2 nr. La parola codice X n (w), corrispondente alla w-esima riga di C viene spedita sul canale. L output del canale è una sequenza Y n determinata in accordo alla distribuzione P(y n x n (w)) = n i=1 p(y i x i (w)). p. 18/39

44 Codifica Canale - Il Modello La sequenza Y n viene decodificata come W se (X n ( W),Y n ) formano coppia tipica Non esiste un altro messaggio k t.c. (X n (k),y n ) formano coppia tipica. p. 19/39

45 Codifica Canale - Il Modello La sequenza Y n viene decodificata come W se (X n ( W),Y n ) formano coppia tipica Non esiste un altro messaggio k t.c. (X n (k),y n ) formano coppia tipica. se non esiste un tale W o ce ne è più di uno, si emette un segnale di errore. p. 19/39

46 Codifica Canale - Il Modello La sequenza Y n viene decodificata come W se (X n ( W),Y n ) formano coppia tipica Non esiste un altro messaggio k t.c. (X n (k),y n ) formano coppia tipica. se non esiste un tale W o ce ne è più di uno, si emette un segnale di errore. Dichiariamo la codifica errata se W W, e denotiamo con E tale evento. p. 19/39

47 Codifica Canale La probabilità di errore. La calcoliamo mediata su tutte le parole del codice, e mediata su tutti i codici possibili: Pr(E) = C P(C)P e (n) (C) = C = 1 2 nr P(C) 1 2 nr 2 nr w=1 2 nr w=1 λ w (C) P(C)λ w (C) C p. 20/39

48 Codifica Canale Poiché mediamo su tutti i codici P(C)λ w (C) C non dipende da w. Infatti, guardando a tutti codici, la stessa parola appare lo stesso numero di volte con ogni indice. Quindi possiamo assumere, senza perdita di generalità che l indice del messaggio inviato sia W = 1, poiché P(C) = 1 2 nr 2 nr P(C)λ w (C) = w=1 C C = Pr(E W = 1). P(C)λ 1 (C) p. 21/39

49 Codifica Canale Sia Y n la sequenza output quando X n (1) viene trasmesso (codifichiamo W = 1). Definiamo i, l evento l i-esima parola codice e Y n formano coppia tipica : E i = {(X n (i),y n ) A (n) ǫ }, p. 22/39

50 Codifica Canale Sia Y n la sequenza output quando X n (1) viene trasmesso (codifichiamo W = 1). Definiamo i, l evento l i-esima parola codice e Y n formano coppia tipica : E i = {(X n (i),y n ) A (n) ǫ }, Per la decodifica scelta, quando X n (1) viene trasmessa, si ha errore se una si verifica tra: (X n (i),y n ) A (n) ǫ, i 1: l evento E i ; (X n (1),Y n ) A (n) ǫ : l evento E 1. p. 22/39

51 Codifica Canale Quindi P(E) = Pr(E W = 1) = P(E 1 E 2 E 3 E 2 nr) P(E 1 ) + 2 nr i=2 P(E i ). p. 23/39

52 Codifica Canale Quindi P(E) = Pr(E W = 1) = P(E 1 E 2 E 3 E 2 nr) P(E 1 ) + 2 nr i=2 P(E i ). P(E 1 ) ǫ, per n (joint AEP 1.); p. 23/39

53 Codifica Canale Quindi P(E) = Pr(E W = 1) = P(E 1 E 2 E 3 E 2 nr) P(E 1 ) + 2 nr i=2 P(E i ). P(E 1 ) ǫ, per n (joint AEP 1.); X n (1) e X n (i) indipendenti Y n e X n (i) indipendenti, i 1. p. 23/39

54 Codifica Canale Quindi P(E) = Pr(E W = 1) = P(E 1 E 2 E 3 E 2 nr) P(E 1 ) + 2 nr i=2 P(E i ). P(E 1 ) ǫ, per n (joint AEP 1.); X n (1) e X n (i) indipendenti Y n e X n (i) indipendenti, i 1. P(E i ) 2 n(i(x;y ) 3ǫ) (joint AEP 3.). p. 23/39

55 Codifica Canale Otteniamo P(E) P(E 1 ) + ǫ + 2 nr i=2 2 nr i=2 P(E i ) n(i(x;y ) 3ǫ) 2 = ǫ + (2 nr n(i(x;y ) 3ǫ) 1)2 2ǫ, ǫ + 2 3nǫ n(i(x;y ) R) 2 se scegliamo n sufficientemente grande e R < I(X;Y ) 3ǫ. p. 24/39

56 Codifica Canale Se R < I(X;Y ), possiamo scegliere ǫ e n in modo da rendere la media (su tutti i codici) di P (n) e < 2ǫ. Che possiamo dire della probabilità massima di errore? p. 25/39

57 Codifica Canale scegliamo p(x) = p (x) = max p(x) I(X;Y ) cioè quella che ottiene la capacità p. 26/39

58 Codifica Canale scegliamo p(x) = p (x) = max p(x) I(X;Y ) cioè quella che ottiene la capacità quindi possiamo sostituire R < C ad R < I(X;Y ). p. 26/39

59 Codifica Canale scegliamo p(x) = p (x) = max p(x) I(X;Y ) cioè quella che ottiene la capacità quindi possiamo sostituire R < C ad R < I(X;Y ). Se la media (su tutti i codici) di P e (n) (C) è 2ǫ, allora esiste un codice C tale che P e (n) (C) 2ǫ. p. 26/39

60 Codifica Canale scegliamo p(x) = p (x) = max p(x) I(X;Y ) cioè quella che ottiene la capacità quindi possiamo sostituire R < C ad R < I(X;Y ). Se la media (su tutti i codici) di P e (n) (C) è 2ǫ, allora esiste un codice C tale che P e (n) (C) 2ǫ. eliminiamo da C ogni parola i con λ i > 4ǫ (sono meno della metá, altr. P e (n) (C) > 1 2 nr 2 nr 2 4ǫ = 2ǫ) p. 26/39

61 Codifica Canale scegliamo p(x) = p (x) = max p(x) I(X;Y ) cioè quella che ottiene la capacità quindi possiamo sostituire R < C ad R < I(X;Y ). Se la media (su tutti i codici) di P e (n) (C) è 2ǫ, allora esiste un codice C tale che P e (n) (C) 2ǫ. eliminiamo da C ogni parola i con λ i > 4ǫ (sono meno della metá, altr. P e (n) (C) > 1 2 nr 2 nr 2 4ǫ = 2ǫ) allora 2ǫ 1 2 nr 2 nr i=1 λ i (C ) (i 1,...,i 2 nr 1) s.t. λ ij (C ) 4ǫ. p. 26/39

62 Codifica Canale Creiamo un nuovo codice che contiene solo tali parole di C con prob. di errore piccola C = {X n (i j ) C j = 1, 2,...,2 nr 1 }. p. 27/39

63 Codifica Canale Creiamo un nuovo codice che contiene solo tali parole di C con prob. di errore piccola C = {X n (i j ) C j = 1, 2,...,2 nr 1 }. Tale codice contiene ovviamente 2 nr 1 parole, quindi il suo tasso è R n 1 che per n grande non differisce significativamente da R. p. 27/39

64 Codifica Canale Creiamo un nuovo codice che contiene solo tali parole di C con prob. di errore piccola C = {X n (i j ) C j = 1, 2,...,2 nr 1 }. Tale codice contiene ovviamente 2 nr 1 parole, quindi il suo tasso è R n 1 che per n grande non differisce significativamente da R. Concludendo: per ogni R < C, possiamo scegliere un codice di tasso R = R n 1, con probabilità massima di errore λ (n) 4ǫ. p. 27/39

65 Codifica Canale - Osservazioni La scelta random del codice serve per la prova non per la codifica p. 28/39

66 Codifica Canale - Osservazioni La scelta random del codice serve per la prova non per la codifica Mediando proviamo che esiste almeno un codice con le proprietà desiderate p. 28/39

67 Codifica Canale - Osservazioni La scelta random del codice serve per la prova non per la codifica Mediando proviamo che esiste almeno un codice con le proprietà desiderate Tale codice può essere trovato (ricerca esaustiva!?!) ed il processo di codifica e decodifica rimane completamente deterministico. p. 28/39

68 Codifica Canale - Osservazioni La scelta random del codice serve per la prova non per la codifica Mediando proviamo che esiste almeno un codice con le proprietà desiderate Tale codice può essere trovato (ricerca esaustiva!?!) ed il processo di codifica e decodifica rimane completamente deterministico. La ricerca di tale codice è esponenziale p. 28/39

69 Codifica Canale - Osservazioni La scelta random del codice serve per la prova non per la codifica Mediando proviamo che esiste almeno un codice con le proprietà desiderate Tale codice può essere trovato (ricerca esaustiva!?!) ed il processo di codifica e decodifica rimane completamente deterministico. La ricerca di tale codice è esponenziale Possiamo sceglierlo random e avere buone chance di trovarne uno con le caratteristiche richieste. Però la decodifica risulta altamente inefficiente. p. 28/39

70 Codifica Canale - Osservazioni La scelta random del codice serve per la prova non per la codifica Mediando proviamo che esiste almeno un codice con le proprietà desiderate Tale codice può essere trovato (ricerca esaustiva!?!) ed il processo di codifica e decodifica rimane completamente deterministico. La ricerca di tale codice è esponenziale Possiamo sceglierlo random e avere buone chance di trovarne uno con le caratteristiche richieste. Però la decodifica risulta altamente inefficiente. Un problema fondamentale: trovare codici con tasso prossimo a C e con una struttura che mantenga la decodifica efficiente p. 28/39

71 Codifica Canale - Parte Inversa Ci rimane da dimostrare che per ogni sequenza di codici (2 nr,n) con λ (n) n deve valere R < C. Cominceremo con il dimostrare due lemmi che ci serviranno per la dimostrazione. I(X n,y n ) n i=1 I(X i,y i ) H(X n Y n ) 1 + P e (n) nr. (Disuguaglianza di Fano) p. 29/39

72 Codifica Canale - Parte Inversa Lemma (Disuguaglianza di Fano) Consideriamo un DMC. Sia il messaggio in input W scelto in accordo alla distribuzione uniforme tra 2 nr messaggi. Sia C il codice, Y n la parola ricevuta in output al canale, g( ) la funzione di decodifica e P (n) e = Pr(W g(y n )). Allora H(X n Y n ) 1 + P e (n) nr. p. 30/39

73 Disuguaglianza di Fano Dim. Definiamo E = { 1, se g(y n ) W, 0, se g(y n ) = W. Espandiamo H(E,W Y n ) in due modi diversi H(E,W Y n ) = H(W Y n ) + H(E W,Y n ) = H(E Y n ) + H(W E,Y n ) p. 31/39

74 Disuguaglianza di Fano Dim. Definiamo E = { 1, se g(y n ) W, 0, se g(y n ) = W. Espandiamo H(E,W Y n ) in due modi diversi H(E,W Y n ) = H(W Y n ) + H(E W,Y n ) = H(E Y n ) + H(W E,Y n ) Notiamo che H(E W,Y n ) = 0, H(E Y n ) H(E) 1, e H(W E,Y n ) = 1 P(E = i)h(w Y n,e = i) i=0 = (1 P (n) e )0 + P (n) e log(2 nr 1) P e (n) nr. p. 31/39

75 Disuguaglianza di Fano Dim. (cont.) Ne consegue che H(W Y n ) 1 + P e (n) nr p. 32/39

76 Disuguaglianza di Fano Dim. (cont.) Ne consegue che H(W Y n ) 1 + P e (n) nr da cui segue la tesi, in quanto H(X n Y n ) H(W Y n ), poiché X n è funzione di W. p. 32/39

77 Lemma Sia Y n l output di un DMC per input X n. Allora, per ogni distribuzione p(x n ), vale I(X n ;Y n ) n i=1 I(X i;y i ). Dim. I(X n,y n ) = H(Y n ) H(Y n X n ) n = H(Y n ) H(Y i Y 1,...,Y i 1,X n ) = H(Y n ) i=1 n H(Y i X i ) (no memoria) i=1 n H(Y i ) i=1 n H(Y i X i ) = i=1 n I(X i ;Y i ). i=1 p. 33/39

78 Lemma Sia Y n l output di un DMC per input X n. Allora, per ogni distribuzione p(x n ), vale I(X n ;Y n ) n i=1 I(X i;y i ). Corollario Sia Y n l output di un DMC per input X n. Allora, per ogni distribuzione p(x n ), vale I(X n ;Y n ) nr. p. 34/39

79 Codifica Canale - Parte Inversa Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. λ (n) 0 P (n) e 0. p. 35/39

80 Codifica Canale - Parte Inversa Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. λ (n) 0 P (n) e 0. Consideriamo il messaggio W scelto uniformemente in {1, 2,...,2 nr }, (quindi H(W) = nr) p. 35/39

81 Codifica Canale - Parte Inversa Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. λ (n) 0 P (n) e 0. Consideriamo il messaggio W scelto uniformemente in {1, 2,...,2 nr }, (quindi H(W) = nr) P (n) e = Pr(g(Y n ) W). p. 35/39

82 Codifica Canale - Parte Inversa Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. λ (n) 0 P (n) e 0. Consideriamo il messaggio W scelto uniformemente in {1, 2,...,2 nr }, (quindi H(W) = nr) P (n) e Allora, = Pr(g(Y n ) W). nr = H(W) = H(W Y n ) + I(W;Y n ) H(W Y n ) + I(X n (W);Y n ) 1 + P e (n) nr + nc. [W X n (W) Y n p. 35/39

83 Parte Inversa (cont.) Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. (cont.) nr 1 + P e (n) nr + nc. p. 36/39

84 Parte Inversa (cont.) Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. (cont.) nr 1 + P e (n) nr + nc. Dividendo per n otteniamo R 1 n + P e (n) R + C p. 36/39

85 Parte Inversa (cont.) Teorema Ogni sequenza di codici (2 nr,n) con λ (n) 0, deve avere R < C. Dim. (cont.) nr 1 + P e (n) nr + nc. Dividendo per n otteniamo R 1 n + P e (n) R + C e per n abbiamo la tesi, usando P (n) e 0 e 1/n 0. p. 36/39

86 Parte Inversa (cont.) Riscriviamo la disuguaglianza R n 1 + P e (n) R + C come P (n) e 1 C R 1 nr p. 37/39

87 Parte Inversa (cont.) Riscriviamo la disuguaglianza R n 1 + P e (n) R + C come P (n) e 1 C R 1 nr Questo mostra che per R > C la probabilità di errore si mantiene > 0 per n. p. 37/39

88 Parte Inversa (cont.) Riscriviamo la disuguaglianza R n 1 + P e (n) R + C come P (n) e 1 C R 1 nr Questo mostra che per R > C la probabilità di errore si mantiene > 0 per n. ma deve valere per ogni n. Infatti, se avessimo codici con P e (n) = 0 per n piccoli potremmo estenderli a codici di lunghezza maggiore per concatenazione. p. 37/39

89 Parte Inversa (cont.) Riscriviamo la disuguaglianza R n 1 + P e (n) R + C come P (n) e 1 C R 1 nr Questo mostra che per R > C la probabilità di errore si mantiene > 0 per n. ma deve valere per ogni n. Infatti, se avessimo codici con P e (n) = 0 per n piccoli potremmo estenderli a codici di lunghezza maggiore per concatenazione. In conclusione, non si può ridurre arbitrariamente la probabilità d errore a tassi superiori alla capacità. p. 37/39

90 Codifica Sorgente Canale Teorema Se V 1,...,V n soddisfano la PEA allora esiste una codice sorgente-canale con P e (n) 0 se H(V ) < C. Se H(V ) > C la probabilitá di errore non puó essere resa arbitrariamente piccola. p. 38/39

91 Codifica Sorgente Canale Teorema Se V 1,...,V n soddisfano la PEA allora esiste una codice sorgente-canale con P e (n) 0 se H(V ) < C. Se H(V ) > C la probabilitá di errore non puó essere resa arbitrariamente piccola. Dim. n n n n ^ n V X (V ) Y V p. 38/39

92 Codifica Sorgente Canale Teorema Se V 1,...,V n soddisfano la PEA allora esiste una codice sorgente-canale con P e (n) 0 se H(V ) < C. Se H(V ) > C la probabilitá di errore non puó essere resa arbitrariamente piccola. Dim. n n n n ^ n V X (V ) Y V PEA A (n) ǫ 2 n(h(v )+ǫ) e P(A ǫ (n) ) > 1 ǫ Codifichiamo solo sequenze tipiche 2 n(h(v )+ǫ) indici se R = H(V ) + ǫ < C possiamo trasmettere sul canale con prob. err < ǫ Quindi P (n) e = P(V n ˆV n ) P(V n / A (n) ǫ ) + P(g(Y n ) V n V n A ǫ (n) ) ǫ + ǫ = 2ǫ p. 38/39

93 Codifica Sorgente Canale Parte inversa. Dalla disuguaglianza di Fano H(V n ˆV n ) 1 + P e (n) log V n = 1 + P e (n) n log V p. 39/39

94 Codifica Sorgente Canale Parte inversa. Dalla disuguaglianza di Fano H(V n ˆV n ) 1 + P e (n) log V n = 1 + P e (n) n log V Quindi H(V ) = H(V 1...V n ) n = H(V n ) n 1 (n) (1 + P e n log V ) + 1 n n I(V n ; ˆV n ) = 1 n H(V n ˆV n ) + 1 n I(V n ; ˆV n ) 1 (n) (1 + P e n log V ) + 1 n n I(Xn ;Y n ) 1 n + P (n) e log V + C p. 39/39

95 Codifica Sorgente Canale Parte inversa. Dalla disuguaglianza di Fano H(V n ˆV n ) 1 + P e (n) log V n = 1 + P e (n) n log V Quindi H(V ) = H(V 1...V n ) n = H(V n ) n 1 (n) (1 + P e n log V ) + 1 n n I(V n ; ˆV n ) = 1 n H(V n ˆV n ) + 1 n I(V n ; ˆV n ) 1 (n) (1 + P e n log V ) + 1 n n I(Xn ;Y n ) 1 n + P (n) e log V + C Per n, se P (n) e 0 si ha H(V ) C. p. 39/39