10 Proprietà di Equipartizione Asintotica

Transcript

1 FX Teoria dell Informazione e della Trasmissione 0 Proprietà di Equipartizione Asintotica Docente: Nicolò Cesa-Bianchi versione 6 aprile 206 Come nel caso della codifica sorgente, anche nel caso della codifica canale utilizziamo più simboli di ingresso per codificare un messaggio da trasmettere. Per far ciò, estendiamo il modello di canale in modo da considerare la trasmissione di sequenze di simboli. La n-esima estensione di un canale X, Y, py x è il canale X n, Y n, py n x n. La quantità py n x n indica la probabilità di ottenere in uscita la sequenza y n Y n quando è stata trasmessa la sequenza x n X n. Dato che il canale è senza memoria, vale py n x n = py n y n, x n py n y n 2, x n py x n = Un codice canale di tipo M, n per il canale X, Y, py x è definito da: n py t x t. t= Un insieme di M messaggi, indicati con {,..., M}. Una funzione di codifica x n : {,..., M} X n. Una funzione di decodifica g : Y n {,..., M}. Dato un codice canale, la probabilità di errore di decodifica del messaggio i è definita come λ i = P gy n i X n = x n i dove X n, Y n sono variabili casuali che indicano i simboli trasmessi e quelli ricevuti. aggregare le probabilità di errore di singoli messaggi in due modi: Possiamo λ n = P n e max i=,...,m λ i = M M i= λ i probabilità massima di errore probabilità media di errore dove, ovviamente P n e λ n. Il tasso di trasmissione di un codice di tipo M, n è dato dal rapporto tutti i logaritmi in questa dispensa sono in base 2 R = log M n fra lunghezza in bit del messaggio e numero di simboli della sua codifica. Il tasso quindi rappresenta il numero di bit che il codice trasmette per uso del canale. Un tasso R è raggiungibile se esiste una sequenza di codici di tipo 2 nr, n, per n =, 2,... tale che lim λn = 0.

2 Per capire i concetti di tasso e raggiungibilità, supponiamo che il canale sia binario X = Y = {0, } e non abbia rumore. Allora usando codifiche di n bit posso trasmettere M = 2 n messaggi tasso di trasmissione pari a uno con probabilità di errore pari a zero. Se aggiungo rumore nel canale, allora per tenere la probabilità di errore sotto controllo devo ridurre il numero di messaggi, passando da 2 n a 2 nr per un qualche R <, che rappresenta appunto il tasso di trasmissione. Infine, come nel caso del primo teorema di Shannon, è ragionevole pensare che al crescere di n, e corrispondentemente del numero di messaggi 2 nr, la probabilità di errore raggiunga asintoticamente il valore minimo a parità di tasso di trasmissione R. Preliminarmente allo studio del secondo teorema di Shannon, introduciamo la proprietà di equipartizione asintotica AEP. Cominciamo col rammentare la legge dei grandi numeri. Teorema Per ogni sequenza X, X 2,... di variabili casuali indipendenti e identicamente distribuite con valore atteso µ <, per ogni > 0, vale lim P n X t µ n > = 0. t= In altre parole, se il campione è di taglia n sufficientemente grande rispetto ad, allora con alta probabilità la media campionaria è entro una distanza dal valore atteso. La proprietà AEP può essere dimostrata come un corollario della legge dei grandi numeri. Corollario 2 AEP Per ogni sequenza X, X 2,... di variabili casuali indipendenti e identicamente distribuite con valore atteso finito e per ogni > 0, vale lim P n log px px n HX > = 0. dove HX è l entropia della distribuzione di ciascuna delle X t. Dimostrazione. Introduciamo le variabili casuali Z, Z 2,... con Z t = log px t. Dato che funzioni di variabili casuali indipendenti e identicamente distribuite sono variabili casuali ancora i.i.d., ne deduciamo che Z, Z 2,... sono anch esse indipendenti e identicamente distribuite. Inoltre, n log px px n = n n log pxt = n t= n Z t. Dato che per ogni t vale E[Z t ] = HX t = HX, possiamo applicare la legge dei grandi numeri alle Z t ottenendo la tesi. Si noti che nella definizione di AEP compaiono delle quantità px t. Queste sono variabili casuali, funzioni delle X t, il cui valore è la probabilità calcolata in un punto casuale X t. Un modo più intuitivo di interpretare AEP è attraverso la nozione di insieme tipico. A n } {x,..., x n X n : 2 HX+ px px n 2 HX t= 2

3 Dato che { x,..., x n X n : } n log px px n HX A n vediamo subito che AEP implica lim P A n = e quindi per n abbastanza grande vale P A n >. In altre parole, asintoticamente le sequenze nell insieme tipico hanno tutte la stessa la probabilità pari a 2 HX, mentre la probabilità delle altre sequenze va a zero. Due altre proprietà notevoli dell insieme tipico sono le seguenti. Teorema 3 Siano X, X 2,... variabili casuali indipendenti e identicamente distribuite e sia A n l insieme tipico corrispondente.. Per ogni n, A n HX+ 2 n. 2. Per ogni n abbastanza grande vale A n HX 2 n. Dimostrazione. Ricordando che px n = px px n, cominciamo col dimostrare la prima proprietà. Abbiamo che = px n x n X n px n x n A n x n A n = A n 2 HX+ 2 HX+. per definizione di A n Per dimostrare la seconda proprietà osserviamo che per ogni n abbastanza grande vale P A n >, come avevamo già dimostrato. Quindi, per questi n abbiamo che < P A n = px n x n A n x n A n = A n 2 2 HX HX. per definizione di A n 3

4 Per la dimostrazione del secondo teorema di Shannon useremo una nozione un po più complessa di quella di insieme tipico, ovvero la nozione di insieme congiuntamente tipico. Però è possibile già sviluppare dell intuizione sul legame fra capacità o informazione mutua massimale e tasso di trasmissione utilizzando gli insiemi tipici. Fissiamo un canale X, Y, py x e una qualunque distribuzione px su X. Abbiamo dimostrato che l insieme tipico per px contiene all incirca 2 nhx sequenze x n X n. Anche l insieme tipico per py contiene quindi circa 2 nhy sequenze y n Y n. Si può dimostrare che se trasmettiamo una sequenza x n qualsiasi dall insieme tipico, a causa del rumore osserveremo con probabilità pressoché uguale una fra circa 2 nhy X sequenze tipiche y n Y n. Quindi, il numero massimo di x n distinte che posso trasmettere in modo tale che gli insiemi corrispondenti in Y n, ciascuno di cardinalità circa 2 nhy X, non si sovrappongano è 2 nhy 2 nhy X = 2n HY HY X = 2 nix,y. Posso utilizzare queste 2 nix,y sequenze per codificare altrettanti messaggi. Il tasso del codice che ottengo è log 2nIX,Y R = = IX, Y. n Siano X, Y variabili casuali con valori in X Y e distribuzione congiunta px, Y. Siano X n = X,..., X n e Y n = Y,..., Y n le variabili casuali associate alle estrazioni indipendenti di n coppie X, Y,..., X n, Y n. Quindi, P X n = x n, Y n = y n = n p x i, y i = px n, y n. Per ogni > 0, l insieme congiuntamente tipico B n è definito come { B n = x n, y n X n Y n : n log px n HX, n log py n HY, } n log px n, y n HX, Y. i= Lemma 4 Per ogni > 0 valgono le seguenti proprietà. lim P B n =. 2. Se X n ha distribuzione P X n = x n = i px i dove px è la marginale di X, e Ỹ n ha distribuzione PỸ n = y n = i py i dove py è la marginale di Y allora, per ogni n, P Xn, Ỹ n B n 2 IX,Y 3. 4

5 Dimostrazione. Usando un argomentazione del tutto simile a quella utilizzata per la dimostrazione dell analogo enunciato relativo a A n, applichiamo tre volte la legge dei grandi numeri in modo da ottenere che, per ogni δ > 0 fissato, n n n P n log 2 px n HX > δ 3 n 2 n n 2 n 3 n n 3 [A] P n log 2 py n HY > [B] δ 3 P n log 2 px n, Y n HX, Y > [C] δ 3. Quindi, per ogni n max{n, n 2, n 3 }, se indichiamo con B n l insieme complemento di B n, Abbiamo appena dimostrato che P B n = P [A] [B] [C] P[A] + P[B] + P[C] δ. lim P B n = 0 da cui otteniamo lim P B n =. Per la seconda parte, osserviamo che P Xn, Ỹ n B n = x n,y n B n x n,y n B n px n py n 2 HX 2 HY = B n HX+HY 2 2 dove la disuguaglianza vale perché x n, y n B n implica che px n 2 2 HY. Infine notiamo che = px n, y n px n, y n B n 2 x n,y n X n Y n x n,y n B n in quanto x n, y n B n implica px n, y n 2 HX,Y +. Quindi B n HX,Y 2 che sostituito in conclude la dimostrazione. HX HX,Y + e py n 5