1) Entropia di variabili aleatorie continue. 2) Esempi di variabili aleatorie continue. 3) Canali di comunicazione continui. 4) Canale Gaussiano

Transcript

1 Argomenti della Lezione 1) Entropia di variabili aleatorie continue ) Esempi di variabili aleatorie continue 3) Canali di comunicazione continui 4) Canale Gaussiano 5) Limite di Shannon 1

2 Entropia di una variabile aleatoria continua Sia una variabile aleatoria continua che assume valori in A con d.d.p. (x). La sua ENTROPIA (o entropia dierenziale) è deinita come: h + ( ) ( x )log ( x ) dx (1) se tale integrale esiste. A dierenza dell ENTROPIA deinita nel caso discreto: H ( ) M i 1 p i M 1 log pi log p i i 1 p i ()

3 Entropia di una variabile aleatoria continua L'unità di misura dell'entropia dierenziale è il bit/campione. La h() deinita dalla (1) può avere qualsiasi valore in (-in,+in). Inatti, mentre per le p i si ha: 0 p i 1, i 1,,M per la (x) si ha solo: (x) 0 A dierenza del caso discreto, per una variabile aleatoria continua non si può interpretare l'entropia dierenziale come una misura dell'incertezza media o come una misura del numero minimo di bit necessari a rappresentare ogni campione. Inatti per una variabile aleatoria continua, ogni campione dovrebbe essere rappresentato con un numero ininito di bit. 3

4 Relazione tra entropia ed entropia dierenziale Sia una variabile aleatoria continua che assume valori in A[a,b] con d.d.p. (x). Dividiamo l'intervallo A[a,b] in sottointervalli di lunghezza. Per il teorema del valor medio, in ogni sottointervallo esiste un valore x i tale che: ( x i ( i+ 1) ) ( x ) dx Si consideri la variabile aleatoria discreta ottenuta come i quantizzazione della variabile aleatoria continua e deinita come: x i se i < (i + 1) di conseguenza: P( ( i+ 1) xi ) pi i ( x) dx ( x i ) 4

5 Relazione tra entropia ed entropia dierenziale L'entropia della variabile aleatoria è data da: H ( ) + N i N + N i N + N p i log i p i ( x ) log ( ( x ) ) ( xi ) log ( xi ) ( xi ) log i + N i N i N Andando al limite per N, al posto di possiamo sostituire dx e se (x)log (x) è integrabile secondo Riemann, le sommatorie diventano un integrale: lim 0 + H ( ) + h( ) ( x)log 0 + lim log ( x) dx lim log ( x) dx 5

6 Relazione tra entropia ed entropia dierenziale Di conseguenza, l'entropia dierenziale della variabile aleatoria continua è pari all'entropia della stessa variabile aleatoria quantizzata in diversi intervalli più il logaritmo della dimensione di ogni intervallo, calcolati al limite per la dimensione degli intervalli che tende a zero: h( ) lim H ( 0 ) + log + 6

7 Esempio 1 Sia una variabile aleatoria continua che assume valori in [a,b] e con d.d.p. uniorme: ( x) 1 b a Si ha: h( ) 1 b a b a log ( x)log log 1 b a ( x) dx dx ( b a) bit/campione b a 7

8 Esempio Sia una variabile aleatoria continua Gaussiana con d.d.p. 1 ( x µ σ ( x) e πσ Considerando che in generale si ha: ) 8

9 Massima entropia dierenziale Teorema: sia una variabile aleatoria continua con d.d.p. (x) e varianza σ. La sua entropia dierenziale soddisa la disuguaglianza: h 1 log πeσ ( ) con il segno di uguaglianza se è una variabile aleatoria Gaussiana. Osservazione: la variabile aleatoria continua Gaussiana ha la massima entropia dierenziale tra tutte le variabili aleatorie continue con la stessa varianza. 9

10 Date due variabili aleatorie e Y con unzione di densità di probabilità congiunta Y (x,y), e condizionate Y (x y) Y (y x), vengono deinite le seguenti: Entropia congiunta: h Entropia congiunta e condizionata + + (, Y ) Y ( x, y )log Y ( x, y ) dxdy Entropie condizionate: h h + + ( Y ) Y ( x, y )log Y ( x y ) Mutua inormazione: dxdy + + ( Y ) Y ( x, y )log Y ( y x ) i dxdy + + ( ; Y ) Y ( x, y)log Y ( x, y) dxdy ( x) ( y) Y 10

11 Se h() e h(y) sono inite, valgono le seguenti relazioni: h(,y) h() + h(y) h(,y) h() + h(y ) h(y) + h( Y) h(y ) h(y) h( Y) h() Proprietà delle entropie dove le disuguaglianze diventano uguaglianze nel caso in cui e Y sono statisticamente indipendenti. Inoltre: i(;y) 0 i(;y) h() - h( Y) h(y) - h(y ) h() + h(y) - h(,y) 11

12 Un canale a valori continui ha come ingresso la variabile aleatoria continua e come uscita la variabile aleatoria continua Y. La trasmissione può essere tempo-continua o tempo discreta. Se la trasmissione è tempo continua il canale è detto waveorm channel. Canale a valori continui Il comportamento di un canale continuo è deinito tramite la d.d.p. condizionata (y x). La capacità di un canale a valori continui è deinita come: C max ( x) i(, Y ) Spesso la capacità viene calcolata ponendo un vincolo su, per esempio in potenza. 1

13 Canale con rumore additivo Gaussiano L'importanza del modello Gaussiano è legata al teorema del limite centrale secondo cui l'eetto cumulativo di un grande numero di eetti aleatori indipendenti è distribuito in modo Gaussiano. Il modello Gaussiano viene utilizzato per tenere conto del rumore termico che è presente in ogni circuito elettronico. E' un modello semplice per il quale è possibile esprimere la capacità in orma chiusa. 13

14 Canale con rumore additivo Gaussiano Canale additivo Gaussiano discreto nel tempo, continuo in ampiezza + Y N (ingresso) è una variabile aleatoria continua che assume valori reali x con densità di probabilità (x) Y (uscita) è una variabile aleatoria continua che assume valori reali y con densità di probabilità Y (y) N è una variabile aleatoria continua Gaussiana con media nulla e varianza σ N che rappresenta il rumore. Considerare variabili aleatorie al posto di processi aleatori corrisponde ad assumere che il canale sia senza memoria. 14

15 Canale con rumore additivo Gaussiano Canale additivo Gaussiano discreto nel tempo, continuo in ampiezza La variabile aleatoria Y è data da: Y + N Assumiamo che le variabili aleatorie e N siano indipendenti. Consideriamo il caso in cui la variabile aleatoria sia limitata in potenza e cioè sia σ inita. Calcoliamo le entropie: h log ( Y ) h( + N ) h( ) + h( N ) h( N ) h( N) e N 0 1 π σ variabili aleatorie indipendenti variabili aleatorie indipendenti 15

16 Canale con rumore additivo Gaussiano Canale additivo Gaussiano discreto nel tempo, continuo in ampiezza Possiamo calcolare la capacità di questo canale come: C max i( ; Y ) ( x) max h( Y ) h( Y ( x) ) max h( Y ) ( x) 1 log πeσ N Per il Teorema sul massimo dell'entropia dierenziale, il massimo di h(y) si ha quando Y è una variabile aleatoria continua Gaussiana e tale massimo è 1/ log πeσ Y Poichè N è Gaussiana, Y è Gaussiana se anche è Gaussiana e in tale caso, poichè ed N sono indipendenti, la varianza di Y è pari alla somma delle varianze: σ Y σ + σ N La capacità risulta quindi: σ log log 1 + C log πe( σ σ N ) πeσ N σ N 16

17 Canale con rumore additivo Gaussiano bianco (AWGN) Canale additivo Gaussiano continuo nel tempo, continuo in ampiezza (a banda limitata) (t) N(t) + Y(t) (t) (ingresso) è un processo aleatorio continuo che assume valori reali x con densità di probabilità (x) e densità spettrale di potenza limitata nell'intervallo [-B,B]. Y(t) (uscita) è un processo aleatorio continuo che assume valori reali y con densità di probabilità Y (y) e con potenza P. N(t) è un processo aleatorio continuo Gaussiano bianco, stazionario in senso lato, con media nulla, varianza σ N e densità spettrale di potenza: P N () N 0 /. N(t) sia indipendente da (t). 17

18 Canale con rumore additivo Gaussiano bianco (AWGN) Canale additivo Gaussiano continuo nel tempo, continuo in ampiezza Poichè il segnale aleatorio di ingresso è strettamente limitato in banda nell intervallo (-B, B), esso può essere rappresentato impiegando almeno B campioni al secondo (Teorema del campionamento). (a banda limitata) Di conseguenza, l'uscita Y(t) viene campionata ogni 1/B secondi e in questo modo si campiona sia il segnale di ingresso che il rumore. Poichè il rumore è bianco, due campioni qualsiasi del rumore sono incorrelati, essendo la unzione di autocorrelazione R NN (τ) N 0 / δ(τ) 18

19 Canale con rumore additivo Gaussiano bianco (AWGN) Canale additivo Gaussiano continuo nel tempo, continuo in ampiezza (a banda limitata) Un processo bianco ha una potenza media ininita su una banda ininita, ma ha una potenza media inita se viene iltrato per poi essere campionato. Se N(t) è Gaussiano ed è stazionario in senso lato allora è anche stazionario in senso stretto. Inoltre se un processo Gaussiano viene posto in ingresso ad un iltro lineare, l uscita è ancora un processo Gaussiano. Se N(t) è un processo Gaussiano e bianco, il atto che due campioni presi in istanti diversi siano scorrelati signiica anche che i due campioni sono variabili aleatorie statisticamente indipendenti (senza memoria). Ogni campione di (t) ha una varianza pari alla potenza P x mentre ogni campione di N(t) ha una varianza pari alla potenza di rumore N 0 B. 19

20 Canale con rumore additivo Gaussiano bianco (AWGN) Canale additivo Gaussiano continuo nel tempo, continuo in ampiezza Possiamo quindi considerare le variabili aleatorie, Y e N ottenute dal campionamento di Y(t) ed applicare il risultato sulla capacità valido per il canale Gaussiano tempo discreto senza memoria. (a banda limitata) La potenza del rumore è pari a N 0 B e si ottiene integrando la densità spettrale di potenza in [-B,B]. Poichè vengo generati B campioni al secondo, la capacità può anche essere espressa come: 1 σ 1 log 1 log 1 + P + C σ N N0B C T P log 1 + B N0B bit/s bit/campione 0

21 Canale con rumore additivo Gaussiano bianco (AWGN) Canale additivo Gaussiano continuo nel tempo, continuo in ampiezza (a banda limitata) La quantità: SNR P N B 0 viene detto rapporto segnale rumore. Esso rappresenta una metrica di prestazioni del sistema di comunicazioni poichè determina la capacità del canale e la probabilità di errore. 1

22 Canale con rumore additivo Gaussiano bianco (AWGN) Canale additivo Gaussiano continuo nel tempo, continuo in ampiezza Passando al limite per B + possiamo calcolare la capacità del canale AWGN con banda illimitata. Poniamo: (a banda illimitata) P α, α 0 per B N B 0 + C ( + α ) P ln 1 P P lim 1.44 N ln α 0 0 α N0 ln N0 T bit/s

23 Limite di Shannon Ricordiamo la capacità in bit/s del canale AWGN continuo nel tempo, continuo in ampiezza e a banda limitata: Deiniamo eicienza spettrale η B R b /B, la capacità di trasmettere una certa quantità di dati al secondo R b con una piccola quantità di banda B. C T P log 1 + B N0B Deiniamo eicienza in potenza, la capacità di ricevere con una data probabilità di errore utilizzando un basso rapporto segnale rumore SNR. bit/s Partendo dalla capacità del canale AWGN continuo nel tempo e continuo in ampiezza con banda illimitata possiamo ricavare la relazione tra eicienza spettrale ed eicienza in potenza. 3

24 Limite di Shannon Per il Teorema inverso della codiica, non si può avere una trasmissione con probabilità di errore piccola a piacere se h()>c o, dividendo per il tempo di simbolo, se la requenza di inormazione è maggiore della capacità per secondo, R b >C T. Sia SNR P /N 0 B R b E b /N 0 B ηe b /N 0, ponendoci al limite con R b C T si ha: R η E B log 1 + η N b b 0 log 1 + η N E b 0 E b N 0 η 1 η lim η 0 E b N 0 η lim η 1 ln η db Limite ultimo di Shannon 4

25 Limite di Shannon Graico di: E b N 0 η 1 η 5

26 Limite di Shannon Esiste un compromesso tra l eicienza spettrale e l eicienza in potenza. Fissata l eicienza spettrale esiste un valore limite dell eicienza in potenza e, analogamente, issata l eicienza in potenza esiste un valore limite dell eicienza spettrale. In ogni caso (per qualsiasi valore dell eicienza spettrale piccola a piacere) il rapporto segnale rumore non può scendere al di sotto di db se si vuole una trasmissione aidabile. Se voglio aumentare l eicienza spettrale devo aumentare la potenza e quindi ar diminuire l eicienza in potenza per avere stessa probabilità di errore. Se voglio aumentare l eicienza in potenza devo diminuire l eicienza spettrale per avere stessa probabilità di errore. 6

27 Esempio Il progettista di un sistema di comunicazione numerico cerca di scegliere i parametri del sistema in modo da raggiungere quanto più possibile la capacità C con un tasso d errore pre-assegnato Si calcoli la capacità C di un canale Gaussiano con banda B 500 Hz e rapporto segnale-rumore pari a 30 db Soluzione: Con B 500 e P /N 0 B 10 3 dalla ormula si ottiene: C bit/s 7