TEORIA DELL INFORMAZIONE ED ENTROPIA FEDERICO MARINI

Transcript

1 TEORIA DELL INFORMAZIONE ED ENTROPIA DI FEDERICO MARINI 1

2 OBIETTIVO DELLA TEORIA DELL INFORMAZIONE Dato un messaggio prodotto da una sorgente, l OBIETTIVO è capire come si deve rappresentare tale messaggio per ottenere una trasmissione efficiente ed affidabile dell informazione in essa contenuta su un canale di comunicazione reale. 2

3 Il primo passo da analizzare è definire il tipo di sorgente: SORGENTE DISCRETA E un tipo di sorgente che emette simboli che appartengono ad un alfabeto finito X = x1 x2 x ciascuno caratterizzato da una probabilità P i e autoinformazione. I i { },,..., M 3

4 Pertanto la teoria dell Informazione utilizza tre concetti base: Misura d informazione di una sorgente Capacità d informazione di un canale Codifica: mezzo per utilizzare la capacità di canale per trasferire informazione. 4

5 CODIFICA SORGENTE CANALE Governata dal I teorema di Shannon. Governata dal II teor. di Shannon 5

6 La misura dell informazione è legata all incertezza associata all emissione di ciascun simbolo x i. Pertanto l informazione associata ad un messaggio è legata alla sua probabilità. Shannon definisce la misura d informazione, la seguente quantità: Dove I i rappresenta l autoinformazione del messaggio e b è la base del logaritmo. Se b=2 l autoinformazione si misura in bit. 6

7 MISURA D INFORMAZIONE PROPRIETA per I i per P i I 0 P 1 i i Ii > I j per Pi < Pj I = log P x, x = log PP = log P log P = I + I ( ) ij b i j b i j b i b j i j

8 ENTROPIA DI UNA SORGENTE Tale quantità si definisce Entropia della sorgente e rappresenta l informazione media per simbolo che è data dalla media statistica delle autoinformazioni dei simboli della sorgente ( I1, I 2,..., I M ). Per M=2, l entropia vale: 8

9 ENTROPIA DI UNA SORGENTE M-ARIA P i Nel caso di sorgente M-aria, l entropia H(x) dipende dalla probabilità P i dei simboli emessi dalla sorgente e dalla dimensione M dell alfabeto con M numero di simboli. 9

10 ENTROPIA DI SORGENTE BINARIA Definite le due probabilità di emissione dei simboli 1P = p e P2 = 1 p : 10

11 TEOREMA DELLA CODIFICA DI SORGENTE Sorgente discreta senza memoria Codificatore binario r b R R = rh ( X ) R = r Ω( p) b 11

12 I TEOREMA DI SHANNON N N Con che rappresenta il valor medio delle lunghezze delle parole di codice che rappresentano i simboli emessi dalla sorgente e con H(X) l entropia di una sorgente discreta senza memoria. 12

13 EFFICIENZA DI UN CODICE η = ( ) H x N 1 Un codice per cui vale N = H ( x ) si dice assolutamente ottimo. Un codice per cui si ottiene il valore minimo possibile di N per una determinata sorgente si dice ottimo. Un codice con valore di N superiore a quello di un codice ottimo si dice sub-ottimo.

14 CODICE DI HUFFMAN E un esempio di codice ottimo, in quanto si riesce ad ottenere il minimo N possibile per una determinata sorgente (ma non necessariamente assolutamente ottimo η=1). 14

15 CODIFICA DI CANALE 1) L obiettivo consiste nell aumentare la resistenza di un sistema di telecomunicazione al rumore presente sul canale. 2) La codifica di canale trasforma la sequenza di dati in ingresso al canale in una nuova sequenza intrinsecamente più robusta agli effetti del rumore. 3) La decodifica di canale effettua l operazione inversa in uscita dal canale per ricostruire la sequenza originale. 15

16 Il canale è considerato come operatore stocastico che trasforma i simboli in ingresso in simboli in diversi in uscita in modo probabilistico. Il canale è descritto dalla matrice di canale i cui elementi sono le probabilità condizionate P( yn / xm ) : { } x1, x2,..., xm X = { } CANALE (RUMOROSO) y1, y2,..., yn = Y 16

17 EQUIVOCAZIONE DI CANALE H ( X / Y ) E log = X, Y 2 PX / Y ( x / y) L Equivocazione di Canale rappresenta l incertezza che rimane in media sul simbolo trasmesso, dopo l osservazione del simbolo ricevuto. INFORMAZIONE MUTUA ( ) ( ) ( ) I = X, Y = H X H X / Y L Informazione Mutua mi dice di quanto sia ridotta in media l incertezza sul simbolo emesso dalla sorgente una volta osservato il simbolo ricevuto. 17 1

18 CAPACITA DI CANALE PER SIMBOLO Cs E il tasso d informazione massimo consentito da un dato canale: Cs = I X Y bit simbolo max { P ( x i ) } (, ) [ / ] CAPACITA DI CANALE PER UNITA DI TEMPO C C = C S s Dove S mi indica la massima velocità dei simboli permessi dal canale. 18

19 CANALE DISCRETO SIMMETRICO Un canale discreto simmetrico è un canale in cui le probabilità di transizione sono tali per cui la probabilità di transire risulta uguale per tutti i simboli (quindi l entropia condizionata H ( Y / xi ) è indipendente dal simbolo ). x i 19

20 CAPACITA DI UN CANALE BINARIO SIMMETRICO ( ; ) = ( ) ( / ) = Ω ( α + 2α ) Ω( α ) I X Y H Y H Y X p p

21 Ponendo p=0.5, ottengo: s ( α 2α ) ( α ) 1 ( α ) C = Ω + p p Ω = Ω C s Quindi dipende dalla probabilità di transizione α: Per α = 0, C s = 1 e si ha un canale ideale (canale senza rumore). Per, C = e si ha un canale rumoroso. α s 21

22 II TEOREMA DI SHANNON (CODIFICA DI CANALE) Si suppone di avere una sorgente discreta senza memoria con alfabeto X, entropia H(X) e symbol rate r. L information rate vale R=rH(X) Si suppone di disporre un canale discreto senza memoria con capacità per unità di tempo pari a C [bit/sec]. 22

23 Se R C allora esiste un sistema di codifica tale da permettere la trasmissione dell informazione emessa dalla sorgente sul canale con una probabilità di errore arbitrariamente piccola. Se R > C non è possibile trasmettere l informazioni senza errori. 23

24 SORGENTE CONTINUA La sorgente può produrre un insieme di possibili segnali nel tempo x( t) che può essere visto come un processo aleatorio ergodico. La capacità del canale sarà espressa intermini di larghezza di banda e di rapporto segnale-rumore. Ad ogni istante di campionamento si ha una variabile aleatoria continua x descritta da una funzione di densità di probabilità px ( x). 24

25 ENTROPIA DI UNA SORGENTE CONTINUA 1 H ( X ) = p ( ) x x log2 dx p x ( ) CAPACITA DI UN CANALE CONTINUO max { P ( x) } x x ( ; ) [ / ] Cs = I X Y bit campione CAPACITA DI UN CANALE CONTINUO A BANDA LIMITATA C = 2B Cs 25

26 LEGGE DI HARTLEY-SHANNON S C = B log2 1 + bit / sec N [ ] La legge di Hartley-Shannon descrive la capacità di un canale continuo che introduce un rumore additivo Gaussiano Bianco con banda limitata. 26