Sorgenti discrete e informazione

Transcript

1 Sorgenti discrete e informazione La definizione formale della quantità di informazione è dovuta a Shannon Nella sua teoria si fa riferimento ad una sorgente di messaggi connessa tramite un canale a un destinatario In particolare ci riferiamo a una sorgente di messaggi discreti S C D

2 Sorgenti discrete e informazione Nel modello preso in considerazione da Shannon una sorgente discreta è in grado di emettere dei simboli appartenenti ad un insieme A detto alfabeto della sorgente Un messaggio m emesso dalla sorgente è una concatenazione di simboli dell'alfabeto S A s,s 2.. s N m = s k s k2... s km m = M è la lunghezza del messaggio A =N è la cardinalità dell'alfabeto

3 Sorgenti discrete e informazione L'informazione associata ai simboli emessi dalla sorgente viene definita facendo riferimento alla diminuzione dell'incertezza in seguito alla ricezione di un simbolo dell'alfabeto o in altri termini alla sorpresa che provoca la ricezione di un simbolo della sorgente S A s,s 2.. s N m = s k s k2... s km

4 Sorgenti discrete e informazione E' necessario quindi fare riferimento alle caratteristiche statistiche della sorgente Più un simbolo viene emesso raramente e maggiore è la sorpresa che provoca nel ricevitore e maggiore è la quantità di informazione che trasporta Al contrario un simbolo emesso frequentemente porta poca informazione (non è sorprendente aspettarsi l'emissione di questo simbolo)

5 Sorgenti discrete e informazione Una sorgente che emette un solo simbolo, non fornisce alcuna informazione se una moneta ha una faccia truccata (più pesante) ci si può aspettare dal lancio che questa faccia esca più frequentemente (poca informazione) e di conseguenza nel caso in cui esca l'altra ne saremmo maggiormente sopresi (più informazione) una vincita al super enalotto ci sorprenderebbe parecchio (oltre che renderci felici!) visto che si tratta di un evento raro (relativamente ad un giocatore)

6 Sorgenti discrete e informazione E' naturale allora misurare la sorpresa e quindi l'informazione riferendosi alla probabilità di emissione di un simbolo p(s k ) = p k = probabilità di emissione di s k Nel modello di Shannon la sorgente è rappresentata da un'urna contenente delle palline corrispondenti ai simboli dell'alfabeto La composizione dell'urna è determinata dalle probabilità di emissione dei simboli dell'alfabeto

7 Sorgenti discrete e informazione Se un simbolo s k ha probabilità p k di essere emesso il numero delle palline corrispondenti è pari a p k N p dove N p è il numero totale di palline dell'urna L'emissione di un simbolo corrisponde all'estrazione di una pallina dall'urna Le emissioni dei simboli sono indipendenti l'una dall'altra Dopo ogni estrazione la pallina viene rimessa nell'urna

8 Sorgenti discrete e informazione Questo modello consente di assimilare ad una sorgente discreta, non solo apparati che trasmettono informazioni nello spazio, ma anche testi (visti come successione di simboli), immagini ecc. I risultati della teoria dell'informazione sono quindi applicabili sia a problemi di trasmissione (aumento della velocità di trasmissione) che a problemi di memorizzazione delle informazioni (compressione dei dati)

9 Sorgenti discrete e informazione L'ipotesi di considerare i simboli emessi in modo indipendente l'uno dall'altro non è molto aderente alla realtà. es. nella lingua italiana dopo la lettera q si incontra quasi sempre la lettera u (tranne che nella parola soqquadro) in un brano di musica di genere ad es. rock'n roll la sequenza degli accordi segue degli schemi abbastanza prevedibili (es. do - fa sol) La trattazione matematica risulta semplificata

10 Definizione quantitativa di informazione Secondo Shannon la definizione di quantità di informazione deve rispettare i seguenti vincoli (assiomi) L'informazione I(s k ) associata ad un simbolo s k sarà una funzione di p k probabilità di emissione di s k Minore il valore di p k e maggiore sarà I(s k ) e viceversa L'informazione associata ad un messaggio m deve essere la somma delle informazioni di ciascun simbolo che lo compone

11 Definizione quantitativa di informazione Considerando che la probabilità di un messaggio m formato da M simboli è pari al prodotto delle probabilità di ogni simbolo (per l'indipendenza delle emissioni) I s k =f p k I m=f p =f m p k p =f km I m=i s k I s km =f p f k quindi f =f p km p k p km p f k p k p km p km

12 Definizione quantitativa di informazione Una funzione che trasformi un prodotto in una somma è il logaritmo I s k =f p k =log b p k L'unità di misura è il bit e per individuare la base b del logaritmo si deve definire la situazione in cui un simbolo ha informazione pari ad bit.

13 Definizione quantitativa di informazione La situazione di riferimento è quella della sorgente più semplice possibile (in pratica il lancio di una moneta): A={0,} alfabeto di due simboli p 0 = p = 0.5 I 0=I =log b b =2 b=2 0.5 =log b 2=

14 Definizione quantitativa di informazione Es. una moneta truccata ha: p T = 0.6 e p C = 0.4 I T =log 2 =0.737 bit 0.6 I C =log =.322bit come era da aspettarsi il simbolo più probabile (T) porta meno informazione

15 Entropia di una sorgente Per caratterizzare complessivamente la sorgente possiamo considerare il valore medio dell'informazione portata da un simbolo emesso effettuando la media ponderata delle informazioni (la somma delle probabiltà è ) N H = k= N p k I s k = k= p k log 2 p k bit/simbolo Tale grandezza viene chiamata Entropia della sorgente

16 Entropia di una sorgente Es. nel caso della moneta non truccata: 2 H= k= p k I s k = = bit/simbolo Per la moneta truccata: 2 H= k= p k I s k = = 0,970 bit/simbolo

17 Entropia di una sorgente Il significato profondo di questa grandezza è che se misuriamo la quantità media di informazione di un messaggio di M caratteri emesso dalla sorgente è pari: I m=m H bit es. un messaggio di 000 simboli di una sorgente con entropia pari a bit/simb ha associata in media un'informazione pari a 970 bit

18 Entropia di una sorgente Questo vuol dire che è possibile trovare una codifica univocamente decifrabile dei simboli della sorgente tale che un messaggio di M simboli sia rappresentabile con H M binit (cifre binarie) es. nel caso della moneta truccata, si può trovare una codifica in base alla quale 000 lanci di moneta siano rappresentabili con 970 cifre binarie anziché le 000 necessarie nella rappresentazione T=0 e C=

19 Entropia di una sorgente Es. Alfabeto={A,B,C,D} p A =0.60 I(A)=-log 2 (0.60)=0.737 bit p B =0.20 p C =0.5 p D =0.05 I(B)=-log 2 (0.20)=0.30 bit I(C)=-log 2 (0.5)=2.737 bit I(D)=-log 2 (0.05)=4,322 bit H= = =.29 bit/simb

20 Entropia di una sorgente Il significato è questo: se codifico la sorgente banalmente (4 simboli=2 binit a simbolo) un messaggio di es. 000 simboli occuperà 2000 binit; esiste una codifica che consente di rappresentare in media un messaggio di 000 simboli con 29 binit anziché 2000 (quasi la metà!) non è conveniente dare lo stesso peso (stessa lunghezza di rappresentazione) ad A che esce il 60% delle volte e a D che esce il 5% delle volte...

21 Entropia di una sorgente... se il messaggio verrà trasmesso si impiegherà poco più della metà del tempo se il messaggio deve essere memorizzato si occuperà poco più della metà della memoria converrà rappresentare con meno binit i simboli più frequenti La codifica cercata è la codifica di Huffman

22 Entropia di una sorgente Una sorgente con N simboli equiprobabili avrà la massima entropia tra le sorgenti di N simboli: N H= k= p k log 2 p k Si definisce ridondanza della sorgente: N = k = N log 2N = = N N log 2N = log 2 N bit/simbolo R = H H MAX