3. TEORIA DELL INFORMAZIONE

Transcript

1 3. TEORIA DELL INFORMAZIONE INTRODUZIONE MISURA DI INFORMAZIONE SORGENTE DISCRETA SENZA MEMORIA ENTROPIA DI UNA SORGENTE NUMERICA CODIFICA DI SORGENTE 1 TEOREMA DI SHANNON CODICI UNIVOCAMENTE DECIFRABILI

2 3. TEORIA DELL INFORMAZIONE DISUGUAGLIANZA DI KRAFT CODICE DI SHANNON-FANO CODICE DI HUFFMAN MISURA DI INFORMAZIONE MUTUA CANALE BINARIO SIMMETRICO CAPACITA DI UN CANALE DISCRETO CODIFICA DI CANALE

3 3. TEORIA DELL INFORMAZIONE 2 TEOREMA DI SHANNON CANALI CONTINUI CAPACITA DI UN CANALE CONTINUO SISTEMA DI TELECOMUNICAZIONE IDEALE LEGGE DI HARTLEY-SHANNON CONFRONTI DELLE PRESTAZIONI DI SISTEMI REALI

4 INTRODUZIONE Sino ad ora abbiamo considerato i sistemi di TLC dal punto di vista dei messaggi emessi da una sorgente e dei segnali ad essi associati. Obiettivo di un sistema di TLC: trasferire informazione da una sorgente ad una destinazione mediante un canale di trasmissione. E importante studiare i sistemi di TLC sulla base dell informazione associata ad un messaggio.

5 INTRODUZIONE Teoria dell Informazione: un sistema di TLC viene studiato dal punto di vista del processo di trasferimento dell informazione contenuta nei messaggi emessi dalla sorgente, indipendentemente dal segnale con cui questa informazione viene rappresentata. Cenni storici: la Teoria dell Informazione è stata formulata da Shannon (1948).

6 INTRODUZIONE OBIETTIVO DELLA TEORIA DELL INFORMAZIONE Dato un messaggio prodotto da una sorgente, l obiettivo della teoria dell informazione è capire come si deve rappresentare tale messaggio per ottenere una trasmissione efficiente dell informazione in esso contenuta su di un canale di comunicazione reale (con inevitabili limitazioni fisiche). X={x 1, x 2,, x M } Sorgente? Canale? Destinazione

7 INTRODUZIONE La teoria dell informazione utilizza 3 concetti base: misura di informazione di una sorgente; capacità di informazione di un canale; codifica: mezzo per utilizzare la capacità di canale per trasferire informazione.

8 INTRODUZIONE Codifica ottima: adatta sorgente e canale in modo da avere la massima efficienza nel trasferimento dell informazione. Nella teoria dell informazione, il processo di codifica viene separato in 2 fasi distinte: codifica di sorgente; codifica di canale.

9 INTRODUZIONE CODIFICA DI SORGENTE La codifica di sorgente adatta la sorgente alla trasmissione su di un opportuno canale equivalente privo di rumore. La codifica di sorgente è governata dal 1 Teorema di Shannon.

10 INTRODUZIONE CODIFICA DI CANALE La codifica di canale permette di trasmettere l informazione emessa dalla sorgente (opportunamente trattata mediante la codifica di sorgente) in maniera affidabile su un canale reale caratterizzato da limitazioni fisiche (es. rumore). La codifica di canale è governata dal 2 Teorema di Shannon

11 INTRODUZIONE Sorgente Codifica di sorgente Canale equivalente privo di rumore Decodifica di sorgente Destinazione Codifica di canale Canale reale (rumoroso) Decodifica di canale

12 INTRODUZIONE Nel seguito, dapprima analizzeremo il caso di informazione legata ad una sorgente discreta. Successivamente i risultati ottenuti nel caso discreto verranno generalizzati al caso continuo. Il primo passo da fare nello studio della teoria dell informazione è definire in maniera formale una sorgente discreta e la quantità di informazione da essa emessa.

13 SORGENTE DISCRETA: DEFINIZIONE Sorgente discreta: esperimento con diversi valori di uscita caratterizzati da una conoscenza probabilistica del tasso di emissione. x 1, x 2,, x M VALORE DI USCITA P 1,P 2,, P M PROBABILITA

14 MISURA DI INFORMAZIONE La misura di informazione è legata all incertezza associata all emissione di ciascun simbolo x i (ovvero è legata all incertezza sul fatto che il valore di uscita dell esperimento sia proprio x i ) Forte incertezza grande contenuto informativo Messaggi poco probabili grande contenuto informativo

15 MISURA DI INFORMAZIONE Quindi l informazione associata ad un messaggio è legata alla sua probabilità le probabilità degli eventi definiscono la funzione informazione (o la funzione incertezza). Shannon definì misura di informazione la quantità: I i def = log P = log b i b 1 P i I L b autoinformazione del messaggio x i base del logaritmo

16 MISURA DI INFORMAZIONE: PROPRIETA a) I i 0 per 0 P i 1 b) I i 0 per P i 1 HYHQWR PROWR SUREDELOH SRFD LQIRUPD]LRQH c) I i > I j per P i < P j i q PHQR SUREDELOH GL j i FRQWLHQH SL LQIRUPD]LRQH GL j

17 MISURA DI INFORMAZIONE: PROPRIETA d) Consideriamo due messaggi indipendenti x i,x j : P (x i,x j ) = P i P j ij b ( xi,x j ) = logb Pi Pj = logb Pi logb Pj = Ii I j I = log P + L informazione totale è uguale alla somma dell informazione associata ai singoli messaggi. N.B.: La misura di informazione definita da Shannon è l unica funzione che soddisfa le 4 proprietà viste.

18 MISURA DI INFORMAZIONE Solitamente si lavora nel caso binario (b=2): I i = log 2 1 P i [ bit] Per una sorgente binaria con simboli equiprobabili: ( x ) = P( x ) P 1 2 = = I2 = log 2 = 1 I 2 [ bit] Questo significa che 1 bit è l informazione necessaria per distinguere tra 2 messaggi equiprobabili.

19 MISURA DI INFORMAZIONE: NOTAZIONE E necessario distinguere tra: bit intesi come misura di informazione; bit intesi come vere e proprie cifre di un codice binario. Nel seguito si userà il termine binit per indicare le cifre binarie quali elementi fisici di un messaggio o di un codice. Il termine bit verrà associato alla misura di informazione.

20 SORGENTE DISCRETA SENZA MEMORIA: DEFINIZIONE Definiamo sorgente discreta senza memoria una sorgente caratterizzata delle seguenti proprietà: sorgente che può emettere un insieme di M simboli X={x 1, x 2,, x M } ciascuno caratterizzato da probabilità P i e autoinformazione I i ; P i costanti nel tempo (sorgente stazionaria); simboli emessi in istanti differenti statisticamente indipendenti. Indichiamo con r [simboli/sec] la symbol rate (velocità di simbolo) media di emissione della sorgente.

21 ENTROPIA DI UNA SORGENTE DISCRETA SENZA MEMORIA L informazione media per simbolo è data dalla media statistica delle autoinformazioni dei simboli della sorgente (I 1, I 2,, I M ): H def M ( X ) = Pi Ii = Pi log2 [ bit / simbolo] i= 1 Tale quantità è definita entropia della sorgente. M i= 1 1 P i

22 ENTROPIA DI UNA SORGENTE BINARIA Nel caso di sorgente binaria (M=2), l entropia della sorgente può assumere i seguenti valori: ( X ) log M 1 0 H 2 = In particolare, note le probabilità di emissione dei simboli (P 1 =p e P 2 =1-p), l entropia di una sorgente binaria è data da: 1 H( X ) = Ω ( p) = plog2 + ( 1 p) log2 p 1 1 p

23 ENTROPIA DI UNA SORGENTE BINARIA Ω ( p) IL MASSIMO DELL ENTROPIA SI VERIFICA NELLE CONDIZIONI DI EQUIPROBABILITA (p=0.5) E VALE log 2 2=1 [bit/simbolo] p

24 ENTROPIA DI UNA SORGENTE M-ARIA Nel caso di sorgente M-aria, l entropia H(X) dipende dalla probabilità P i dei simboli emessi dalla sorgente e dalla dimensione M dell alfabeto (M=numero di simboli). Si può dimostrare che: ( X ) log M 0 H 2 NESSUNA INCERTEZZA SUL SIMBOLO EMESSO DALLA SORGNTE (P i =1, P j =0 j i ) MASSIMA INCERTEZZA SUL SIMBOLO EMESSO DALLA SORGENTE (P i =1/M, i )

25 CODIFICA DI SORGENTE Se la sorgente emette una sequenza di n simboli (con n>>1), l informazione totale da trasferire è pari a circa nh(x) bit. Si definisce velocità di informazione della sorgente ( information rate ) R la seguente quantità: DURATA DELLA SEQUENZA NEL TEMPO ( X ) nh R = = n r rh ( X )[ bit / sec] SONO BIT DI INFORMAZIONE

26 CODIFICA DI SORGENTE Shannon: l informazione proveniente da una sorgente discreta senza memoria può essere codificata con cifre binarie e trasmessa su di un canale senza rumore con una bit rate r b che deve soddisfare il seguente vincolo: r b R [ binit / sec] SONO CIFRE DI UN CODICE BINARIO

27 CODIFICA DI SORGENTE NOTAZIONE r è la symbol rate misurata in [simboli/sec]; R è la information rate misurata in [bit/sec]; r b è la signalling rate (o bit rate) misurata in [binit/sec].

28 CODIFICA DI SORGENTE Consideriamo una sorgente discreta senza memoria caratterizzata dalla possibilità di emettere M differenti: simboli se i simboli sono equiprobabili R = r log2 M se i simboli non sono equiprobabili ( X ) < r log M R = rh 2

29 CODIFICA DI SORGENTE OSSERVAZIONI Nel caso di simboli equiprobabili, l informazione può essere efficacemente trasmessa per mezzo di simboli M-ari con symbol rate r. Nel caso di simboli non equiprobabili, conviene usare una un processo di codifica che tenga conto dell informazione variabile associata ai simboli e che consenta di trasmettere ad una velocità prossima a R.

30 CODIFICA DI SORGENTE Consideriamo il caso di codifica binaria dei simboli di sorgente. Il codificatore produce un uscita uguale a quella che avrebbe una sorgente binaria con entropia Ω(p) e information rate r b Ω(p) (con p opportuno).

31 CODIFICA DI SORGENTE Poiché il codificatore non aggiunge né distrugge informazione, allora l information rate di ingresso deve essere uguale a quella di uscita: Information rate in ingresso al codificatore ( X ) = rb ( p) rb R = rh Information rate in uscita dal codificatore Bit rate in uscita dal codificatore Sorgente discreta senza memoria Codificatore binario r b R R = rh ( X ) R = rbω ( p)

32 CODIFICA DI SORGENTE Si definisce lunghezza media di un codice la quantità: N = rb r Si può scrivere: N = M i= 1 P i N i LUNGHEZZA DELLA PAROLA DI CODICE RELATIVA AL SIMBOLO i-esimo Parola di codice (caso binario): sequenza di 1 e 0 con cui viene codificato un determinato simbolo.

33 1 TEOREMA DI SHANNON ( ) Siano H X l entropia di una sorgente discreta senza memoria e N il valore medio delle lunghezze delle parole di codice che rappresentano i simboli emessi dalla sorgente. Si può dimostrare che vale la seguente condizione: N H ( X ) N = H ( X ) Il limite inferiore di N è quindi dato da.

34 EFFICIENZA DI UN CODICE Un codice per cui vale si dice assolutamente ottimo. N = H ( X ) Un codice per cui si ottiene il valore minimo possibile di N per una determinata sorgente si dice ottimo (anche se ). N > H ( X ) Un codice con valore di N superiore a quello di un codice ottimo si dice sub-ottimo.

35 EFFICIENZA DI UN CODICE Il rapporto tra entropia e lunghezza media del codice: R rb = H N ( X ) 1 rappresenta una buona misura dell efficienza di un codice ottimo o sub-ottimo. Pertanto, si può definire l efficienza come: H X efficienza % = N ( ) 100

36 CODICE UNIVOCAMENTE DECIFRABILE Proprietà fondamentale di un codice: la sequenza di simboli codificati non deve dare luogo ad ambiguità in sede di decodifica. Un codice che rispetta la suddetta proprietà è detto unicamente decifrabile (ud). Esempio: codice non ud A 0, B 1, C 10, D può essere decodificato come BAABB CAD CABB

37 CODICE UNIVOCAMENTE DECIFRABILE ISTANTANEO Definizione: Codice ud istantaneo (o codice a prefisso) Si dice codice ud istantaneo un codice in cui ogni parola è identificabile non appena finita la sequenza binaria che la rappresenta. Per costruire un codice ud istantaneo, ogni parola di codice deve essere scelta in modo tale che non risulti prefisso di altre parole di codice. Esempio di codice ud istantaneo: A 0, B 10, C 110, D 111

38 DISUGUAGLIANZA DI KRAFT-MCMILLAN Data una sorgente discreta senza memoria che può emettere uno tra M simboli, un codice binario ud che rappresenta tale sorgente è sempre costituito da parole di codice aventi lunghezze N i che soddisfano la seguente disuguaglianza di Kraft-McMillan: K M = 2 i= 1 N i 1 Viceversa, se si scelgono per le parole di codice che rappresentano la sorgente lunghezze che soddisfano la condizione di Kraft-McMillan, allora è sempre possibile costruire un codice ud.

39 CODIFICA DI SORGENTE: ESEMPIO Consideriamo una sorgente che emette 4 simboli non equiprobabili: 1 = 2 P 1 P1 2 = 3 = 4 = 4 P 1 8 P 1 8 L entropia H(X) di questa sorgente è data da: H( X ) = P log2 = log2 2 + log2 4 + log2 8 + log2 8 P i= 1 i = i 1.75 [bit / simbolo ]

40 CODIFICA DI SORGENTE: ESEMPIO x i P i &RG &RG &RG &RG $ % & ' N.

41 CODIFICA DI SORGENTE: ESEMPIO Codice 1 (codice a lunghezza fissa) N = 2 N=1 ud, efficienza 88% Codice 2 ( ) N = 1.25 < H X, N>1 non è ud! Codice 3 (codice a virgola) N = 1.875, N<1 ud, efficienza 93% Codice 4 (codice ad albero) ( ) N = 1.75 = H X.=1 ud, efficienza 100% codice assolutamente ottimo

42 CODICE ASSOLUTAMENTE OTTIMO: CONDIZIONE NECESSARIA Un codice binario può essere assolutamente ottimo (cioè ( ) N = H X ) se e solo se k=1 e le probabilità dei simboli sono tali per cui: P i = 1 2 N i i=1,2,,m N i =LUNGHEZZA PAROLA i-esima Pertanto, il codice assolutamente ottimo dovrà avere: N log P = i = 2 i I i

43 CODICE ASSOLUTAMENTE OTTIMO ESEMPIO P 1 N 1 1 = 8 = 3 1 P2 = 16 N = 4 2 P 3 N 3 1 = 2 = P M N M 1 = 64 = 6 CONCLUSIONE La strategia da adottare per effettuare la codifica di sorgente prevede di assegnare ai simboli che hanno probabilità più alta parole di codice più corte rispetto a quelle dei simboli con probabilità più bassa.

44 CODICE DI SHANNON-FANO Si tratta di un codice sub-ottimo univocamente decifrabile semplice ed efficiente. STRATEGIA DI CODIFICA 1. I simboli vengono ordinati in colonna con probabilità decrescente. 2. I simboli vengono divisi in due gruppi, tramite una riga orizzontale, in modo che le probabilità cumulative dei due gruppi siano le più simili possibili.

45 CODICE DI SHANNON-FANO 3. Si aggiunge una cifra 0 a destra delle parole di codice del I gruppo e una cifra 1 a destra di quelle del II gruppo. 4. Per ognuno dei due gruppi si ripetono i passi dal 2 in poi. 5. Quando tutti i gruppi sono stati ridotti ad un simbolo il codice è completo.

46 CODICE DI SHANNON-FANO: ESEMPIO

47 CODICE DI SHANNON-FANO: ESEMPIO [ ] ( ) [ ] Se la symbol rate fosse r = 1000 simboli/ sec, la information rate sarebbe pari a R = rh X = 2150 bit / sec. Il codice di Shannon-Fano avente N = 2.18 richiede una bit rate r b = N r = 2180 [ binit/ sec] per i codici sub-ottimi r b > R ). (si noti che, come atteso, L efficienza di tale codice vale: ( X ) H efficienza % = 100 = 100 = 98. 6% N 2. 18

48 CODICE DI SHANNON-FANO: ESEMPIO Per confronto, vediamo quale efficienza e quale bit rate r b avrebbe un codice a lunghezza di parola fissa. Utilizzando il codice a lunghezza fissa con = Ni = log 8 = 3 N 2 si ottiene: r b = N r = = 3000 ( X ) [ binit / sec] H efficienza % = 100 = 100 = 71. 6% N 3

49 CODICE DI HUFFMAN Il codice di Huffman è un codice ottimo (ovvero permette di ottenere il minimo N possibile per una determinata sorgente), ma non necessariamente assolutamente ottimo. Pertanto si tratta di un codice che permette di avvicinarsi il ( ) più possibile al limite del 1 teorema di Shannon ( N = H X ).

50 CONDIZIONI DI OTTIMALITÀ DI UN CODICE Si può dimostrare che affinché un codice ud istantaneo sia ottimo devono essere verificate le seguenti condizioni: 1. Si devono assegnare parole di codice più lunghe ai simboli meno probabili: P i > P j N i < N j 2. Le due parole di codice meno probabili (che sono anche le più lunghe) devono avere la stessa lunghezza: N M-1 =N M 3. Tra le parole di codice che hanno la stessa lunghezza, almeno 2 devono coincidere in tutti i bit tranne l ultimo.

51 CODICE DI HUFFMAN Sulla base delle condizioni precedenti, Huffman ha sviluppato la seguente strategia di codifica dimostrando che conduce ad un codice ottimo (ovvero il più vicino possibile al limite di Shannon): Supponiamo di dover codificare i simboli x i emessi da una sorgente S con M uscite caratterizzate dalle probabilità P 1,,P M. Analogamente a quanto fatto per il codice di Shannon-Fano, gli M simboli da codificare vengono ordinati secondo le loro probabilità. Supponiamo di essere nella seguente situazione : P 1 P 2... P M

52 CODICE DI HUFFMAN Consideriamo una sorgente S con M-1 uscite y i caratterizzate dalle seguenti probabilità di emissione: P 1 = P 1 P 2 =P 2 P M-1 =P M-1 +P M N 1 N 2 N M-1 =N M-2 Lunghezza delle parole di un codice ottimo per S

53 CODICE DI HUFFMAN Se conosciamo un codice ottimo per la sorgente S, il codice ottimo per la sorgente S può essere ottenuto nel modo seguente: Le prime M-2 parole di codice della sorgente S sono uguali a quelle della sorgente S. Pertanto: N i =N i i=1,,m-2 Le ultime 2 parole di codice della sorgente S vengono generate aggiungendo alla parola y M-1 di S rispettivamente un bit 0 e un bit 1. Quindi, si ottiene: N M = N M-1 = N M-1 +1

54 CODICE DI HUFFMAN CODICE OTTIMO PER LA SORGENTE S CODICE OTTIMO PER LA SORGENTE S Le prime M-2 parole di codice non cambiano N 1 N 1 Parola di codice relativa al simbolo x M-1 Parola di codice relativa al simbolo y M-1 N M-2 =N M-1 N M-2 =N M N M-1 =N M =N M-1 +1 Parola di codice relativa al simbolo x M

55 CODICE DI HUFFMAN Tale strategia può essere iterata all indietro fino a risalire ad una sorgente binaria equivalente. Arrivati alla sorgente binaria possiamo attribuire facilmente un codice ai due simboli emessi: y 1 0 y 2 1 Simboli della sorgente binaria Migliore codice possibile (assolutamente ottimo solo se i simboli y 1 e y 2 sono equiprobabili)

56 CODICE DI HUFFMAN: ESEMPIO Consideriamo una sorgente discreta senza memoria X={A,B,C,D,E} che può emettere uno tra 5 simboli caratterizzati dalle seguenti probabilità: ( A) = P = 0.4 P( B) = P = 0.2 P( C) = P = 0.2 P( D) = P = 0.1 P( E) = P 0. 1 P = L entropia H(X) di questa sorgente è data da: H = i i= 1 Pi ( X ) P log = log + log log2 5 + log log [ bit / simbolo]

57 CODICE DI HUFFMAN: ESEMPIO Vediamo ora di costruire il codice di Huffman per tale sorgente Simbolo Probabilità di emissione A 0.4 A 0.4 A 0.4 B+C+D+E 0.6 B 0.2 B 0.2 C+D+E 0.4 A 0.4 C 0.2 C 0.2 B 0.2 D 0.1 D+E 0.2 E 0.1 Raggruppiamo iterativamente i simboli meno probabili sino ad avere una sorgente binaria

58 CODICE DI HUFFMAN: ESEMPIO A questo punto possiamo costruire un codice ottimo per la sorgente binaria ottenuta e derivare un codice ottimo per la sorgente originaria B+C+D+E (0.6) 0 A (0.4) 1 A (0.4) 1 A (0.4) 1 A (0.4) 1 C+D+E (0.4) 00 B (0.2) 01 B (0.2) 01 B (0.2) 01 C (0.2) 000 C (0.2) 000 D+E (0.2) 001 D (0.1) 0010 E (0.1) 0011 Migliore codice possibile per questa sorgente binaria (non è assolutamente ottimo) Codice ottimo per la sorgente considerata

59 CODICE DI HUFFMAN: ESEMPIO Calcoliamo ora la lunghezza media del codice ottenuto: N 5 = P N i= 1 = i i = 2.2 [ binit / simbolo] Il codice ottenuto è ottimo (la codifica di Huffman è sempre ottima), ma non assolutamente ottimo. Infatti: N H = ( X ) 2.12 [ bit / simbolo]

60 EFFICIENZA DI UN CODICE UD ISTANTANEO Si può dimostrare che per un codice ud istantaneo valgono le seguenti relazioni: log 1 P N < log 1 P 2 i 2 + i i 1 ( X ) N < H ( X ) 1 H +

61 EFFICIENZA DI UN CODICE UD ISTANTANEO Sulla base delle precedenti relazioni, si può dire che un codice ud istantaneo ha buona efficienza se H ( X ) >> 1 oppure se per 1 tutti i simboli si ha. N log i 2 P i Se nessuna di queste condizioni è verificata, al fine di migliorare le caratteristiche del codice, è possibile ricorrere ad un artificio noto come estensione della sorgente.

62 ESTENSIONE DELLA SORGENTE Si dice che una sorgente S è un estensione di ordine n di una sorgente S, se i suoi simboli sono ottenuti raggruppando in sequenze di lunghezza n i simboli emessi dalla sorgente S. E possibile codificare i simboli della sorgente estesa S anziché i simboli della sorgente originale S senza perdere informazione. Si può dimostrare che codificando i simboli della sorgente estesa di ordine n con un codice ud istantaneo si ottiene un codice che soddisfa la seguente condizione: ( X ) N < H ( X ) H + 1 n

63 ESTENSIONE DELLA SORGENTE Per quanto visto, si può concludere che il meccanismo di estensione della sorgente permette di avvicinarsi quanto si vuole al limite di Shannon agendo sul valore di n. In particolare, quando allora. n N H( X ) OSSERVAZIONE Nella pratica aumentare n (ovvero avvicinare N a H X ) significa incrementare significativamente la complessità del decodificatore ed introdurre un ritardo di trasmissione. ( )

64 SORGENTE DISCRETA CON MEMORIA Sino ad ora abbiamo considerato sorgenti in cui i simboli emessi sono statisticamente indipendenti. Molte sorgenti informative reali hanno una memoria: la probabilità di emissione di un simbolo all istante considerato dipende dai simboli emessi precedentemente.

65 SORGENTE DISCRETA CON MEMORIA: DEFINIZIONE Definiamo sorgente discreta con memoria, una sorgente con le seguenti proprietà: sorgente che può emettere un insieme di M simboli X={x 1, x 2,, x M } ciascuno caratterizzato da probabilità P i e autoinformazione I i ; P i costanti nel tempo (sorgente stazionaria); simboli emessi dalla sorgente in istanti differenti correlati: P ( ) ( ) x x P i x i La probabilità che venga emesso il simbolo x i dipende dalla sequenza di simboli x emessa precedentemente dalla sorgente

66 ORDINE DELLA MEMORIA Definiamo ordine della memoria della sorgente il numero di simboli precedentemente emessi che influenzano la probabilità di emissione del simbolo corrente. Nel seguito considereremo il caso di una sorgente con memoria di primo ordine (la probabilità del simbolo emesso dipende solo dal simbolo precedente): ( ) x x P( x x ) P = i i j dove x j è il simbolo emesso prima di x i.

67 ENTROPIA DI UNA SORGENTE DISCRETA CON MEMORIA Data una sorgente X con memoria di primo ordine, si può definire la sua entropia condizionata al simbolo x j come: H def ( X x ) P( x x ) j = M i= 1 i j log 2 P 1 ( x x ) i j Mediando su tutti i possibili simboli x j, si ottiene: H ( X ) P( x ) H ( X ) = M j= 1 j x j Valido solo per il caso di memoria di primo ordine

68 ENTROPIA DI UNA SORGENTE DISCRETA CON MEMORIA Le probabilità condizionate hanno l effetto di ridurre il valore dell entropia (la memoria introduce una certa prevedibilità riducendo la quantità di informazione associata ai simboli). Come si deve trattare una sorgente con memoria dal punto di vista della codifica di sorgente?

69 CODIFICA PREDITTIVA Un modo di sfruttare la memoria della sorgente è quello di utilizzare un meccanismo di codifica predittivo. Consideriamo il seguente schema: Predizione del bit i-esimo x~ () i Sorgente M-aria con memoria Conversione da simboli M-ari a binari x(i) Predittore ε(i) Codificatore bit i-esimo della sequenza binaria sommatore modulo 2 errore di predizione (vale o 0 o 1 )

70 CODIFICA PREDITTIVA L ingresso ε(i) al codificatore è costituito da una sequenza di bit. Se usiamo un buon predittore sbagliamo poco nella sequenza ε(i) compaiono molti 0 e pochi 1. Essendo molto sbilanciate le probabilità degli 0 e degli 1, la sequenza ha un entropia molto bassa.

71 CODIFICA PREDITTIVA { ε () i = 0} P = p con p >> 1 2 Essendo l entropia della sequenza errore molto bassa, in uscita dal codificatore è possibile ottenere una sequenza codificata con una bit rate bassa.

72 CODIFICA RUN-LENGTH Abbiamo detto che la sequenza ε(i) è costituita da lunghe stringhe di bit 0 intervallate da qualche bit 1. Definizione: si dice run di lunghezza n una sequenza di n bit 0 seguiti da 1 bit 1. ESEMPIO «« run di lunghezza 11 (n=11)

73 CODIFICA RUN-LENGTH La codifica run-length sfrutta la presenza dei run precedentemente definiti. Invece di trasmettere l intera stringa, si trasmette il valore n che caratterizza la sua lunghezza. Usando parole di codice composte da k bit, è possibile rappresentare stringhe con lunghezza massima pari a n=2 k -1.

74 CODIFICA RUN-LENGTH ESEMPIO: k=3. Esprime la lunghezza del run n k -2=6 2 k -1=7 Parola di codice Rappresenta una situazione con un run con n 7. In questa evenienza, il codificatore deve attendere la parola di codice successiva per ricostruire il run. N.B.: Se si verifica troppo spesso la stringa 111 si deve aumentare il valore di k.

75 CODIFICA RUN-LENGTH: EFFICIENZA La codifica risulta efficiente se in media le parole di codice hanno meno bit dei run che rappresentano. Indichiamo con E la media dei bit presenti in un run e con N il numero medio dei bit delle di parole di codice necessarie per codificare il run. La bit rate r b sarà data da: r b = N E r N E Il rapporto dice quanto è efficiente la codifica. Più piccolo è il rapporto, migliore è la codifica.

76 INTRODUZIONE ALLA CODIFICA DI CANALE Sorgente Codifica di sorgente Canale equivalente privo di rumore Decodifica di sorgente Destinazione Codifica di canale Canale reale rumoroso Decodifica di canale

77 INTRODUZIONE ALLA CODIFICA DI CANALE Quanto visto per la codifica di sorgente ha senso solo nell ipotesi che il canale non introduca errori (P be =0). Infatti, per i codici visti, un errore in ricezione distruggerebbe l intero messaggio! La codifica di canale affronta il problema di trasmettere in maniera affidabile su un canale non-affidabile. In pratica si realizza un processo di codifica a controllo d errore per ridurre gli effetti del rumore presente sul canale. La codifica di canale è governata dal 2 Teorema di Shannon.

78 INTRODUZIONE ALLA CODIFICA DI CANALE Per semplicità, nel seguito assumeremo che sia la sorgente sia il canale di trasmissione siano discreti (l assunzione di canale discreto è poco realistica). In queste ipotesi, verranno definite la quantità di informazione trasferita e la capacità di un canale.

79 CANALE DISCRETO: DEFINIZIONE L ingresso è costituito da un insieme finito X di simboli x i. L uscita è costituita da un insieme finito Y di simboli y j. = { x } CANALE = { y } X 1,...,x M Y 1,...,y K Il rumore e altre possibili distorsioni del canale alterano i simboli trasmessi, producendo un alfabeto a destinazione Y che può essere diverso da quello di ingresso X (K può essere diverso da M).

80 CANALE DISCRETO: NOTAZIONE P(x i ) probabilità che la sorgente emetta il simbolo x i ; P(y j ) probabilità che a destinazione venga ricevuto il simbolo y j ; P(x i,y j ) probabilità congiunta che sia stato trasmesso il simbolo x i e venga ricevuto il simbolo y j ; P(x i / y j ) probabilità condizionata che sia stato trasmesso il simbolo x i dato che è stato ricevuto il simbolo y j ; P(y j / x i ) probabilità condizionata che sia stato ricevuto il simbolo y j dato che è stato trasmesso il simbolo x i.

81 CANALE DISCRETO SENZA MEMORIA TEMPO-INVARIANTE: DEFINIZIONE Si definisce canale discreto senza memoria tempo-invariante un canale discreto: in cui l uscita in un determinato istante dipende solo dal simbolo in ingresso al canale in quell istante e non dai simboli precedentemente trasmessi. le cui proprietà non variano nel tempo; Un canale discreto senza memoria tempo-invariante è univocamente definito dall alfabeto di ingresso X, da quello di uscita Y e dalle probabilità condizionate di transizione in avanti P(y j / x i ).

82 CANALE DISCRETO SENZA MEMORIA TEMPO-INVARIANTE: ESEMPIO P(y 1 / x 1 ) y 1 P(y 1 / x 2 ) x 1 x 2 y 2 P(y 2 / x 1 ) P(y 2 / x 2 ) P(y 3 / x 2 ) y 3 P(y 3 / x 1 ) PROBABILITÀ DI TRANSIZIONE IN AVANTI PER UN CANALE DISCRETO CON DUE SIMBOLI IN INGRESSO (M=2) E TRE SIMBOLI IN USCITA (K=3)

83 CANALE DISCRETO SENZA MEMORIA TEMPO-INVARIANTE Talvolta può essere utile scrivere le probabilità di transizione di un canale in forma matriciale: Matrice delle probabilità di transizione P P P = P ( y1 x1) P( y2 x1) P( yk x1) ( y x ) 1 ( y x ) P( y x ) 1 2 M K M Nota: per semplicità di notazione, da qui in poi assumeremo implicita la tempo-invarianza ed indicheremo un canale discreto senza memoria tempo-invariante semplicemente con la dicitura canale discreto senza memoria.

84 MISURA DI INFORMAZIONE MUTUA Obiettivo: misurare l informazione trasferita da un canale (ipotesi: canale discreto senza memoria). Vediamo innanzitutto di introdurre l entropia condizionata alla ricezione di un particolare simbolo H(X/y j ): H ( X y ) P( x y ) j = x X i i ( y ) Questa quantità esprime quanto vale l incertezza sul simbolo trasmesso (ovvero il simbolo emesso dalla sorgente) una volta che è stato ricevuto il simbolo y j. j log 2 1 P x i j

85 MISURA DI INFORMAZIONE MUTUA Il valore medio di H(X/y j ) (ovvero la media calcolata su tutte le possibili uscite) è chiamato entropia condizionata H(X/Y) e rappresenta l incertezza che rimane in media sul simbolo trasmesso dopo l osservazione del simbolo ricevuto: H ( X Y) = H( X y ) P( y ) = P( x,y ) y Y j j j y Y x X j i i j log 2 1 P x ( y ) i j H(X/Y) è anche chiamata equivocazione e può essere vista come l informazione perduta nel canale rumoroso.

86 MISURA DI INFORMAZIONE MUTUA L entropia della sorgente H(X) rappresenta l incertezza sul simbolo inviato sul canale prima dell osservazione dell uscita. Sulla base di quanto visto fin qui, possiamo definire l informazione mutua media I(X;Y) di un canale come: I def ( X;Y) = H( X ) H( X Y) L informazione mutua media I(X;Y) dice di quanto si sia ridotta in media l incertezza sul simbolo emesso dalla sorgente una volta osservato il simbolo ricevuto.

87 MISURA DI INFORMAZIONE MUTUA L informazione mutua media I(X;Y) può essere calcolata anche come: I ( X;Y ) = P( x,y ) I( x ; y ) [ bit simbolo] x X y i dove I(x i ;y i ) è l informazione mutua associata alla trasmissione del simbolo x i ed alla ricezione del simbolo y i (ovvero la quantità di informazione trasferita sul canale quando viene trasmesso x i e viene ricevuto y i ). I(x i ;y i ) è definita come: I Y j ( x ;y ) i j i def j = log 2 i ( y ) P x P i j ( x ) i j [ bit]

88 MISURA DI INFORMAZIONE MUTUA: PROPRIETÀ 1. L informazione mutua media di un canale è simmetrica, ovvero: ( X;Y ) I( Y;X ) I = 2. L informazione mutua media è sempre una quantità nonnegativa: I ( X;Y ) 0

89 MISURA DI INFORMAZIONE MUTUA: PROPRIETÀ 3. L informazione mutua media di un canale può essere espressa come: I X;Y = H Y H Y X ( ) ( ) ( ) dove H(Y) è l entropia a destinazione e H(Y/X) è chiamata entropia di rumore. H(Y) e H(Y/X) sono date rispettivamente da: H ( ) = P( y ) H Y ( Y X ) = P( x, y ) x X i y Y y j j Y j i log 2 j 1 P ( y ) log j 2 P 1 ( y x ) j i

90 MISURA DI INFORMAZIONE MUTUA: PROPRIETÀ 4. L informazione mutua media di un canale è legata all entropia congiunta di ingresso e uscita H(X,Y) secondo la seguente relazione: I ( X ;Y ) = H( X ) + H( Y ) H( X,Y ) dove H(X,Y) è definita come: H ( X,Y ) = P( x, y ) x X i y j Y i j log 2 P 1 ( x, y ) i j

91 MISURA DI INFORMAZIONE MUTUA Abbiamo già detto che descrivere un canale discreto senza memoria significa stabilire gli alfabeti X, Y e le probabilità di transizione in avanti P(y j /x i ). Per calcolare I(X;Y) sono necessarie: le probabilità congiunte P(x i,y j ), le probabilità condizionate P(x i / y j ) e le probabilità di emissione dei simboli P(x i ); oppure: le probabilità congiunte P(x i,y j ), le probabilità condizionate P(y i / x j ) e le probabilità P(y i ).