3. TEORIA DELL INFORMAZIONE

Транскрипт

1 3. TEORIA DELL INFORMAZIONE INTRODUZIONE MISURA DI INFORMAZIONE SORGENTE DISCRETA SENZA MEMORIA ENTROPIA DI UNA SORGENTE NUMERICA CODIFICA DI SORGENTE 1 TEOREMA DI SHANNON CODICI UNIVOCAMENTE DECIFRABILI

2 3. TEORIA DELL INFORMAZIONE DISUGUAGLIANZA DI KRAFT CODICE DI SHANNON-FANO CODICE DI HUFFMAN MISURA DI INFORMAZIONE MUTUA CANALE BINARIO SIMMETRICO CAPACITA DI UN CANALE DISCRETO CODIFICA DI CANALE

3 3. TEORIA DELL INFORMAZIONE 2 TEOREMA DI SHANNON CANALI CONTINUI CAPACITA DI UN CANALE CONTINUO SISTEMA DI TELECOMUNICAZIONE IDEALE LEGGE DI HARTLEY-SHANNON CONFRONTI DELLE PRESTAZIONI DI SISTEMI REALI

4 INTRODUZIONE Sino ad ora abbiamo considerato i sistemi di TLC dal punto di vista dei messaggi emessi da una sorgente e dei segnali ad essi associati. Obiettivo di un sistema di TLC: trasferire informazione da una sorgente ad una destinazione mediante un canale di trasmissione. E importante studiare i sistemi di TLC sulla base dell informazione associata ad un messaggio.

5 INTRODUZIONE Teoria dell Informazione: un sistema di TLC viene studiato dal punto di vista del processo di trasferimento dell informazione contenuta nei messaggi emessi dalla sorgente, indipendentemente dal segnale con cui questa informazione viene rappresentata. Cenni storici: la Teoria dell Informazione è stata formulata da Shannon (1948).

6 INTRODUZIONE OBIETTIVO DELLA TEORIA DELL INFORMAZIONE Dato un messaggio prodotto da una sorgente, l obiettivo della teoria dell informazione è capire come si deve rappresentare tale messaggio per ottenere una trasmissione efficiente dell informazione in esso contenuta su di un canale di comunicazione reale (con inevitabili limitazioni fisiche). X={x 1, x 2,, x M } Sorgente? Canale? Destinazione

7 INTRODUZIONE La teoria dell informazione utilizza 3 concetti base: misura di informazione di una sorgente; capacità di informazione di un canale; codifica: mezzo per utilizzare la capacità di canale per trasferire informazione.

8 INTRODUZIONE Codifica ottima: adatta sorgente e canale in modo da avere la massima efficienza nel trasferimento dell informazione. Nella teoria dell informazione, il processo di codifica viene separato in 2 fasi distinte: codifica di sorgente; codifica di canale.

9 INTRODUZIONE CODIFICA DI SORGENTE La codifica di sorgente adatta la sorgente alla trasmissione su di un opportuno canale equivalente privo di rumore. La codifica di sorgente è governata dal 1 Teorema di Shannon.

10 INTRODUZIONE CODIFICA DI CANALE La codifica di canale permette di trasmettere l informazione emessa dalla sorgente (opportunamente trattata mediante la codifica di sorgente) in maniera affidabile su un canale reale caratterizzato da limitazioni fisiche (es. rumore). La codifica di canale è governata dal 2 Teorema di Shannon

11 INTRODUZIONE Sorgente Codifica di sorgente Canale equivalente privo di rumore Decodifica di sorgente Destinazione Codifica di canale Canale reale (rumoroso) Decodifica di canale

12 INTRODUZIONE Nel seguito, dapprima analizzeremo il caso di informazione legata ad una sorgente discreta. Successivamente i risultati ottenuti nel caso discreto verranno generalizzati al caso continuo. Il primo passo da fare nello studio della teoria dell informazione è definire in maniera formale una sorgente discreta e la quantità di informazione da essa emessa.

13 SORGENTE DISCRETA: DEFINIZIONE Sorgente discreta: esperimento con diversi valori di uscita caratterizzati da una conoscenza probabilistica del tasso di emissione. x 1, x 2,, x M VALORE DI USCITA P 1,P 2,, P M PROBABILITA

14 MISURA DI INFORMAZIONE La misura di informazione è legata all incertezza associata all emissione di ciascun simbolo x i (ovvero è legata all incertezza sul fatto che il valore di uscita dell esperimento sia proprio x i ) Forte incertezza grande contenuto informativo Messaggi poco probabili grande contenuto informativo

15 MISURA DI INFORMAZIONE Quindi l informazione associata ad un messaggio è legata alla sua probabilità le probabilità degli eventi definiscono la funzione informazione (o la funzione incertezza). Shannon definì misura di informazione la quantità: I i def = log P = log b i b 1 P i I L b autoinformazione del messaggio x i base del logaritmo

16 MISURA DI INFORMAZIONE: PROPRIETA a) I i 0 per 0 P i 1 b) I i 0 per P i 1 HYHQWR PROWR SUREDELOH SRFD LQIRUPD]LRQH c) I i > I j per P i < P j i q PHQR SUREDELOH GL j i FRQWLHQH SL LQIRUPD]LRQH GL j

17 MISURA DI INFORMAZIONE: PROPRIETA d) Consideriamo due messaggi indipendenti x i,x j : P (x i,x j ) = P i P j ij b ( xi,x j ) = logb Pi Pj = logb Pi logb Pj = Ii I j I = log P + L informazione totale è uguale alla somma dell informazione associata ai singoli messaggi. N.B.: La misura di informazione definita da Shannon è l unica funzione che soddisfa le 4 proprietà viste.

18 MISURA DI INFORMAZIONE Solitamente si lavora nel caso binario (b=2): I i = log 2 1 P i [ bit] Per una sorgente binaria con simboli equiprobabili: ( x ) = P( x ) P 1 2 = = I2 = log 2 = 1 I 2 [ bit] Questo significa che 1 bit è l informazione necessaria per distinguere tra 2 messaggi equiprobabili.

19 MISURA DI INFORMAZIONE: NOTAZIONE E necessario distinguere tra: bit intesi come misura di informazione; bit intesi come vere e proprie cifre di un codice binario. Nel seguito si userà il termine binit per indicare le cifre binarie quali elementi fisici di un messaggio o di un codice. Il termine bit verrà associato alla misura di informazione.

20 SORGENTE DISCRETA SENZA MEMORIA: DEFINIZIONE Definiamo sorgente discreta senza memoria una sorgente caratterizzata delle seguenti proprietà: sorgente che può emettere un insieme di M simboli X={x 1, x 2,, x M } ciascuno caratterizzato da probabilità P i e autoinformazione I i ; P i costanti nel tempo (sorgente stazionaria); simboli emessi in istanti differenti statisticamente indipendenti. Indichiamo con r [simboli/sec] la symbol rate (velocità di simbolo) media di emissione della sorgente.

21 ENTROPIA DI UNA SORGENTE DISCRETA SENZA MEMORIA L informazione media per simbolo è data dalla media statistica delle autoinformazioni dei simboli della sorgente (I 1, I 2,, I M ): H def M ( X ) = Pi Ii = Pi log2 [ bit / simbolo] i= 1 Tale quantità è definita entropia della sorgente. M i= 1 1 P i

22 ENTROPIA DI UNA SORGENTE BINARIA Nel caso di sorgente binaria (M=2), l entropia della sorgente può assumere i seguenti valori: ( X ) log M 1 0 H 2 = In particolare, note le probabilità di emissione dei simboli (P 1 =p e P 2 =1-p), l entropia di una sorgente binaria è data da: 1 H( X ) = Ω ( p) = plog2 + ( 1 p) log2 p 1 1 p

23 ENTROPIA DI UNA SORGENTE BINARIA Ω ( p) IL MASSIMO DELL ENTROPIA SI VERIFICA NELLE CONDIZIONI DI EQUIPROBABILITA (p=0.5) E VALE log 2 2=1 [bit/simbolo] p

24 ENTROPIA DI UNA SORGENTE M-ARIA Nel caso di sorgente M-aria, l entropia H(X) dipende dalla probabilità P i dei simboli emessi dalla sorgente e dalla dimensione M dell alfabeto (M=numero di simboli). Si può dimostrare che: ( X ) log M 0 H 2 NESSUNA INCERTEZZA SUL SIMBOLO EMESSO DALLA SORGNTE (P i =1, P j =0 j i ) MASSIMA INCERTEZZA SUL SIMBOLO EMESSO DALLA SORGENTE (P i =1/M, i )

25 CODIFICA DI SORGENTE Se la sorgente emette una sequenza di n simboli (con n>>1), l informazione totale da trasferire è pari a circa nh(x) bit. Si definisce velocità di informazione della sorgente ( information rate ) R la seguente quantità: DURATA DELLA SEQUENZA NEL TEMPO ( X ) nh R = = n r rh ( X )[ bit / sec] SONO BIT DI INFORMAZIONE

26 CODIFICA DI SORGENTE Shannon: l informazione proveniente da una sorgente discreta senza memoria può essere codificata con cifre binarie e trasmessa su di un canale senza rumore con una bit rate r b che deve soddisfare il seguente vincolo: r b R [ binit / sec] SONO CIFRE DI UN CODICE BINARIO

27 CODIFICA DI SORGENTE NOTAZIONE r è la symbol rate misurata in [simboli/sec]; R è la information rate misurata in [bit/sec]; r b è la signalling rate (o bit rate) misurata in [binit/sec].

28 CODIFICA DI SORGENTE Consideriamo una sorgente discreta senza memoria caratterizzata dalla possibilità di emettere M differenti: simboli se i simboli sono equiprobabili R = r log2 M se i simboli non sono equiprobabili ( X ) < r log M R = rh 2

29 CODIFICA DI SORGENTE OSSERVAZIONI Nel caso di simboli equiprobabili, l informazione può essere efficacemente trasmessa per mezzo di simboli M-ari con symbol rate r. Nel caso di simboli non equiprobabili, conviene usare una un processo di codifica che tenga conto dell informazione variabile associata ai simboli e che consenta di trasmettere ad una velocità prossima a R.

30 CODIFICA DI SORGENTE Consideriamo il caso di codifica binaria dei simboli di sorgente. Il codificatore produce un uscita uguale a quella che avrebbe una sorgente binaria con entropia Ω(p) e information rate r b Ω(p) (con p opportuno).

31 CODIFICA DI SORGENTE Poiché il codificatore non aggiunge né distrugge informazione, allora l information rate di ingresso deve essere uguale a quella di uscita: Information rate in ingresso al codificatore ( X ) = rb ( p) rb R = rh Information rate in uscita dal codificatore Bit rate in uscita dal codificatore Sorgente discreta senza memoria Codificatore binario r b R R = rh ( X ) R = rbω ( p)

32 CODIFICA DI SORGENTE Si definisce lunghezza media di un codice la quantità: N = rb r Si può scrivere: N = M i= 1 P i N i LUNGHEZZA DELLA PAROLA DI CODICE RELATIVA AL SIMBOLO i-esimo Parola di codice (caso binario): sequenza di 1 e 0 con cui viene codificato un determinato simbolo.

33 1 TEOREMA DI SHANNON ( ) Siano H X l entropia di una sorgente discreta senza memoria e N il valore medio delle lunghezze delle parole di codice che rappresentano i simboli emessi dalla sorgente. Si può dimostrare che vale la seguente condizione: N H ( X ) N = H ( X ) Il limite inferiore di N è quindi dato da.

34 EFFICIENZA DI UN CODICE Un codice per cui vale si dice assolutamente ottimo. N = H ( X ) Un codice per cui si ottiene il valore minimo possibile di N per una determinata sorgente si dice ottimo (anche se ). N > H ( X ) Un codice con valore di N superiore a quello di un codice ottimo si dice sub-ottimo.

35 EFFICIENZA DI UN CODICE Il rapporto tra entropia e lunghezza media del codice: R rb = H N ( X ) 1 rappresenta una buona misura dell efficienza di un codice ottimo o sub-ottimo. Pertanto, si può definire l efficienza come: H X efficienza % = N ( ) 100

36 CODICE UNIVOCAMENTE DECIFRABILE Proprietà fondamentale di un codice: la sequenza di simboli codificati non deve dare luogo ad ambiguità in sede di decodifica. Un codice che rispetta la suddetta proprietà è detto unicamente decifrabile (ud). Esempio: codice non ud A 0, B 1, C 10, D può essere decodificato come BAABB CAD CABB

37 CODICE UNIVOCAMENTE DECIFRABILE ISTANTANEO Definizione: Codice ud istantaneo (o codice a prefisso) Si dice codice ud istantaneo un codice in cui ogni parola è identificabile non appena finita la sequenza binaria che la rappresenta. Per costruire un codice ud istantaneo, ogni parola di codice deve essere scelta in modo tale che non risulti prefisso di altre parole di codice. Esempio di codice ud istantaneo: A 0, B 10, C 110, D 111

38 DISUGUAGLIANZA DI KRAFT-MCMILLAN Data una sorgente discreta senza memoria che può emettere uno tra M simboli, un codice binario ud che rappresenta tale sorgente è sempre costituito da parole di codice aventi lunghezze N i che soddisfano la seguente disuguaglianza di Kraft-McMillan: K M = 2 i= 1 N i 1 Viceversa, se si scelgono per le parole di codice che rappresentano la sorgente lunghezze che soddisfano la condizione di Kraft-McMillan, allora è sempre possibile costruire un codice ud.

39 CODIFICA DI SORGENTE: ESEMPIO Consideriamo una sorgente che emette 4 simboli non equiprobabili: 1 = 2 P 1 P1 2 = 3 = 4 = 4 P 1 8 P 1 8 L entropia H(X) di questa sorgente è data da: H( X ) = P log2 = log2 2 + log2 4 + log2 8 + log2 8 P i= 1 i = i 1.75 [bit / simbolo ]

40 CODIFICA DI SORGENTE: ESEMPIO x i P i &RG &RG &RG &RG $ % & ' N.

41 CODIFICA DI SORGENTE: ESEMPIO Codice 1 (codice a lunghezza fissa) N = 2 N=1 ud, efficienza 88% Codice 2 ( ) N = 1.25 < H X, N>1 non è ud! Codice 3 (codice a virgola) N = 1.875, N<1 ud, efficienza 93% Codice 4 (codice ad albero) ( ) N = 1.75 = H X.=1 ud, efficienza 100% codice assolutamente ottimo

42 CODICE ASSOLUTAMENTE OTTIMO: CONDIZIONE NECESSARIA Un codice binario può essere assolutamente ottimo (cioè ( ) N = H X ) se e solo se k=1 e le probabilità dei simboli sono tali per cui: P i = 1 2 N i i=1,2,,m N i =LUNGHEZZA PAROLA i-esima Pertanto, il codice assolutamente ottimo dovrà avere: N log P = i = 2 i I i

43 CODICE ASSOLUTAMENTE OTTIMO ESEMPIO P 1 N 1 1 = 8 = 3 1 P2 = 16 N = 4 2 P 3 N 3 1 = 2 = P M N M 1 = 64 = 6 CONCLUSIONE La strategia da adottare per effettuare la codifica di sorgente prevede di assegnare ai simboli che hanno probabilità più alta parole di codice più corte rispetto a quelle dei simboli con probabilità più bassa.

44 CODICE DI SHANNON-FANO Si tratta di un codice sub-ottimo univocamente decifrabile semplice ed efficiente. STRATEGIA DI CODIFICA 1. I simboli vengono ordinati in colonna con probabilità decrescente. 2. I simboli vengono divisi in due gruppi, tramite una riga orizzontale, in modo che le probabilità cumulative dei due gruppi siano le più simili possibili.

45 CODICE DI SHANNON-FANO 3. Si aggiunge una cifra 0 a destra delle parole di codice del I gruppo e una cifra 1 a destra di quelle del II gruppo. 4. Per ognuno dei due gruppi si ripetono i passi dal 2 in poi. 5. Quando tutti i gruppi sono stati ridotti ad un simbolo il codice è completo.

46 CODICE DI SHANNON-FANO: ESEMPIO

47 CODICE DI SHANNON-FANO: ESEMPIO [ ] ( ) [ ] Se la symbol rate fosse r = 1000 simboli/ sec, la information rate sarebbe pari a R = rh X = 2150 bit / sec. Il codice di Shannon-Fano avente N = 2.18 richiede una bit rate r b = N r = 2180 [ binit/ sec] per i codici sub-ottimi r b > R ). (si noti che, come atteso, L efficienza di tale codice vale: ( X ) H efficienza % = 100 = 100 = 98. 6% N 2. 18

48 CODICE DI SHANNON-FANO: ESEMPIO Per confronto, vediamo quale efficienza e quale bit rate r b avrebbe un codice a lunghezza di parola fissa. Utilizzando il codice a lunghezza fissa con = Ni = log 8 = 3 N 2 si ottiene: r b = N r = = 3000 ( X ) [ binit / sec] H efficienza % = 100 = 100 = 71. 6% N 3

49 CODICE DI HUFFMAN Il codice di Huffman è un codice ottimo (ovvero permette di ottenere il minimo N possibile per una determinata sorgente), ma non necessariamente assolutamente ottimo. Pertanto si tratta di un codice che permette di avvicinarsi il ( ) più possibile al limite del 1 teorema di Shannon ( N = H X ).

50 CONDIZIONI DI OTTIMALITÀ DI UN CODICE Si può dimostrare che affinché un codice ud istantaneo sia ottimo devono essere verificate le seguenti condizioni: 1. Si devono assegnare parole di codice più lunghe ai simboli meno probabili: P i > P j N i < N j 2. Le due parole di codice meno probabili (che sono anche le più lunghe) devono avere la stessa lunghezza: N M-1 =N M 3. Tra le parole di codice che hanno la stessa lunghezza, almeno 2 devono coincidere in tutti i bit tranne l ultimo.

51 CODICE DI HUFFMAN Sulla base delle condizioni precedenti, Huffman ha sviluppato la seguente strategia di codifica dimostrando che conduce ad un codice ottimo (ovvero il più vicino possibile al limite di Shannon): Supponiamo di dover codificare i simboli x i emessi da una sorgente S con M uscite caratterizzate dalle probabilità P 1,,P M. Analogamente a quanto fatto per il codice di Shannon-Fano, gli M simboli da codificare vengono ordinati secondo le loro probabilità. Supponiamo di essere nella seguente situazione : P 1 P 2... P M

52 CODICE DI HUFFMAN Consideriamo una sorgente S con M-1 uscite y i caratterizzate dalle seguenti probabilità di emissione: P 1 = P 1 P 2 =P 2 P M-1 =P M-1 +P M N 1 N 2 N M-1 =N M-2 Lunghezza delle parole di un codice ottimo per S

53 CODICE DI HUFFMAN Se conosciamo un codice ottimo per la sorgente S, il codice ottimo per la sorgente S può essere ottenuto nel modo seguente: Le prime M-2 parole di codice della sorgente S sono uguali a quelle della sorgente S. Pertanto: N i =N i i=1,,m-2 Le ultime 2 parole di codice della sorgente S vengono generate aggiungendo alla parola y M-1 di S rispettivamente un bit 0 e un bit 1. Quindi, si ottiene: N M = N M-1 = N M-1 +1

54 CODICE DI HUFFMAN CODICE OTTIMO PER LA SORGENTE S CODICE OTTIMO PER LA SORGENTE S Le prime M-2 parole di codice non cambiano N 1 N 1 Parola di codice relativa al simbolo x M-1 Parola di codice relativa al simbolo y M-1 N M-2 =N M-1 N M-2 =N M N M-1 =N M =N M-1 +1 Parola di codice relativa al simbolo x M

55 CODICE DI HUFFMAN Tale strategia può essere iterata all indietro fino a risalire ad una sorgente binaria equivalente. Arrivati alla sorgente binaria possiamo attribuire facilmente un codice ai due simboli emessi: y 1 0 y 2 1 Simboli della sorgente binaria Migliore codice possibile (assolutamente ottimo solo se i simboli y 1 e y 2 sono equiprobabili)

56 CODICE DI HUFFMAN: ESEMPIO Consideriamo una sorgente discreta senza memoria X={A,B,C,D,E} che può emettere uno tra 5 simboli caratterizzati dalle seguenti probabilità: ( A) = P = 0.4 P( B) = P = 0.2 P( C) = P = 0.2 P( D) = P = 0.1 P( E) = P 0. 1 P = L entropia H(X) di questa sorgente è data da: H = i i= 1 Pi ( X ) P log = log + log log2 5 + log log [ bit / simbolo]

57 CODICE DI HUFFMAN: ESEMPIO Vediamo ora di costruire il codice di Huffman per tale sorgente Simbolo Probabilità di emissione A 0.4 A 0.4 A 0.4 B+C+D+E 0.6 B 0.2 B 0.2 C+D+E 0.4 A 0.4 C 0.2 C 0.2 B 0.2 D 0.1 D+E 0.2 E 0.1 Raggruppiamo iterativamente i simboli meno probabili sino ad avere una sorgente binaria

58 CODICE DI HUFFMAN: ESEMPIO A questo punto possiamo costruire un codice ottimo per la sorgente binaria ottenuta e derivare un codice ottimo per la sorgente originaria B+C+D+E (0.6) 0 A (0.4) 1 A (0.4) 1 A (0.4) 1 A (0.4) 1 C+D+E (0.4) 00 B (0.2) 01 B (0.2) 01 B (0.2) 01 C (0.2) 000 C (0.2) 000 D+E (0.2) 001 D (0.1) 0010 E (0.1) 0011 Migliore codice possibile per questa sorgente binaria (non è assolutamente ottimo) Codice ottimo per la sorgente considerata

59 CODICE DI HUFFMAN: ESEMPIO Calcoliamo ora la lunghezza media del codice ottenuto: N 5 = P N i= 1 = i i = 2.2 [ binit / simbolo] Il codice ottenuto è ottimo (la codifica di Huffman è sempre ottima), ma non assolutamente ottimo. Infatti: N H = ( X ) 2.12 [ bit / simbolo]

60 EFFICIENZA DI UN CODICE UD ISTANTANEO Si può dimostrare che per un codice ud istantaneo valgono le seguenti relazioni: log 1 P N < log 1 P 2 i 2 + i i 1 ( X ) N < H ( X ) 1 H +

61 EFFICIENZA DI UN CODICE UD ISTANTANEO Sulla base delle precedenti relazioni, si può dire che un codice ud istantaneo ha buona efficienza se H ( X ) >> 1 oppure se per 1 tutti i simboli si ha. N log i 2 P i Se nessuna di queste condizioni è verificata, al fine di migliorare le caratteristiche del codice, è possibile ricorrere ad un artificio noto come estensione della sorgente.

62 ESTENSIONE DELLA SORGENTE Si dice che una sorgente S è un estensione di ordine n di una sorgente S, se i suoi simboli sono ottenuti raggruppando in sequenze di lunghezza n i simboli emessi dalla sorgente S. E possibile codificare i simboli della sorgente estesa S anziché i simboli della sorgente originale S senza perdere informazione. Si può dimostrare che codificando i simboli della sorgente estesa di ordine n con un codice ud istantaneo si ottiene un codice che soddisfa la seguente condizione: ( X ) N < H ( X ) H + 1 n

63 ESTENSIONE DELLA SORGENTE Per quanto visto, si può concludere che il meccanismo di estensione della sorgente permette di avvicinarsi quanto si vuole al limite di Shannon agendo sul valore di n. In particolare, quando allora. n N H( X ) OSSERVAZIONE Nella pratica aumentare n (ovvero avvicinare N a H X ) significa incrementare significativamente la complessità del decodificatore ed introdurre un ritardo di trasmissione. ( )

64 SORGENTE DISCRETA CON MEMORIA Sino ad ora abbiamo considerato sorgenti in cui i simboli emessi sono statisticamente indipendenti. Molte sorgenti informative reali hanno una memoria: la probabilità di emissione di un simbolo all istante considerato dipende dai simboli emessi precedentemente.

65 SORGENTE DISCRETA CON MEMORIA: DEFINIZIONE Definiamo sorgente discreta con memoria, una sorgente con le seguenti proprietà: sorgente che può emettere un insieme di M simboli X={x 1, x 2,, x M } ciascuno caratterizzato da probabilità P i e autoinformazione I i ; P i costanti nel tempo (sorgente stazionaria); simboli emessi dalla sorgente in istanti differenti correlati: P ( ) ( ) x x P i x i La probabilità che venga emesso il simbolo x i dipende dalla sequenza di simboli x emessa precedentemente dalla sorgente

66 ORDINE DELLA MEMORIA Definiamo ordine della memoria della sorgente il numero di simboli precedentemente emessi che influenzano la probabilità di emissione del simbolo corrente. Nel seguito considereremo il caso di una sorgente con memoria di primo ordine (la probabilità del simbolo emesso dipende solo dal simbolo precedente): ( ) x x P( x x ) P = i i j dove x j è il simbolo emesso prima di x i.

67 ENTROPIA DI UNA SORGENTE DISCRETA CON MEMORIA Data una sorgente X con memoria di primo ordine, si può definire la sua entropia condizionata al simbolo x j come: H def ( X x ) P( x x ) j = M i= 1 i j log 2 P 1 ( x x ) i j Mediando su tutti i possibili simboli x j, si ottiene: H ( X ) P( x ) H ( X ) = M j= 1 j x j Valido solo per il caso di memoria di primo ordine

68 ENTROPIA DI UNA SORGENTE DISCRETA CON MEMORIA Le probabilità condizionate hanno l effetto di ridurre il valore dell entropia (la memoria introduce una certa prevedibilità riducendo la quantità di informazione associata ai simboli). Come si deve trattare una sorgente con memoria dal punto di vista della codifica di sorgente?

69 CODIFICA PREDITTIVA Un modo di sfruttare la memoria della sorgente è quello di utilizzare un meccanismo di codifica predittivo. Consideriamo il seguente schema: Predizione del bit i-esimo x~ () i Sorgente M-aria con memoria Conversione da simboli M-ari a binari x(i) Predittore ε(i) Codificatore bit i-esimo della sequenza binaria sommatore modulo 2 errore di predizione (vale o 0 o 1 )

70 CODIFICA PREDITTIVA L ingresso ε(i) al codificatore è costituito da una sequenza di bit. Se usiamo un buon predittore sbagliamo poco nella sequenza ε(i) compaiono molti 0 e pochi 1. Essendo molto sbilanciate le probabilità degli 0 e degli 1, la sequenza ha un entropia molto bassa.

71 CODIFICA PREDITTIVA { ε () i = 0} P = p con p >> 1 2 Essendo l entropia della sequenza errore molto bassa, in uscita dal codificatore è possibile ottenere una sequenza codificata con una bit rate bassa.

72 CODIFICA RUN-LENGTH Abbiamo detto che la sequenza ε(i) è costituita da lunghe stringhe di bit 0 intervallate da qualche bit 1. Definizione: si dice run di lunghezza n una sequenza di n bit 0 seguiti da 1 bit 1. ESEMPIO «« run di lunghezza 11 (n=11)

73 CODIFICA RUN-LENGTH La codifica run-length sfrutta la presenza dei run precedentemente definiti. Invece di trasmettere l intera stringa, si trasmette il valore n che caratterizza la sua lunghezza. Usando parole di codice composte da k bit, è possibile rappresentare stringhe con lunghezza massima pari a n=2 k -1.

74 CODIFICA RUN-LENGTH ESEMPIO: k=3. Esprime la lunghezza del run n k -2=6 2 k -1=7 Parola di codice Rappresenta una situazione con un run con n 7. In questa evenienza, il codificatore deve attendere la parola di codice successiva per ricostruire il run. N.B.: Se si verifica troppo spesso la stringa 111 si deve aumentare il valore di k.

75 CODIFICA RUN-LENGTH: EFFICIENZA La codifica risulta efficiente se in media le parole di codice hanno meno bit dei run che rappresentano. Indichiamo con E la media dei bit presenti in un run e con N il numero medio dei bit delle di parole di codice necessarie per codificare il run. La bit rate r b sarà data da: r b = N E r N E Il rapporto dice quanto è efficiente la codifica. Più piccolo è il rapporto, migliore è la codifica.

76 INTRODUZIONE ALLA CODIFICA DI CANALE Sorgente Codifica di sorgente Canale equivalente privo di rumore Decodifica di sorgente Destinazione Codifica di canale Canale reale rumoroso Decodifica di canale

77 INTRODUZIONE ALLA CODIFICA DI CANALE Quanto visto per la codifica di sorgente ha senso solo nell ipotesi che il canale non introduca errori (P be =0). Infatti, per i codici visti, un errore in ricezione distruggerebbe l intero messaggio! La codifica di canale affronta il problema di trasmettere in maniera affidabile su un canale non-affidabile. In pratica si realizza un processo di codifica a controllo d errore per ridurre gli effetti del rumore presente sul canale. La codifica di canale è governata dal 2 Teorema di Shannon.

78 INTRODUZIONE ALLA CODIFICA DI CANALE Per semplicità, nel seguito assumeremo che sia la sorgente sia il canale di trasmissione siano discreti (l assunzione di canale discreto è poco realistica). In queste ipotesi, verranno definite la quantità di informazione trasferita e la capacità di un canale.

79 CANALE DISCRETO: DEFINIZIONE L ingresso è costituito da un insieme finito X di simboli x i. L uscita è costituita da un insieme finito Y di simboli y j. = { x } CANALE = { y } X 1,...,x M Y 1,...,y K Il rumore e altre possibili distorsioni del canale alterano i simboli trasmessi, producendo un alfabeto a destinazione Y che può essere diverso da quello di ingresso X (K può essere diverso da M).

80 CANALE DISCRETO: NOTAZIONE P(x i ) probabilità che la sorgente emetta il simbolo x i ; P(y j ) probabilità che a destinazione venga ricevuto il simbolo y j ; P(x i,y j ) probabilità congiunta che sia stato trasmesso il simbolo x i e venga ricevuto il simbolo y j ; P(x i / y j ) probabilità condizionata che sia stato trasmesso il simbolo x i dato che è stato ricevuto il simbolo y j ; P(y j / x i ) probabilità condizionata che sia stato ricevuto il simbolo y j dato che è stato trasmesso il simbolo x i.

81 CANALE DISCRETO SENZA MEMORIA TEMPO-INVARIANTE: DEFINIZIONE Si definisce canale discreto senza memoria tempo-invariante un canale discreto: in cui l uscita in un determinato istante dipende solo dal simbolo in ingresso al canale in quell istante e non dai simboli precedentemente trasmessi. le cui proprietà non variano nel tempo; Un canale discreto senza memoria tempo-invariante è univocamente definito dall alfabeto di ingresso X, da quello di uscita Y e dalle probabilità condizionate di transizione in avanti P(y j / x i ).

82 CANALE DISCRETO SENZA MEMORIA TEMPO-INVARIANTE: ESEMPIO P(y 1 / x 1 ) y 1 P(y 1 / x 2 ) x 1 x 2 y 2 P(y 2 / x 1 ) P(y 2 / x 2 ) P(y 3 / x 2 ) y 3 P(y 3 / x 1 ) PROBABILITÀ DI TRANSIZIONE IN AVANTI PER UN CANALE DISCRETO CON DUE SIMBOLI IN INGRESSO (M=2) E TRE SIMBOLI IN USCITA (K=3)

83 CANALE DISCRETO SENZA MEMORIA TEMPO-INVARIANTE Talvolta può essere utile scrivere le probabilità di transizione di un canale in forma matriciale: Matrice delle probabilità di transizione P P P = P ( y1 x1) P( y2 x1) P( yk x1) ( y x ) 1 ( y x ) P( y x ) 1 2 M K M Nota: per semplicità di notazione, da qui in poi assumeremo implicita la tempo-invarianza ed indicheremo un canale discreto senza memoria tempo-invariante semplicemente con la dicitura canale discreto senza memoria.

84 MISURA DI INFORMAZIONE MUTUA Obiettivo: misurare l informazione trasferita da un canale (ipotesi: canale discreto senza memoria). Vediamo innanzitutto di introdurre l entropia condizionata alla ricezione di un particolare simbolo H(X/y j ): H ( X y ) P( x y ) j = x X i i ( y ) Questa quantità esprime quanto vale l incertezza sul simbolo trasmesso (ovvero il simbolo emesso dalla sorgente) una volta che è stato ricevuto il simbolo y j. j log 2 1 P x i j

85 MISURA DI INFORMAZIONE MUTUA Il valore medio di H(X/y j ) (ovvero la media calcolata su tutte le possibili uscite) è chiamato entropia condizionata H(X/Y) e rappresenta l incertezza che rimane in media sul simbolo trasmesso dopo l osservazione del simbolo ricevuto: H ( X Y) = H( X y ) P( y ) = P( x,y ) y Y j j j y Y x X j i i j log 2 1 P x ( y ) i j H(X/Y) è anche chiamata equivocazione e può essere vista come l informazione perduta nel canale rumoroso.

86 MISURA DI INFORMAZIONE MUTUA L entropia della sorgente H(X) rappresenta l incertezza sul simbolo inviato sul canale prima dell osservazione dell uscita. Sulla base di quanto visto fin qui, possiamo definire l informazione mutua media I(X;Y) di un canale come: I def ( X;Y) = H( X ) H( X Y) L informazione mutua media I(X;Y) dice di quanto si sia ridotta in media l incertezza sul simbolo emesso dalla sorgente una volta osservato il simbolo ricevuto.

87 MISURA DI INFORMAZIONE MUTUA L informazione mutua media I(X;Y) può essere calcolata anche come: I ( X;Y ) = P( x,y ) I( x ; y ) [ bit simbolo] x X y i dove I(x i ;y i ) è l informazione mutua associata alla trasmissione del simbolo x i ed alla ricezione del simbolo y i (ovvero la quantità di informazione trasferita sul canale quando viene trasmesso x i e viene ricevuto y i ). I(x i ;y i ) è definita come: I Y j ( x ;y ) i j i def j = log 2 i ( y ) P x P i j ( x ) i j [ bit]

88 MISURA DI INFORMAZIONE MUTUA: PROPRIETÀ 1. L informazione mutua media di un canale è simmetrica, ovvero: ( X;Y ) I( Y;X ) I = 2. L informazione mutua media è sempre una quantità nonnegativa: I ( X;Y ) 0

89 MISURA DI INFORMAZIONE MUTUA: PROPRIETÀ 3. L informazione mutua media di un canale può essere espressa come: I X;Y = H Y H Y X ( ) ( ) ( ) dove H(Y) è l entropia a destinazione e H(Y/X) è chiamata entropia di rumore. H(Y) e H(Y/X) sono date rispettivamente da: H ( ) = P( y ) H Y ( Y X ) = P( x, y ) x X i y Y y j j Y j i log 2 j 1 P ( y ) log j 2 P 1 ( y x ) j i

90 MISURA DI INFORMAZIONE MUTUA: PROPRIETÀ 4. L informazione mutua media di un canale è legata all entropia congiunta di ingresso e uscita H(X,Y) secondo la seguente relazione: I ( X ;Y ) = H( X ) + H( Y ) H( X,Y ) dove H(X,Y) è definita come: H ( X,Y ) = P( x, y ) x X i y j Y i j log 2 P 1 ( x, y ) i j

91 MISURA DI INFORMAZIONE MUTUA Abbiamo già detto che descrivere un canale discreto senza memoria significa stabilire gli alfabeti X, Y e le probabilità di transizione in avanti P(y j /x i ). Per calcolare I(X;Y) sono necessarie: le probabilità congiunte P(x i,y j ), le probabilità condizionate P(x i / y j ) e le probabilità di emissione dei simboli P(x i ); oppure: le probabilità congiunte P(x i,y j ), le probabilità condizionate P(y i / x j ) e le probabilità P(y i ).

92 MISURA DI INFORMAZIONE MUTUA In realtà, fissate le probabilità di emissione dei simboli di sorgente P(x i ) e note le probabilità di transizione P(y j x i ), si hanno tutti i dati per il calcolo dell informazione mutua. Infatti, utilizzando il Teorema di Bayes, si può scrivere: I ( X;Y ) = P( x,y ) ( ) ( ) x, y P y x P( x ) P = i j ( x ) P y j i i ( x ) P( x ) ( j xi ) ( x ) P( ) j i i j log2 = P y j i i log2 x X y Y P( y ) i j j xi X y j Y P y j i xi x X i P y P ( y ) = P( x,y ) = P( y x ) P( x ) j x X i i j x X i j i i

93 MISURA DI INFORMAZIONE MUTUA: CASI PARTICOLARI CANALE SENZA RUMORE (IDEALE) Ogni simbolo y j identifica solo un determinato x i : Esempio: M=K=3 ( x y ) = 1 I( x, y ) 1 P i j i j = log2 = I P i i ( x ) x 1 x 2 x 3 y 1 y 2 y 3 L informazione trasferita è identica all autoinformazione del simbolo x i. Ragionando in media si ha: ( X;Y ) H( X ) I =

94 MISURA DI INFORMAZIONE MUTUA: CASI PARTICOLARI RUMORE INFINITO (CANALE INUTILE ) L osservazione di y j trasmesso: non riduce l incertezza sul simbolo x i ( x y ) = P( x ) I( x,y ) = log 1 0 P i j i i j 2 = L informazione trasferita è nulla. Ragionando in media si ha: I ( X;Y) = 0

95 CANALE BINARIO SIMMETRICO: DEFINIZIONE Si definisce canale binario simmetrico un canale discreto con le seguenti caratteristiche: l alfabeto di sorgente è composto da due simboli x 1 e x 2 caratterizzati da probabilità P(x 1 )=p e P(x 2 )=1-p; l alfabeto di destinazione è composto da due simboli y 1 e y 2 ; le probabilità di transizione valgono: P P ( y x ) P( y ) = α 1 2 = 2 x1 ( y x ) = P( y ) = 1 α x2

96 ESEMPIO: CANALE BINARIO SIMMETRICO 1-α ( x ) = P p P 1 1 = x 1 y 1 α α ( x ) = P = 1 p P 2 2 x 2 1- α y 2 P P = P ( y1 x1 ) P( y2 x1 ) 1 α α = ( y x ) P( y x ) α 1 α

97 ESEMPIO: CANALE BINARIO SIMMETRICO È possibile verificare che per un canale binario simmetrico valgono le seguenti relazioni: ( Y) = Ω[ P( y )] = Ω( α + p 2 p) H 1 α H ( Y X ) = Ω ( α ) dove Ω(p) è l entropia di una sorgente binaria definita come: 1 Ω ( p) = plog2 + ( 1 p) log2 p 1 1 p

98 ESEMPIO: CANALE BINARIO SIMMETRICO Nel caso di canale binario simmetrico, l informazione mutua è quindi data da: I ( X;Y ) = H( Y) H( Y X ) = Ω( α + p 2αp ) Ω( α) I(X;Y) 1 α=0 0<α<1/2 0.5 p

99 CAPACITÀ DI UN CANALE DISCRETO ( ) L informazione mutua di un canale I X ;Y dipende dalle probabilità di transizione in avanti P(y j x i ) e dalle probabilità di emissione dei simboli della sorgente P(x i ). Pertanto, I( X ;Y ) non dipende solo dal tipo di canale considerato, ma anche dall uso che viene fatto del canale. Al fine di caratterizzare un canale discreto senza memoria indipendentemente dalla sorgente in ingresso, si definisce capacità del canale il valore massimo dell informazione mutua rispetto a tutte le possibili distribuzioni delle probabilità dei simboli di ingresso: C S = { }[ bit / simbolo] { max ( ) ( )} I X;Y P x i

100 CAPACITÀ DI UN CANALE DISCRETO La capacità di canale rappresenta il massimo trasferimento di informazione possibile per simbolo di un canale, ottenuto in presenza di una particolare statistica di sorgente. La capacità di canale può essere anche misurata in termini di velocità nel trasferimento dell informazione (information rate).

101 CAPACITÀ DI UN CANALE DISCRETO Se s [simboli/sec] indica la massima velocità dei simboli (symbol rate) permessa dal canale, allora la capacità del canale per unità di tempo è data da: C = s C S [ bit / sec] La capacità di canale per unità di tempo C rappresenta la massima velocità di trasferimento dell informazione permessa dal canale.

102 CAPACITÀ DI UN CANALE DISCRETO SIMMETRICO La capacità di canale è una caratteristica propria del canale (non dipende dall ingresso considerato) ed è legata alla matrice di transizione. In generale non è semplice calcolare la capacità di un canale. In ipotesi di canale è simmetrico, il calcolo della capacità di canale si semplifica.

103 CANALE DISCRETO SIMMETRICO Definizione: canale discreto simmetrico Un canale discreto simmetrico è un canale in cui le probabilità di transizione sono tali per cui la probabilità di transire risulta uguale per tutti i simboli (la matrice di transizione è formata da righe e colonne caratterizzate dagli stessi valori di probabilità). In un canale discreto simmetrico l entropia condizionata H( Y ) è indipendente dal simbolo x i (non dipende dalla x i riga della matrice di transizione su cui si fa il calcolo).

104 CAPACITÀ DI UN CANALE DISCRETO SIMMETRICO Vediamo quanto vale la capacità di canale C S nel caso di canale discreto simmetrico: C S = max{ H( Y) H( Y X )} = max H Y { ( )} { ( )} P xi P xi xi X ( ) P( x ) H( Y x ) = i i = max H Y H Y xi P x { P( xi )} xi X ( ) ( ) ( ) i = max H Y { P( xi )} { ( ) H( Y x )} i È indipendente da x i

105 CAPACITÀ DI UN CANALE DISCRETO SIMMETRICO Pertanto l informazione mutua I(X;Y) è massima quando H(Y) è massima. Ciò è verificato quando i simboli y j sono equiprobabili. Vediamo quale condizione deve essere verificata sui simboli di ingresso x i al fine di ottenere simboli in uscita y j equiprobabili: 1 ( ) = P( y,x ) = P( y x ) P( x ) = P( y x ) P y j x X i j i x X i j i i M x X i j i sono equiprobabili Se gli M ingressi sono equiprobabili Non dipende da j

106 CAPACITÀ DI UN CANALE DISCRETO SIMMETRICO Quindi, nel caso di canale discreto simmetrico, i simboli in uscita sono equiprobabili quando anche i simboli in ingresso sono equiprobabili. La capacità del canale può quindi essere determinata assumendo equiprobabili i simboli di ingresso.

107 ESEMPIO: CAPACITÀ DI UN CANALE BINARIO SIMMETRICO I(X;Y) Nel caso di canale binario simmetrico, abbiamo già visto che la media dell informazione mutua vale: I ( X;Y ) = H( Y) H( Y X ) = Ω( α + p 2αp ) Ω( α) 1 α=0 0<α<1/2 Per ogni α la curva che descrive l informazione mutua ha un massimo per p=0.5, ovvero per simboli 0.5 p equiprobabili.

108 ESEMPIO: CAPACITÀ DI UN CANALE BINARIO SIMMETRICO Pertanto, ponendo p =0.5 si ottiene: C s ( α + p 2αp ) Ω( α) = Ω( α) = Ω 1 C S α

109 ESEMPIO: CAPACITÀ DI UN CANALE BINARIO SIMMETRICO Quindi la capacità di canale C S dipende dalla probabilità di transizione α. Osservazioni (sorgente binaria) Canale ideale (senza rumore): α=0 C S =1 [bit/simbolo] Canale molto rumoroso: α 1/2 C S 0 [bit/simbolo]

110 CODIFICA DI CANALE A questo punto diventa importante studiare come sia possibile utilizzare la capacità di un canale per trasferire l informazione emessa da una sorgente. Dato un canale reale (ovvero rumoroso ) caratterizzato da una capacità di informazione data, è possibile utilizzare una strategia che permetta di ottenere dal punto di vista del trasferimento dell informazione un canale equivalente senza rumore?

111 CODIFICA DI CANALE In un sistema di trasmissione numerica, la presenza di un canale rumoroso causa delle discrepanze (errori) tra la sequenza di dati in ingresso al sistema e quella in uscita. Per canali relativamente rumorosi la probabilità di errore sul bit è dell ordine di Per applicazioni reali, tipicamente è necessario ottenere una probabilità di errore sul bit di informazione dell ordine di Tali valori di probabilità d errore si possono raggiungere effettuando una codifica della sequenza da trasmettere (codifica di canale).

112 CODIFICA DI CANALE L obiettivo della codifica di canale consiste nell aumentare la resistenza di un sistema di telecomunicazione al rumore presente sul canale. La codifica di canale trasforma la sequenza di dati in ingresso al canale in una nuova sequenza intrinsecamente più robusta agli effetti del rumore. La decodifica di canale effettua l operazione inversa in uscita dal canale al fine di ricostruire le sequenza orginale (che rappresenta l informazione della sorgente).

113 CODIFICA DI CANALE L approccio adottato nella codifica di canale solitamente consiste nell introdurre ridondanza. Sfruttando tale ridondanza, il decodificatore può ricostruire il messaggio originale anche in presenza di bit errati. OSSERVAZIONE L obiettivo della codifica di sorgente è quello di ridurre la ridondanza per incrementare l efficienza del sistema di trasmissione. L obiettivo della codifica di canale è quello di introdurre ridondanza per incrementare l affidabilità del sistema di trasmissione.

114 ESEMPIO: CODICI A BLOCCHI I codici a blocchi costituiscono un semplice approccio alla codifica di canale. La sequenza da trasmettere viene divisa in blocchi di k bit di informazione. Ogni blocco viene codificato con n bit (n>k). k Il numero di bit ridondanti è quindi pari a n-k. Tali bit vengono scelti in modo da ottenere una protezione dell informazione dal rumore (vedi parte 4 del corso). n-k

115 ESEMPIO: CODICI A BLOCCHI Se una sorgente emette M simboli equiprobabili, ogni simbolo della nuova parola di codice ha associata un informazione pari a log 2 M n. Si definisce code rate la quantità R c = k n. Aumentando n aumenta la ridondanza introdotta e quindi la resistenza del codice al rumore, ma aumenta il tempo necessario alla trasmissione della sequenza (a parità di altre condizioni).

116 CODIFICA DI CANALE A questo punto ci si può porre la seguente domanda: Esiste uno schema di codifica (eventualmente anche molto complicato) tale da rendere la probabilità di errore di un canale reale rumoroso arbitrariamente piccola? Il 2 Teorema di Shannon fornisce una risposta precisa alla domanda precedente.

117 2 TEOREMA DI SHANNON: IPOTESI Supponiamo di avere una sorgente discreta senza memoria con alfabeto X, entropia H(X) e symbol rate r. Per quanto visto precedentemente, l information rate della sorgente vale R=rH(X). Supponiamo di disporre di un canale discreto senza memoria con capacità per unità di tempo pari a C [bit/sec].

118 2 TEOREMA DI SHANNON Nelle ipotesi precedenti, il 2 Teorema di Shannon afferma che: Se R C allora esiste un sistema di codifica tale da permettere la trasmissione dell informazione emessa dalla sorgente sul canale con una probabilità di errore arbitrariamente piccola. Se invece R>C non è possibile trasmettere l informazione senza errori.

119 2 TEOREMA DI SHANNON: OSSERVAZIONI Il 2 Teorema di Shannon non fornisce dettagli sul sistema di codifica necessario per ottenere probabilità d errore arbitrariamente piccola, ma afferma solo che, se R C, esso esiste. Nella pratica, si può verificare che per ridurre la probabilità d errore si deve incrementare il numero di bit di ridondanza (n-k). Per (n-k) il tempo necessario per la trasmissione del messaggio codificato tende però all infinito.

120 SORGENTI E CANALI CONTINUI Fino ad ora è stato considerato il caso in cui sia la sorgente che il canale sono discreti. Nel seguito si generalizzerà la trattazione al caso più realistico di sorgente che emette un segnale continuo e di canale anch esso continuo. La capacità del canale sarà espressa in termini di larghezza di banda e di rapporto segnale-rumore (legge di Hartley-Shannon). Si arriverà alla definizione di un sistema di telecomunicazione ideale che serve come riferimento per il confronto con i sistemi reali.

121 SORGENTI CONTINUE Nel caso continuo, la sorgente può produrre un insieme di possibili segnali nel tempo x(t) che può essere visto come un processo aleatorio che si assume essere ergodico. Si effettua inoltre l ipotesi che il processo abbia larghezza di banda limitata, in modo da poterlo campionare senza perdita di informazione (vedi Teorema del Campionamento).

122 SORGENTI CONTINUE Ad ogni istante di campionamento, l insieme dei possibili valori assunti dal campione costituisce una variabile aleatoria continua x descritta dalla sua funzione di densità di probabilità p X (x). La quantità di informazione media per campione è misurata tramite la funzione entropia così definita: H + ( X ) = p ( x) X log 2 p 1 () x dx X

123 SORGENTI CONTINUE OSSERVAZIONE In realtà l entropia assoluta associata ad una sorgente continua è sempre. Ciò è facilmente verificabile applicando il concetto di limite alla definizione di entropia per una sorgente discreta: 1 H ass( X ) = lim px ( xi ) xlog2 = x 0 p x x i X ( ) i + = 1 px () x log2 dx lim log2 p x 0 X () x x Questa è la H(x) definita precedentemente e rappresenta una misura di entropia relativa (o differenziale) Questo termine vale sempre - non è informativo

124 CANALI CONTINUI La sorgente emette il segnale x(t) che, dopo essere stato corrotto dal rumore presente sul canale, arriva a destinazione come segnale y(t). In analogia al caso discreto, la media dell informazione mutua trasferita dal canale può essere calcolata come: I + + ( X ;Y ) = pxy ( x, y) log 2 p X p ( x y) X () x dx dy dove p X (x) è la densità di probabilità della sorgente, p XY (x,y) è la densità di probabilità congiunta e p X (x y) è la densità di probabilità di transizione all indietro.

125 CANALI CONTINUI Tipicamente, si conosce la densità di probabilità di transizione in avanti p Y (y/x) del canale; pertanto, conviene calcolare l informazione mutua mediante la seguente espressione: I ( X ;Y ) = H( Y ) H( Y X ) Si noti che, come nel caso discreto, l informazione mutua è una quantità simmetrica per cui può anche essere calcolata come: I ( X ;Y ) = H ( X ) H ( X Y )

126 CAPACITÀ DI UN CANALE CONTINUO La capacità di un canale continuo è data da: C S = max p () x X { I( X ;Y )} [ bit / campione] Se il canale ha larghezza di banda fissata B, allora y(t) è anch esso a banda limitata. Campionando al limite di Nyquist ( f c =2B ) si ottengono 2B campioni (o simboli) al secondo.

127 CAPACITÀ DI UN CANALE CONTINUO Pertanto, la massima velocità di trasferimento dell informazione è data da: [ ] C = 2BC bit/sec S C definisce la capacità per unità di tempo di un canale continuo a banda limitata. Per calcolare la capacità di un canale continuo, dobbiamo quindi determinare C s. Vediamo come si può fare nell ipotesi di canale che introduca un rumore additivo gaussiano bianco (AWGN).

128 CANALE CONTINUO CON RUMORE AWGN Consideriamo un canale con le seguenti caratteristiche: il canale non provoca distorsioni all interno della banda B e ogni attenuazione è compensata da opportune amplificazioni; il canale vincola il segnale in ingresso x(t) ad essere un segnale a 2 banda limitata con potenza media fissata S = x ; il segnale y(t) a destinazione è contaminato da rumore n(t) additivo gaussiano bianco a media nulla e potenza media N= σ 2 =ηb; il segnale e il rumore sono indipendenti: y(t)=x(t)+n(t) y 2 = S + N Potenza media di y(t)

129 LEGGE DI HARTLEY-SHANNON Shannon ha dimostrato che la capacità di una canale continuo AWGN con le caratteristiche descritte in precedenza può essere calcolata come: C = Blog S N [ bit/sec] dove B è la banda del canale espressa in [Hz] e il rapporto segnale-rumore a destinazione. LEGGE DI HARTLEY-SHANNON S N è Come atteso, C aumenta se aumenta la banda B o se aumenta S. N

130 LEGGE DI HARTLEY-SHANNON: DIMOSTRAZIONE Abbiamo visto prima che la capacità di canale è data da: C = 2BC S = 2B max p () x X { I( X;Y) } = 2B max p () x X { H( Y) H( Y X )} In analogia al caso discreto, l entropia di rumore H(Y/X) si può scrivere come: H + ( Y X ) px ( x) py ( y x) + 1 = log 2 dxdy P Y ( y x)

131 LEGGE DI HARTLEY-SHANNON: DIMOSTRAZIONE Nell ipotesi di rumore additivo indipendente si può scrivere: p Y ( y x) = p ( x + n) = p ( y x) Y n Quindi, l entropia di rumore H(Y/X) si può scrivere come: H( Y X ) = pn( n) log2 dn = log2 pn() n 2 2πeN L entropia di rumore non dipende da p X (x) Pertanto la capacità C s sarà data da: = max H Y p ( x) [ ( ) H( Y X )] = max H Y p ( x) 1 2 { ( )} log 2π en Cs 2 X X

132 LEGGE DI HARTLEY-SHANNON: DIMOSTRAZIONE La potenza media del segnale in ricezione è data da: 2 () t = x() t + n() t y = S + N H( Y) log 2π e( S + N) y Si può dimostrare che H(Y) è uguale al suo massimo quando p X (x) è gaussiana a media nulla. In tali condizioni si ha: S + N Cs = log2 2π e N ( S + N) log 2π en = log S = Blog 1 + N C 2 C.V.D.

133 SISTEMA DI TELECOMUNICAZIONE IDEALE Al fine di ottenere una probabilità d errore circa nulla, deve essere verificata la condizione R C. Si definisce sistema di telecomunicazione ideale un sistema che ha un tasso d errore quasi nullo (P err 0) con un information rate pari a: S = Blog 1 + N R 2

134 SISTEMA DI TELECOMUNICAZIONE IDEALE La legge di Hartley-Shannon dice qual è l ottimo compromesso sullo scambio tra banda e potenza. In particolare, essendo N=ηB, con B banda del canale e η 2 densità spettrale di potenza del rumore AWGN, si può scrivere: C S = B log ηb

135 SISTEMA DI TELECOMUNICAZIONE IDEALE Assumendo che η e R abbiano valori fissati, si ricava una espressione utile che identifica le condizioni affinché la trasmissione dell informazione avvenga ad una rate R C: S ηr R B 2 B 1 R

136 SISTEMA DI TELECOMUNICAZIONE IDEALE comunicazioni reali R < C B R <1 R > C R = C impossibile per comunicazioni reali

137 SISTEMA DI TELECOMUNICAZIONE IDEALE: OSSERVAZIONI Nella regione corrispondente a R>C è impossibile ottenere un trasmissione affidabile. B R <1 Se (compressione di banda) occorre aumentare notevolmente la potenza del segnale al fine di trasmettere in maniera affidabile. B R >1 Se (espansione di banda) si può effettuare una trasmissione affidabile anche con basse potenze del B S segnale (per, 1.6 [ db] ). R η R

138 SISTEMA DI TELECOMUNICAZIONE IDEALE Un canale ideale con larghezza di banda infinita ha capacità C finita data da: C lim Blog S 1 + = ηb = 2 B B ( 1 λ) S ln + lim ηλ ln 2 S = ηln 2 S 1.44 η In pratica se: S λ = 0 ln( 1 + λ) η B B 1 λ λ 0 B R >10 C C

139 SISTEMA DI TELECOMUNICAZIONE IDEALE I risultati ottenuti sulla base della legge di Hartley- Shannon si riferiscono ad un sistema di telecomunicazione ideale (pertanto non realizzabile nella pratica). Tuttavia, tali risultati sono molto utili nella progettazione di un sistema di telecomunicazioni reale, in quanto definiscono il limite superiore delle prestazioni ottenibili da un sistema modellabile con un canale corrotto da rumore AWGN.

140 SISTEMA DI TELECOMUNICAZIONE IDEALE ESEMPIO [ ] Sia dato un canale AWGN con B = 1 KHz e η = 1 [ µw / Hz]. Trovare il minimo valore della potenza S (espressa in [mw]) per avere un collegamento affidabile a R =100 [bit/sec], R =1000 [bit/sec], R =10000 [bit/sec].

141 SISTEMA DI TELECOMUNICAZIONE IDEALE SOLUZIONE Usando la relazione: R S B 2 B 1 ηr R si ricava: R B S ηr 2 B 1 R Poiché ηb = 10 3 allora: 2 R 3 S R R R = 100 S = 1000 S = S [ mw ] [ mw ] [ mw ] 1023

142 CONFRONTO CON I SISTEMI DI TELECOMUNICAZIONE ANALOGICI I parametri essenziali per effettuare un confronto tra un sistema ideale e i sistemi di comunicazione analogici sono: il rapporto segnale-rumore; l occupazione di banda. Consideriamo un sistema analogico generico in cui il segnale a destinazione abbia banda W e rapporto segnalerumore (S/N) D. Consideriamo un canale AWGN con banda B T e rapporto segnale-rumore dato da segnale in ricezione). S R ηb T (dove S R è la potenza del

143 CONFRONTO CON I SISTEMI DI TELECOMUNICAZIONE ANALOGICI R = W log 2 1+ S N D SORGENTE ANALOGICA MODULATORE C CANALE AWGN S log ηb = BT T DEMOD. DESTINAZIONE La massima information rate ottenibile in uscita è data da: R = W log In ogni caso, l information rate non può superare la capacità del canale: R C = B T log 2 S N D S 1 + ηb R T

144 CONFRONTO CON I SISTEMI DI TELECOMUNICAZIONE ANALOGICI Ponendo R C e risolvendo rispetto a (S/N) D si ottiene: S N D B T S W 1 + R γ 1 = ηbt b b dove: BT b =, W SR γ = ηw

145 CONFRONTO CON I SISTEMI DI TELECOMUNICAZIONE ANALOGICI La relazione trovata fornisce un termine di confronto per tutti i sistemi di comunicazione analogici (è sufficiente fornire a b e a γ i valori che caratterizzano il sistema in esame). Solitamente, si usa confrontare grafici che rappresentano (S/N) D in funzione di γ (avendo fissato b) oppure che rappresentano γ in funzione di b (avendo fissato (S/N) D ).

146 CONFRONTO CON I SISTEMI DI TELECOMUNICAZIONE ANALOGICI