LA CODIFICA. CANALE IDEALE E REALE

Transcript

1 LA CODIFICA. CANALE IDEALE E REALE

2 L A CODIFICA Per trasmettere i simboli generati dalla sorgente devo tradurli in segnali adatti al canale. Per effettuare la trasmissione dovremo: MODULARE il segnale: scegliendo le caratteristiche fisiche del segnale più adatte al canale di trasmissione CODIFICARE il canale: determinando quali combinazioni dei valori del segnale scegliere per rappresentare i simboli della sorgente 2

3 CODICI DIGITALI CODICE: Associa ad ogni simbolo (o blocco di simboli) emesso dalla sorgente una ed una sola combinazione (parola) di cifre binarie 3

4 CODICI DIGITALI Esempio: Codice ASCII I codici come l ASCII sono a lunghezza fissa, tutti i simboli sono rappresentati sempre con lo stesso numero di bit. 4

5 CODICI DIGITALI Si possono avere diverse tipologie di codice digitale: a lunghezza fissa; a lungh. variabile non unicamente decodificabile a lungh. variabile univocamente decodificabile istantaneo (o a prefisso) 5

6 CODICI LUNGHEZZA FISSA La lunghezza delle singole parole è fissa. l =3 bit Considerando i simboli equiprobabili, la lunghezza media è 3 bit. 6

7 CODICI A LUNGHEZZA VARIABILE Possono aumentare la velocità di trasmissione, se si assegnano le combinazioni più corte ai simboli più frequenti. L impiego dei codici a lunghezza variabile può presentare dei problemi. 7

8 CODICE non univocamente decodificabile Non sempre permette di risalire alla sequenza originale dei simboli. Questo codice è inutile. l = =2 bit La sequenza 0100 potrebbe codificare x 1 x 4 x 1 oppure x 2 x 1 oppure x 3 x 1 x 1. Considerando i simboli equiprobabili, la lunghezza media è 2 bit. 8

9 CODICE univocamente decodificabile Questo codice è univocamente decodificabile, ma può essere necessario rimandare la decisione di quale codice è stato ricevuto. La sequenza 1100 è univocamente interpretabile come 11 00, cioè come x 4 x 3, solo dopo aver ricevuto l ultimo bit, infatti: 1 può essere l inizio di x 2 o x 4 o x 5 11 può essere x 4 o l inizio di x può essere x 5 o x 4 più l inizio di x 1 o x 3 l = =2,6 bit Considerando i simboli equiprobabili, la lunghezza media è 2,6 bit 9

10 CODICE istantaneo (o a prefisso) Questo codice è univocamente decodificabile e ogni carattere si riconosce subito perché nessun codice è l inizio di un altro. La decodifica di un codice istantaneo è più semplice. l = =2,6 bit Considerando i simboli equiprobabili, la lunghezza media è 2,6 bit 10

11 Lunghezza media Gli esempi fatti facevano riferimento ad una sorgente che emetteva 5 simboli diversi, ma equiprobabili. Quindi l entropia di questa sorgente è: H (S)=log 2 (5)=2,3219 bit /simbolo Tutti i codici usati negli esempi avevano una lunghezza media maggiore dell entropia della sorgente l >H (S)=2,3219 bit / simbolo 11

12 Lunghezza media E preferibile avere codici con lunghezza media minore, perché il numero di bit/s che possono transitare nel canale è limitato dalla banda passante, quindi se abbiamo meno bit da trasmettere, a parità di entropia della sorgente (che è l informazione da comunicare) abbiamo una comunicazione più veloce. 12

13 CODICE istantaneo ottimizzato (quasi) Questo codice è univocamente decodificabile con simboli non equiprobabili, nel quale i codici più corti sono attribuiti ai simboli più probabili. S= ( x 1 x 2 x 3 x 4 x 5 0,05 0,3 0,05 0,3 0,3) La lunghezza media l è 2,1 bit H (S)= n=5 l = i=1 n=5 i=1 p i log 2 (P 1 ) 1,9955 bit p i l i = ,3 2 2,1 bit 13

14 CODICE istantaneo ottimizzato (quasi) Assegnando ai simboli più probabili le combinazioni più brevi ha migliorato il codice. Comunque la lunghezza media è sempre compresa tra l entropia della sorgente e l entropia aumentata di uno. H (S) l H (S)+1 14

15 COMPRESSIONE DEI DATI La relazione H (S) l H (S)+1 Indica una misura della compressibilità di un messaggio o di un file. La compressione è utile sia per la trasmissione (aumento della velocità) che per la memorizzazione e l immagazzinamento dei dati. 15

16 COMPRESSIONE DEI DATI Esistono codici ottimali che permettono di raggiungere il limite inferiore: l =H (S) Uno di questi è il codice Huffman. 16

17 Codice Huffman E alla base di molti algoritmi per la compressione dei dati. Permette di ottenere una lunghezza media dei simboli molto prossima all entropia della sorgente. 17

18 Costruzione del codice Huffman Consideriamo di avere una sorgente che genera i seguenti simboli con le relative probabilità. L entropia H(S) di sorgente risulta essere: n=14 H (S)= p i log 2 p i = {2 0,025 log 2 0, ,05 log 2 0,05 i=1 +2 0,015 log 2 0, ,1 log 2 0,1+2 0,145 log 2 0,145 +0,2 log 2 0,2+0,03 log 2 0,03 } 3,4007 bit / simbolo 18

19 Costruzione del codice Huffman Scriviamo i simboli ordinandoli per probabilità crescente, poi partendo da sinistra sommiamo i simboli con probabilità più bassa. Si ripete più volte lo stesso algoritmo. 19

20 Costruzione del codice Huffman Se abbiamo svolto correttamente i calcoli la probabilità finale vale 1. Come si può vedere si ottiene una struttura ad albero. Ora si assegnano i codice ai simboli: partendo dalla radice a sinistra ad ogni biforcazione si attribuisce 1 al ramo a sinistra e 0 al ramo a destra 20 radice

21 Costruzione del codice Huffman Il codice di Huffman ottenuto è: Il codice ottenuto ha lunghezza media: n=14 l = p i l i =(2 0, ,025) 6+ i=1 +(0, ,05) 5+0, (2 0,1+2 0,145) 3+0,2 2=3,45 bit Come si vede la lunghezza media del codice è molto prossima all entropia della sorgente H(s) (differenza del 1,45%). 21

22 Modello del canale: CANALE PRIVO DI RUMORE CANALE: qualunque mezzo fisico sul quale viaggiano i segnali che trasportano l informazione. CANALE SENZA RUMORE: i simboli in uscita sono uguali a quelli in entrata. 22

23 Modello del canale: CANALE PRIVO DI RUMORE CAPACITÀ DI CANALE: è "il più piccolo limite superiore" alla quantità di informazione che può essere trasmessa in maniera affidabile su un canale. E intesa come la velocità con la quale il canale può trasmettere informazione La capacità di canale dipende da 2 fattori: 1) dalla banda passante del canale; 2) dalla codifica dell informazione. 23

24 Modello del canale: CANALE PRIVO DI RUMORE Es: canale a 2 livelli Consideriamo un canale sul quale viaggia un segnale a 2 livelli (0 ed 1). Se ogni livello dura un tempo T, il canale trasmette alla velocità 1/T bit/s. Ipotizziamo che i due livelli durino T=0,1 s e si alternino formando un onda quadra di periodo 2T e f=1/(2t)=(1/0,2)=5 Hz. Se questo segnale passa attraverso un canale con banda passante limitata a questa frequenza, passerà solo la frequenza fondamentale del segnale. Quindi, il segnale verrà sfasato, attenuato e distorto dal canale, ma sarà ancora riconoscibile. Segnale inviato Segnale ricevuto 24

25 Modello del canale: CANALE PRIVO DI RUMORE Un canale non disturbato a due livelli di segnalazione può far passare bit con una cadenza doppia della sua banda passante. C=2 B bit /s 25

26 Modello del canale: CANALE PRIVO DI RUMORE A parità di caratteristiche fisiche del canale si può aumentare la velocità del canale aumentando il numero di livelli. Per esempio in una trasmissione digitale posso impacchettare coppie di bit ( dibit) in un unico intervallo di segnalazione usando 4 livelli. La capacità del canale raddoppia. C=4 B bit /s 26

27 Modello del canale: CANALE PRIVO DI RUMORE Con n livelli, se non c è rumore a confonderli, posso aumentare ulteriormente la capacità del canale. Capacità di un canale a n livelli privo di rumore: C=2 B log 2 (n) bit /s 27

28 Modello del canale: CANALE PRIVO DI RUMORE NUMERO DI LIVELLI: in questo contesto equivale a scegliere la codifica di linea CODIFICA DI SORGENTE equivale alla scelta della rappresentazione binaria dei simboli emessi dalla sorgente 28

29 Modello del canale: CANALE CON DI RUMORE Se abbiamo un canale con capacità C bit/s, per trasmettere un simbolo di una sorgente con lunghezza media l si impiegheranno l/c s/simbolo. La velocità di trasmissione è C/l simboli/s. Poichè l H (S) la velocità massima di trasmissione dei simboli della sorgente sul canale per un codice ottimale sarà: v simbmax = C H (S) simboli/ s 29

30 Modello del canale: CANALE CON RUMORE Nella realtà abbiamo sempre a che fare con canali rumorosi. Il rumore limita il numero di livelli che possiamo inserire in un canale perché i livelli devono essere opportunamente distanziati per evitare che il rumore li confonda. Il rumore limita quindi la capacità del canale. La capacità di un canale rumoroso si calcola come: C=B log 2 (1+ S N ) [bit / s] TEOREMA DI SHANNON - HARTLEY Dove S/N è il rapporto segnale-rumore del canale. 30

31 Codici a rilevamento d errore ed a correzione d errore Codice a rilevamento d errore: permettono di individuare gli errori di trasmissione Codici a correzione d errore: permettono una parziale correzione degli errori Sono codici (n,k): i k simboli della sorgente vengono tradotti in sequenze di n cifre binarie (con n>k) realizzando una codifica di canale. Es: Codice (k+1,k) con bit di parità. 31

32 Codici a rilevamento d errore ed a correzione d errore Nei codici (n,k): La velocità di trasmissione diminuisce, perché aumentano le cifre binarie da trasmettere. Le n-k cifre aggiuntive permettono di individuare e/o correggere gli 32 errori. Es: Codice (k+1,k) con bit di parità. Si può realizzare con parità pari (numero pari di 1) o parità dispari (numero dispari di 1). Permettere di individuare, ma non di correggere un numero dispari di errori e di invalidare il messaggio ricevuto richiedendo la trasmissione.

33 Riepilogo 33