10.. Codici correttori d errore. Modulo TLC:TRASMISSIONI Codici correttori d errore

Transcript

1 10.. Codici correttori d errore

2 Codici correttori d errore 2 Obiettivi: correggere o rivelare errori nella trasmissione di sequenze numeriche (sequenze di simboli, usualmente binari) Correzione di errore Eliminare l errore dalla sequenza ricevuta Rivelazione di errore Segnalare l errore nella sequenza ricevuta richiedere la ritrasmissione

3 Esempio di correzione di errore tratto da esperienza comune 3 Messaggio da trasmettere...arriverò il 26/4/ Errore di trasmissione; messaggio ricevuto:...arriverò il 28/4/ Errore non visibile, né recuperabile, in ricezione. Messaggio codificato :...arriverò il ventisei aprile prossimo venturo... Due errori di trasmissione; messaggio ricevuto :...arriverò il vantisei aprole prossimo venturo... Errori correggibili da parte del ricevente. Costo dell operazione di codifica: un messaggio con più caratteri alfanumerici, cioè con una maggiore ridondanza

4 Ridondanza- Definizione 4 La Ridondanza ρ di un messaggio discreto (sequenza di simboli): ΝΤ ΝI ΝR ρ = 1 Ν Ν dove si è indicato con N I il numero di simboli strettamente necessario per trasmettere l informazione contenuta nel messaggio, N T il numero totale dei simboli contenuti nel messaggio stesso (quindi N R = N T -N I numero di simboli ridondanti). Il valore della ridondanza è compreso nell intervallo messaggio costituito dal minimo numero di simboli possibile Τ 0 ρ 1 Τ messaggio con contenuto informativo nullo (solo ridondanza)

5 Canale Discreto 5 x n sequenza di simboli di ingresso canale discreto y n sequenza di simboli di uscita per ogni simbolo introdotto all ingresso viene prodotto un simbolo in uscita dal canale I simboli sono usualmente costituititi da bit, singoli o raggruppati in parole binarie.

6 Esempi di canali discreti (1/2) 6 Sistema di trasmissione per segnali di dati (segnali numerici): Sorgente di dati sequenza di simboli di ingresso sequenza di simboli di uscita Destinatario dei dati Modulatore numerico Mezzo trasmissivo canale discreto Demodulatore numerico

7 Esempi di canali discreti (2/2) 7 Sistema di trasmissione per segnali fonici: microfono codificatore PCM segnali analogici altoparlante decodificatore PCM sequenza di simboli di ingresso (bit) sequenza di simboli di uscita (bit) Modulatore numerico Mezzo trasmissivo demodulatore numerico canale discreto

8 Canali discreti binari, ideali o rumorosi canale binario ideale la sequenza di simboli di uscita è identica a quella di ingresso canale binario rumoroso la sequenza di simboli di uscita contiene errori casuali

9 Canale discreto binario (1/2) 9 CANALE BINARIO RUMOROSO 1-p X 0 0 p p p Y p = probabilità che uno 0 introdotto all ingresso dia luogo a un 1 in uscita = PY ( = 1 X= 0) p = probabilità che un 1 introdotto all ingresso dia luogo a uno 0 in uscita = PY ( = 0 X= 1)

10 Canale discreto binario (2/2) 10 CANALE BINARIO IDEALE X Y p = p = 0 ; 1 - p = 1 - p = 1

11 Canale Binario Simmetrico 11 Canale binario con p = p X 0 0 p p 1-p p Y il parametro p è la probabilità di errore del canale che è uguale a p=p(y=0 X=1)=P(Y=1 X=0)

12 Canale discreto generico 12 {a 0,..., a α -1} a 0 b 0 {b 0,..., b β-1 } alfabeto di ingresso α ordine dell alfabeto di ingresso X a 1 a i a α-2 a α-1.. P(b k a i ).. b 1 b k b β-3 b β-2 b β-1 alfabeto di uscita β ordine dell alfabeto di uscita Y P(Y=b k X=a i ) Probabilità di transizione del canale Probabilità di ricevere il simbolo b k, condizionata all aver trasmesso il simbolo a i,

13 Comportamento del canale discreto 13 In funzione del tempo Le probabilità di transizione possono variare in funzione del tempo In funzione della sequenza di simboli trasmessa Le probabilità di transizione possono dipendere dai simboli trasmessi prima del simbolo attuale (od anche dopo)

14 Canale binario simmetrico stazionario e senza memoria 14 E un canale binario simmetrico in cui le probabilità di transizione: sono costanti nel tempo ( stazionarietà ) non dipendono dai simboli trasmessi prima o dopo il simbolo in esame (il canale non ha memoria ) Per questo tipo di canale la probabilità di errore, p, è un parametro costante che caratterizza completamente il canale stesso. Il canale binario simmetrico, stazionario, senza memoria costituisce il caso di riferimento per lo studio dei codici correttori d errore binari.

15 Probabilità di errore p nel BSC 15 p intervallo di valori teoricamente possibili 1 La probabilità p è compresa per definizione nell intervallo 0 p 1 intervallo di valori presi in considerazione nella teoria dei codici intervallo di valori di interesse applicativo, con p sufficientemente piccolo Un BSC con probabilità di errore p > 0,5 è equivalente a un BSC con probabilità d errore q = 1-p < 0,5 seguito da un invertitore (0 1 ; 1 0) Esempio: Canale radio-mobile (GSM) p 10-1, p 10-2, Downlink satellitare (DVB-S) p 10-2, Cavo Coassiale (DVB-C) p 10-4,

16 Schema di trasmissione con impiego di codifica per correzione d errore 16 probabilità di errore di canale = p probabilità di errore dopo decodificazione = P e Sorgente binaria codificatore Canale binario simmetrico decodificatore destin. sequenza trasmessa sequenza codificata Sequenza decodificata eventualmente affetta da errore La codifica è utile se ha l effetto di ridurre la probabilità di errore, ossia se P e < p

17 Esempio di codice correttore d errore 17 Data una sequenza binaria di sorgente, codificare ogni simbolo con una parola di 3 simboli, secondo la corrispondenza biunivoca simbolo di sorgente parola di codice Esempio: sequenza di sorgente sequenza codificata In base a quale criterio di decodifica il codice corregge gli errori?

18 Criterio di decisione a Massima Verosimiglianza (ML) per 18 x Sequenza binaria trasmessa trasmissioni in canali binari discreti e rumorosi Canale binario r Sequenza binaria ricevuta Decisore MLD x^ Sequenza decisa Supponiamo che la sequenza x=[x 0 x n-1 ] possa assumere uno degli L possibili valori {c 0, c 1,, c L-1 } ciascuno dei quali è una stringa binaria lunga n bit Indichiamo con r=[r 0 r n-1 ] la stringa binaria ricevuta (ossia misurata ) all uscita del canale binario. Indichiamo con {P(r x=c i, i=0,,(l-1)} le risultanti L probabilità di transizione del canale binario. Criterio di decisione ML Ricevuto r, il decisore scegli come decisione quella tra gli L possibili valori {c 0, c 1,, c L-1 } alla quale corrisponde la probabilità di transizione più grande, ossia in formule 0 i L 1 ( ) { } ˆx = argmax P r x = c i

19 Esempio di decodifica a massima verosimiglianza 19 Canale Binario Simmetrico stazionario senza memoria, p<0.5 Errori sui bit indipendenti Messaggi trasmessi lunghi 3 bits Probabilità che sia commesso 1 errore P 1 =p (1-p) 2 2 errori P 2 =p 2 (1-p) 3 errori P 3 =p 3 P <P 3 2 <P 1 canale viene da 111 o da 000? 101 P( ) > P( ) (un solo errore è più probabile di due) 111! Cioè la sorgente ha emesso un 1

20 Codici a blocco (n,k) 20 I simboli binari emessi dalla sorgente sono codificati a gruppi di k ( parole ) Il codificatore, ad ogni parola di sorgente di k simboli in ingresso, associa biunivocamente una parola di codice formata da n simboli in uscita, con n > k In generale, un codice a blocco risulta definito da 2 k parole di codice di n simboli, scelte tra le 2 n sequenze possibili di n simboli. Ad esempio Codice a blocco (3,1): 2 parole di sorgente possibili (2 1 = 2) 0, 1 2 parole di codice (scelte tra 2 3 = 8 possibili) 000, 111 Codice a blocchi (5,2): 4 parole di sorgente possibili (2 2 = 4) 00, 01, 10, 11 4 parole di codice (scelte tra 2 5 = 32 possibili) 00000, 01111, 10110, 11001

21 Schema generale per la co-decodifica di un codice a blocco (n,k) 21 parola di sorgente emessa formata da k simboli (2 k parole possibili) sorgente a codificatore destinatario ^a decodificatore parola di sorgente decisa, formata da k simboli (2 k parole possibili), non necessariamente uguale ad a, a causa di errori di decodifica. canale parola di codice formata da n simboli (2 k parole scelte tra 2 n possibili) c BSC r sequenza ricevuta formata da n simboli (2 n sequenze possibili, a causa degli errori di canale)

22 Distanza di Hamming fra sequenze binarie 22 Date due sequenze binarie x ed y formate da m simboli, si definisce Distanza di Hamming d(x,y) il numero di simboli, in posizioni omologhe, in cui le due sequenze differiscono. Si osservi che risulta 0 d n. Esempio per n = 7: n sequenza x sequenza y distanza: d = 3

23 Distanza minima di Hamming di un codice a blocchi 23 Si definisce come distanza minima d min di Hamming di un codice a blocco (n,k) il minimo valore della distanza di Hamming tra due parole qualsiasi appartenenti al codice Il codice (3,1), ed il codice (5,2) prima definiti hanno ambedue distanza d min = d = 4 d = d = 3 d = 3 d = 3 d = d = 3

24 Relazione tra distanza di un codice e probabilità di errore dopo decodificazione (1/2) 24 dal codificatore c = [c 0, c 1,..., c n-1 ] canale 1-p 0 0 p 1 p 1 1-p al decodificatore r = [r 0, r 1,..., r n-1 ] Sia t (0 t n) la distanza di Hamming tra c e r, ossia: d(r,c) = t Quindi, su n simboli trasmessi abbiamo: t trasmissioni con errore n-t trasmissioni senza errore Supponiamo gli errori statisticamente indipendenti (canale senza memoria), allora la probabilità di transizione di canale è calcolabile come segue n 1 p P P ri ci p p p i= 0 1 p t n t ( r c) = ( ) = ( 1 ) = ( 1 ) t n

25 Relazione tra distanza di un codice e probabilità di errore dopo decodificazione (2/2) 25 Criterio di decisione a Massima Verosimiglianza: data la sequenza r ricevuta, decidere in favore della parola di codice c per la quale è massima la P(r c) data dalla P p 1 p ( r c) = ( 1 p) Per p 0.5 il massimo di P(r c) al variare di c si ha in corrispondenza del minimo di t. Criterio della Minima Distanza di Hamming: data la sequenza ricevuta r, decidere in favore di quella del codice c* che ha la minima distanza di Hamming da r. t n

26 Esempio di decodifica a minima distanza di Hamming 26 Codice (5,2) con d min = 3 : Parole del codice: Parola trasmessa: Errori nel canale Sequenza ricevuta Parola decisa min d(r,c) = 0 min d(r,c) = 1 min d(r,c) = 1

27 Capacitò di correzione di errori del codice 27 Sia c (T) la parola di codice trasmessa e sia r la sequenza ricevuta, con d(r, c (T) ) = t Dato che r è stata ottenuta da c (T) modificandola in t posizioni, occorre modificare r in almeno altre d min - t posizioni per ottenere un altra parola di codice, distante almeno d min da c (T). Per t < d min /2 valgono le relazioni d(r, c ) d min - t > t per ogni c c (T) Nelle condizioni dette la decodifica a minima distanza è sempre corretta. Quindi deduciamo che un codice a blocco (n,k) con distanza di Hamming d min garantisce la correzione di tutte le configurazioni di errore contenenti un numero di errori t (d min 1)/2

28 Capacità di rivelazione d errore di un codice a blocco 28 Un codice a blocco (n,k) può essere anche usato per rivelare errori di canale nella sequenza ricevuta r. La presenza di errori viene rivelata tutte le volte che la sequenza ricevuta r non coincide con alcuna delle parole di codice {c 0,c 1,,c L-1 }. Errori di canale che trasformino una parola di codice in un altra non possono essere rivelati. Quest ultima evenienza può evidentemente verificarsi soltanto se t d min. Quindi un codice a blocco (n,k) con distanza d min garantisce la rivelazione di tutte le configurazioni di errore contenenti un numero di errori t d min -1 Correzione d errore Rivelazione d errore t (d min 1)/2 t d min -1

29 Codici a controllo di parità 29 Sono codici a blocco (k + 1, k) La parola di codice c è ottenuta dalla parola di sorgente a aggiungendo un bit di parità, 0 oppure 1, tale che il numero di 1 contenuti in c sia pari. Sono caratterizzati da d min = 2 Capacità di rivelazione di un singolo errore di canale Capacità di correzione d errore nulla Esempio (n = 8 ; k = 7): Parola di sorgente a: Parola di codice c: bit di parità Sequenza ricevuta r: con un errore: Numero dispari di 1, errore rivelato con due errori: Numero pari di 1, errore non rivelato

30 Probabilità d errore residua dopo decodificazione (1/2) 30 Trasmissione senza codifica: sorgente a canale BSC prob.err. = p â P e =P(a a)= ^ p destinazione La probabilità di simbolo errato P e al destinatario è uguale alla probabilità d errore del canale, p. Trasmissione con codifica a correzione d errore: a c canale BSC sorgente codificatore decodificatore prob.err. p la probabilità P e di errore residuo dopo decodificazione (dovuta agli errori che non vengono corretti dal decodificatore) è minore della probabilità d errore del canale, p. ĉ destinazione P e = P(c c)= ^ < p

31 Probabilità d errore residua (2/2) 31 Codice (n,k) a distanza d min Ha la capacità di correggere tutte le configurazioni d errore con un numero massimo di errori t = (d min -1)/2 Relazione di calcolo per la P e =P(c c) probabilità di errore sulla parola di codice: n n i n i n t+ 1 Pe = p ( 1-p ) p, p<< 1/ 2 i=+ t 1 i t+ 1 ^

32 Complessità della co-decodifica 32 Codificatore: Accesso a tabella che definisce la corrispondenza biunivoca tra parole di sorgente e parole di codice. Tale tabella contiene 2 k coppie di elementi. complessità esponenziale con k Decodificatore: Confronto della sequenza ricevuta con le 2 k possibili parole di codice trasmesse. complessità esponenziale con k Esistono codici a contenuto algebrico, nei quali le operazioni di co-decodifica sono realizzate mediante operazioni algebriche e non mediante accesso a tabella (teoria elgebrica dei codici) riduzione della complessità (lineare in k)

33 Ridondanza e transmission rate 33 Si definisce transmission rate (tasso di trasmissione) R di un codice il rapporto tra numero di simboli entranti ed uscenti dal codificatore dove ρ k R = = 1 ρ n ρ = n k n rappresenta la ridondanza del codice. Poiché n>k, avremo che R<1.

34 Scelta dei valori di k e di n 34 Si consideri costante il transmission rate k/n. All aumentare di k e di n: È possibile trovare codici aventi d min (e quindi capacità di rivelazione e di correzione d errore) più elevata Aumenta la complessità di co-decodifica All aumentare solo di n, diminuisce il transmission rate R.