Esercizi di Teoria dell informazione e codici

Транскрипт

1 Esercizi di Teoria dell informazione e codici In ogni sezione sono proposti dapprima esercizi semplici, e successivamente altri più complessi che richiedono più fantasia, conoscenze, tempo o determinazione Entropia, codifica di sorgente, capacità 1. Una sorgente binaria senza memoria emette zeri e uni con probabilità 0.8 e 0.2. Codificando rispettivamente messaggi singoli, coppie oppure terne quali codici si possono usare e quali sono le lunghezze medie? Si confronti con l entropia della sorgente. 2. Una sorgente senza memoria ha un alfabeto di cinque messaggi equiprobabili. Codificando rispettivamente messaggi singoli, coppie, terne o quaterne quali codici si potrebbero usare? Si confrontino le lunghezze medie con l entropia della sorgente. 3. Una sorgente binaria senza memoria emette zeri e uni con probabilità 0.9 e 0.1. Si codificano blocchi di sei messaggi con il seguente semplice codice: è codificato con 0, qualunque altro blocco xy... con 1xy... Si calcoli la lunghezza media del codice e si confronti con l entropia della sorgente. 4. Una sorgente senza memoria ha un alfabeto di tre messaggi equiprobabili. Si codificano blocchi di 3 messaggi. Quale codice si potrebbe usare e quale è la lunghezza media? 5. Una sorgente binaria senza memoria emette zeri e uni con probabilità 1/3 e 2/3. Si individui un buon codice per blocchi di cinque messaggi. Si calcoli la lunghezza media del codice e si confronti con l entropia della sorgente. 6. Una sorgente binaria senza memoria emette zeri e uni con probabilità 0.8 e 0.2. Si codificano blocchi di tre messaggi: 000 è codificato con 0; qualunque altro blocco xyz con 1xyz. Si calcoli la lunghezza media del codice e si confronti con l entropia della sorgente. 7. Una sorgente ha un alfabeto di quattro messaggi, equiprobabili. Dato il messaggio x k, il messaggio successivo x k+1 è uguale a x k con probabilità 1/2 o a uno degli altri, con probabilità 1/6 ciascuno. La memoria non si estende oltre il simbolo precedente. Si calcoli l entropia della sorgente. 8. Se x è una variabile casuale discreta con entropia H e y = exp(x) si può determinare l entropia di y? 9. Se x è una variabile casuale discreta con entropia H e y = x 2 si può determinare l entropia di y? Si può dire se è maggiore, minore o uguale? 10. Si mostri che l entropia di y = g(x) non può essere maggiore dell entropia di x. Suggerimento: si esprima H(X, Y ) in due modi diversi, condizionando rispettivamente a X e a Y. 11. Un canale ha ingresso e uscita quaternari. L uscita è diversa dall ingresso con probabilità ε; in tal caso le tre possibili uscite sono equiprobabili. Si calcoli la capacità del canale. Suggerimento: per simmetria si possono assumere equiprobabili i quattro possibili ingressi.

2 12. Due canali binari simmetrici con probabilità di errore ε sono posti direttamente in cascata. Si calcoli la capacità del canale risultante. Si mostri che la capacità si riduce rispetto al caso in cui si possono separare i canali con apparecchiature intermedie (di che tipo?). 13. Si calcoli la capacità di un canale simmetrico con ingresso binario (0,1) e uscita ternaria (0,1,C) che non commette mai errori ma in cui i bit possono essere cancellati (uscita C) con probabilità ρ. 14. Un canale con ingresso discreto x = ±1 ha uscita y = x + n dove n è una variabile casuale con densità di probabilità uniforme tra 2 e +2. Si calcoli la capacità del canale. Si dia una spiegazione elementare del risultato. Suggerimento: se 1 < y < 1, cosa che avviene con probabilità 1/2,...; altrimenti Un canale ha ingresso x = ±1 e uscita y = x + n dove n, indipendente da x, vale ±1 con pari probabilità. Si calcoli la capacità del canale, e si dia una spiegazione intuitiva del risultato. Esercizi di maggior complessità 16. Si lancia una moneta (non truccata) finché si ottiene la prima testa. Si calcoli l entropia del numero di lanci x. Si individui il numero n i dei bit necessari per codificare il risultato x = i. Si trovi un codice per la sorgente e si confronti tale codice con la banale trasmissione della sequenza di tutti i risultati dei lanci. 17. Si mostri che se z = x (oppure z = y) si ha I(X,Y/Z) I(X,Y ). Si mostri che se x e y sono indipendenti e z = x y si ha I(X,Y/Z) I(X,Y ). Quindi in generale il condizionamento può sia diminuire sia aumentare l informazione mutua. 18. Si consideri un canale simmetrico con ingresso binario e uscita ternaria (0, 1, C). Siano ε e ρ le probabilità di errore e di cancellazione. Si calcoli la capacità del canale. Si confronti il risultato con quelli con soli errori o sole cancellazioni. 19. Si calcoli la capacità di un canale BSC utilizzato due volte indipendentemente oppure trasmettendo due volte lo stesso bit. Si mostri che i risultati sono quasi uguali solo per probabilità d errore ε vicine a 1/ Si calcoli il rapporto tra la capacità di un canale gaussiano con ingresso binario x = ±1 e uscita y = x + n, con varianza del rumore σ 2 1, e quella dello stesso canale reso BSC aggiungendo un decisore. Suggerimento: la probabilità d errore del BSC è ε = Q(1/σ) 1/2 1/ 2πσ; si sviluppi in serie ciascuna delle due capacità fermandosi al primo termine non nullo. Codici a blocco e convoluzionali 1. Il codice con quattro parole è lineare? 2. Il codice con quattro parole è lineare? Quale è la distanza minima? 3. Quale è la distanza minima del codice (6,3) ottenuto accorciando il codice di Hamming (7,4)? 2

3 4. E possibile ottenere un codice (30,15) da un BCH? In caso affermativo, quale è il potere correttore? 5. Il codice di Hamming (7,4) ha sette parole con tre uni, sette con quattro uni e una con sette uni. Se il codice è usato solo come rivelatore quale è la probabilità di mancata rivelazione di errori? 6. In un generico codice ciclico xg(x) è sempre parola di codice? 7. Esistono codici con distanza minima d > N K + 1? Suggerimento: si supponga che una sola cifra d informazione sia non nulla. 8. Una delle parole di un codice a blocco con N = 7, K = 4 e polinomio generatore g(x) è Si determini il polinomio generatore. Il codice è ciclico? 9. Un codice a blocco ha matrice generatrice [ ] G = Quante e quali sono le parole del codice? Il codice è ciclico? Quale è il polinomio generatore? Quale è la distanza minima? 10. Un codice a blocco con N = 7 e K = 3 ha polinomio generatore g(x) = x 4 +x 2 +x+1. Quante e quali sono le parole del codice? Il codice è ciclico? Quale è la distanza minima? 11. Il codice di Hamming (7,4) del testo è rappresentabile con un polinomio generatore? 12. Una delle parole di un codice a blocco con N = 7, K = 4 e polinomio generatore g(x) è Si determini il polinomio generatore. Suggerimento: quale è il grado del polinomio generatore? Il codice è ciclico? Potrebbe essere un codice di Hamming? Suggerimento: con g(x) = x 3 + x + 1 si ha un codice di Hamming. 13. Una delle parole di un codice ciclico con N = 7 e K = 4 è Si può determinare il polinomio generatore? E un codice di Hamming? Suggerimento: la fattorizzazione di x 6 + x 5 + x 4 + x 3 + x 2 + x + 1 è Un codice di Hamming ciclico con N = 127 e K = 120 ha polinomio generatore g(x) = x 7 + x Si calcolino le cifre di parità corrispondenti al primo bit d informazione uguale a uno e tutti gli altri uguali a zero. Si evitino calcoli inutili! 15. Si consideri il codice di Hamming con polinomio generatore g(x) = x 10 + x Il polinomio x x 117 è parola di codice? 16. Si consideri il codice di Hamming con polinomio generatore g(x) = x 10 + x Il polinomio x x x 527 è parola di codice? 17. Il codice di Hamming con polinomio generatore g(x) = x 4 + x + 1 contiene la parola di tutti uni? 18. Si consideri il codice di Hamming con polinomio generatore g(x) = x 6 + x + 1. I polinomi x 49 + x 23 e x 62 + x sono parole di codice? 19. Può esistere un codice convoluzionale con rate 1/4? 3

4 20. Il codice convoluzionale con rate R = 1/2 a quattro stati del testo viene perforato cancellando i bit codificati in quarta, ottava, dodicesima,... posizione. Quale è la distanza minima del codice? Suggerimento: si faccia attenzione al fatto che un evento errore può avere inizio con transizioni di stato in posizione qualunque. Esercizi di maggior complessità 21. Si mostri che un codice binario ciclico con distanza d 3 non può avere parole che contengano n uni consecutivi (con n > 0) e N n zeri. Suggerimento: basta mostrare che esisterebbero parole con due soli uni. 22. Un codice a blocco con N = 15 usato come rivelatore di errori ha polinomio generatore g(x) = (x 4 + x 3 + 1)(x + 1) = x 5 + x 3 + x + 1. Il polinomio ricevuto y(x) = x 12 + x 9 + x 5 + x è una parola di codice? 23. Si consideri il codice di Hamming con polinomio generatore g(x) = x 10 + x Si mostri che se si moltiplica il polinomio generatore per (x+1) ogni parola di peso pari del codice di Hamming è parola del codice modificato, e ogni parola di peso dispari non lo è. 24. Si trovino gli eventi errore a distanza minima del codice convoluzionale con generatori (ottali) 17,15. Suggerimento: si tracci solo la parte strettamente necessaria del traliccio. 25. Si mostri che 1/(1 + D) = 1 + D + D 2 + D Si mostri che 1/(1 + D + D 2 ) = 1 + D + D 3 + D 4 + D 6 + D Algebra dei campi finiti 1. In GF(7) quali sono l opposto e l inverso di 3? 2. In GF(7) quanto vale 3 49? 3. Calcolare modulo In GF(8) α 3 è primitivo? 5. In GF(2 m ) (a + b) 3 = a 3 + b 3? 6. In GF(8) quale è il grado (minimo) di un polinomio con coefficienti binari e con radici α e α 3? 7. Quali sono gli elementi primitivi di GF(7)? 8. Quanti sono gli elementi primitivi di GF(16)? 9. Si verifichi che il polinomio x 5 + x 3 + x 2 + x + 1 è irriducibile in GF(2). 10. Si mostri che in nessuna estensione di GF(2) esistono elementi di ordine pari. 11. In GF(11) quante radici ha l equazione β 15 = 0? 12. Quanti sono gli elementi primitivi di GF(27)? 13. Il polinomio x 5 + x è irriducibile in GF(2)? 4

5 14. Il polinomio x 4 + x 3 + x 2 + x + 1 è irriducibile in GF(2)? 15. In GF(101) quali sono le soluzioni dell equazione β 23 = 0? 16. Quale è la fattorizzazione binaria di x 5 + x 4 + x 2 + 1? Suggerimento: si trova subito un fattore; il polinomio restante non è riducibile perché Si costruisca l elenco degli elementi di GF(3 2 ) utilizzando il polinomio primitivo p(α) = α 2 + 2α + 2. Attenzione: Quanti elementi primitivi ha GF(9)? 19. Sia β un elemento qualsiasi del campo GF(128), e si consideri la funzione f(β) = β +β 2 +β 4 +β 8 +β 16 +β 32 +β 64. Si mostri che f(β) vale 0 oppure 1. Suggerimento: si consideri f 2 (β). Una regola analoga vale per qualsiasi campo GF(2 m )? 20. Si mostri che per la funzione f(β) definita nell esercizio precedente si ha f(β + 1) = f(β)+1 per ogni β di GF(128). Una regola analoga vale per qualsiasi campo GF(2 m )? 21. Il campo GF(9) definito dal polinomio primitivo p(α) = α 2 +2α+2 ha come elementi non nulli α, α 2 = α + 1, α 3 = 2α + 1, α 4 = 2, α 5 = 2α, α 6 = 2α + 2, α 7 = α + 2 e α 8 = 1. Che grado hanno i polinomi minimi di tutti gli elementi non nulli? Quali sono i polinomi minimi? 22. Sia α un elemento primitivo di GF(256). Quale è il (minimo) grado di un polinomio con coefficienti binari che abbia come radici α, α 2, α 3, α 4, α 5 e α 6? 23. Sia α un elemento primitivo di GF(64). Quale è il (minimo) grado di un polinomio con coefficienti binari che abbia come radici 1, α, α 2 e α 3? 24. Sia α un elemento primitivo di GF(31). Quale è il (minimo) grado di un polinomio con coefficienti interi che abbia come radici α, α 2 e α 3? Suggerimento: non ci si lasci prendere dall imitazione degli esercizi precedenti! 25. Sia α un elemento primitivo di GF(64). Esiste un polinomio con coefficienti binari che abbia come radici α 6 e α 7, ma non α 33? 26. In GF(16) definito da α 4 + α + 1 = 0 si calcoli il valore di α 8 + α Si fattorizzi x Attenzione: in nessun campo GF(2 m ) possono esistere elementi di ordine In GF(8) si determinino, se esistono, le radici cubiche dell elemento primitivo α. 29. Si trovino i gradi dei fattori in GF(2) di x Dopo aver trovato i gradi si trovino i fattori. 30. Si fattorizzi, in GF(2), x In GF(25) generato dal polinomio p(x) = x 2 + x + 2 quali sono le prime tre potenze di α? Esercizi di maggior complessità 32. In GF(16) si calcolino, se esistono, le radici cubiche di α. 33. In GF(8) definito da α 3 + α + 1 = 0 si calcolino le radici quadrate di α 6 + α

6 34. In GF(11) quante soluzioni ha l equazione β 2 = 1? Suggerimento: si ponga β = α k e si determini k. Quali sono le soluzioni? 35. In GF(11) quante soluzioni ha l equazione β 10 = 1? Quali sono le soluzioni? 36. In GF(11) quante soluzioni ha l equazione β 5 = 1? Quali sono le soluzioni? 37. In GF(13) quante soluzioni ha l equazione β 80 = 1? Quali sono le soluzioni? 38. In GF(13) quante soluzioni ha l equazione β 50 = 3? Quali sono le soluzioni? Suggerimento: 3 = Nel campo GF(16) generato da α 4 +α+1 = 0 quali sono le soluzioni di β 17 = α+1? 40. In GF(64) esistono elementi β il cui polinomio minimo abbia grado 2? In caso affermativo quanti ne esistono e quali sono i corrispondenti polinomi minimi? 41. In GF(2 m ) esiste la radice quadrata di tutti gli elementi? Ci sono elementi con più di una radice quadrata? La definizione di radice quadrata è quella usuale: γ = β se e solo se γ 2 = β. Suggerimento: in caso di dubbio si provi a verificare, in un campo di piccola dimensione, considerando i quadrati di tutti gli elementi. 42. In un campo con un numero dispari di elementi, come GF(p) o GF(p m ) con p > 2, esiste la radice quadrata di tutti gli elementi? Ci sono elementi con più di una radice quadrata? Suggerimento: come nell esercizio precedente, in caso di dubbio si scelga un campo di piccola dimensione e si valutino i quadrati di tutti gli elementi. 43. Si mostri che se in GF(2 m ) l equazione x 2 + x + β = 0 ha radice γ anche γ + 1 è radice. Possono esistere altre soluzioni? Si mostri quindi che l equazione ha radici solo per metà degli elementi β del campo. 44. In un campo finito con q elementi, per quanti di questi il reciproco è l elemento stesso? Suggerimento: β è reciproco di β se Sia β un elemento di ordine 21 in GF(2 m ). Quale è il grado minimo di un polinomio con coefficienti binari che abbia β e β 3 come radici? Quale può essere la dimensione 2 m del campo? 46. Sia β un elemento di ordine 11 in GF(2 m ). Si mostri che x ha in GF(2) un fattore di grado 1 e uno irriducibile di grado 10. Quale potrebbe essere la dimensione 2 m del campo? 47. Si mostri che il polinomio f(x) = x 12 + x 11 + x x 2 + x + 1 è irriducidile in GF(2). Suggerimento: f(x) è un divisore di x ; quindi le radici di f(x) Si mostri che in GF(2 18 ) esiste certamente un elemento β di ordine 19. Suggerimento: basta mostrare che è divisibile per 19, cioè che 2 18 = 1 modulo 19. Commento: effettivamente il primo β di ordine 19 disponibile in un campo GF(2 m ), con il minimo valore di m, è α in GF(2 18 ). 49. Analogamente all esercizio precedente si mostri che se p è un numero primo esiste certamente un elemento di ordine p in GF(2 p 1 ). Nota: ciò non esclude che possa esistere un elemento di ordine p in un campo più piccolo: ad esempio, per p = 7, in GF(64) α 9 ha ordine 7, ma anche α in GF(8) ha ordine 7; analogamente esiste un elemento di ordine p = 17 non solo in GF(2 16 ) ma anche in GF(2 8 ). Si trovi una spiegazione di questi fatti. Suggerimento: l elemento 2 potrebbe non essere primitivo in GF(p). 6

7 50. E noto che somma e moltiplicazione modulo 15 non danno un campo di 15 elementi (che peraltro non esiste). Si mostri, provando tutti i numeri da 0 a 14, che in questa algebra (si tratta di un anello) l equazione di secondo grado x 2 1 = 0 ha radici 1, 4, 11 e 14, cioé quattro radici! Si verifichi poi che la fattorizzazione non è unica: x 2 1 = (x 1)(x 14) e x 2 1 = (x 4)(x 11)! Come può essere (x 1)(x 14) = 0 per x = 4 e x = 11 e (x 4)(x 11) = 0 per x = 1 e x = 14? 51. Supponendo di non aver ancora dimostrato che gli elementi non nulli di un campo sono esprimibili come potenze di un elemento primitivo, si dimostri che per qualunque elemento a non nullo del campo GF(q) si ha a q 1 = 1. Suggerimento: se b 1...,b q 1 sono gli elementi non nulli del campo, gli elementi (ab 1 ),...,(ab q 1 ) sono non nulli e distinti; quindi (ab 1 )(ab 2 )...(ab q 1 ) = b 1 b 2...b q 1 (perché?)...nota: quanto dimostrato non significa affatto che a abbia ordine q Si dimostri la seguente formula (di Eulero) per il numero di elementi primitivi di GF(q) tra gli n = q 1 elementi non nulli: se n è divisibile per i numeri primi p 1,p 2...,p r il numero di elementi primitivi è n(1 1 p 1 )(1 1 p 2 )...(1 1 p r ) Suggerimento: non sono primitivi gli elementi α k con k divisibile per uno o più p i. Si devono contare e sottrarre questi elementi, ciascuno però una sola volta. Codici BCH e Reed-Solomon - Decodifica algebrica 1. Quanti diversi codici ciclici di Hamming di lunghezza 15 si possono costruire? Suggerimento: quanti elementi primitivi ha GF(16)? quante radici ha il polinomio generatore? 2. Quanti diversi codici ciclici di Hamming di lunghezza 31 e di lunghezza 63 si possono costruire? 3. Quante cifre d informazione ha un codice BCH di lunghezza 15 e con radici α 0, α 1 e α 2 e quale è la distanza minima? 4. Quante cancellazioni può correggere un codice di Hamming? 5. Quante cancellazioni può correggere un codice Reed-Solomon(31,27)? 6. In GF(64) si consideri l elemento β = α 7, di ordine 9. Si costruisca un codice di lunghezza N = 9 con radici β 2,β 1, 1,β,β 2. Si determinino K e la distanza minima. Commento: è un codice già incontrato nella sezione sui codici a blocco; si riveda anche l esercizio sulla fattorizzazione di x nella sezione sull algebra dei campi. 7. Sia β un elemento di ordine 19 in un un campo GF(2 m ). Si mostri, provando a costruire un codice binario di lunghezza 19 che ha β come radice, che si ottiene un codice del tutto banale con K = 1. Senza eseguire il calcolo, si dica quale è il polinomio generatore g(x). Commento: lo stesso risultato si ottiene evidentemente partendo da un altra potenza β k ; quindi non esistono codici ciclici binari di lunghezza 19 di un qualche interesse. 7

8 8. Esistono codici binari non banali di lunghezza N = 21? In caso affermativo si trovino le radici e il valore di K del codice con distanza d = Un professore vuole assegnare a ciascun allievo 10 esercizi, su argomenti diversi del corso. Per ogni argomento ha preparato 11 esercizi diversi. Come può assegnare gli esercizi in modo che due qualsiasi allievi non abbiano più di due esercizi uguali? Quanti possono essere al massimo gli allievi? Si mostri che si tratta di costruire un codice RS in GF(11), con lunghezza N = 10. Quale è il valore di d, e quindi di K? Come si può costruire il codice? 10. Si mostri che il polinomio generatore di un codice RS non può avere coefficienti nulli. Suggerimento: la distanza minima del codice è d = N K Si costruisca un codice BCH di lunghezza N = 31 il cui polinomio generatore ha come radici α 0, α 7 e α 15 (e le relative coniugate). Quale è il valore di K? Quale è la distanza minima? 12. Si consideri il codice BCH (127,113) che ha come radici α, α 2, α 3 e α 4. Se le sindromi valgono E 1 = α 2, E 2 = α 4, E 3 = α 6 e E 4 = α 8 si determinino il polinomio locatore degli errori e le posizioni degli errori. 13. Un codice RS (15,13) ha come radici α e α 2. Nel vettore ricevuto sono cancellati gli ultimi due simboli. Le sindromi risultano E 1 = 0 e E 2 = α 10. Si calcolino i valori dei due simboli cancellati. Suggerimento: e(x) = e 1 x + e Una parola del codice di Hamming (127,120) con g(x) = x 7 + x è ricevuta con il settimo bit errato. Si calcolino le sindromi. Si scriva e risolva la key equation e si verifichi che la posizione dell errore sia corretta. 15. Trasmessa una parola del codice di Hamming (63,57) con polinomio generatore g(x) = x 6 + x + 1 e calcolate le sindromi si ha S 0 = E 1 = α 15. Si determini la posizione dell errore. 16. Trasmessa una parola del codice BCH (15,7) il cui polinomio generatore ha radici α,α 2,α 3,α 4 e calcolate le sindromi si ha E 1 = E 3 = 1. Quanti errori contiene la parola? in che posizioni? 17. Trasmessa una parola del codice Reed-Solomon (15,12) e calcolate le sindromi si ha E 1 = α, E 2 = α 2 e E 3 = α 4. La parola ricevuta contiene un solo errore? 18. Una parola del codice BCH (15,7) viene ricevuta con errori in prima e seconda posizione. Quali sono i coefficienti del polinomio locatore Λ(x)? Si calcolino le sindromi e si verifichi che i coefficienti di Λ(x) sono soluzioni della key equation. 19. Si consideri il codice BCH di lunghezza N = 15 che ha come radici α, α 2, α 3 e α 4. Quanti bit d informazione trasmette e quale è la capacità di correzione? Se le sindromi valgono E 1 = 1, E 2 = 1, E 3 = 0 e E 4 = 1 si determinino il polinomio locatore degli errori e le posizioni degli errori. 20. Si consideri il codice BCH di lunghezza N = 255 correttore di tre errori che ha come radici α, α 2,..., α 6. Le sindromi valgono E 1 = 0, E 3 = 0 e E 5 = α 12. Si effettui la decodifica algebrica per determinare la posizione degli errori. 21. Si mostri che ogni codice BCH con distanza minima dispari ha la parola di tutti uni. Suggerimento: g(x) non contiene il fattore (x 1). 8

9 22. Si consideri il codice BCH di lunghezza N = 63 correttore di tre errori che ha come radici α, α 2,..., α 6. Le sindromi valgono E 1 = α 5, E 3 = α 15 e E 5 = 0. Si effettui la decodifica algebrica per determinare la posizione degli errori. Esercizi di maggior complessità 23. In GF(2 8 ) si è trovato il polinomio locatore Λ(x) = 1 + x 2. E accettabile? 24. Si mostri che un codice binario contiene la parola di tutti uni se e solo se g(1) 0. Suggerimento: x N 1 + x N = i 0 (x αi ) è divisibile per g(x) se e solo se g(x) non contiene il fattore (x 1). 25. Si spieghi perché il codice con lunghezza N = 31 e polinomio generatore g(x) = (x+α 3 )(x+α 6 )(x+α 12 )(x+α 17 )(x+α 24 ) = x 5 +x 4 +x 3 +x 2 +1 ha distanza minima 3 pur non avendo come radici due potenze consecutive di α. Commento: è un codice di Hamming. 26. In GF(27) si consideri un elemento β di ordine 13 e si costruisca il codice ternario che ha come radici β,β 3,β 9. Si mostri che la distanza minima è 3. Commento: è un codice di Hamming con alfabeto ternario, N = 13, K = In GF(27) si mostri che un elemento β che soddisfa la relazione β 3 + β = 0 ha ordine 13. Suggerimento: si costruisca la tabella delle potenze di β utilizzando la relazione β 3 =... Si calcoli poi il polinomio generatore g(x) = (x β)(x β 3 )(x β 9 ) del codice dell esercizio precedente. Attenzione: 1 1. Il risultato ottenuto era prevedibile? 28. Si progetti un codice BCH per alfabeto quaternario di lunghezza N = 15 correttore di tre errori. Nota: la costruzione usuale con j 0 = 1 (radici α, α 2,..., α 6 ) fornisce un codice con K = 6; se invece si sceglie j 0 = 0 oppure j 0 = 5 si ottiene K = 7; questo fenomeno non è raro nei BCH non binari. 29. Si individui il più piccolo campo GF(2 m ) che consente di costruire un codice binario con N = 21. Sia g(x) = x 10 +x 7 +x 6 +x 4 +x 2 +1 il polinomio generatore. Si trovino per tentativi in GF(2 m ) le radici di g(x) (occorre un programma per l algebra dei campi). Si trovi il valore di K e la distanza minima del codice. 30. Si consideri il codice Reed-Solomon (15,9) che ha come radici α, α 2,..., α 6. Il vettore ricevuto è r(x) = α 10 x 7 + α 6 x Si determini l uscita del decodificatore. 31. Il polinomio generatore di un Reed-Solomon (15,11) è x 4 +α 13 x 3 +α 6 x 2 +α 3 x+α 10. Il vettore ricevuto è x 5 + α 13 x 4 + α 6 x 3 + α 9 x 2 + α 10 x + 1. Quale è l uscita del decodificatore? 32. Si svolga nei dettagli la seguente dimostrazione alternativa del BCH bound: se il polinomio generatore del codice ha r radici consecutive, per una qualunque parola di codice non nulla si ha C 1 = c(α) = 0,..., C r = c(α r ) = 0 (per semplicità si è posto j 0 = 1); espandendo e considerando solo i termini c in 0 si vede un sistema lineare in cui la matrice dei coefficienti è di Vandermonde, e quindi con rango pieno; non possono esserci meno di r + 1 simboli c in non nulli, perché altrimenti sarebbero tutti nulli;... 9

10 Complementi In questa sezione sono proposti anche esercizi su argomenti che possono non far parte del programma del corso 1. Una versione non ciclica del codice di Hamming ternario (13,10) si può ottenere dalla matrice di parità H = dove l elemento 2 è stato indicato con 1. Si spieghi come è stata costruita questa matrice di parità, mostrando che si sono usate tutte le colonne possibili. Suggerimento: perché non si può usare ad esempio la colonna con elementi 0 0 1? 2. Se si cambia segno alla seconda, quarta, quinta e sesta colonna si ottiene un codice equivalente. Se poi si accorcia il codice eliminando la prima colonna, si ottiene la matrice di parità H = Si mostri che questo codice può essere usato per risolvere il seguente problema: sono date 12 palline indistinguibili dall aspetto, ma una di queste differisce per il peso, maggiore o minore delle altre; con tre pesate di una bilancia a piatti si deve individuare la pallina diversa e dire se il peso è maggiore o minore. 3. La matrice H = è una matrice di Hadamard? 4. Trasmessa una parola del codice a parità singola di lunghezza N = 4 (con ampiezze ±1 su un canale con rumore gaussiano di varianza σ 2 n = 1) si ricevono i campioni 2, 1, 0, 1. Si calcolino le componenti estrinseche e i valori algebrici a posteriori dei bit d informazione. 5. Quale rate ha il turbo codice ottenuto concatenando in modo parallelo due codici recursivi sistematici tail-biting a 8 stati con rate 3/4 (senza perforazione)? Cosa cambierebbe se i codici non fossero tail-biting, ma terminati? 6. Quale rate ha il turbo codice ottenuto concatenando in modo parallelo due codici recursivi sistematici tail-biting con rate R 1 e R 2 (senza perforazione)? 7. Si possono utilizzare le caratteristiche EXIT per la concatenazione parallela di due codici diversi? 8. Se nella decodifica SISO la componente estrinseca e ha sempre lo stesso segno del bit d informazione x si può dire quanto vale I(X,E)? 10

11 9. A quale probabilità d errore (circa!) può essere posto il floor di un codice ottenuto dalla concatenazione parallela di due convoluzionali con rate 2/3, con blocco di 5000 bit d informazione e distanza minima 30? 10. Quanto vale la somma di tutti gli elementi di una matrice di Hadamard di dimensione 16 16? 11. Quale rate ha il turbo codice ottenuto concatenando in modo parallelo due codici recursivi sistematici tail-biting a 8 stati con rate 2/3 e perforando metà dei bit di parità di ciascuno dei codici componenti? 12. Si usa una costellazione 4PAM con mapping di Gray 00,01,11,10 e decodifica parallela, in presenza di rumore gaussiano con varianza σ 2 n = 1. Si supponga di ricevere il campione y = 0. Si valutino i valori algebrici dei due bit. 13. Si trasmettono 1000 bit d informazione con un turbo codice ottenuto dalla concatenazione serie di di due codici recursivi sistematici tail-biting a 8 stati con rate rispettivamente 2/3 e 5/6. Quale è il rate del turbo codice? Quale sarebbe il rate se i codici fossero terminati? Esercizi di maggior complessità 14. Si determinino i pesi delle parole del codice con N = 9 e polinomio generatore g(x) = x 2 + x + 1. Suggerimento: si calcolino i pesi delle parole del codice duale. 15. Il codice di Hamming di lunghezza 1023 è usato come rivelatore di errori su un canale BSC con probabilità d errore ε = Si calcoli la probabilità di errori non rivelati, in modo esatto e considerando solo le parole di peso 3 del codice. Suggerimento: si ricordi che un codice di Hamming ha N(N 1)/6 parole di peso Un codice a blocco con N = 7 e K = 3 ha polinomio generatore g(x) = x 4 +x 2 +x+1. Se il codice è usato come rivelatore di errori in un canale binario simmetrico con probabilità d errore p quale è la probabilità di errori non rivelati? 17. Trasmessa una parola di un codice di Hamming (sistematico) di lunghezza N = 15 (con ampiezze ±1 su un canale con rumore gaussiano di varianza σ 2 n) si ricevono i campioni r 14,r 13,...,r 0. Sapendo che una delle parole del codice duale è come si determina la componente estrinseca di c 14? 18. Si consideri la concatenazione parallela di due Hamming (1023,1013). Quali sono i valori di K, N e R? Come può essere realizzato il decodificatore SISO? E un codice interessante? perché? 19. Quali sono le espressioni per il calcolo delle capacità C 1 e C 2 con costellazione 4PAM e mapping binario naturale (con decodifica multistadio)? 20. Quali sono le espressioni per il calcolo delle capacità C 1 e C 2 con costellazione 4PAM e mapping di Gray (con decodifica multistadio)? 21. Quali sono le espressioni per il calcolo delle capacità C 1 e C 2 con costellazione 4PAM e mapping di Gray (con decodifica parallela)? 22. Con una costellazione 8PAM si vogliono trasmettere 2.5 bit per simbolo. Non vi sono problemi di ritardo. Quale mapping e quali codici scegliereste? 11

12 23. Quali sono le espressioni per il calcolo dei valori algebrici di canale con costellazione 4PAM e mapping binario naturale (con decodifica multistadio)? 24. Quali sono le espressioni per il calcolo dei valori algebrici di canale con costellazione 4PAM e mapping di Gray (con decodifica parallela)? 25. Si vuole un codice TCM a 64 stati per la costellazione 8PSK. Quale è il rate del codice e quanti bit per simbolo si trasmettono? 26. Avendo trasmesso una parola del codice a parità singola di lunghezza N = 10 (con ampiezze ±1 su un canale con rumore gaussiano di varianza σ 2 n = 1) si ricevono i campioni 1.9, -0.4, 1.2, -0.9, 1.7, 1.5, 0.9, 0.1, 1.6 e 0.8. Si determinino i segni (non i valori) delle componenti estrinseche e dei valori algebrici a posteriori dei bit d informazione. 27. Il codice duale del codice di Hamming di lunghezza N = 63 ha distribuzione dei pesi B(x,y) = x x 31 y 32. Da questa si calcoli A(x,y) e in particolare A 3 e A 4. Si confrontino i risultati con l approssimazione binomiale. Nota: in generale si può dimostrare che A 3 = N(N 1)/6 e A 4 = N(N 1)(N 3)/ Si consideri il codice di Hamming con polinomio generatore g(x) = x 10 + x Si mostri che se si moltiplica il polinomio generatore per (x+1) ogni parola di peso pari del codice di Hamming è parola del codice modificato, e ogni parola di peso dispari non lo è. Si determini la struttura dei pesi del codice modificato. 29. Si mostri che il duale di un codice di Hamming non contiene la parola di tutti uni mentre il duale del codice modificato moltiplicando il polinomio generatore per (x+1) la contiene. Si determini la struttura dei pesi del duale del codice modificato. 30. Uno stesso bit d informazione è trasmesso due volte, con ampiezza ±1 su un canale con rumore gaussiano di varianza σ 2 n = 1. I valori algebrici ricevuti sono 1.5 e 0.3. Si calcoli il valore algebrico del bit d informazione. 31. Si usa una costellazione monodimensionale, con ampiezze non equispaziate 2, 1, 1 e 2. Il mapping è binario naturale e la decodifica è multistadio. Se si riceve il campione r = 1 quali sono i valori algebrici dei due bit? 12