Il secondo teorema di Shannon

Transcript

1 Il secondo teorema di Shannon Appunti scritti da Alberto Leporati Dipartimento di Informatica, Sistemistica e Comunicazione (DISCo) Università degli Studi di Milano Bicocca Via Bicocca degli Arcimboldi 8, 2026 Milano Alcuni preliminari matematici Nel corso della dimostrazione del secondo teorema di Shannon utilizzeremo la seguente maggiorazione: λn k=0 ( ) n 2 nh(λ) con 0 < λ < k 2 dove H( ) è la funzione entropia per una sorgente binaria (o Bernoulliana), in grado cioè di emettere due simboli. Si assume che λn sia un intero. Useremo inoltre la legge debole dei grandi numeri. Teorema (Legge debole dei grandi numeri). Siano X,X 2,...,X n variabili casuali indipendenti, con la stessa distribuzione di probabilità, aventi media µ e varianza σ 2. Allora, per ogni ε > 0 e δ > 0 esiste un intero n 0 tale che, per ogni n > n 0, ] n P[ X i µ n ε δ o, equivalentemente, i= P[ n ] n X i µ > ε < δ i= Il teorema afferma che la media dei valori di X,X 2,...,X n può essere portata, con alta probabilità, vicino quanto si vuole al valore atteso µ. Una interpretazione alternativa ed equivalente è la seguente: la probabilità che la media dei valori di X,X 2,...,X n si discosti da µ di una quantità ε > 0 scelta a piacere può essere resa arbitrariamente piccola.

2 Si pensi, ad esempio, a X,X 2,...,X n come alle variabili casuali che descrivono i risultati di n esperimenti identici e indipendenti. Ogni esperimento darà in media il valore µ. La legge dei grandi numeri ci dice che si può portare il valore medio della sequenza di esperimenti vicino quanto si vuole al valore medio µ di ogni singolo esperimento. Ciò non avviene con certezza, ma con probabilità vicina a quanto si vuole. Useremo la legge dei grandi numeri quando codificheremo i messaggi in estensioni molto grandi del canale. Spediremo nel canale sequenze di n cifre binarie. La spedizione di ciascuna cifra binaria costituirà un esperimento Bernoulliano che avrà probabilità di errore pari a Q. Nella spedizione del blocco di n cifre binarie ci attenderemo quindi un numero medio di errori pari a nq. La legge dei grandi numeri ci assicurerà che il numero di errori che si sono effettivamente verificati, diviso per n, potrà essere portato vicino a Q quanto si vuole, con probabilità vicina a quanto si vuole, a patto di lavorare con valori di n sufficientemente grandi (lavorando quindi in estensioni del canale sufficientemente grandi, ovvero spedendo sequenze sufficientemente lunghe di cifre binarie). 2 Il secondo teorema di Shannon Dimostriamo ora un risultato fondamentale della Teoria dell Informazione: in un canale, anche in presenza di rumore, si riesce a trasmettere avvicinandosi arbitrariamente alla capacità del canale, mantenendo l affidabilità del canale (cioè la probabilità di ricevere correttamente i messaggi) arbitrariamente vicina a. Dimostreremo il teorema per il canale binario simmetrico (CBS), sia perché la dimostrazione è più semplice, sia perché è il tipo di canale più usato in pratica. Daremo anche alcune indicazioni su come estendere il teorema a canali più generali. 2. Regole di decisione Dato un canale, supponiamo di aver ricevuto il simbolo b j B. Come facciamo a decidere quale simbolo a i A è stato spedito? La scelta dipende dal canale, ovvero dalle probabilità P(b j a i ), e anche da come lo si usa, cioè dalle probabilità p(a i ) associate ai simboli a i A. Ad esempio, consideriamo il canale descritto dalla seguente matrice: a a 2 b b 2 b 3 [ ] e supponiamo che i simboli in ingresso siano equiprobabili: p(a ) = p(a 2 ) = 2 2

3 Allora, se riceviamo b è ragionevole supporre che sia stato spedito a. Analogamente, se riceviamo b 3 è ragionevole supporre che che sia stato spedito a 2. Se invece riceviamo b 2, potrebbe essere stato spedito sia a che a 2. Indichiamo con d(b j ) il simbolo di A scelto tramite la regola di decisione d, quando si riceve il simbolo b j. In generale, una regola di decisione è una funzione d : B A che ad ogni simbolo di B associa uno e un solo simbolo di A. Poiché B = s e A = q, ci sono q s diverse regole di decisione. Tra tutte queste si sceglie solitamente una regola di decisione di massima verosimiglianza, che prescrive di prendere per ogni simbolo di B ricevuto il simbolo di A più probabile. Se assumiamo che i simboli di A vengano scelti dal mittente con probabilità uniforme, una regola di decisione di massima verosimiglianza prescrive di associare a b j B il simbolo a A per il quale: P(a b j ) P(a i b j ) i Essendo queste delle probabilità all indietro, usando il teorema di Bayes possiamo esprimerle come: P(b j a )p(a ) p(b j ) P(b j a i )p(a i ) p(b j ) Poiché abbiamo supposto che i simboli di A siano equiprobabili (e quindi p(a ) = p(a i ) = q ), otteniamo: i P(b j a ) P(b j a i ) i Per il canale di cui sopra abbiamo quindi le seguenti due regole di decisione di massima verosimiglianza: Regola Regola 2 d(b ) = a d(b ) = a d(b 2 ) = a d(b 2 ) = a 2 d(b 3 ) = a 2 d(b 3 ) = a 2 Si osservi che, in generale, la regola di decisione di massima verosimiglianza non è unica. Poiché scegliamo di associare a al simbolo b j osservato, la probabilità di commettere un errore è data da: L errore medio P E è dato quindi da: P E = B P(E b j ) = P(a b j ) P(E b j )p(b j ) = B p(b j ) B P(a b j )p(b j ) 3

4 = B P(a b j )p(b j ) = B P(b j a )p(a ) p(b j ) p(b j ) = ( essendo i simboli di A equiprobabili, vale p(a ) = q = P(b j a ) q B 2.2 Il canale binario simmetrico (CBS) Dimostriamo ora il teorema di Shannon per il CBS: ) Q P Q P dove P è la probabilità di avere una trasmissione corretta, e Q = P è la probabilità di avere un errore di trasmissione. Assumiamo Q < 2, dato che: se Q = 2, abbiamo un canale completamente rumoroso, in cui i simboli di uscita sono indipendenti dai simboli dati in ingresso, e la capacità è 0; se Q > 2, il canale sbaglia a trasmettere la maggior parte delle volte. Tuttavia, possiamo scambiare il ruolo di 0 e in uscita e ottenere un canale in cui Q < 2. Lavoriamo con l n esima estensione del canale; in altre parole, spediamo blocchi di n bit. Indichiamo con (CBS) n l n esima estensione del CBS. Inoltre, indichiamo con A e con B rispettivamente gli alfabeti di ingresso e di uscita di (CBS) n. Si noti che l n esima estensione di un CBS è un canale uniforme. Ci sono 2 n configurazioni di n bit, e quindi potremmo pensare di porre A = B = {0,} n. Tuttavia, se vogliamo proteggerci dal rumore non possiamo usare tutte le 2 n possibili configurazioni per A: come abbiamo visto studiando i codici a correzione d errore, i messaggi validi devono costituire un sottoinsieme di tutti i possibili messaggi che transitano lungo il canale, e devono avere tra loro una distanza di Hamming abbastanza grande. D altra parte, dal canale può uscire qualunque sequenza di n cifre binarie, e quindi avremo A B = {0,} n (dove con si intende l inclusione stretta). Quanti messaggi ci vogliono allora per avvicinarsi alla capacità di canale? Se supponiamo di usare M messaggi equiprobabili, l informazione data da ciascuno 4

5 è: I(a i ) = log 2 /M = log 2 M Come abbiamo visto, la capacità di un CBS è: C = H(P) = H(Q) per messaggi formati da una cifra binaria; pertanto, per l n esima estensione la capacità è: nc = n[ H(Q)] Per avvicinarsi alla capacità di canale deve valere: con ε > 0, ovvero: I(a i ) = log 2 M = n(c ε ) M = 2 n(c ε ) = 2nC 2 nε Questo significa che, facendo crescere n, il denominatore può essere reso arbitrariamente grande; in altre parole, stiamo prendendo come messaggi validi una piccola frazione di tutti i possibili messaggi di lunghezza n. 2.3 Codifica casuale La seconda questione è: come facciamo a costruire un codice i cui messaggi validi siano equiprobabili e abbastanza distanti tra loro? Dato che non lo sappiamo fare in generale, ci affidiamo a una codifica casuale. Infatti, se n è grande allora due punti scelti a caso nello spazio n dimensionale saranno molto probabilmente distanti fra loro. Per codificare ogni messaggio, lanciamo una moneta per n volte e registriamo la sequenza di 0 e risultante. Faremo quindi in totale nm lanci della moneta, e otterremo uno dei 2 nm possibili codici. Un metodo alternativo (ed equivalente a quello appena descritto) di costruire il codice casuale è quello di scrivere tutte le possibili sequenze di n cifre binarie su altrettante striscioline di carta, metterle in un contenitore e fare M estrazioni casuali con reimmissione. Con entrambi i metodi è possibile che due messaggi diversi vengano codificati con la stessa sequenza di n cifre binarie; tuttavia, per n grande la probabilità che ciò avvenga è molto bassa. Immaginiamo ora gli M messaggi validi immersi nello spazio di Hamming n dimensionale (cioè lo spazio n dimensionale in cui la distanza è quella di Hamming). La probabilità che si verifichi un errore di trasmissione in qualsiasi cifra di ogni messaggio è Q = P, e quindi durante la trasmissione di un messaggio ci attendiamo che avvengano mediamente nq errori. Consideriamo una sfera il cui centro è il messaggio inviato a i, con un raggio pari a nq. Supponiamo di 5

6 incrementare il raggio della quantità nε 2 (cioè di una piccola frazione di n), con ε 2 > 0. Il nuovo raggio è: r = n(q + ε 2 ) Il valore di ε 2 deve essere abbastanza piccolo da valere Q + ε 2 < 2 ; il valore di ε 2 rispetto a ε verrà determinato più avanti. Per la legge dei grandi numeri, se n è grande il messaggio ricevuto b j si troverà fuori dalla nuova sfera con probabilità molto bassa. Quindi, se usiamo la regola di decisione di massima verosimiglianza e siamo in grado di dimostrare che quasi sicuramente nessuna sfera si interseca con altre sfere, abbiamo che il ricevente può quasi essere sicuro su quale messaggio è stato spedito. Guardando le cose dal punto di vista del ricevente, ciò equivale a considerare una sfera centrata nel messaggio ricevuto b j, e la probabilità che il messaggio a i inviato si trovi all interno della sfera. La regola di decisione di massima verosimiglianza ha una semplice interpretazione in termini di distanza di Hamming. Sia a i il messaggio inviato dal mittente, e b j quello ricevuto. Se la distanza di Hamming tra a i e b j è D, allora a i e b j differiscono in esattamente D posizioni, e la probabilità di ricevere b j avendo spedito a i è uguale alla probabilità che avvengano D trasmissioni (di una singola cifra binaria) errate e n D trasmissioni corrette: P(b j a i ) = Q D ( Q) n D Essendo Q < 2, questa quantità diminuisce all aumentare di D. Quindi, più lontano è b j da a i e minore è la probabilità di riceverlo. La regola di decisione di massima verosimiglianza seleziona il messaggio valido che massimizza P(b j a i ), ovvero il messaggio valido più vicino a b j rispetto alla distanza di Hamming. Quindi, correggere il messaggio ricevuto scegliendo il messaggio valido che ha distanza di Hamming minima equivale ad utilizzare la regola di massima verosimiglianza. Ciò avviene sempre quando si è in presenza di rumore bianco. Nel caso in cui due o più messaggi validi si trovino alla stessa distanza (minima) dal messaggio ricevuto, il ricevente non può far altro che tirare a indovinare. Se i messaggi validi che hanno distanza minima dal messaggio ricevuto sono k, otterremo il messaggio corretto con probabilità k. La regola di massima verosimiglianza è però difficile da analizzare. Useremo pertanto un altra regola di decisione che è molto simile. Nonostante tale regola non sia così buona quanto la regola di massima verosimiglianza, ci consentirà comunque di ottenere una probabilità d errore piccola quanto vogliamo. La regola di decisione adottata consiste nel considerare la sfera di raggio r = n(q + ε 2 ), centrata in b j e, se c è un solo messaggio a A all interno di questa sfera, sceglierlo. Scriviamo ora una formula che esprime la probabilità di non riuscire a decodificare correttamente il messaggio, utilizzando tale regola. Si verifica un errore se a i non si trova all interno della sfera S(r) centrata in b j, oppure se in tale sfera 6

7 c è più di un simbolo di A (dato che in tal caso non sappiamo quale scegliere per decodificare b j ). Quindi la probabilità P E d errore è: P E = P[a i S(r)] + P[a i S(r)] P[almeno un altro messaggio valido S(r)] Poiché P[a i S(r)], possiamo scrivere: P E P[a i S(r)] + P[almeno un altro messaggio valido S(r)] La frase almeno un altro messaggio valido S(r) significa uno o più messaggi validi diversi da a i S(r). Poiché, dato un numero finito di eventi E,E 2,...,E n (non necessariamente disgiunti) vale: P[E E 2... E n ] P[E ] + P[E 2 ] P[E n ] allora: P[almeno un altro messaggio valido S(r)] P[a S(r)] a A\{a i } da cui: P E P[a i S(r)] + a A\{a i } P[a S(r)] Il primo termine è la probabilità che il messaggio valido a i non si trovi nella sfera di raggio r (che è di poco maggiore della distanza di Hamming corrispondente a nq errori di trasmissione, che è il numero di errori che ci aspettiamo in media) centrata in b j, che è il messaggio ricevuto. Tale probabilità è uguale alla probabilità che il messaggio b j ricevuto non si trovi nella sfera di raggio r centrata in a i. Il secondo termine è la somma, su tutti i messaggi non inviati, che ciascuno di questi si trovi nella sfera di raggio r centrata in b j. Speriamo che, usando una codifica casuale, la probabilità che uno di questi messaggi si trovi in tale sfera sia molto bassa. Questa speranza nasce dal fatto che, per n molto grande, è molto improbabile che due messaggi presi a caso nello spazio n dimensionale si trovino vicini. Per la legge dei grandi numeri, il primo termine (che dipende solamente da a i ) può essere reso più piccolo di qualunque reale positivo δ = δ(ε 2,n) (la cui scelta cioè dipende da ε 2 e da n) prefissato aumentando il valore di n, cioè la lunghezza dei messaggi trasmessi. Infatti, come abbiamo detto, il numero medio di errori che si verificano durante la trasmissione di una sequenza di n cifre binarie è nq. Per ogni valore fissato di n ci sarà una probabilità che il numero effettivo di errori superi il suo valore medio di nε 2 o più. Man mano che n cresce, però, ciò diventa sempre meno probabile; più precisamente, per la legge debole dei grandi numeri vale: ε 2,δ > 0 n 0 tale che n > n 0 P[numero di errori > nq + nε 2 ] < δ 7

8 [ ] (equivalentemente, P numero di errori nq n ε 2 δ). Questo significa che, prendendo n sufficientemente grande, possiamo essere sicuri che: P[a i S(nQ + nε 2 )] < δ con δ arbitrariamente piccolo. Pertanto abbiamo: P E δ + P[a S(r)] 2.4 Il codice casuale medio a A\{a i } Per poter valutare la sommatoria presente nell ultima disuguaglianza, facciamo ora la media su tutti i possibili codici casuali. In ogni codifica casuale abbiamo M = 2 n(c ε ) messaggi di lunghezza n, e ci sono 2 nm possibili codici casuali. Supponiamo che tutti questi codici siano equiprobabili, cioè che ciascuno venga scelto con probabilità 2 nm. Indichiamo con P E la media, pesata con tali probabilità, delle probabilità di errore. Tenendo conto che δ è una costante, e che A = M, abbiamo: P E δ + (M ) P[a S(r)] δ + M P[a S(r)] (a a i ) () (la tilde indica sempre la media calcolata su tutti i possibili codici casuali). Per calcolare P[a S(r)] (per a a i ) fissiamo l attenzione su un qualunque messaggio a a i. La probabilità che a S(r) è il rapporto tra il volume della sfera e il volume totale dello spazio. Indichiamo con N(r) il numero di punti presenti all interno della sfera S(r). Poiché il volume totale dello spazio è 2 n, abbiamo: P[a S(r)] = N(r) 2 n Dato che stiamo lavorando in uno spazio di Hamming, vale: N(r) = + Ricordiamo inoltre che vale: ( ) n + ( ) n ( ) n = r r k=0 ( ) n k Possiamo applicare la disuguaglianza: r = n(q + ε 2 ) e Q + ε 2 < 2 λn k=0 ( ) n 2 nh(λ), con 0 < λ < k 2 8

9 a N(r), ponendo λ = Q + ε 2 ; otteniamo: N(r) 2 nh(λ) e quindi: P[a S(r)] 2 n[ H(λ)] (con a a i ) Tornando a P E, l equazione () diventa: Ricordiamo che la capacità dei CBS è: P E δ + M 2 n[ H(λ)] (2) C = H(P) = H(Q) Pertanto, l esponente che compare nell equazione (2) può essere scritto come: H(λ) = H(Q + ε 2 ) = H(Q) + H(Q) H(Q + ε 2 ) = C [H(Q + ε 2 ) H(Q)] (3) Dato che la funzione entropia ha la convessità verso il basso, e può essere limitata superiormente tracciando una retta tangente in qualsiasi punto di ascissa Q (0,), vale: dove: Essendo Q < 2 vale: dh dx H(Q + ε 2 ) H(Q) + ε 2 dh dx Q = log Q Q log Q = log Q Q 2Q < da cui Q < Q da cui Q Q > e quindi: dh dx Pertanto l equazione (3) diventa: Q = log Q Q > 0 H(λ) C ε 2 log Q Q = C ε 3 dove abbiamo posto: ε 3 = ε 2 log Q Q 9

10 Quindi l equazione (2) diventa: P E δ + M 2 n(c ε 3) δ + 2 n(c ε ) 2 n(c ε 3) δ + 2 n(ε ε 3 ) Questo significa che se scegliamo ε 2 abbastanza piccolo da avere: ε ε 3 = ε ε 2 log Q Q > 0 allora l errore medio P E può essere reso arbitrariamente piccolo scegliendo n sufficientemente grande. Avendo dimostrato che il codice medio, calcolato su tutti i possibili codici casuali, soddisfa i requisiti richiesti, esisterà almeno un codice casuale che li soddisfa. Abbiamo così dimostrato il secondo teorema di Shannon, che possiamo parafrasare come segue. Teorema 2 (Secondo teorema di Shannon). Esistono codici che sono arbitrariamente affidabili e che possono trasmettere una quantità di informazione arbitrariamente vicina alla capacità di canale (usando un opportuna estensione del CBS). Cosa impariamo da questo teorema? Anzitutto impariamo che esistono dei buoni codici dal punto di vista teorico. Il teorema di Shannon non ci mostra esattamente come costruire un buon codice, e quindi la dimostrazione non è costruttiva. D altra parte, il teorema ci fornisce un metodo che genererà dei buoni codici in media, e quindi non si può neanche dire che la dimostrazione sia puramente esistenziale. Vediamo anche che in tali codici bisogna spedire dei messaggi molto lunghi, e quindi in ogni messaggio bisognerà correggere molti errori. Spedire messaggi molto lunghi significa che il mittente dovrà raccogliere molte informazioni prima di spedire ogni messaggio, il che non è molto pratico. Inoltre, il ricevente dovrà utilizzare delle tabelle di decodifica molto grosse: infatti, essendo il codice utilizzato casuale, non siamo in grado di dare una descrizione compatta dei processi di codifica e decodifica, come avviene ad esempio per i codici di Hamming. Si tratta quindi di un importante risultato teorico, che però non ci aiuta molto nella pratica. 2.5 Il teorema di Shannon per canali generici La dimostrazione del teorema di Shannon per canali generici segue lo schema della dimostrazione per i CBS. La grossa differenza è che dobbiamo trovare una metrica equivalente a quella di Hamming (che tra l altro va bene solo per un canale dotato di rumore bianco). Dobbiamo poi contare il numero di possibili messaggi che si trovano all interno di una sfera, definita usando tale metrica. Infine, la formula 0

11 che esprime la capacità di canale non è più C = H(P) = H(Q), ma dobbiamo tornare alla definizione. La metrica di cui abbiamo bisogno deve tener conto della probabilità che si verifichino errori durante la trasmissione. Se il rumore non è più bianco, le sfere diventano degli ovali che sono più lunghi nelle direzioni in cui gli errori sono più probabili. Si prendono poi degli ovali aventi raggi tali che ci sia la stessa probabilità di errore in ogni direzione, centrati nel simbolo b j ricevuto, e li si ingrandisce come prima, in modo tale che (per la legge dei grandi numeri) quando n è sufficientemente grande, quasi certamente il messaggio a i spedito si trovi all interno dell ovale. Il valore di n deve anche essere abbastanza grande in modo tale che la probabilità che gli ovali si sovrappongano sia bassa. Infine, scegliamo il numero M di messaggi da spedire in modo da avvicinarci alla capacità del canale. Per il resto, la dimostrazione procede come quella per il CBS. 3 La disuguaglianza di Fano Dimostriamo ora la disuguaglianza di Fano, che ci servirà per dimostrare l inverso del teorema di Shannon. Poniamo innanzitutto: P E = P(a,b) e B,A\{a } P E = P E = B P(a,b) Consideriamo l espressione: H(P E ) + P E log(q ) = P E log q + P E log P E P E = P(a,b)log q + P E B L equivocazione H(A B) vale: B,A\{a } P(a,b)log P E H(A B) = B p(b)h(a b) = B p(b) A = B,A P(a,b)log = B,A\{a } P(a b)log P(a b) P(a b) P(a,b)log P(a b) + B P(a,b)log P(a b)

12 La differenza vale: H(A B) H(P E ) P E log(q ) = P E P(a,b)log (q )P(a b) + B B,A\{a } P(a,b)log P E P(a b) Applichiamo ora la disuguaglianza: ovvero (cambiando base): log x log e ln x x x da cui log x (x )log e ad ogni termine della somma. Tralasciando il fattore log e (che non cambia il risultato che otterremo) abbiamo: H(A B) H(P E ) P E log(q ) [ ] P E P(a,b) (q )P(a b) + B,A\{a } B = P E p(b) P E + P E p(b) P E q B,A\{a } B [ P(a,b) = P E q (q ) p(b) + P E p(b) (P E + P E ) B B = P E + P E (P E + P E ) = 0 P E P(a b) ] Pertanto vale: H(A B) H(P E ) + P E log(q ) che viene detta disuguaglianza di Fano. L uguaglianza vale quando ln x = x, ovvero quando x =. Dato che abbiamo usato la disuguaglianza ln x x in due posti diversi, si ha l uguaglianza quando valgono entrambe le seguenti condizioni:. P(a b) = P E q b, a a 2. P(a b) = P E b Tuttavia, la seconda condizione è inclusa nella prima (cioè la prima implica la seconda). Infatti possiamo scrivere: P(a b) = A b 2

13 e quindi: A\{a } Per la condizione, questa diventa: P E q Essendo A = q, si ottiene: P(a b) + P(a b) = A\{a } b + P(a b) = b P E q (q ) + P(a b) = b che è proprio la condizione 2. 4 L inverso del teorema di Shannon Mostriamo ora che la probabilità d errore non può essere resa arbitrariamente piccola se si supera la capacità del canale. In altre parole, non possiamo usare M = 2 n(c+ε) con ε > 0 messaggi validi equiprobabili, soddisfacendo i requisiti del teorema di Shannon. Infatti, supponiamo per assurdo di poterlo fare. Allora la variazione di entropia deve essere minore o uguale della capacità dell n esima estensione del CBS: H(A) H(A B) nc (4) dato che la capacità dell n esima estensione del CBS è, per definizione, il valore massimo di tale variazione. Dato che la probabilità di scegliere ogni messaggio valido è M, abbiamo: Pertanto, dalla (4) abbiamo: e quindi, dalla disuguaglianza di Fano: H(A) = M log M = log M = n(c + ε) n(c + ε) nc = nε H(A B) nε H(A B) H(P E ) + P E log(m ) Ricordiamo ora che vale H(P E ). Inoltre M < M, da cui log(m ) < log M. Otteniamo quindi: nε + P E n(c + ε) 3

14 da cui: P E nε n(c + ε) = ε /n C + ε n + ε C + ε > 0 Possiamo concludere che, per n che tende all infinito, P E non si avvicina ε a 0 ma si avvicina alla quantità C+ε, che è positiva. Questo significa che la probabilità d errore non può essere resa arbitrariamente piccola se si supera la capacità del canale. Riferimenti bibliografici [] N. Abramson. Information Theory and Coding. McGraw-Hill, 963. [2] R. H. Hamming. Coding and Information Theory. Second Edition. Prentice Hall, Englewood Cliffs,