Capacità di canale in molte salse

Transcript

1 Capacità di canale in molte salse. Bernardini 6 maggio 008 Indice 1 Introduzione 1 Modelli di canale 1.1 Matrice di transizione Funzione aleatoria Canali reversibili 3.1 Definizione Capacità di un canale reversibile Esempi di canali reversibili Canale binario simmetrico Canale con cancellazione Crittografia Canale Gaussiano Introduzione Queste note sono alcuni appunti sulla capacità di canale fatta a modo mio... Modelli di canale.1 Matrice di transizione Il modo più comunemente usato in letteratura per descrivere il comportamento di un canale è basato sulle probabilità di transizione associate al canale. Più precisamente, un canale è descritto specificando l alfabeto dei simboli di ingresso A X, l alfabeto dei simboli di uscita A Y e la probabilità P[Y = y X = x] di avere il simbolo y A Y in uscita quando in ingresso si ha il simbolo x A X. È conveniente organizzare le probabilità di transizione del canale in una matrice M le cui righe sono indicizzate dai simboli di uscita, le cui colonne sono indicizzate dai simboli di ingresso e avente nell elemento di riga y e colonna x la probabilità P[Y = y X = x], ossia M y,x := P[Y = y X = x], x A X, y A Y. (1) Se indichiamo con p X e p Y i vettori (colonna) delle probabilità dei simboli di ingresso e uscita, è facile verificare che p Y = Mp X () 1

2 X Y X Q X q Y Q Y q Q (a) E N(0, ) (b) E N(0, ) Figura 1: (a) Canale Gaussiano additivo (b) Versione quantizzata del canale in (a). Funzione aleatoria Nonostante la descrizione tramite matrice di transizione sia molto comune, in queste note useremo una descrizione alternativa (a mio parere più intuitiva) basato su una funzione aleatoria. Più precisamente, modelleremo un canale con ingresso a valori nell alfabeto A X e uscite a valori in A Y come una funzione C : A X A E A Y (3) dove il secondo argomento è una variabile aleatoria E, indipendente dall ingresso. Intuitivamente, E rappresenta il rumore introdotto dal canale. Nonostante il modello a funzione aleatoria possa sembrare meno generale del modello basato sulla matrice di probabilità di transizione, è possibile dimostrare che ogni canale può essere rappresentato tramite un opportuna funzione aleatoria con E uniformemente distribuita su [0, 1]. Nel seguito indicheremo con C X=x la funzione del rumore ottenuta fissando il primo argomento di C a x. Più precisamente, C X=x (e) := C(x, e) (4) 3 Canali reversibili 3.1 Definizione Un tipo di canale molto generale e abbastanza semplice da studiare è il canale reversibile. Definzione 1. Un canale C : A X A E A Y è detto reversibile se per ogni x A X la funzione C X=x è iniettiva. Informalmente, possiamo dire che un canale è reversibile se dall osservazione del suo ingresso e della sua uscita possiamo determinare il rumore che ha causato la transizione. L esempio più semplice di canale reversibile è il canale additivo in cui l uscita è pari alla somma dell ingresso e del rumore. Esempi di canali addittivi sono il canale Gaussiano (Fig. 1), in cui A X = A Y = A E = e il rumore è una variabile aleatoria Gaussiana, ed il canale binario simmetrico (Fig. ) in cui A X = A Y = A E = {0, 1}, p E (1) = ǫ e la somma va interpretata modulo. 3. Capacità di un canale reversibile Il calcolo della capacità di un canale reversibile sfrutta la seguente conseguenza importante della reversibilità. Proprietà 1. Siano X, Y ed E le variabili aleatorie associate con, rispettivamente, l ingresso, l uscita ed il rumore di un canale reversibile. Vale la seguente uguaglianza H(XY ) = H(XE). (5)

3 0 1 ε ε 0 X Y ε 1 1 ε 1 (a) (b) E { 0, 1 } P[E=1] = ε Figura : (a) Grafo di transizione di un canale binario simmetrico (b) Modello basato su funzione aleatoria Dimostrazione. Per dimostrare la (5) è sufficiente osservare che la coppia ingresso-uscita (X, Y ) è funzione deterministica della coppia ingresso-rumore (X, E) e che tale funzione è biunivoca poiché la reversibilità ci permette di ricavare E a partire da X e Y. L informazione mutua tra ingresso e uscita in un canale reversibile è pari a I(X; Y ) = H(X) + H(Y ) H(XY ) Def. di info mutua (6a) = H(X) + H(Y ) H(XE) eversibilità (Proprietà 1) (6b) = H(X) + H(Y ) H(X) H(E) Indipendenza del rumore (6c) = H(Y ) H(E) (6d) Ne segue che la capacità di un canale reversibile è pari a C = max p X H(Y ) H(E) (7) Dalla (7) deduciamo inoltre che per calcolare la capacità di un canale reversibile è sufficiente scegliere le probabilità dell ingresso X in modo da massimizzare l entropia dell uscita H(Y ). In particolare, se è possibile scegliere le probabilità di X in modo da avere Y uniformemente distribuita, la capacità del canale risulta essere pari a log A Y H(E). Commento 3.1 L equazione (7) ha un interpretazione molto intuitiva: in un canale reversibile l effetto del rumore è di cancellare H(E) bit di informazione dalla massima informazione mutua disponibile max px H(Y ). 4 Esempi di canali reversibili 4.1 Canale binario simmetrico Il caso del canale binario simmetrico è particolarmente semplice poiché è sufficiente scegliere p X (0) = p X (1) = 1/ per avere Y uniformemente distribuito (e quindi con entropia massima). Ne segue che la capacità del canale binario simmetrico è pari a 4. Canale con cancellazione log A Y H(E) = 1 H(E) (8) Un altro modello di canale molto importante è il canale con cancellazione mostrato in Fig. 3. Il canale con cancellazione corrisponde, per esempio, al canale visto a livello applicativo da programmi che usano protocolli di trasporto che non garantiscono la ricezione del pacchetto (es. UDP). In un canale con cancellazione l alfabeto di uscita è ottenuto aggiungendo all alfabeto di ingresso un simbolo che rappresenta l evento dato perso. Come si può vedere dalla Fig. 3, in un canale a cancellazione con probabilità di perdita ǫ ogni 3

4 ε A 1 0 ε ε ε 1 ε 1 ε 1 ε 1 ε A (a) 1 0 X Y E (b) Figura 3: (a) Grafo di transizione di un canale a cancellazione (b) Modello basato su funzione aleatoria simbolo viene mappato nel simbolo stesso con probabilità 1 ǫ e nel simbolo (ossia, il dato viene perso) con probabilità ǫ. È chiaro che in un canale a cancellazione non possiamo avere l uscita uniformemente distribuita poiché la probabilità di è sempre ǫ. Per calcolare la capacità di un canale a cancellazione, calcoliamo l entropia di Y H(Y ) = p Y (y)log p Y (y) y A Y = p Y ( )log p Y ( ) p Y (a)log p Y (a) a A X = ǫ log ǫ (1 ǫ)p X (a)log [(1 ǫ)p X (a)] a A X = ǫ log ǫ (1 ǫ) (9) p X (a)[log (1 ǫ) + log p X (a)] a A X = ǫ log ǫ (1 ǫ) log (1 ǫ) p X (a) + p X (a)log p X (a) a A X a A X Da cui deduciamo = H(E) + (1 ǫ)h(x) I(X; Y ) = H(Y ) H(E) = (1 ǫ)h(x) (10) Per massimizzare l informazione mutua (10) è sufficiente massimizzare H(X) scegliendo X uniformemente distributa. La capacità del canale con cancellazione è quindi pari a C = (1 ǫ)log A X (11) 4

5 4.3 Crittografia Un esempio di canale naturalmente modellabile tramite una funzione aleatoria è un algoritmo di crittografia, dove la chiave gioca il ruolo del rumore introdotto dal canale. Commento 4.1 Si osservi che non è detto a priori che un canale crittografico sia reversibile, ossia, non è detto che dato il testo in chiaro e il testo cifrato sia possibile risalire alla chiave. Nonostante ciò, è intuitivo che uno schema di cifratura non reversibile risulterebbe debole poiché la mancanza di reversibilità implicherebbe l esistenza di almeno un testo in chiaro X, un testo cifrato Y e due chiavi, K 1 e K, tali che si ottiene Y cifrando X indifferentemente con K 1 o con K. L esistenza di tali chiavi equivalenti semplifica il lavoro al crittanalista poiché gli è sufficiente trovare una delle due chiavi per risalire al testo in chiaro. Tale intuizione sul ruolo della reversibilità in crittografia sarà confermata in seguito. L informazione mutua tra il testo in chiaro X e il testo cifrato Y si scrive I(X; Y ) = H(X) + H(Y ) H(XY ) Def. informazione mutua (1a) H(X) + H(Y ) H(Y E) (X, Y ) funzione di (Y, E) (1b) = H(X) H(E Y ) H(Y E) = H(E Y ) + H(Y ) (1c) H(X) H(E) Condizionare abbassa l entropia (1d) H(X) log A E H(E) log A E (1e) Dalla (1) si vede che l informazione che passa attraverso il canale crittografico è l informazione contenuta nel messaggio in chiaro [H(X)] a cui si deve togliere l incertezza che ci resta sulla chiave una volta che conosciamo il testo cifrato [H(E Y )]. In un certo senso, possiamo dire che l algoritmo cancella H(E Y ) bit di informazione da X. In uno schema di crittografia noi siamo interessati a rendere minima l informazione mutua tra testo in chiaro e testo cifrato. Dalla (1) deduciamo che il numero di bit cancellati non può essere mai superiore a log A E, dove A E è lo spazio delle possibili chiavi. Perchè il numero di bit cancellati raggiunga tale limite superiore, le tre diseguaglianze in (1b), (1d) e (1e) devono essere verificate col segno di uguaglianza e perché questo accada deveono essere verificate le seguenti condizioni Uguaglianza in (1b) La (1b) è verificata col segno di uguaglianza se e solo se la funzione che mappa (Y, E) in (X, Y ) è biunivoca o, in altre parole, se il canale crittografico è reversibile Uguaglianza in (1d) La (1d) è verificata col segno di uguaglianza se e solo se Y ed E sono indipendenti. Vedremo più avanti quali condizioni implichino l indipendenza di Y e E. Uguaglianza in (1e) La (1e) è verificata col segno di uguaglianza se e solo se E è scelta a caso in maniera uniforme sullo spazio delle chiavi. Indipendenza di Y ed E Delle tre condizioni necessarie per l uguaglianza in (1), l indipendenza di Y ed E è l unica che non abbia un chiaro significato intuitivo. Osserviamo che perché Y ed E siano indipendenti è necessario e sufficiene che la probabilità condizionata p Y E (y e) := P[Y = y E = e] (13) non dipenda da e. Siano E : A X A E A Y e D : A Y A E A X le funzioni di cifratura e decifratura. Poiché la funzione D E=e è l inversa di E E=e si ha, supponendo che la chiave E venga scelta indipedentemente dal testo in chiaro X P[Y = y E = e] = P[Y = y, E = e] P[E = e] = P[X = D e(y), E = e] P[E = e] = P[X = D e(y)]p[e = e] = P[X = D e (y)] = p X (D e (y)) P[E = e] 5 (14)

6 Dalla (14) deduciamo che richiedere l indipendenza tra Y ed E equivale a richiedere che p X (D E=e (y)) = p X (D(y, e)) = p X (D Y =y (e)) (15) non dipenda da e. In altre parole, per ogni y, i simboli di ingresso appartenenti all immagine di D Y =y devono avere tutti la stessa probabilità. Un modo semplice per garantirsi la (15) è avere il testo in chiaro uniformemente distribuito su tutto l alfabeto. Commento 4. Dovendo sia comprimere che cifrare, cosa conviene fare prima? La risposta è: prima si comprime e poi si cifra. Ci sono almeno tre motivi per eseguire prima la compressione: (i) comprimendo prima si riduce la quantità di dati da cifrare e si risparma costo computazionale; (ii) è ragionevole aspettarsi che un buon algoritmo di crittografia restituisca una stringa quasi casuale e quindi difficilmente comprimibile e (iii) è ragionevole aspettarsi che un buon algoritmo di compressione restituisca stringhe di bit uniformemente distribuite, rendendo più robusta l applicazione della crittografia. 1 Commento 4.3 La teoria appena presentata può sollevare alcuni dubbi: cosa vuol dire che N H(E) bit vengono cancellati? Quali bit? I primi? Gli ultimi? E poi, perché la robustezza dipende dalle proprietà statistiche dell ingresso? Le due domande sono in realtà collegate tra loro. Per quanto riguarda la domanda su quali siano i bit cancellati, la risposta è che non è necessariamente detto che sia possibile individuare un insieme di N bit che resteranno ignoti dopo che l avversario ha finito il suo attacco. Dire che N bit di informazione verranno cancellati vuol dire che l avversario, dopo aver provato tutte le possibili chiavi, si troverà tra le mani N messaggi, tutti ugualmente plausibili. Per fare un esempio un po giocattolo, se provando tutte le 56 chiavi del DES l attaccante ottenesse 56 sequenze spazzatura e i due messaggi mi piace la cioccolata, e due uova al tegamino, l algoritmo di cifratura avrebbe cancellato 1 bit di informazione, nonostante i due messaggi non differiscano per un bit solo. Si osservi come tale tipo di sicurezza sia molto più forte della sicurezza computazionale che di solito si considera in crittografia. Infatti, mentre un avversario avente a disposizione un enorme potenza computazionale potrebbe (in teoria) essere in grado di crackare qualsiasi algoritmo; la robustezza implicata dall equazione (1) è indipendente da questioni computazionali poiché l attaccante non sarà mai in grado di recuperare l informazione cancellata, (o, in altre parole, non sarà mai in grado di risolvere l ambiguità tra i N messaggi plausibili) qualunque sia la potenza di calcolo a sua disposizione. L esempio più estremo di cancellazione dell informazione è dato dal cifrario di Verman (noto anche col nome di one-time pad nella letteratura inglese). In un implementazione informatizzata la chiave è una stringa di bit aleatori iid e con p(0) = p(1) = 1/ lunga quanto il messaggio da trasmettere. La cifratura avviene facendo lo XO del messaggio con la chiave. In altre parole, il cifrario di Verman è un canale binario simmetrico a capacità nulla (dove però il rumore è sotto il nostro controllo). Poiché l entropia della chiave non è inferiore all entropia del messaggio, il cifrario di Verman cancella completamente l informazione trasmessa. Il principale difetto (serio) del cifrario di Verman è che richiede una chiave lunga quanto il messaggio e se avessi un canale sicuro su cui spedire la chiave, potrei sfruttare tale canale per spedire il messaggio... Qual è il legame tra la cancellazione dei bit e la richiesta di avere l ingresso uniformemente distribuito? Per capirlo, supponiamo di mandare il messaggio Tanti baci in ingresso al DES. È molto probabile che un possibile avversario, provando tutte le 56 chiavi possibili trovi 56 1 schifezze ed una sola stringa sensata. Se invece il messaggio viene compresso in modo tale che (quasi) ogni stringa di bit rappresenti un messaggio sensato, l avversario si troverà tra le mani circa 56 messaggi sensati, senza nessuna idea su quale scegliere... Al limite, se il nostro algoritmo di compressione fosse perfetto, anche una banale sostituzione monoalfabetica su 16 bit (ossia, ogni parola di 16 bit viene sostituita dal suo XO con la chiave) potrebbe risultare molto robusta poiché l avversario dovrebbe scegliere tra 16 = messaggi sensati. 4.4 Canale Gaussiano Nonostante finora si siano considerati solamente canali con alfabeti discreti, esistono anche canali con ingresso e uscita continue. L esempio più importante di canale con variabili continue è il canale Gaussiano additivo 1 Ma attenzione ad eventuali parti fisse del bitstream compresso (es. header)! Non è comunque detto che il cifrario di Verman sia totalmente inutile. Per esempio, prevedendo di dover scambiare messaggi riservati con un altra persona, potrei crearmi un DVD di bit casuali da consegnare direttamente all altro partner. 6

7 in cui l ingresso e l uscita assumono valori in e il rumore è una variabile aleatoria a media nulla e varianza σ e (vedi Fig. 1a). Analizzaremo il canale gaussiano additivo Fig. 1a approssimandolo con un canale con alfabeti discreti A X = A E = A Y = Z( ) := {n, n Z} (16) Più precisamente, otterremo la versione discreta del canale in Fig. 1a inserendo all ingresso e all uscita del canale un quantizzatore uniforme con passo (mostrato con un blocco etichettato con Q in Fig. 1b). Intuitivamente, il quantizzatore aggiunto rovina un po le prestazioni massime ottenibili dal canale, ma quando tende a zero tale perdita di prestazioni tende a diventare trascurabile. È facile vedere che al canale di Fig. 1b può ora essere aggiunto un quantizzatore sul ramo del rumore, ottenendo il canale additivo di Fig. 1c, dove X q e E q assumono valori nell alfabeto Z( ). e E q è la versione quantizzata del rumore E in Fig. 1a. L idea è di calcolare la capacità del canale Gaussiano di Fig. 1a, calcolando la capacità del canale di Fig. 1c e facendo tendere a zero. Poiché il canale in Fig. 1c è reversibile, l informazione mutua tra l ingresso e l uscita si scrive I(X q ; Y q ) = H(Y q ) H(E q ) (17) Per poter ulteriormente elaborare l equazione (17) è necessario poter esprimere l entropia delle variabili quantizzate Y q e E q in funzione delle proprietà statistiche di Y ed E. Proprietà. Sia X una variabile aleatoria continua con densità f X e sia X q = Q (X) = X/ la sua versione quantizzata con quantizzatore uniforme con passo. Per che tende a zero l entropia di X q può essere approssimata con H(X q ) h X log. (18) dove è detta entropia differenziale di X. h X := f X (a)log f X (a)da (19) Dimostrazione. È un semplice calcolo H(X q ) = n ZP[X q = n ] log P[X q = n ] Def. di entropia (0a) = n Z [ ] [ n + / ] n + / f X (a)da log f X (a)da n / n / X q = n sse X n + [ /, /] (0b) n Z f X (n )log ( f X (n )) f X circa costante in n + [ /, /] log n Z (0c) f X (n ) n Z f X (n )log f X (n ) (0d) = log n Z f X (n )log f X (n ) f X (n ) = 1 n Z (0e) log f X (a)log f X (a)da Approssimazione dell integrale (0f) = log + h X Definizione di h X (0g) 7

8 È interessante riscrivere l entropia differenziale di X in funzione dell entropia differenziale di X := X/σ x che può essere interpretata come X normalizzata a varianza unitaria. Proprietà 3. Sia X una variabile aleatoria continua con densità f X e sia X := X/σ x. Vale la seguente uguaglianza h X = h X + log σ x (1) Dimostrazione. La densità di probabilità di X è f X (a) = σ x f X (σ x a) () Ne segue che h X = f X (a)log f X (a)da Def. entropia differenziale (3a) = σ x f X (σ x a)log [σ x f X (σ x a)] da Eq. () (3b) = f X (b)log [σ x f X (b)] db Cambio di variabile b = σ x a (3c) = f X (b)log σ x db f X (b)log f X (b)db Logaritmo del prodotto (3d) = log σ x + h X f X (a)da = 1 e def. entropia diff. (3e) La (1) segue immediatamente dalla (3). Corollario 1. Sia X una variabile aleatoria con varianza σx e sia X = X/σ x. L entropia differenziale di X vale σ x h X = h X + log = h X + 1 log σx (4) L informazione mutua (17) può ora essere scritta I(X q ; Y q ) = h Y + 1 log h E 1 log σ y = h Y h E + 1 log σ y σ e = h Y h E + 1 log σx + = h Y h E + 1 ( ) log 1 + σ x (5) dove abbiamo sfruttato il fatto che, essendo E e X indipendenti, si ha σ y = σ x + σ e. Il calcolo della capacità di canale richiede di scegliere X in modo massimizzare l informazione mutua (5); ma è evidente come (5) possa assumere valori arbitrariamente elevati, a patto di scegliere σ x sufficientemente grande. Commento 4.4 Cosa possiamo dedurre? Che possiamo trasmettere quantità di informazione arbitrariamente elevate per ogni uso del canale di Fig. 1a? Ebbene sì, ma d altronde il risultato non è così sorprendente come potrebbe sembrare... Supponiamo di avere un canale Gaussiano con σ e = 1 V e supponiamo di voler trasmettere, con errore trascurabile, 10 bit per uso del canale. Una possibile soluzione è associare al simbolo n {0,..., 10 1} un livello di tensione pari a n(10σ e ) = 10n V. Poiché la distanza tra un livello e il successivo è pari a 10 volte la deviazione standard del rumore, siamo sicuri che la probabilità di errore sarà trascurabile. Il difetto dello schema appena suggerito è però che la massima tensione necessaria è pari a 10 ( 10 1) = V, ossia, più di 10 kv... 8

9 Il punto è che sul canale Gaussiano possiamo trasmettere quanti bit per uso vogliamo, a patto di spendere abbastanza potenza. Si noti che nei casi analizzati in precedenza la potenza dell ingresso era automaticamente limitata dal fatto che l alfabeto di ingresso era finito. Nel caso di canale Gaussiano invece l alfabeto di ingresso è infinito e le potenze in gioco possono essere limitate. In un caso pratico non abbiamo a disposizione una quantità di potenza limitata P. Il nostro problema diventa quindi il problema di massimizzare (5) sotto il vincolo σx = P. Usando tale vincolo la (5) diventa I(X q ; Y q ) = h Y h E + 1 ( log 1 + P ) (6) Si osservi ora che l unico parametro su cui possiamo agire nella (6) è l entropia differenziale h Y dell uscita normalizzata. Si può dimostrare che h Y assume il suo valore massimo quando Y è Gaussiana. Poiché la somma di due variabili aleatorie Gaussiane indipendenti è ancora Gaussiana, è facile vedere che possiamo massimizzare l informazione mutua (6) scegliendo un ingresso Gaussiano. In tal caso si ha h Y = h E (poiché sia E che Y sono Gaussiane) e la (6) offre C = 1 ( log 1 + P ) (7) 9