Codifica di sorgente esercitazione su sorgenti markoviane 1 esempio di sorgente con memoria Esempio di sorgente con memoria markoviana a due stati NB: per la simmetria del sistema, i simboli sono equiprobabili p ab =0.1 p aa =0.9 "a" "b " p bb =0.9 p ba =0.1 2 1
esempi di sorgenti consideriamo tre semplici sorgenti binarie S1: sorgente binaria senza memoria a simboli equiprobabili p{x(k)=a}=p{x(k)=b}=0.5 S2: sorgente binaria senza memoria, con simboli NON equiprobabili p{x(k)=a}=0.1, p{x(k)=b}=0.9 S3: sorgente binaria CON memoria di tipo markoviano ad un passo p{x(k)=x(k-1)}=0.9, p{x(k) x(k-1)}=0.1 NB: per la simmetria del sistema, entrambi i simboli hanno la stessa frequenza : p{x(k)=a}=p{x(k)=b}=0.5 3 esempi di sorgenti binarie S1: senza memoria simboli equiproabili p{x(k)=a}=0.5 p{x(k)=b}=0.5 a b H(X)=1 S2: senza memoria p{x(k)=a}=0.1 p{x(k)=b}=0.9 a b H(X) 0.47 S3: markoviana ad 1 passo p{x(k)=x(k-1)}=0.9 p{x(k) x(k-1)}=0.1 a b H(X)=...? 4 2
Funzione di Autocorrelazione (ACF) S1: senza memoria simboli equiproabili p{x(k)=a}=0.5 p{x(k)=b}=0.5 S2: senza memoria p{x(k)=a}=0.9 p{x(k)=b}=0.1 S3: markoviana ad 1 passo p{x(k)=x(k-1)}=0.9 p{x(k) x(k-1)}=0.1 lag 5 Calcolo della Entropia della sorgente S2 Entropia della sorgente S1 (senza memoria, simboli equiprob.) Entropia della sorgente S2 (senza memoria) 6 3
Calcolo della Entropia della sorgente S3 Per sorgenti markoviane e stazionarie l'entropia di sorgente é uguale al limite dell entropia condizionata: H (X) = lim k H X k ( ( ) X( k 1), X( k 2),...X( 0) ) = [per sorgenti markoviane e stazionarie...] ( ( ) X( k 1) ) = H X k M M ( ) = P X(k) = x i, X(k 1) = x j i=1 j=1 H ( X) = H X k ( ( ) X( k 1) ) (NB: questa è l'entropia condizionata) 1 log P X(k) = x i X(k 1) = x j ( ) 7 Calcolo della Entropia della sorgente S3 sviluppando la definizione di entropia condizionata... ( ) = H X( k) X( k 1) H X M M ( ) = ( ) = P X(k) = x i,x(k 1) = x j i=1 j=1 1 log P X(k) = x i X(k 1) = x j ( ) prob. congiunta fattorizziamo... prob. condizionata (è nota dal modello markoviano) statistica del primo ordine, per la stazionaritá: 8 4
Entropia di simbolo e di sorgente In generale l entropia di sorgente è sempre minore o uguale all entropia di un generico simbolo ( ) H (X) H X L Entropia di sorgente si deriva dalla prob. condizionate ( ) H( X(k) X(k 1),...X(0) ) H (X) P X(k) X(k 1),...X(0) L Entropia di simbolo dalle prob. NON condizionate P( X(k) ) H( X(k) ) H(X) Le due quantità coincidono solo per sorgenti SENZA MEMORIA 9 Calcolo della Entropia della sorgente S3 nel caso specifico della sorgente S3 inoltre per la stazionarietá ( ) = 0.9 i = j P X(k) = x i X(k 1) = x j 0.1 i j per la simmetria del sistema di sorgente è evidente che i simboli sono equiprobabili (NB: come in S1) 10 5
Calcolo della Entropia della sorgente S3 tornando la definizione di entropia condizionata, possiamo espandere la doppia sommatoria... questa è proprio la formula della Entropia di S2!! non è una coincidenza... 11 Modelli delle sorgenti BMS p 0 /p 1 = Binary Memoryless Source with probabilities p 0,p 1 S1 S2 S3 BMS 0.5/0.5 BMS 0.9/0.1 BMS 0.9/0.1 componente stocastica 0/1 0/1 0/1 x(k) x(k) T + componente deterministica modello a stati di S3 p ab =0.9 p bb =0.1 x(k) "a " "b " p aa =0. 1 p ba =0.9 12 6
Esercizi su codifica di sorgente esercizi 13 ENTROPIA = Quantitá di INFORMAZIONE = Quantitá di INCERTEZZA 14 7
Esercizio 1 Si calcoli l entropia di una sorgente S1 di tipo DMS con M=3 simboli con le seguenti probabilitá: S1: p 1 =p 2 =0.2, p 3 =0.6 per tale sorgente si considerino le seguenti classi di codice I. codifica simbolo-a-simbolo con parole di codice a lunghezza costante II. codifica simbolo-a-simbolo con parole di codice a lunghezza variabili III. codifica a blocchi di dimensione L=2 con parole di codice a lunghezza costante IV. codifica a blocchi di dimensione L=2 con parole di codice a lunghezza variabile per ognuna di queste classi, si fornisca un esempio di codice ottimo, e se ne calcoli la efficienza e ridondanza Si assuma ora che i codici ottimi definiti per la sorgente S1 vengano usati per la codifica di un messaggio generato da una sorgente differente S2, con M=3 e probabilitá S2: p' 1 =0.7, p' 2 =0.2, p' 3 =0.1. Si calcoli il valore di efficienza e ridondanza di ciascun codice in questo nuovo scenario. 15 Esercizio 2 Si calcoli l entropia di una sorgente binaria S senza memoria simboli con le seguenti probabilitá: p a =0.9, p b =0.1. per tale sorgente si considerino le seguenti classi di codice I. codifica simbolo-a-simbolo con parole di codice a lunghezza costante II. codifica simbolo-a-simbolo con parole di codide a lunghezza variabile III. codifica a blocchi di dimensione L=2 con parole di codice a lunghezza costante IV. codifica a blocchi di dimensione L=2 con parole di codice a lunghezza variabile V. codifica a blocchi di dimensione L=3 con parole di codice a lunghezza variabile per ognuna di queste classi, si fornisca un esempio di codice ottimo, e se ne calcoli la efficienza e ridondanza. Si assuma di trasmettere la sequenza di simboli generata da S attraverso un link di collegamento a capacitá C=100 kbit/sec posto tra la sorgente S e un hard disk a capacitá B=10 6 bytes. Per ciascuna tecnica di codifica si dica: Quanti simboli posso memorizzare nell hard disk? Quanto tempo ci vuole per riempire l hard disk? 16 8
Esercizio 3 Si calcoli l entropia di una sorgente S1 di tipo DMS con M=6 simboli con le seguenti probabilitá: S1: p 1 =p 2 =0.2, p 3 =0.1, p 4 =p 5 =0.15, p 6 =0.3 per tale sorgente si considerino le seguenti classi di codice I. codifica simbolo-a-simbolo con parole di codice a lunghezza costante II. codifica simbolo-a-simbolo con parole di codide a lunghezza variabili per ognuna di queste classi, si fornisca un esempio di codice ottimo, e se ne calcoli la efficienza e ridondanza. avendo a disposizione un canale a capacitá C=256 kbps, quanto vale il ritmo massimo di simbolo che puó essere trasmesso sul canale, per ciascuna delle due tecniche di codifica? quanto varrebbe nel caso ideale di codifica a massima efficienza? Si assuma ora che i codici definiti per la sorgente S1 vengano usati per la codifica di un messaggio generato da una sorgente differente S2, in cui M=6 simboli sono tutti equiprobabili. Si calcoli il valore di efficienza e ridondanza per entrambi i codici. Quale è il ritmo massimo di simbolo che posso trasmettere in questo caso (codici ottimizzati per S1 applicati a S2) sul canale C? 17 Esercizi con i dadi 1/2 a. Si consideri una successione infinita di lanci di un dado standard. La variabile aleatoria X(k) rappresenta il risultato del lancio k-esimo. Si calcoli l entropia della v.a. X(k). Quale è la ridondanza della codifica simbolo-a-simbolo ottima della v.a. X(k)? Quanto è il guadagno di efficienza di una codifica di Huffman rispetto ad una codifica a parole di codice di lunghezza costante? b. Si consideri una successione infinita di lanci di una coppia di dadi. Ad ogni lancio k- esimo vengono registrati i risultati di entrambi i dadi (R1,R2). (NB: entrambi i dadi vengono lanciati insieme in un singolo lancio). I dadi sono distinguibili (es. sono di colore diverso), per cui occorre il risultato (R1=3,R2=4) viene distinto dal risultato (R1=4,R2=3). La variabile aleatoria Y(k) deve codificare il risultato di ciascun lancio (di coppia di dadi). a. Si calcoli l entropia della v.a. Y(k). b. Quale è la ridondanza della codifica simbolo-a-simbolo ottima della v.a. Y(k)? c. Quanto è il guadagno di efficienza di una codifica di Huffman rispetto ad una codifica a parole di codice di lunghezza costante? 18 9
Esercizi con i dadi 2/2 c. Si consideri uno scenario simile a quello dell esercizio precedente, con la differenza che in questo caso i due dadi si considerano indistinguibili (es. stesso colore). Quindi i risultati (R1=3,R2=4) e (R2=4,R1=2) sono considerati equivalenti e sono codificati nello stesso simbolo. La variabile aleatoria W(k) deve codificare il risultato di ciascun lancio in questo nuovo scenario. a. Si calcoli l entropia della v.a. W(k). b. Quale è la ridondanza della codifica simbolo-a-simbolo ottima della v.a. W(k)? d. Si consideri lo stesso scenario dell esercizio precedente. La variabile aleatoria Z(k) rappresenta la somma dei punti dei due dadi. a. Si calcoli l entropia della v.a. Z(k). b. Quale è la ridondanza della codifica simbolo-a-simbolo ottima della v.a. Z(k)? e. Si consideri lo stesso scenario dell esercizio precedente. La variabile aleatoria binaria D(k) rappresenta la paritá dei punti ottenuti nel lancio dei due dadi ( D(k)=1 se Z(k) è pari, D(k)=0 se Z(k) è dispari). a. Si calcoli l entropia della v.a. D(k). b. Quale è la ridondanza della codifica simbolo-a-simbolo ottima della v.a. D(k)? 19 note sull esercizio si noti che H(X) = log 2 (6)=2.585 H(Y)=2*H(X)=5.17 H(W)=4.33 H(Z)=3.27 perchè H(D)<H(Z)<H(W)<H(Y)...? si poteva prevederlo intuitivamente? da questo esercizio impariamo che passando da Y a W a Z stiamo aggregando i risultati possibili in alfabeti di dimensione sempre minore perdo la capacitá di discriminare tra eventi diversi stiamo quindi passando verso variabili che contengono una minore quantitá informazione, le quali descrivono in maniera meno accurata l esito degli esperimenti quindi perdo "informazione", l entropia media diminiuisce 20 10
Esercizio 4 (es. 3.10 dal libro) Si considera un modulo di visualizzazione costituito da una griglia di 6x4 pixel, sul quale possono essere visualizzate le dieci cifre decimali "0","1"..."9" a titolo di esempio sono riportate sotto le configurazioni per le cifre "0", "4" e "9" si calcoli la ridondanza di questo codice, nell ipotesi che tutte le cifre siano equiprobabili. si ha un tabellone costituito da 9 moduli del tipo illustrato sopra, e si aggiorna l intero tabellone con una nuovo insieme di cifre ogni periodo T. Per ogni aggiornamento, i simboli inviati sono indipendenti tra loro e dai simboli precedenti. Il canale di comunicazione verso il tabellone è di C b =10 bit/sec. Quale è il valore massimo teorico della frequenza di aggiornamento F=1/T, nell ipotesi di codifica a ridondanza nulla? 21 Esercizio 5 Si consideri la seguente sequenza di N=30 simboli generata dalla sorgente S... A B A A A B C A B B A B A C A A B B A A A B A B A A A B A... si assuma che tale sequenza sia una realizzazione di un processo discreto ergodico a simboli indipendenti (senza memoria), per il quale è possibile stimare le probabilitá di simbolo dalle frequenze medie temporali si fornisca un codice ottimo di codifica simbolo-a-simbolo si assuma poi di ottenere dalla stessa sorgente S un messaggio di dimensione N'=10 4 simboli, e si indichi con B il numero di bit (cifre binarie) necessarie per codificare tale messaggio. Calcolare il valore atteso di B. 22 11
Esercizio 6 pseudo-testo Un testo si compone di una sequenza di caratteri, ciascuno estratto da un alfabeto di 22 simboli (21 lettere + il carattere di spaziatura "<spazio>"). Si assuma che i caratteri siano tra loro statisticamente indipendenti. Ciascun simbolo è codificato con una stringa di 8 bit. Calcolare l entropia di questa sorgente, e la ridondanza del codice descritto nella traccia. Si consideri ora il caso in cui il testo sia costituito da parole di lunghezza costante W=6 lettere, separate dal carattere "<spazio>. Ogni parola è costituita da una alternanza di consonanti e vocali e comincia con una consonante (es. PILONE). Tutte le vocali (5) si suppongono equiprobabili nelle posizioni 2,4,6 in ciascuna parola. Analogamente, le consonanti (16) si suppongono equiprobabili nelle posizioni 1,3,5. Ciascun simbolo (compreso lo <spazio> ) è codificato con una stringa di 8 bit. Calcolare l entropia di questa sorgente, e la ridondanza del codice descritto nella traccia. [da questo esercizio impariamo che introdurre "struttura" (= vincoli) nel messaggio significa diminuire la quantitá di incertezza media della sorgente diminuisce l informazione necessaria a descrivere una realizzazione diminiuisce l entropia. Quindi a paritá di codice, introduco ridondanza] 23 Esercizio 7 sorgente composta (1/2) Si consideri la sorgente discreta S III mostrata in figura, che genera una sequenza di simboli {X(k)} costituita alternativamente da simboli generati dalla sottosorgente S I (per k pari) e S II (per k dispari). Lo switch di figura è quindi di tipo deterministico (round robin) Le sottosorgenti S I e S II sono binarie, senza memoria e sono tra loro statisticamente indipendenti. La sottosorgente S I genera i simboli {a,b} con probabilitá p a =1-p b =0.8. La sotto sorgente S II genera simboli {g,h} con probabilitá p g =1-p h =0.4. Il ritmo di emissione della sorgente S III è di R s =400 simboli/secondo. La sequenza {X(k)} è con o senza memoria? È stazionaria oppure no? Giustificare le risposte. S III S I S II a,b g,h switch...a,g,a,h,b,g,a,h,a,h,b,g,a,h,a,g... {X(k)} 24 12
Esercizio 7 sorgente composta (2/2) Si vuole ora codificare la sequenza {X(k)} generata da S III a blocchi di L=2 caratteri, mappando ciascun blocco nel simbolo di un nuovo alfabeto a M Y caratteri (es. {1,2,...M Y }). Si ottiene in questo modo la nuova sequenza {Y(k)}. La sequenza {Y(k)} è con o senza memoria? È stazionaria oppure no? Quanto vale M Y? Quale è l entropia della sequenza {Y(k)}? Si codifichi la sequenza {Y(k)} con un codice di Huffmann, e si fornisca il valore di efficienza di questa codifica. Si ha a disposizione uno spazio di memoria pari a B=10 6 bytes nel quale memorizzare l informazione generata dalla sorgente S III, codificata con la modalitá appena indicata. Calcolare il tempo di riempimento della memoria B. S I S II S III a,b switch g,h...a,g,a,h,b,g,a,h,a,h,b,g,a,h,b,h... {X(k)} aggregatore (a,g)1 (a,h)2......1,2,3,2,2,3,2,4... {Y(k)} 25 Esercizio 7bis Ripetere l esercizio precedente (esercizio 7) in tutte le sue parti, assumendo che lo switch interno alla sorgente S III sia di tipo stocastico (anziché deterministico), ovvero la selezione ad ogni passo della sottosorgente (S I e S II ) avviene in modo casuale, indipendente dalle selezioni precedenti, ed equiprobabile tra le due opzioni. Si risponda a tutte le domande dell esercizio precedente. [NB: Attenzione all aggregatore! Posso usare quello dell esercizio precedente? Perchè?) Si confrontino i due sistemi con switch deterministico e statistico: quali quantitá sono cambiate? Perchè? S I S II a,b switch random g,h S III...a,g,a,b,h,g,g,h,a,b,a,g,a,a,b,h... {X'(k)} aggregatore...1,2,5,... {Y'(k)} 26 13
note sull esercizio si nota che H(Y')=H(Y)+2 perchè? si poteva prevederlo intuitivamente? [da questo esercizio impariamo che introdurre "casualitá" (= randomizzazione) nella sorgente significa aumentare la quantitá di incertezza aumenta l informazione necessaria a descrivere una realizzazione aumenta l entropia.] 27 Un esempio (non cosi) strano Esempio di sorgente X(k) con memoria avente: entropia di simbolo H(X) = log 2 M (massima possibile) entropia di sorgente H (X)=0 (minima possibile) Si considera un sistema in cui M soggetti competono per ottenere dei gettoni che vengono assegnati con periodo T. Indichiamo con p i (k) (i=1,..m) la probabilità che il gettone k- esimo venga assegnato al soggetto i. la v.a. X(k) indica il soggetto che acquisisce il gettone k-esimo inoltre indichiamo con δ i (k) la variabile indicatore δ i (k) = 1 se X(k)=i δ i (k) = 0 se X(k) i 28 14
Un esempio (non cosi) strano Inizialmente tutti i soggetti hanno pari prob. di assegnazione, ovvero p i (0) = 1/M Ad ogni passo le prob. di assegnazione variano dinamicamente, in modo da favorire chi ha accumulato più gettoni p i (k) = (p i (k-1) + a*δ i (k-1) ) / costante. dove 0<a<1 è un parametro di sistema e al denominatore è presente una costante di rinormalizzazione che assicura la condizione Σ i p i (k)=1 In altre parole, il sistema è governato da un meccanismo di assegnazione preferenziale (preferential assignment): la prob. di assegnazione dei gettoni futuri aumenta con la quantità di gettoni già accumulati 29 Un esempio (non cosi) strano Si può facilmente dimostrare che al limite per T emergera un unico soggetto prevalente (monopolista), che da un certo punto in poi sara cosi ricco da assicurarsi con certezza l assegnazione di tutti i gettoni successivi. Ovvero la pmf degenera in una distribuzione deterministica, e quindi H (X)=0. Ma non è possibile prevedere a priori quale soggetto diventera prevalente, in altre parole : tutti i soggetti hanno la stessa probabilità di diventare prevalenti. ovvero le prob. non condizionate restano stazionarie: p i (k) = 1/M, quindi H(X) = log 2 M 30 15
Un esempio (non cosi) strano esempi di realizzazioni M=4, a=0.15 31 per chiarimenti: fabio.ricciato@unisalento.it 32 16