CODIFICA DI SORGENTE. Schematizzazione generale sistema di comunicazione

Transcript

1 CODIFICA DI SORGENTE Informazione associata a sorgenti digitali, entropia Codifica di sorgenti senza memoria Codifica di sorgenti con memoria CODIFICA DI SORGENTE Schematizzazione generale sistema di comunicazione Sorgente (numerica) Sistema di trasmissione Utilizzatore s(k), k=, Viene emesso un simbolo ogni T secondi s(k) con k=,... Simboli numerici trasmessi negli istanti kt; M=2 N Dimensione alfabeto dei simboli, ognuno rappresentato con N bit; S={s,, s M } Insieme dei possibili simboli. I simboli possono rappresentare: Un testo scritto, sequenza di simboli/codici rappresentanti le lettere (cod. ASCII a 7 od 8 bit); Un segnale campionato, sequenza codici assegnati ai campioni; Informazioni numeriche, ad esempio il saldo di conti correnti; Una sequenza di bit; Ecc... 2 CODIFICA DI SORGENTE

2 Informazione associata ai simboli Sorgente senza memoria: probabilità di di emissione dei dei simboli indipendente dalla storia passata. Parametri statistici che descrivono sorgente: probabilità di di emissione dei dei simboli: p(s p(s ), ), p(s p(s 22 ), ),.., p(s p(s M ); ); M 0 p(s ) ; p(s ) = i i. i= Informazione associata a ciascun simbolo: I( si ) = lg2 p( si ) I( s ) 0; i I( s ) = 0 i I( s k se ) > I( s ) i p( s ) = ; se i si p( s k misura ) < p( s ). i in bit. 3 CODIFICA DI SORGENTE Informazione media di una sorgente, entropia Il Il valor medio dell informazione tra tra tutti i i simboli della sorgente S (valo medio pesata dalla probabilità di di emissione): H S [ I s )] = p( s ) = E i Questa quantità viene detta Entropia. p M ( i lg2 i= i ( s ) L Entropia fornisce una misura del del contenuto medio di di informazione associato ad ad ognuno dei dei simboli emessi dalla sorgente. Anche l Entropia, naturalmente, è misurata in in bit. 4 CODIFICA DI SORGENTE

3 Entropia: Sorgente binaria H S S = { s, s } p( s 2 2 ) = p( s ) p(s ) L Entropia è massima se se tutti i i simboli sono equiprobabili (risultato generale indipendente dalla dimensione alfabeto) 5 CODIFICA DI SORGENTE Concetto di Ridondanza R H = H max H :: Entropia sorgente H max : max : Entropia massima (sorgente senza memoria e simboli equiprobabili) = = lg lg 22 (M) con con M dimensione alfabeto. Per un un testo scritto H max max = 7 bit, H 2 bit bit => R=0.7 Un Un testo è quindi estremamente ridondante. Si Si comprende anche se se manca una parte significativa dei dei caratteri che lo lo compongono. 6 CODIFICA DI SORGENTE

4 Codifica di sorgente E la rappresentazione efficiente dei dati generati da una sorgente discreta S. S s(k) Codifica b(k) La La sequenza b(k) e e binaria (le (le parole di di codice sono binarie). Il Il codice di di sorgente e e decodificabile in in maniera univoca [la [la sequenza di di dati originari s(k) puo essere ricostruita perfettamente dalla sequenza codificata b(k)] 7 CODIFICA DI SORGENTE Codici a lunghezza variabile Simboli Probabilità Emisssione Codice (Lunghezza Fissa) Codice Lunghezza Variabile s 0, s 2 0, s 3 0,5 0 0 s 4 0,0 Definiamo la lunghezza media di parola di codice L = M i= p( s i ) l i dove l i e la lunghezza della parola di codice associata al simbolo s i. Nell esempio L = * * * *0. =.55 bit < 2 bit = var L fissa 8 CODIFICA DI SORGENTE

5 Efficienza del codice L min e il minimo valore possibile di L Definiamo l efficienza del codice del codificatore Lmin η = L Quanto vale L min? Teorema della codifica di di sorgente Per qualsiasi schema di di codifica, la la lunghezza media delle parole del del codice e e limitata inferiormente dall entropia della sorgente L H S 9 CODIFICA DI SORGENTE Ulteriore significato dell Entropia L Entropia (espressa in in bit) rappresenta il il minimo numero medio di di cifre binarie necessarie a codificare ciascun simbolo della sorgente. Si Si puo riscrivere l efficienza del del codice come η = H S L 0 CODIFICA DI SORGENTE

6 Tecnica di Huffman per la costruzione Codici a Lunghezza Variabile () Assegna ad ogni simbolo una sequenza di bit, la cui lunghezza e praticamente uguale alla quantita di informazione che il simbolo trasporta... I I simboli della della sorgente vengono ordinati secondo probabilita decrescente Si Si genera una una nuova lista lista di di simboli da da codificare, sostituendo agli agli ultimi due due simboli (con (con prob. prob. piu piu bassa), precedentemente identificati, un un nuovo simbolo di di sorgente, con con probabilita uguale alla alla somma delle delle probabilita. Si Si associano i i bit bit 0 0 e ai ai simboli eliminati Si Si ripete il il passo (), (), applicato alla alla nuova lista, lista, in in modo iterativo, finche ci ci si si riduce ad ad una una lista lista con con solo solo due due simboli, a cui cui si si associano i i bit bit 0 0 e La La parola di di codice da da assegnare ad ad ogni ogni simbolo originario si si ottiene seguendo a ritroso il il percorso di di assegnazione dei dei bit, bit, fino fino al al simbolo originario. CODIFICA DI SORGENTE Tecnica di Huffman per la costruzione Codici a Lunghezza Variabile (2) lista Probabilita lista2 lista3 lista4 Codifica s0 s s2 s3 s CODIFICA DI SORGENTE

7 Codifica Universale Quando le le probabilità dei dei simboli non sono note, o cambiano nel nel tempo, è possibile realizzare sistemi che estraggano tali informazioni direttamente dai dai simboli originari. Simboli originari Codif Decod Simboli ricostruiti Modell Modell 3 CODIFICA DI SORGENTE Run Length Encoding (RLE) La sequenza di N campioni uguali (run) viene sostituita (encoding) dal numero di occorrenze del valore (length) ed il valore. R T A A A A S D E E E E E R T *4A S D *5E RLE L'inizio di un blocco codificato deve essere identificabile: in questo esempio si usa il carattere * per indicare che seguono due valori in codifica run-length. 4 CODIFICA DI SORGENTE

8 Codifica aritmetica () A R I T H M E T I C Simbolo Prob. -P log2(p) range A C E H I M R T TOTALE A Sequenza da codificare (comprimere) Ad ogni simbolo si assegna una porzione dell'intervallo [0,] proporzionale alla probabilita' del simbolo. C E H I M R T Entropia (nr.bit medi per campione ottimi) 5 CODIFICA DI SORGENTE Per ogni simbolo in ingresso, partendo dall'intervallo [0,], si delimita un sottointervallo in base al range assegnato al simbolo. L'estremo inferiore dell'intervallo finale (numero <) rappresenta la codifica della sequenza di ingresso Codifica aritmetica (2) A C E H I M R T R I T H M E T I C CODIFICA DI SORGENTE

9 Codifica aritmetica (3) A A R I T H M E T I C C E H I M R T Simbolo inf sup sup-inf 0... A R I T H M E T I C inf=0 sup= while ci sono simboli prendi un simbolo Range = sup - inf sup = inf + Range * range.sup(simbolo) inf = inf + Range * range.inf(simbolo) end while output inf CODIFICA DI SORGENTE Sorgenti con memoria Quando le le probabilità dei dei simboli dell alfabeto dipendono, per ogni intervallo di di emissione, dalla storia passata (simboli emessi precedentemente) si si parla di di Sorgenti con Memoria. Buona parte delle informazioni trattate nei nei sistemi di di comunicazione possono essere viste come generate da da sorgenti con memoria. Un Un testo scritto può essere preso come esempio classico: Scorrendo il il testo, la la probabilità di di incontrare una particolare lettera dipende fortemente dalla sequenza dei dei precedenti caratteri. Per una codifica efficiente di di queste sorgenti devono essere impiegate tecniche opportune. Fra le le più note vi vi sono quelle basate sull uso di di dizionari. 8 CODIFICA DI SORGENTE

10 Tecniche di codifica basate su dizionario L idea base è quella di rappresentare stringhe di simboli elementari ( parole ) con un indice che le identifica in un vocabolario noto sia al codificatore che al decodificatore. Vocabolario Buffer caratteri già codificati Buffer caratteri da codificare L a n o s t r a p a n d a s t r a r i p a Viene ricercata la stringa comune più lunga fra inizio buffer di codifica e vocabolario. Dati codificati: Match, Inizio Stringa in Vocabolario, Lunghezza Stringa, Carattere Innovazione /0 ( bit) H bit (nell esempio H=4) L bit (es. L=3) N bit (es. N=7) Evita deadlock per Match=0 9 CODIFICA DI SORGENTE Tecniche di codifica basate su dizionario L idea base è quella di rappresentare stringhe di simboli elementari ( parole ) con un indice che le identifica in un vocabolario noto sia al codificatore che al decodificatore. Vocabolario Buffer caratteri già codificati Buffer caratteri da codificare L a n o s t r a p a n d a s t r a r i p a Viene ricercata la stringa comune più lunga fra inizio buffer di codifica e vocabolario. Dati codificati: Match, Inizio Stringa in Vocabolario, Lunghezza Stringa, Carattere Innovazione CODIFICA DI SORGENTE

11 Tecniche di codifica basate su dizionario L idea base è quella di rappresentare stringhe di simboli elementari ( parole ) con un indice che le identifica in un vocabolario noto sia al codificatore che al decodificatore. Vocabolario Buffer caratteri già codificati Buffer caratteri da codificare o s t r a p a n d a s t r a r i p a v a d Viene ricercata la stringa comune più lunga fra inizio buffer di codifica e vocabolario. Dati codificati: Match, Inizio Stringa in Vocabolario, Lunghezza Stringa, Carattere Innovazione CODIFICA DI SORGENTE Tecniche di codifica basate su dizionario L idea base è quella di rappresentare stringhe di simboli elementari ( parole ) con un indice che le identifica in un vocabolario noto sia al codificatore che al decodificatore. Vocabolario Buffer caratteri già codificati Buffer caratteri da codificare s t r a p a n d a s t r a r i p a v a d i Viene ricercata la stringa comune più lunga fra inizio buffer di codifica e vocabolario. Dati codificati: Match, Inizio Stringa in Vocabolario, Lunghezza Stringa, Carattere Innovazione i 22 CODIFICA DI SORGENTE

12 Tecniche di codifica basate su dizionario L idea base è quella di rappresentare stringhe di simboli elementari ( parole ) con un indice che le identifica in un vocabolario noto sia al codificatore che al decodificatore. Vocabolario Buffer caratteri già codificati Buffer caratteri da codificare t r a p a n d a s t r a r i p a v a d i Viene ricercata la stringa comune più lunga fra inizio buffer di codifica e vocabolario. Dati codificati: Match, Inizio Stringa in Vocabolario, Lunghezza Stringa, Carattere Innovazione i CODIFICA DI SORGENTE Decodifica basata su dizionario Dati codificati ricevuti: Match, Inizio Stringa in Vocabolario, Lunghezza Stringa, Carattere Innovazione 6 4 Vocabolario Buffer caratteri già decodificati Buffer nuovi caratteri L a n o s t r a p a n d a s t r a CODIFICA DI SORGENTE

13 Tecniche di codifica basate su dizionario (efficienza) Nell esempio illustrato Per 8 caratteri, codificabili con 7 bit ciascuno senza codifica di sorgente (8*7=56 bit), si utilizzano un totale di 32 bit codificati (8*4=32 bit). L efficienza di di codifica aumenta di di molto incrementando la la dimensione dei dei buffer e utilizzando strutture dati molto simili a veri e propri dizionari. Queste tecniche sono ampiamente utilizzate sia sia nelle comunicazioni sia sia per la la compressione di di dati memorizzati su su supporti di di massa. Si Si possono ottenere percentuali di di compressione anche del del 55% per testi scritti,, rispetto a percentuali di di compressione di di circa il il 43% ottenibile con il il codice di di Huffmann. 25 CODIFICA DI SORGENTE Codifica PCM differenziale Mentre nella codifica PCM è quantizzato il valore in ingresso all istante n (ed è trasmesso il codice corrispondente), nella codifica differenziale (DPCM: Differential PCM) è quantizzata la differenza e(n) tra il segnale d ingresso all istante n e una sua predizione al medesimo istante. Si puo rendere il predittore adattativo (ADPCM: Adaptive DPCM). s(n) + - e(n) Quantizzatore e q (n) e q (n) + + ŝ(n) ~ s ( n ) Predittore + + Predittore Ricevitore Trasmettitore Per evitare il degradarsi del segnale ricostruito, periodicamente viene inviato un campione del segnale originario. Bit rate 6-32 kbits/s. e(n) quantizzato con 4 bit. 26 CODIFICA DI SORGENTE

14 Modulazione Delta E un caso particolare di DPCM. Viene codificata la differenza tra un campione ed il succesivo con un solo bit, che indica se il valore successivo del segnale va incrementato o decrementato (di una quantita prefissata) rispetto al valore corrente. Problemi: granularita (il minimo passo e finito), inseguimento (esiste un limite alla massima pendenza che puo essere ricostruita). pb. inseguimento pb. granularita Esempio: passo fisso=0.07 Si puo fare passo adattativo (ADM: Adaptive Delta Modulation). ADM passo 0.09 passo 0.03 Esempio: due passi diversi 0.03 e CODIFICA DI SORGENTE Tecniche di codifica di sorgente con perdita In molte situazioni, per la trasmissione o memorizzazione digitale di suoni, immagini (fisse od in movimento) vi sono stringenti necessità di comprimere i dati numerici anche a costo di introdurre degradazioni sui segnali ricostruiti. Per queste applicazioni sono state messe a punto Tecniche di Codifica di Sorgente con Perdita (Lossy) che cercano di sfruttare al meglio le limitate capacità percettive dei nostri sensi. Esempi di queste tecniche sono, per le immagini, le tecniche note con le sigle JPEG, MPEG, MPEG2, MPEG4, H26, H263. Per i segnali audio di qualità (segnali musicali) una delle tecniche più note e quella che va sotto il nome MPEG Audio Level 3 (comunemente indicata come MP3). A questo proposito si può ricordare come un segnale audio stereo semplicemente campionato e quantizzato richieda 2*48000*6.5 Mbit/sec. La compressione MP3 permette di rappresentare lo stesso segnale (introducendo solo minime degradazioni) con soli Kbit/sec. Per maggiori dettagli vedere 28 CODIFICA DI SORGENTE