Compressione dell Informazione (Parte I) Marco Gori

Transcript

1 ompressione di testo Marco Gori, Università di Siena 1 Compressione dell Informazione (Parte I) Fondamenti e Richiami di Teoria dell Informazione Marco Gori marco@dii.unisi.it

2 ompressione di testo Marco Gori, Università di Siena 2 Obiettivi Compressione di testo, rispondere a domande tipo con quanti bit si codifica un ffl normale testo in lingua italiana? programmi come compress, gzip,... ffl Compressione voce e immagini, formati mp2, mp3, jpeg,... ffl La grande utilità per la memorizzazione degli indici nell information retrieval ffl Ma prima, vorrei parlarvi di Odino e la Città Contesa!

3 ompressione di testo Marco Gori, Università di Siena 3 Odino e la Città Contesa Per capire bene le tecniche di compressione... qualche utile digressione... ffl La città contesa a dadi ffl Odino ( santo o scienziato?

4 ompressione di testo Marco Gori, Università di Siena 4 Esistono i Numeri Casuali? Potrebbe anche essere che si ignora la legge di generazione, ma la legge potrebbe esistere... ed essere (temporaneamente) ignorata! Adesso vi dimostro che i numeri casuali sono solo apparentemente tali,... dunque pseudo-casuali!... e che, forse, ODINO è solo uno scienziato!

5 ompressione di testo Marco Gori, Università di Siena 5 Una Legge di Generazione x k+1 := (ax k + c) mod m Teorema 1 Il periodo della sequenza fx k g è m se e solo se 1. c è relativamente primo rispetto a m 2. a mod p = 1 per ogni fattore primo p di m 3. a mod 4 = 1 se 4 è un fattore di m Esempio 1 x o := 1;m := 8;c := 7;a := 5 k g 7 k=0 = f1; 4; 3; 6; 5; 0; 7; 2g fx quindi,..., il x CICLO: = 8 1. Prova m = 16;c = 13;a = 11 con...

6 = X I(S) s2s ompressione di testo Marco Gori, Università di Siena 6 Casualità e Informazione Claude Shannon, 1948 Dunque, se Odino è uno scienziato, l informazione delle sorgenti è ZERO Forse, almeno per adesso, dobbiamo assumere che Odino è un Santo! Misura dell informazione p(s)logp(s) Sia n := jsj. Per simboli equiprobabili 8s : p(s) = 1 n e quindi I(S) = log n

7 =X L s2s ompressione di testo Marco Gori, Università di Siena 7 Codici Compatti Come si codifica in modo compatto? Se tutti i codici sono equiprobabili (massima entropia) solo Odino ci può aiutare! L unica codifica possibile corrisponde all ordinaria numerazione binaria. Altrimenti si usano ffl codici brevi per simboli molto frequenti ffl codici lunghi per simboli molto rari Diventa importante minimizzare p(s)`(s)

8 nx s=1 nx s=1 s=1 2 `(s)» L + logψ nx I(S) s=1 p(s)log 1 2 `(s)! ompressione di testo Marco Gori, Università di Siena 8 Quanto posso compattare? Considera q 1 ;:::;q n q Pn 0; s=1 q(s) = s 1. Siha j I(S) = 1 p(s)log» p(s) Scegliamo: q(s) e quindi q(s) = Pn2 `(s)

9 ompressione di testo Marco Gori, Università di Siena 9 Diseguaglianza di Kraft Definizione 1 Codifici istantanei: Non ci sono codici nel prefisso di altri codici. I codici istantanei si rappresentano naturalmente mediante TRIE Teorema 2 Condizione necessaria e sufficiente per i CODICI ISTANTANEI è che 2 `(s)» 1 s2s X Esempio 2 Per simboli equiprobabili 8s : `(s) = log n e si ha dunque l uguaglianza

10 X» s2s 2 dlog(1=p(s))e 2 log(1=p(s)) ompressione di testo Marco Gori, Università di Siena 10 Ci sono Codici Istantanei con l(s) = dlog(1=p(s)e) Considera un codice con lunghezza l(s) = dlog(1=p(s)e). Si verifica che è un CODICE ISTANTANEO. Infatti s2s X l(s) = X 2 s2s p(s) X = s2s = 1

11 » L + logψ nx I(S) s=1 2 `(s)! ompressione di testo Marco Gori, Università di Siena 11 Teorema di Shannon Lower Bound Lunghezza Media Codici L Teorema 3 Per codici istantanei I(S)» L Dunque: Non si possono creare codici con lunghezza minore dell entropia

12 = X L s2s X = p(s)dlog(1=p(s)e s2s 1 +X» s2s ompressione di testo Marco Gori, Università di Siena 12 Upper Bound per L p(s)l(s) p(s)log(1=p(s)) = 1 + I(S) Teorema 4 Per codici con l(s) = dlog(1=p(s)e) L» 1 + I(S) Pertanto I(S)» L» 1 + I(S)

13 ompressione di testo Marco Gori, Università di Siena 13 Modelli per Compressione Modello informazione Codificatore informazione compressa Decodificatore informazione L efficienza della compressione dipende in modo fondamentale dal MODELLO! Ovviamente si vorrebbe raggiungere lo scienziato (dio) Odino!

14 ompressione di testo Marco Gori, Università di Siena 14 Un Esempio di Modello b (1/2) a (1/2) 1 2 b (1/100) a (99/100) Ad ogni simbolo corrisponde la probabilità di emissione nello stato: Dallo stato 1 sono equiprobabili, da 2 viene quasi sempre il simbolo a ffl Modelli statici ffl Modelli adattivi

15 ompressione di testo Marco Gori, Università di Siena 15 Codifica di Huffman Un esercizio in classe... Proc. of the IRE, v40, pp , Pochi bit, codici molto frequenti, tanti bit codifici rari. Simbolo Codice log p dlog pe Probabilità a b c d e f g I(S) = 2:5464;L = 2:6 - siamo vicini all ottimo!

16 ompressione di testo Marco Gori, Università di Siena 16 L Albero di Huffman a b c d e f g Nota che ho 2 n 1 possibili scelta per il codifce di Huffman!

17 ompressione di testo Marco Gori, Università di Siena 17 Codifica di Huffman: Formalizzazione Come si codifica (costruzione dell albero) 1. T! f(s 1 ;p 1 );:::;(s n ;p n )g 2. Ripeti n 1 volte (a) Scegli ogni coppia (s i ;s j ) con la proprietà 8h; k 6= i; j j p i + p j» p h + p k (b) Sostituisci (s i ;p i ); (s j ;p j ) con (fs i ;s j g;p i + p j ) 3. `i ψ jp(r;s i )j (lunghezza cammino dalla radice) Il passo 3 restituisce la lungezza `i del codice i; la rappresentazione del cammino P(r;s i ) dalla radice r al simbolo restituisce il codice.

18 ompressione di testo Marco Gori, Università di Siena 18 Codifica di Huffman: Complessità Approccio naive 1. Operazione dominante: O(n) operare volte la scelta delle (s coppie ;s j ) i con la proprietà 2. Ogni scelta sull insieme T k costa O(k 2 ) 8h; k 6= i; j j p i + p j» p h + p k. 3. Il costo complessivo per n 1 le iterate O(n risulta ) 3 Si può fare di meglio? Ovviamente si!

19 ompressione di testo Marco Gori, Università di Siena 19 Il limite Inferiore O(n) Si può raggiungere O(n) come complessità temporale (vedi schema) A a, 6 b, 5 c, 4 d, 2 e, 1 a, 6 b, 5 B c4, 3 d, 2 e, 1 c4, d, 2 e, 1 C D E a, 6 b, 5 3 a, 11 6 b, 5 c4, 7 3 d, 2 e, 1 a, 11 6 b, c4, a b c d e d, 2 e, 1

20 ompressione di testo Marco Gori, Università di Siena 20 Bounds O(n log n) Ragionevole bound: Infatti ho il problema di piazzare l heap in posizione ordinata nella lista... Dettagli nelle esercitazioni

21 ompressione di testo Marco Gori, Università di Siena 21 Come di decodifica? L albero di Huffman contiene tutte le informazioni necessarie... ma si deve ffl memorizzare e si accede ai codici dalle foglie Nessun problema per vocabolari con pochi simboli... ma se mi baso su parole ffl allora l accesso ai codici può creare seri problemi di efficienza. Ma serve davvero avere codici con buchi come quelli creati dall algoritmo di ffl Huffman? Idea: Prendi dello schema di Huffman il calcolo della lunghezza ` i dei codici e costruisci gruppi di ordinari codici binari con quella determinata lunghezza. Poi aggiusta il problema del prefisso

22 ompressione di testo Marco Gori, Università di Siena 22 Codifici Canonici di Huffman Simbolo Frequenza Relativa Codice 1 Codice Canonico a b c d e f Codice1: un ordinaria codifica di Huffman 2. Codice canonico: ho due gruppi di lunghezze: 3 e 2. Uso codici binari e calcolo un offset per eliminare prefissi.

23 ompressione di testo Marco Gori, Università di Siena 23 L ottimalità del Codice di Huffman Il codice di Huffman è un codice prefix-free ottimo! Discuteremo meglio questo punto la prossima lezione Per adesso, considera il caso in cui le probabilità del tipo 2 k... In questo caso è facile calcolare le lunghezze del codice di Huffman (esercizio)

24 ompressione di testo Marco Gori, Università di Siena 24 Riferimenti per la lezione I.H. Witten, A. Moffat, T.C. Bell, Managing Gigabytes, Morgan Kaufmann, 1999 ffl (chapt. 2, text compression) pp ci sono le idee di base su informazione e compressione e l agoritmo di Hufmann Per i complementi su strutture dati e algoritmi ffl C. Batini et al, Fondamenti di Programmazione dei Calcolatori Elettronici, Franco Angeli Editore, 1990 Si trovano i concetti fondamentali su algoritmi e strutture dati. Per chi vuolo approfondire la gestione di tabelle ffl Fabrizio Luccio, Strutture, Linguaggi, Sintassi Boringhieri, 1978, pp Contiene una chiara presentazione introduttiva sulle tabelle con particolare riferimento alle tecniche hash

25 ompressione di testo Marco Gori, Università di Siena 25 Per chi vule approfondire... D.Knuth, Seminumerical Algorithms, vo. 2 pp descrive il metodo ffl congruenziale per la generazione dei numeri casuali con molti dettagli tecnici. Contiene il teorema per la produzione di cicli di dimensione massima. Un classico per chi vuole il punto di partenza ffl C.E. Shannon and W. Weaver, The mathematical theory of communication, Univ. of Illinois Press, 1949 (esistono versioni italiane ad esempio pubblicate da Etas Kompass) Diseguaglianza di Kraft: dettagli ulteriori e dimostrazione del teorema a ffl Un miniera di riferimenti validi anche per altri algoritmi di compressione testo ffl (