Compressione dei dati Appunti di Sistemi A cura del prof. Ing. Mario Catalano
Compressione di dati Cosa significa comprimere i dati? Eliminare l'informazione ridondante, in modo da poter rappresentare lo stesso documento con un minor numero di bytes.
Vantaggi e svantaggi della compressione dei dati Risparmio della spazio quando si memorizzano i file; Risparmio di tempo all invio del file. Tempo impiegato per comprimere e decomprimere un file; il file compresso non è usabile direttamente, per usarlo si deve decomprimere; il file compresso è più fragile. Alcuni errori di trasmissione possono alterarne il contenuto.
Formati di file compressi (i più conosciuti) Zip Rar 7Z Jar Ace Arj ISO (per immagini di CD o DVD)
Tecniche di compressione Si dividono in due categorie: Compressione dati lossy (con perdita di informazione); Compressione dati lossless (senza perdita di informazione). Osservazione: La percentuale di compressione ottenibile dipende: 1. dall algoritmo utilizzato 2. dalla propensione dei dati a essere compressi università ca'foscari di Venezia - corso di sistemi di elaborazione delle informazioni
Comprimere un testo (loseless) Nei computer i caratteri vengono codificati usando il codice ASCII "American Standard Code for Information Interchange", cioè "Standard americano per lo scambio di informazioni": codice di 8 bit per ogni simbolo ad esempio: 01100001 in binario rappresenta la lettera a. Un file di 100 caratteri quindi occuperà sempre 800 bit (8 bit * 100 caratteri = 800) sia esso composto da 100 caratteri differenti piuttosto che da 100 identici.
Comprimere un testo (loseless) Visto che in tutti i file testo alcuni caratteri appaiono con una frequenza maggiore di altri non avrebbe senso assegnare a questi un codice composto da un numero inferiore di bit in modo da risparmiare spazio nella codifica? Codifica di Huffman È un algoritmo di usato per la compressione dei dati, basato sul principio di trovare il sistema ottimale per codificare stringhe a seconda della frequenza relativa di ciascun carattere.
Compressione di Huffmann La lunghezza di ogni parola del codice non è identica per tutti i simboli: i simboli più frequenti (che appaiono più spesso) sono codificati con delle piccole parole di codice, mentre i simboli più rari ricevono dei codici binari più lunghi. Si parla allora di codifica a lunghezza variabile (in inglesevlc per variable code length)
Esempio di compressione Huffman Vogliamo comprimere un file testo contenente la stringa: CIAO_MAMMA In un normale file testo, ogni lettera è rappresentata da 8 bit codificati rispettando il codice ASCII. Il nostro file salvato sarà composto così da 80 bit. Per prima cosa è necessario contare la frequenza di ogni lettera nella nostra stringa: C(1) I(1) A(3) M(3) O(1) _(1) Codifichiamo A e M con sequenze di 2 bit e gli altri con sequenze di 3 bit; ad esempio: A=10, M=11, C=000, I=001, O=010, _=011 Ottengo un testo compresso di 24 bit, invece di 80!
Compressione a dizionario è basata sull'idea di rimpiazzare, in un file, occorrenze di stringhe ripetute con puntatori a precedenti copie. La compressione è dovuta al fatto che la lunghezza di un puntatore è in genere più piccola della lunghezza della stringa che è rimpiazzata.
Compressione a dizionario Maggiori sono le ripetizioni di occorrenze di stringhe nel file da comprimere, maggiore è il grado di compressione raggiunta. Quindi, una delle attività dell'algoritmo di compressione è trovare la stringhe che si ripetono. Quest'attività è svolta inserendo il file in un buffer di dati, chiamato dizionario. La velocità dell'algoritmo dipende dalla struttura dati utilizzata per implementare il dizionario, dall'algoritmo utilizzato per trovare i match tra le stringhe del file prese in considerazione e le stringhe presenti nel dizionario.
Compressione a dizionario (LZW) La famiglia degli algoritmi a dizionario, ha molte varianti, la principale è detta LZW ed è la base del formato ZIP. Essa ha il vantaggio di comprimere in modo semplice ed efficiente tipi di dati eterogenei, come testo, immagini, database, ecc. È possibile applicare questo tipo di compressione non solo a testo, ma a qualunque sequenza che si ripete.
Compressione RLE (RLE = run length encoding) Si sostituiscono le sequenze di bit con un codice che indica il valore ripetuto e quante volte si ripete nella sequenza. Funziona bene quando i dati da comprimere sono scomponibili in lunghe sequenze di valori identici ripetuti.
Un esempio (?) Esempio: "A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A A" (600 bytes) "300 volte `A ' " (13 bytes)
Compressione RLE Sia M (messaggio da comprimere) una configurazione di bit costituita da: 253 bit posti a 1, seguiti da 118 bit posti a 0, seguiti da 87 bit posti a 1 E più compatto rappresentare in binario 253 x 1, 118 x 0, 87 x 1 11111101111101100010101111 ad esempio dedicando 8 bit alla cardinalità e 1 bit al simbolo per ciascun blocco rispetto ad elencare i 458 bit.
Compressione Lossy Per comprimere dati come il suono o le immagini, dove una perdita di qualità potrebbe non essere notata viene usata la compressione lossy. Gli algoritmi di compressione lossy quindi, sacrificano parte dei dettagli contenuti, ad esempio in un'immagine, in favore di un maggiore rapporto di compressione. Solitamente tali differenze non risultano percettibili, in quanto la parte di informazione persa è comunque quella che l'utente non avrebbe notato. Eliminando, perciò, alcuni dettagli di un'immagine non la deterioreremo. è bene sottolineare che una compressione lossy comporta una perdita permanente di dati.
JPEG (Joint Photographic Experts Group) JPEG è il primo formato compresso Lossy. I meccanismi di compressione risultano particolarmente adatti ad immagini contenenti un elevato numero di colori per la memorizzazione di immagini fotografiche o di disegni molto sfumati. Negli altri casi, come cartoon, forniscono risultati generalmente peggiori di altri formati, sia in termini di qualità sia di dimensione dei file. JPEG, non usa un metodo fisso di compressione. E' possibile scegliere il grado di compressione che si desidera applicare a un'immagine, determinando in questo modo anche la qualità dell'immagine. Più si comprime un'immagine, più se ne riduce la qualità.
JPEG: come funziona Si può applicare solo alle immagini raster (cioè alle fotografie). Per diminuire la dimensione dell'immagine, JPEG elimina alcuni pixel, che verranno poi ricostruiti (non esattamente uguali) in fase di decompressione. JPEG tuttavia è stato progettato in modo tale che i pixel eliminati siano quelli meno percepibili per l'occhio umano il quale è più sensibile alle piccole variazioni di luminosità che alle piccole variazioni di colore. Così se JPEG trova due pixel vicini di minima variazione di luminosità li conserva, ma se trova due pixel vicini di minima variazione di colore ne tiene uno solo.
Altri formati Lossy e Codec MP3, WMA, MPC, OGG per l audio MPEG, DivX per il video Operano nel loro settore con una tecnica simile a JPEG (tralasciano informazioni che apparentemente non servono) I codec sono parti software che dicono al sistema quali algoritmi applicare alle immagini per codificarle o decodificarle.
Codec Praticamente tutti i codec moderni sono lossy, perdono parte dell'informazione cercando di ottenere il massimo di compressione possibile. Nel caso degli ultimi codec sviluppati si è visto un progressivo interesse nei confronti delle tecniche cosiddette psicovisuali quelle cioè che studiano il modo in cui il cervello percepisce le informazioni da un video in movimento. Sfruttando queste caratteristiche del cervello alcuni sviluppatori hanno inserito nei loro codec degli algoritmi che si occupano di gestire i bit di informazione in modo più preciso, dedicando maggiore precisione di codifica per le aree dell'immagine che il cervello percepisce maggiormente e sottraendo dati a tutte quelle zone dell'immagine che non sono riconosciute dal cervello, ad esempio comprimendo di più le scene veloci con immagini sfumate oppure quelle completamente buie in cui il cervello umano non è in grado di estrapolare dettagli. Con questo metodo pesantemente lossy per i dati, ma impercettibile per gli umani, gli sviluppatori sono riusciti a fare un ulteriore salto in avanti nella qualità e nel grado di compressione delle immagini in movimento.