Informatica 3. LEZIONE 16: Heap - Codifica di Huffmann. Modulo 1: Heap e code di priorità Modulo 2: Esempio applicativo: codifica di Huffmann

Transcript

1 Informatica 3 LEZIONE 16: Heap - Codifica di Huffmann Modulo 1: Heap e code di priorità Modulo 2: Esempio applicativo: codifica di Huffmann

2 Informatica 3 Lezione 16 - Modulo 1 Heap e code di priorità

3 Introduzione Oggetti di una collezione organizzati in ordine di importanza e processati in ordine di priorità Coda: non efficiente ricerca dell elemento con priorità massima: Θ(n) Lista generica ordinata in base alla priorità inserimenti e cancellazioni: Θ(n) BST con record organizzati in base alla priorità inserimenti e cancellazioni: Θ(log n) problema: bilanciamento dell albero --> Θ(n)

4 Definizione di heap: Introduzione struttura dati definita da due proprietà: è un albero binario completo i valori memorizzati nello heap sono parzialmente ordinati (partial order) esiste una relazione tra i valori memorizzati in ogni nodo ed i valori dei suoi figli Varianti che dipendono dalla definizione della relazione di ordinamento parziale: MAXHEAP: ogni nodo memorizza un valore maggiore o uguale ai valori dei suoi figli» la radice contiene il valore maggiore dei nodi dell albero MINHEAP: ogni nodo memorizza un valore minore o uguale ai valori dei suoi figli» la radice contiene il valore minore dei nodi dell albero

5 Osservazioni: Introduzione (2) La relazione di ordinamento parziale è tra padre e figli, non tra fratelli Differisce dai BST che invece definiscono un ordine totale su tutti i nodi Mentre dal punto di vista logico lo heap viene rappresentato tramite un albero binario, l implementazione fisica viene tipicamente realizzata tramite un array Posizione Valore

6 Introduzione (3) La rappresentazione tramite array è caratterizzata dalle seguenti proprietà: il padre di un nodo in posizione i si trova nella posizione i/2 i figli di un nodo in posizione i si trovano in posizione 2i e 2i+1 Esempio: il padre di 6 (posizione 3) si trova in posizione 3/2 = 1 i figli di 6 si trovano in posizione 2*3=6 e 2*3+1=7 Posizione Valore

7 Costruzione di uno Heap Si inserisce un elemento alla volta, mantenendo invariate le proprietà dello heap (maxheap): si inserisce il nuovo elemento in posizione N si confronta il suo valore V con quello del padre: se V è minore o uguale al valore del padre l elemento è in posizione corretta in caso contrario i due elementi vengono scambiati (operazione di promozione) e il procedimento continua fino a quando l elemento inserito arriva nella posizione corretta

8 Costruzione di uno Heap (2) Esempio: Inserimento di un elemento con valore 8 i/2 Posizione Valore Posizione Valore i/2 i/2 Posizione Valore Posizione Valore

9 Costruzione di uno Heap (3) L inserimento può essere effettuato in maniera più efficiente se gli N valori da inserire sono disponibili all inizio del processo di costruzione (a) Scambi: (4-2) (4-1) (2-1) (5-2) (5-4) (6-3) (6-5) (7-5) (7-6) (b) Scambi: (5-2), (7-3), (7-1) (6-1) Osservazione: il processo di costruzione non è unico!

10 Siftdown Algoritmo: si supponga che i sotto-alberi di sinistra e di destra siano degli heap e sia R il nodo radice R H1 H2 R ha un valore maggiore o uguale a ciascuno dei suoi figli R ha un valore inferiore a uno o ad entrambi i suoi figli: viene scambiato con il figlio con valore maggiore: il processo di sift-down prosegue fino a quando non raggiunge il livello corretto (o è maggiore dei figli oppure è una foglia) L algoritmo completo si ottiene visitando prima i nodi figli si può quindi partire dagli indici più alti nell array e procedere verso quelli più bassi i nodi foglia non necessitano di siftdown: si può partire da metà array

11 Esempio: Siftdown (2)

12 Rimozione valore massimo Rimozione dell elemento con valore massimo (radice) può essere sostituito con l ultimo elemento dell albero si riapplica l operazione di siftdown per riordinare lo heap Osservazione: lo heap non è una struttura dati efficiente per effettuare ricerche di un valore arbitrario E ottima solo per trovare il massimo (o minimo) valore

13 Prestazioni dello heap Costo per la costruzione di uno heap: somma dei costi delle chiamata a siftdown log n (i -1) n/2 i n i=1 nel caso peggiore l algoritmo è Θ(N) Costo per la rimozione dell elemento massimo: Θ(log N) perchè l operazione di siftdown scende al massimo della profondità dell albero

14 Code di priorità Gli heap rappresentano l implementazione naturale delle code di priorità Coda di priorità: struttura dati formata da oggetti che supportano due operazioni di base inserimento di un oggetto cancellazione dell oggetto con chiave maggiore Applicazioni tipiche: algoritmi di scheduling, sistemi di simulazione in cui le code di priorità rappresentano eventi, strumento di base per algoritmi di ordinamento,...

15 Siftdown e Buildheap template <class Elem, class Comp> void maxheap<elem,comp>::siftdown(int pos) { while (!isleaf(pos)) { int j = leftchild(pos); int rc = rightchild(pos); if ((rc<n) && Comp::lt(Heap[j],Heap[rc])) j = rc; if (!Comp::lt(Heap[pos], Heap[j])) return; swap(heap, pos, j); pos = j; }} void buildheap() // Heapify contents of Heap { for (int i=n/2-1; i>=0; i--) siftdown(i); }

16 Rimozione valore massimo template <class Elem> bool maxheap<elem>:: removemax(elem& it) { if (n == 0) return false; // Heap is empty it = Heap[0]; Heap[0] = Heap [--n]; if (n!= 0) siftdown(0); return true; }

17 Informatica 3 Lezione 16 - Modulo 2 Esempio applicativo: codifica di Huffmann

18 Introduzione Esempio applicativo degli alberi binari: codifica di Huffmann tecnica di compressione che correla la dimensione del codice con la probabilità di occorrenza di un particolare valore I valori più utilizzati (spazio,.) vengono codificati con pochi bit I valori con uso poco frequente (% # ecc.) vengono codificati con più bit La codifica è ottimale quando sono note le frequenze e queste frequenze sono indipendenti dal contesto del simbolo all interno del messaggio

19 Esempio Lettera Frequenza Codice C D E K L M U Z Data stream originale da comprimere: DECEEKLUZEL Codifica: byte 4 byte

20 Huffman coding tree Definizione di albero di codifica di Huffmann: albero binario completo ogni foglia dell albero corrisponde ad una lettera dell alfabeto che deve essere rappresentato il peso del nodo foglia è il peso o frequenza della lettera associata l albero viene costruito in modo da avere minimo peso del percorso esterno lunghezza del percorso pesato di una foglia = peso x profondità dato un insieme di foglie si si deve minimizzare la somma delle lunghezze dei percorsi pesati una lettera con peso elevato deve avere una bassa profondità

21 Costruzione albero di Huffman Algoritmo per la costruzione dell albero di Huffmann: Si parte da una lista di sottoalberi di Huffmann costituiti da nodi foglia, contenenti lettera e frequenza, disposti in ordine crescente di frequenza Si sostituiscono i primi due sottoalberi con un nuovo albero avente come radice la somma delle frequenze dei figli e figli i due sottoalberi - la nuova lista deve rimanere ordinata Si itera fino ad ottenere un singolo albero

22 Costruzione albero di Huffman /2 Esempio: passo 1 passo 2 passo 3

23 Costruzione albero di Huffman /3 passo 4 passo 5

24 Costruzione albero di Huffman /4

25 Codifica Assegnamento del codice alle lettere presenti nell albero: partendo dalla radice si assegna 0 all arco che connette il nodo al figlio di sinistra e 1 all arco che connette il nodo al figlio di destra la codifica di Huffmann è un numero binario determinato dal percorso dalla radice alla foglia corrispondente alla lettera Ottenuta la tabella di codifica l operazione di codifica viene realizzata utilizzando direttamente questa tabella

26 Codifica (2) Lettera Frequenza Codice Bit C D E K L M U Z

27 Decodifica La decodifica viene effettuata guardando i bit della stringa codificata da sinistra verso destra fino ad arrivare alla decodifica di una lettera Quest operazione può essere effettuata utilizzando l albero di Huffmann: si parte dalla radice e si sceglie il ramo da seguire in funzione del bit della stringa codificata fino a raggiungere una foglia per il bit successivo si riparte dalla radice dell albero e si itera il processo Proprietà di prefisso: la codifica di Huffman può essere decodificata in un unico modo: nessun codice è un prefisso di altri codici

28 Decodifica (2) Esempio: D

29 Decodifica (3) Esempio: DU

30 Decodifica (4) Esempio: DUC

31 Decodifica (5) Esempio: DUCK