Informatica 3. LEZIONE 21: Ricerca su liste e tecniche di hashing. Modulo 1: Algoritmi sequenziali e basati su liste Modulo 2: Hashing

Transcript

1 Informatica 3 LEZIONE 21: Ricerca su liste e tecniche di hashing Modulo 1: Algoritmi sequenziali e basati su liste Modulo 2: Hashing

2 Informatica 3 Lezione 21 - Modulo 1 Algoritmi sequenziali e basati su liste

3 Introduzione (1) Ricerca: processo che determina se un elemento con un particolare valore appartiene ad un insieme ricerca di un record con un determinato valore di chiave all interno di una collezione di record Formalmente: Siano k 1, k 2,..., k n chiavi distingi e C un collezione di n record con forma (k 1, I 1 ), (k 2, I 2 ),..., (k n, I n ) con I j informazione associata alla chiave k j, j=1..n Data una chiave di valore K, il problema di ricerca consiste nell individuare il record (k j, I j ) in C per cui k j =K

4 Introduzione (2) Risultato della ricerca: con successo: si trova un record con chiave k j =K con insuccesso: non esiste un record con chiave k j =K Tipo di ricerca: con match esatto: ricerca del record la cui chiave coincide con quella cercata di un intervallo: ricerca di tutti i record la qui chiave cade all interno di un intervallo di valori Categorie di algoritmi: sequenziali e basati su liste con accesso diretto in base al valore della chiave (hashing) basati sull indicizzazione di alberi

5 Ricerca in array ordinati Ricerca sequenziale: Θ(n) nei casi medi e peggiori in caso di lista non ordinata per ampie collezioni di record è molto lenta per ridurre il tempo di ricerca: ordinare i record Ricerca binaria se non si conosce la distribuzione dei valori delle chiavi Se si conosce la distribuzione dei valori della chiavi (es. dizionario): ricerca per interpolazione si guarda prima una posizione in cui ci si aspetta di trovare la chiave si procede in modo simile alla ricerca binaria

6 Liste ordinate per frequenza (1) Per migliorare i tempi di ricerca in una lista i record possono essere ordinati in base alla frequenza degli accessi attesa per ogni chiave k i è nota la probabilità p i che k i venga richiesta la lista viene ordinata per frequenza decrescente la ricerca viene effettuata sequenzialmente Numero di confronti richiesti per una ricerca: C n = 1p 1 + 2p np n

7 Liste ordinate per frequenza (2) Esempio 1: p i = 1/n n i n C n = = (n+1)/2 i= 1 Metà dei record verranno trovati in media come una normale ricerca sequenziale: nessun beneficio Esempio 2: distribuzione esponenziale p i = 1/2 i se 1 <= i <= n-1 = 1/2 n-1 se i = n C n 2 i i= 1 2 Il numero di accessi attesi è costante n i Nella pratica: regola 80/20: 80% degli accessi ai record riguarda il 20% dei record

8 Liste auto-organizzanti In molte applicazioni la distribuzione delle frequenze non è disponibile la frequenza di accesso cambia nel tempo liste auto-organizzanti modificano l ordine dei record in base al pattern di accesso effettivo in base ad un euristica euristiche simili alle regole per gestire pool di buffer

9 Euristiche Euristiche per liste auto-organizzanti: Count: storia degli accessi ai record e ordinamento in base alla frequenza effettiva degli accessi (simile alla politica LFU) quando si accede a un record, viene spostato verso l inizio della lista se il numero dei suoi accessi diventa maggiore del numero degli accessi dei record che lo precedono Move-to-front: quando si trova un record lo si inserisce all inizio della lista (simile alla politica LRU) semplice da implementare con liste concatenate Transponse: quando si trova un record si effettua uno swapping con il record precedente adatto per liste concatenate e array

10 Esempio Collezione iniziale: A B C D E F G H Pattern di accesso: F D F G E G F A D F G E Euristica count: F G D E A B C H 45 confronti Euristica move-to-front: E G F D A B C H 54 confronti Euristica transponse: A B F D G E C H 62 confronti

11 Prestazioni Prestazioni delle liste auto-organizzanti: minori rispetto agli alberi di ricerca o alle liste ordinate non richiedono un precedente ordinamento costo per inserire un nuovo record: basso efficienti per liste corte

12 Esempio (1) Algoritmo per comprimere e trasmettere messaggi lista auto-organizzante con regola move-to-front vengono trasmesse parole e numeri secondo le seguenti regole: se la parola non è mai stata trasmessa, trasmetti la parola; posiziona la parola all inizio della lista se la parola è già stata trasmessa precedentemente, trasmetti la posizione corrente della parola nella lista; sposta la parola all inizio della lista il mittente e il destinatario tengono traccia della posizione delle parole nella lista allo stesso modo

13 Esempio (2) Messaggio: The car on the left hit the car I left Trasmissione: The car on 3 left hit 3 5 I 5 The The car on the left hit the car I left The car Car the on the left hit the car I left The car on On car the the left hit the car I left The car on 3 The on car the left hit the car I left The car on 3 left Left the on car the left hit the car I left The car on 3 left hit Hit left the on car the left the car I left The car on 3 left hit 3 The hit left on car the left the car I left The car on 3 left hit 3 5 Car the hit left on the left the car I left The car on 3 left hit 3 5 I I car the hit left on the left the car I left The car on 3 left hit 3 5 I 5 Left I car the hit on the left the car I left

14 Ricerca in insiemi (1) Verifica di appartenenza di un valore ad un insieme se l intervallo delle chiavi è limitato si può memorizzare un array di bit in cui ogni posizione viene allocata per ogni membro potenziale bit 1 se il valore corrispondente della chiave è presente bit 0 altrimenti Esempio: insieme dei numeri primi tra 0 e 15 rappresentazione: bitmap

15 Ricerca in insiemi (2) Si possono effettuare operazioni logiche Esempio: numeri primi e pari & Implementazione in C++: Unione: A B Intersezione: A&B Differenza: A&~B su una o più parole, a seconda della dimensione dell insieme Esempio: ricerca di parole chiave in documenti per ogni parola chiave si memorizza in un vettore di bit un bit per ogni documento per ogni documento si memorizza in un vettore di bit un bit per ogni parola chiave signature file

16 Informatica 3 Lezione 21 - Modulo 2 Hashing

17 Introduzione (1) Metodo per ricercare un record in una tabella con accesso diretto in base al valore della chiave: HASHING I record non sono ordinati in base alla frequenza ma occupano la posizione ottenuta a partire dal valore della chiave tramite un apposita funzione: funzione di hash (h) L array che contiene i record viene chiamato tabella di hash (HT) Una posizione nella tabella di hash si chiama anche slot Sia il numero di slot nella tabella di hash pari a M Hashing: organizza i record in modo che per qualsiasi valore di chiave K e una funzione di hash h, 0 <= h(k) < M, la chiave di HT[h(K)] è uguale a K

18 Introduzione (2) Metodo appropriato per insiemi senza duplicati di chiave non adatto per ricercare intervalli di valori, per ricercare il valore minimo o massimo, per visitare i record in ordine Trovare il record, se esiste, con chiave K sia per collezioni di record in memoria che su disco ampiamente utilizzato per organizzare basi di dati su disco

19 Introduzione (3) Esempio 1: n record con chiavi nell intervallo [0, n-1]. Memorizza il record con chiave i nello slot i Utilizza la funzione di hash h(k) = K Esempio 2: 1000 record con chiavi nell intervallo [0, 65535] La funzione di hash mapperà più valori di chiave nello stesso slot Problemi di collisione

20 Collisione Data una funzione di hash h e due chiavi k 1 e k 2, se h(k 1 ) = β = h(k 2 ), dove β è uno slot nella tabella, allora k 1 e k 2 collidono nello slot β Per trovare un record con chiave K in una tabella di hash: 1) si calcola la locazione nella tabella con h(k) 2) a partire dallo slot h(k) si cerca il record che contiene K utilizzando una politica di risoluzione della collisione Hashing perfetto: i record vengono individuati tramite una funzione di hash che non genera collisioni Ottime prestazioni Occorre conoscere a priori i valori delle chiavi

21 Funzioni di hash Funzione di hash ideale: ogni slot nella tabella di hash ha la stessa probabilità di essere riempito In molte applicazioni la distribuzione delle chiavi non è nota oppure non è non è uniforme Se non è nota scegliere una funzione di hash che genera una distribuzione uniforme casuale Se è nota scegliere una funzione di hash dipendente dalla distribuzione

22 Esempi di funzioni di hash (1) Esempio 1: funzione di hash per interi in una tabella di 16 slot int h(int x) { return(x % 16); } Il valore della funzione di hash dipende dai 4 bit meno significativi della chiave Esempio 2: metodo del mid-square per valori numerici tabella di dimensione 2 r r bit centrali del quadrato del valore della chiave

23 Esempi di funzioni di hash (2) Esempio 3: funzione di hash per stringhe int h(char* x) { int i, sum; for (sum=0, i=0; x[i]!= '\0'; i++) sum += (int) x[i]; return(sum % M); } Somma i valori ASCII delle lettere della stringa e prende il risultato modulo M buona distribuzione se M è piccolo rispetto alla somma