Laboratorio di Algoritmi e Strutture Dati II Semestre 2005/2006

Transcript

1 aboratorio di Algoritmi e Strutture Dati II Semestre 2005/2006 Insiemi di Stringhe e tries Marco Antoniotti Sommario Dizionari Dizionari Associazioni tra chiavi e valori Ricerca per chiave BSTs bilanciati hanno una complessità logaritmica per la ricerca e hash tables hanno complessità attesa costante, ma dipendono anche dalla complessità della struttura della chiave (in particolare dalla sua lunghezza ) Domanda: è necessario fare confronti di chiavi? No Domanda: è necessaria la scansione lineare di una chiave? No Ottimo: esame di soli O(lg(N)) bits asi speciali: dizionari ottimizzati per stringhe usate come chiavi Più veloci delle hash table Più flessibili dei BST II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 1/31 1

2 Tries Etimologia: la parola inglese retrieval ; si pronuncia come try aratteristiche Si immagazzinano i caratteri di una stringa nei nodi, non l intera chiave Si immagazinano i valori nei nodi esterni (foglie) Si usano i caratteri delle stringhe per guidare la ricerca Esempio: sells sea shells by the sea shore II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 2/31 Applicazioni ontrollori di ortografia ompletamento automatico ompressione dati Biologia computazionale Indici inversi per il Web Tabelle di instradamento per indirizzi IP (IP routing tables) Immagazzinamento e query di documenti XM T9 text input predittivo per i cellulari II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 3/31 2

3 Insieme di String: operazioni Inserimento: a_tring_set.add(s); Appartenenza: a_string_set.contains(s); Esempio: rimuovere i duplicati dall input string_set ss; istream in = cin; ostream out = cout; string key; while (in >> key) { if (! ss.contains(key)) { ss.add(key); out << key << endl; II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 4/31 hiave: sequenza di caratteri DNA: sequenza di a c g t IPv6: sequenza di 128 bits Italiano: sequenza di caratteri Proteine: sequenza di 20 aminoacidi (A,, Y) arte di credito: sequenza di 16 cifre odici bibliografici: sequenza di caratteri alfanumerici Questa lezione: Sequenze di caratteri ASII II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 5/31 3

4 Insiemi (dizionari) di stringhe: sommario aso tipico Implementazione Ricerca positiva Insert Spazio Input* Red-Black Trees + lg(n) lg(n) Hash tables Sfida veloce quanto hashing, flessibile quanto BST N = numero di stringhe = dimensione stringhe (media, massima, etc) = numero totale di caratteri in input R = radice * ettura dell input II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 6/31 Tries ad R-vie Esempio: sells sea shells by the sea shore II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 7/31 4

5 Tries ad R-vie: implementazione Trie ad R vie per il controllo di esistenza (ovvero di appartenenza) Nodo: contiene riferimenti ad R nodi public: private: int R; struct Node { Node* next[]; Node() : end(false) { next = new (Node*)[R]; for (int i; i < R; i++) next[i] = 0; bool end; ; II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 8/31 Tries ad R-vie: implementazione class StringSetRWayTrie { private: struct Node { ; typedef Node *ink; typedef string Key; ink root; bool searchr(ink h, Key k, int d) { int i = k[d]; if (h == 0) return false; if (i == NUcharacter) return h->end; return searchr(h->next[i], k, d+1); // continua II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 9/31 5

6 Tries ad R-vie: implementazione class StringSetRWayTrie { private: ink insertr(ink h, Key k, int d) { int i = k[d]; if (h == 0) h = new Node; if (i == NUcharacter) h->end = true; else h->next[i] = insertr(h->next[i], k, d+1); return h; // continua II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 10/31 Tries ad R-vie: implementazione class StringSetRWayTrie { public: StringSetRWayTrie(int r) R(r) { root = 0; bool search(key k) { return searchr(root, k, 0); ; void insert(key k) { insertr(root, k, 0); II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 11/31 6

7 Insiemi (dizionari) di stringhe: sommario aso tipico Implementazione Ricerca positiva Insert Spazio Input* Red-Black Trees + lg(n) lg(n) Hash tables Trie ad R vie RN + Trie ad R vie più veloce di hashing per R piccolo, troppo spazio richiesto e sprecato per R grande Sfida si possono migliorare le caratteristiche di uso di memoria? N = numero di stringhe = dimensione stringhe (media, massima, etc) = numero totale di caratteri in input R = radice * ettura dell input II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 12/31 Alberi Ternari di Ricerca (Ternary Search Trees - TSTs) Ternary Search Tree [Bentley-Sedgewick] Ogni nodo ha 3 figli Sinistra più piccoli, centrale uguali, destro più grandi Esempio: sells sea shells by the sea shore Osservazione: Pochi links sprecati! II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 13/31 7

8 Trie a 26 vie a confronto con TSTs TST: collassa i link vuoti di un Trie a 26 vie II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 14/31 TST: implementazione TST string set: un nodo Nodo: 5 campi Il carattere d I tre figli Il flag end; private: struct Node { char c; Node* left; Node* middle; Node* right; bool end; ; II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 15/31 8

9 TST: implementazione class StringSetTST { private: struct Node { ; Node* root; bool searchr(node* n, string s, int i) { if (x == 0) return false; char c = s[i]; if (c < n->c) return searchr(n->left, s, i+1); else if (c > n->c) return searchr(n->right, s, i+1); else if (i < s.length() - 1) return searchr(n->middle, s, i+1); else return n->end; bool contains(string s) { return searchr(root, s, 0); // continua II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 16/31 TST: implementazione class StringSetTST { private: struct Node { ; Node* root; Node* insertr(node* n, string s, int i) { char c = s[i]; if (n == 0) n = new Node; if (c < n->c) n->left = insertr(n->left, s, i+1); else if (c > n->c) n->right = insertr(n->right, s, i+1); else if (i < s.length() - 1) n->middle = insertr(n->middle, s, i+1); else n->end = true; return n; ; void insert(string s) { root = insertr(root, s, 0); II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 17/31 9

10 Insiemi (dizionari) di stringhe: sommario aso tipico Implementazione Ricerca positiva Insert Spazio Input* Red-Black Trees + lg(n) lg(n) Hash tables Trie ad R vie RN + TSTs + lg(n) + lg(n) N = numero di stringhe = dimensione stringhe (media, massima, etc) = numero totale di caratteri in input R = radice * ettura dell input II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 18/31 TST con R 2 rami alla radice Ibrido di TST e Trie ad R vie Si fa una ramificazione ad R od a R 2 vie alla radice Ognuno dei rami punta ad un TST Domanda: cosa succede con parole di una lettera? II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 19/31 10

11 Sommario sui TST Vantaggi Spazio richiesto lineare Ricerche positive molto veloci Si esaminano pochi bit di una chiave Ricerche negative anche più veloci Si adatta eleganetemente alle irregolarità dell insieme di chiavi Ammette operazioni su dizionari molto sofisticate Morale TST è più flessibile di BST e più veloce di hashing Specie se molte ricerche negative II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 20/31 Tries: operazioni avanzate Operazioni standard su dizionari Insert Search Delete Operazioni su BSTs Ordina Select Ricerca vincolata Operazioni su Tries ongest prefix match Wildcard match Stringa più simile Trova la stringa che differisce da quella in input per P caratteri ontrolli ortografici e OR II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 21/31 11

12 ongest Prefix Match Trovare una stringa nel database che ha il match di prefisso più lungo Esempio: cerca tra gli indirizzi di IP rispetto all IP di destinazione, trova quello con il match di prefisso più lungo ed instrada di conseguenza II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 22/31 ongest Prefix Match su un Trie ad R vie Si cerca e si ritorna la lunghezza del match di prefisso più lungo string prefix(string s) { int len = prefixmatch(root, s, 0); return s.substring(s, 0, len); int prefixmatch(node* n, string s, int i) { if (n == 0) return 0; int len = 0; if (n->end) len = i; if (i = s.length()) return len; char c = s[i]; return max(len, prefixmatch(n->next[i], s, i+1)); II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 23/31 12

13 Wildcard match Si usa il carattere. per pagnare (!) ogni carattere II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 24/31 Wildcard match Si cerca normalmente se il carattere non è. Si seguono tutte e tre i rami in caso contrario string wildsearch(string s) { vector<string> results; wildcard(root, s, 0,, results); // do something with results. void wildcard(node* n, string s, int i, string& prefix, vector<string>& results) { if (n == 0) return; char c = s[i]; if (c ==. c < n->key) wildcard(n->left, s, i+1, prefix); if (c ==. c > n->key) wildcard(n->right, s, i+1, prefix); if (c ==. c == n->key) { if (i < s.length() - 1) wildcard(n->mid, s, i+1, prefix + x->c); else results.push_back(prefix); II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 25/31 13

14 T9 SMS Obiettivo: battere un messaggio sulla tastiera di un telefonino Battuta multipla: si continua a battere un tasto fino a che la lettera corretta non appare Battuta T9 : Un modo molto più veloce di battere testo su un telefonino. Si trovano tutte le parole che corrispondono ad una data sequenza di numeri (ordinate per frequenza) Si batte 0 per vedere tutte i possibili completamenti Esempio: hello Battuta multipla: Battuta T9: II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 26/31 Dizionario TST Si immagazzinano le coppie chiave-valore nelle foglie e ricerche positive terminano ritornando la coppia chiave-valore e ricerche negative terminano ritornando NU I nodi interni immagazzinano il carattere Usiamo nodi diversi per foglie e nodi interni? ollassiamo (e suddividiamo) i rami ad una via in fondo all albero? II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 27/31 14

15 Insiemi (dizionari) di stringhe: sommario aso tipico Implementazione Ricerca positiva Insert Spazio Input* Red-Black Trees + lg(n) lg(n) Hash tables Trie ad R vie RN + TSTs + lg(n) + lg(n) TST con R 2 + lg(n) + lg(n) Trie ad R vie con collasso in fondo log R (N) log R (N) RN + TST con collasso in fondo log R (N) log R (N) Proprietà fondamentale: indipendenza dalla lunghezza della chiave onseguenza: si possono usare con chiavi molto lunghe N = numero di stringhe = dimensione stringhe (media, massima, etc) = numero totale di caratteri in input R = radice * ettura dell input II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 28/31 PATRIIA Tries Practical Algorithm To Retrieve Information oded In Alphanumeric (PATRIIA) Si collassano i nodi ad un ramo in un trie a due vie Si collegano i nodi con una tecnica che ci permette di evitare nodi multipli R = II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 29/31 15

16 Albero di suffissi Suffix Tree: PATRIIA tree di suffissi di stringhe Applicazioni Sottostringa comune più lunga Sottostringa ripetuta più lunga Sottostringa palindromica più lunga Prefisso comune più lungo di due stringhe Basi dati per la Biologia omputazionale (BAST, FASTA) Ricerche di musiche sulla base delle melodie II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 30/31 Dizionari: conclusioni Hash tables: separate hashing, linear probing BSTs: randomizzati, Red-Black Tries: R-vie, TST onclusioni Scegliere la struttura dati più consona alle caratteristiche dell applicazione Potete recuperare qualunque cosa (se ben organizzati) con 40 (o 100) bits II Semestre 2005/2006 aboratorio Algoritmi - Marco Antoniotti 31/31 16